Add new qm command 'importovf', to create VMs from an OVF manifest

Currently the following extracted parameters are used to create a VM:
* VM name
* Memory
* Number of cores
* Disks

Refactor defaut bootdisk and smbios1 uuid generation in own subs

This will allow code reuse for qm importovf

Add tests for parse_ovf function

This includes:
 * a test script
 * the manifests generated by exports from a VmWare Workstation
 *  disk images are generated from qemu-img, with a 2KB size
(it is possible to inspect the disk images with od -bc
they contain a VMDK header and the rest are null characters)

Initial support for importing OVF virtual machines

Following OVF parameters will be extracted:
 * VM name
 * Memory
 * Number of cores
 * disks and their associated controllers

Add a build dependency to libxml-libxml-perl, needed for OVF parsing

XML::LibXML is being actively developed, and has 91 reverse
depencies in Debian Stretch, so it should not go away.

Force overwriting existing compressed man pages and symbolic links

This allows calling the 'make install' target twice in a row.

use foreach_drive in foreach_storage_used_by_vm

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

config: make vmstatestorage hotpluggable

since this is just an option for PVE, and does not concern the VM at all.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

rename foreach_writable_storage to foreach_storage_used_by_vm

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

snapshot: use explicitly configured vmstate storage

and simplify storage loop

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

config: add vmstatestorage option

and permission checks

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

VM.Snapshot.Rollback privilege added

VM.Snapshot.Rollback privilege added

Signed-off-by: Matthias Urban <matthias.urban@pure-systems.com>

do not overwrite global signal handlers

perls 'local' must be either used in front of each $SIG{...}
assignments or they must be put in a list, else it affects only the
first variable and the rest are *not* in local context.

In all cases the global signal handlers we overwrote were in cli programs or
forked workers, not in daemons.

migration : enable mtunnel for insecure migration V2

We only use it to send commands faster like resume

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

ovmf: deprecate old legay ovmf image and refactor

this was only kept for PVE 4.X where the switch to the newer OVMF
image with actual working persisten EFIVARS was made.

We do not ship this old image in PVE 5.0 anymore so remove this
legacy code as it can never trigger anyhow.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

create_disks: refactor out and improve efidisk creation

factor out code in a new create_efidisk submethod, as else this code
is hardly readable as the efidisk0 case is a special case. Refer from
putting all this specialised handling directly to the much shorter
code for all other cases.

Also the disk was created with a specific format and then a format
detection on the newly created disk was done, which is pretty
useless, clear that up.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

efidisk: do not hard code efivar base image size

The size of this image is not fixed, it increased to 528k in more
recent build of OVMF and could increase further (not likely, but
possible).

Instead of changing the hardcoded value move to a more generic
approach and read the size from the base image at creation time.

Use the new convert_size method and generalise the assignment of
size and volid between the efidisk and the normal case, as a part of
this change.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Remove unused variable declaration

Fix #1441: Do not unplug controllers when the mirroring is finished

This should not be needed since we call 'block-job-complete' before
in qemu_drive_mirror_monitor(), and after benchmarking it does not
appear to be needed nor provide a measurable improvement when shutting
down the source.

restore_vma_archive: do not overwrite global signal handlers

perls 'local' must be either used in front of each $SIG{...}
assignments or they must be put in a list, else it affects only the
first variable and the rest are *not* in local context.

This may cause weird behaviour where daemons seemingly do not get
terminating signals delivered correctly and thus may not shutdown
gracefully anymore.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

API/clone: do not overwrite global signal handlers

perls 'local' must be either used in front of each $SIG{...}
assignments or they must be put in a list, else it affects only the
first variable and the rest are *not* in local context.

This may cause weird behaviour where daemons seemingly do not get
terminating signals delivered correctly and thus may not shutdown
gracefully anymore.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

update_vm: sort logged parameters

otherwise the (log) output looks really strange when mass-updating VMs, e.g.:
update VM 400001: -scsi1 somestore:64 -scsi0 somestore:64 -ide2 isostore:iso/somefile.iso,media=cdrom
update VM 400002: -ide2 isostore:iso/somefile.iso,media=cdrom -scsi1 somestore:64 -scsi0 somestore:64
update VM 400003: -scsi0 somestore:64 -ide2 isostore:iso/somefile.iso,media=cdrom -scsi1 somestore:64

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

remove legacy sparsecp

sparsecp gets only used in qmextract, which is part of the old backup
method (pre PVE 2.3).
Do not remove qmextract for now people could still have backups from
< PVE 2.3 around.
They could be restored manually, but we shouldn't make restoring
complicated. Thus replace sparsecp with `cp sparse=always`.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

remove unused obsolete vmtar

This was used by the pre-VMA backup methods, as the new backup
process was introduced in PVE 2.3 (04.03.2013) and this would be only
used for creating new backups it can be removed safely.

Fixes Debian stretch build on the ARM64 architecture.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Fix #1125. Check for KVM support before starting VM

Moved the check to the beginning of the function.
VMs configured to use KVM won't start if KVM is not available.
VMs not configured to use KVM will start regardless.

Refactors $nokvm to $kvm

for improved readability and consistency with the option name.

Refactor HyperV enlightenments

Fixes a typo in the function name and removes the $nokvm parameter, as it's only
used to immideately exit the function. Instead calling the function
conditionally.

bump version to 5.0-15

migrate: reduce polling intervals

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

migrate: keep track of replication

and only transfer state and switch direction if there
actually are any replicated volumes.

once we add support for live-migration with replicated
volumes, adding a set-replication-state command to the
tunnel and using that probably makes sense.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

migrate: finish tunnel in phase 3

after resuming the VM over the tunnel.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

qm mtunnel/migrate: add resume VMID command

and reformat the legacy SSH variant for readability.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

mtunnel: add and handle OK/ERR replies

because we want commands to return meaningful errors, and
print them on the client/source side.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

qm mtunnel: add write helper

reduce code duplication.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

migrate: read mtunnel version

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

qm mtunnel: add tunnel version

to allow detection of supported features/commands for these
and future mtunnel changes.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

migrate: refactor mtunnel read/write

to make adding new commands and reading replies easier

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

migrate: switch back to qm mtunnel

to allow adding guest specific commands to the tunnel

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

Fix freeze_needed

We want freeze the filesystem if the vmstate is not saved, because when we save the state we need not to freeze the filesystem.

bump version to 5.0-14

use machine version in vga default type selection

If we get an VM machine older than 2.9 we use the old selection
expression for the VGA type. This allows to live migrate VMs to PVE
5.0 from beta 1 and PVE 4.4 again.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix disk throttling syntax

the syntax was wrong, it was (e.g. for iops-write):

throttling.iops-write=-max100
instead of
throttling.iops-write-max=100

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 5.0-13

Fix #1417: make sure the target storage allows disk images before importing

This was fixed in c46366fd494c7dd0cd46bf133146e6f7a98e32a4
for 'qm create', but 'qm importdisk' has the same issue

bump version to 5.0-12

Use default values when memory is not set in vm.conf when migrating

This fixes a "Use of uninitialized value in multiplication (*) "
warning when doing a migration

bump version to 5.0-11

cleanup: more the new-disk regex deduplication

fix #1417: check if storage has 'images' set in content

otherwise, qm and the api ignore this setting completely when creating
a vm

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 5.0-10

snapshot-test.pm: ignore existing replication config

don't use cirrus by default for sane OS'

(It can stay for $winversion < 6 because then you probably
don't have drivers for anything else.)

this is long overdue

Remove guest states to ensure no old states are exists

allow disks on shared storages on replicated VMs

refuse to add non-replicatable disks to replicating VMs

Unless replication is explicitly disabled for them.

API HA tasks: we request states not execute them

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

config: has_feature() take default for backup into account

bump version to 5.0-9

migrate: use 'mtunnel' from pvecm

qm mtunnel was deemed as deprecated but still in use here.
Switch over to pvecm's mtunnel to allow removing the qm variant in
PVE 5.1

Also use an absolute path so we do not depended on the targets
environment variables

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 5.0-8

migrate: pass the with_snapshots parameter

bump version to 5.0-7

PVE::QemuMigrate. do not use JSON - not required here

PVE/QemuMigrate.pm: use new replication job helpers from AbstractMigrate

Change target in replication-state when replication direction is switched

PVE/QemuMigrate.pm: use replication job, transfer replication state

get_replicatable_volumes: move checks to top

those checks do not depend on anything we do in the sub, so we can do
them at the beginning.

Also respect the $noerr flag (do not raise exceptions in that case).

add regression tests for get_replicatable_volumes

get_replicatable_volumes: fix CDROM and local file/device handling

use the full package to call storage_config

because it is not in the local scope

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

PVE/QemuMigrate.pm: fix syntax errors

get_replicatable_volumes: add unused volumes

get_replicatable_volumes: skip volumes if we do not 'own' them

And add and additional check for vtype 'images'.

PVE/QemuMigrate.pm - use PVE::QemuServer::foreach_volid

PVE::QemuServer::foreach_volid - record snapshot references

So that we can test if a volume is referenced in the main config, and/or
inside a snapshot config.

get_replicatable_volumes: use PVE::QemuServer::foreach_volid

PVE::QemuServer::foreach_volid - pass $attr hash to callback

That way we can pass more informations, i.e. the 'replicate' attribute.

get_replicatable_volumes: skip volumes on shared storage

get_replicatable_volumes: add $vmid parameter

PVE/API2/Qemu.pm: cleanup - remove unused $upid parameter

PVE/API2/Qemu.pm: aquire guest_migration_lock inside worker

Add a migration lock to avoid a replication on rollback-time.

build: remove fakeroot from dpkg-buildpackage

fix typo in previous changelog

build: add substition variables

build: reformat b-d and depends

build: make control static

change from dpkg-deb to dpkg-buildpackage

Add debian directory and move the respective files there and add
missing (rules, compat, docs).

Add a Source section to the control.in file and "build" (sed
control.in >control) in the $DEB target as done in most other
packages

Move the qm verifyapi check to the new "test" target, which gets
executed before the dh_auto_install target.

Remove the obsolete vzsyscalls.ph target, vzsyscalls.h is gone for a
while now

Cleanup "clean" target.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

PVE::QemuConfig - implement $cleanup flag for get_replicatable_volumes

fix #1405: sort pci ids by functions

QemuServer::lspci() iterates over /sys/bus/pci/devices which
doesn't guarantee any order which means functions sometimes
ended up in the wrong order and it was never clear which
one would get the additional options such as x-vga passed
to them.

migrate: migration_type setting moved to pve-guest-common

import disk: add \n to die

import disk: downgrade hotplug failure to warning

Add new qm command 'importdisk' to import external disk images

The VM must be already existing, and the syntax is

qm importdisk 421 minix204.img pve4tank

where 421 is an already existing VM

Add ImportDisk module to import external disk images into a VM

Each disk passed as paramater is add as 'unused[n]' in the vm.conf
(the default) or ide[n]|scsi[n]|sata[n]
We rely on qemu-img(1) convert heuristics to detect the file type,
as this works in most case.

Refactor the resolution of target disk format in own sub

This will allow use to reuse the code in ImportDisk.pm.

migration: implement insecure offline migration

check also pending changes when reverting/deleting

otherwise we are not able to revert/delete pending changes which
introduce a new config line

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 5.0-6

fix burst length parameter names and pass them to qemu

bps_max_length & friends were wrongly named and were only
passed to qemu when hot-applying changes. They can only
be passed via the command line with their new names. For
consistency let's rename them all, that way they're all in
one place.

Fixes #1195 (for real this time).