restore_vma_archive: do not overwrite global signal handlers

perls 'local' must be either used in front of each $SIG{...}
assignments or they must be put in a list, else it affects only the
first variable and the rest are *not* in local context.

This may cause weird behaviour where daemons seemingly do not get
terminating signals delivered correctly and thus may not shutdown
gracefully anymore.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

API/clone: do not overwrite global signal handlers

perls 'local' must be either used in front of each $SIG{...}
assignments or they must be put in a list, else it affects only the
first variable and the rest are *not* in local context.

This may cause weird behaviour where daemons seemingly do not get
terminating signals delivered correctly and thus may not shutdown
gracefully anymore.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

update_vm: sort logged parameters

otherwise the (log) output looks really strange when mass-updating VMs, e.g.:
update VM 400001: -scsi1 somestore:64 -scsi0 somestore:64 -ide2 isostore:iso/somefile.iso,media=cdrom
update VM 400002: -ide2 isostore:iso/somefile.iso,media=cdrom -scsi1 somestore:64 -scsi0 somestore:64
update VM 400003: -scsi0 somestore:64 -ide2 isostore:iso/somefile.iso,media=cdrom -scsi1 somestore:64

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

remove legacy sparsecp

sparsecp gets only used in qmextract, which is part of the old backup
method (pre PVE 2.3).
Do not remove qmextract for now people could still have backups from
< PVE 2.3 around.
They could be restored manually, but we shouldn't make restoring
complicated. Thus replace sparsecp with `cp sparse=always`.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

remove unused obsolete vmtar

This was used by the pre-VMA backup methods, as the new backup
process was introduced in PVE 2.3 (04.03.2013) and this would be only
used for creating new backups it can be removed safely.

Fixes Debian stretch build on the ARM64 architecture.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Fix #1125. Check for KVM support before starting VM

Moved the check to the beginning of the function.
VMs configured to use KVM won't start if KVM is not available.
VMs not configured to use KVM will start regardless.

Refactors $nokvm to $kvm

for improved readability and consistency with the option name.

Refactor HyperV enlightenments

Fixes a typo in the function name and removes the $nokvm parameter, as it's only
used to immideately exit the function. Instead calling the function
conditionally.

bump version to 5.0-15

migrate: reduce polling intervals

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

migrate: keep track of replication

and only transfer state and switch direction if there
actually are any replicated volumes.

once we add support for live-migration with replicated
volumes, adding a set-replication-state command to the
tunnel and using that probably makes sense.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

migrate: finish tunnel in phase 3

after resuming the VM over the tunnel.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

qm mtunnel/migrate: add resume VMID command

and reformat the legacy SSH variant for readability.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

mtunnel: add and handle OK/ERR replies

because we want commands to return meaningful errors, and
print them on the client/source side.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

qm mtunnel: add write helper

reduce code duplication.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

migrate: read mtunnel version

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

qm mtunnel: add tunnel version

to allow detection of supported features/commands for these
and future mtunnel changes.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

migrate: refactor mtunnel read/write

to make adding new commands and reading replies easier

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

migrate: switch back to qm mtunnel

to allow adding guest specific commands to the tunnel

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

Fix freeze_needed

We want freeze the filesystem if the vmstate is not saved, because when we save the state we need not to freeze the filesystem.

bump version to 5.0-14

use machine version in vga default type selection

If we get an VM machine older than 2.9 we use the old selection
expression for the VGA type. This allows to live migrate VMs to PVE
5.0 from beta 1 and PVE 4.4 again.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix disk throttling syntax

the syntax was wrong, it was (e.g. for iops-write):

throttling.iops-write=-max100
instead of
throttling.iops-write-max=100

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 5.0-13

Fix #1417: make sure the target storage allows disk images before importing

This was fixed in c46366fd494c7dd0cd46bf133146e6f7a98e32a4
for 'qm create', but 'qm importdisk' has the same issue

bump version to 5.0-12

Use default values when memory is not set in vm.conf when migrating

This fixes a "Use of uninitialized value in multiplication (*) "
warning when doing a migration

bump version to 5.0-11

cleanup: more the new-disk regex deduplication

fix #1417: check if storage has 'images' set in content

otherwise, qm and the api ignore this setting completely when creating
a vm

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 5.0-10

snapshot-test.pm: ignore existing replication config

don't use cirrus by default for sane OS'

(It can stay for $winversion < 6 because then you probably
don't have drivers for anything else.)

this is long overdue

Remove guest states to ensure no old states are exists

allow disks on shared storages on replicated VMs

refuse to add non-replicatable disks to replicating VMs

Unless replication is explicitly disabled for them.

API HA tasks: we request states not execute them

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

config: has_feature() take default for backup into account

bump version to 5.0-9

migrate: use 'mtunnel' from pvecm

qm mtunnel was deemed as deprecated but still in use here.
Switch over to pvecm's mtunnel to allow removing the qm variant in
PVE 5.1

Also use an absolute path so we do not depended on the targets
environment variables

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 5.0-8

migrate: pass the with_snapshots parameter

bump version to 5.0-7

PVE::QemuMigrate. do not use JSON - not required here

PVE/QemuMigrate.pm: use new replication job helpers from AbstractMigrate

Change target in replication-state when replication direction is switched

PVE/QemuMigrate.pm: use replication job, transfer replication state

get_replicatable_volumes: move checks to top

those checks do not depend on anything we do in the sub, so we can do
them at the beginning.

Also respect the $noerr flag (do not raise exceptions in that case).

add regression tests for get_replicatable_volumes

get_replicatable_volumes: fix CDROM and local file/device handling

use the full package to call storage_config

because it is not in the local scope

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

PVE/QemuMigrate.pm: fix syntax errors

get_replicatable_volumes: add unused volumes

get_replicatable_volumes: skip volumes if we do not 'own' them

And add and additional check for vtype 'images'.

PVE/QemuMigrate.pm - use PVE::QemuServer::foreach_volid

PVE::QemuServer::foreach_volid - record snapshot references

So that we can test if a volume is referenced in the main config, and/or
inside a snapshot config.

get_replicatable_volumes: use PVE::QemuServer::foreach_volid

PVE::QemuServer::foreach_volid - pass $attr hash to callback

That way we can pass more informations, i.e. the 'replicate' attribute.

get_replicatable_volumes: skip volumes on shared storage

get_replicatable_volumes: add $vmid parameter

PVE/API2/Qemu.pm: cleanup - remove unused $upid parameter

PVE/API2/Qemu.pm: aquire guest_migration_lock inside worker

Add a migration lock to avoid a replication on rollback-time.

build: remove fakeroot from dpkg-buildpackage

fix typo in previous changelog

build: add substition variables

build: reformat b-d and depends

build: make control static

change from dpkg-deb to dpkg-buildpackage

Add debian directory and move the respective files there and add
missing (rules, compat, docs).

Add a Source section to the control.in file and "build" (sed
control.in >control) in the $DEB target as done in most other
packages

Move the qm verifyapi check to the new "test" target, which gets
executed before the dh_auto_install target.

Remove the obsolete vzsyscalls.ph target, vzsyscalls.h is gone for a
while now

Cleanup "clean" target.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

PVE::QemuConfig - implement $cleanup flag for get_replicatable_volumes

fix #1405: sort pci ids by functions

QemuServer::lspci() iterates over /sys/bus/pci/devices which
doesn't guarantee any order which means functions sometimes
ended up in the wrong order and it was never clear which
one would get the additional options such as x-vga passed
to them.

migrate: migration_type setting moved to pve-guest-common

import disk: add \n to die

import disk: downgrade hotplug failure to warning

Add new qm command 'importdisk' to import external disk images

The VM must be already existing, and the syntax is

qm importdisk 421 minix204.img pve4tank

where 421 is an already existing VM

Add ImportDisk module to import external disk images into a VM

Each disk passed as paramater is add as 'unused[n]' in the vm.conf
(the default) or ide[n]|scsi[n]|sata[n]
We rely on qemu-img(1) convert heuristics to detect the file type,
as this works in most case.

Refactor the resolution of target disk format in own sub

This will allow use to reuse the code in ImportDisk.pm.

migration: implement insecure offline migration

check also pending changes when reverting/deleting

otherwise we are not able to revert/delete pending changes which
introduce a new config line

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 5.0-6

fix burst length parameter names and pass them to qemu

bps_max_length & friends were wrongly named and were only
passed to qemu when hot-applying changes. They can only
be passed via the command line with their new names. For
consistency let's rename them all, that way they're all in
one place.

Fixes #1195 (for real this time).

fix #1229: more explicit spice port allocation

We cannot look for ports on "any" wildcard address while
letting qemu bind to "localhost", this may lead to a qemu
process occupying ::1 while the next search successfully
finds the same port available for IPv4's '*' address.

Instead, we now lookup the IP of the desired family for
'localhost'. Note that while we could simply be hardcoding
::1 or 127.0.0.1, with this code we are protocol agnostic.

migrate: aquire guest_migration_lock during migration

To block replication jobs.

do not allow destroy if there are replication jobs

remove 'replicate' configuration - we will store that in another file

improve error on '{full, linked} clone not available' error

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

print_cpu_device: remove unused variable

Fix #1384: add missing decrement to calculation of socket-id

For calculation of "current_core" the input variable id is decremented.
For calculation of "current_socket" this decrement was missing resulting
in a wrong value when "cores" is set to 1.

Signed-off-by: Tobias Böhm <tb@robhost.de>

migrate: pass ssh_info to storage_migrate

build: run tests on build

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

tests: fix broken snapshot create tests

by mocking de/activate vmstate volumes. these were broken by
3a8deb551f2c7648865437961b3593d11bf0591b, which introduced
activating/deactivating vmstate volumes for KRBD

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

tests: fix broken snapshot delete tests

these broke when the additional "snapshot-delete" lock was
introduced

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

tests: exit with -1 in case of failures

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

use ReuseAddr for vncproxy

to avoid "Socket already in use" errors, when quickly opening/closing
console sessions on the webinterface

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

Fix #1361: create disk: stricter parsing of storage:size

This fixes paths such as
/dev/disk/by-id/some-ID:0.5
being interpreted as a request to create a 0.5G-sized disk
in the storage named '/dev/disk/by-id/some-ID'.

move get_replicatable_volumes from QemuServer.pm to QemuConfig.pm

PVE::QemuServer::create_disks - run code inside eval

So that we can free allocated volumes ins something fails.

Thi bug was introduced with commit ae57f6b352242fed69da851f15f976095d290833

get_replicatable_volumes: replacemnet for PVE::ReplicationTools::get_syncable_guestdisks()

correctly scan for volumes inside snapshots.

This will also solve the cyclic package dependency propblem.

rename drive 'replica' property to 'replicate'

Revert "Integrate replica in the qemu migration."

This reverts commit 63d02c707429efcd509ddb14d3fd560cfcf4979e.

The commit changes the configuration before the VM is actually
migrated, so it is possible to have a wrong configuration when
migration fails for some reason. Also, I am quite unsure if
this automatic target change is really wanted. The patch also
contains wrong refereces to $self->{opts}->{node}.