Add a migration lock to avoid a replication on rollback-time.

build: remove fakeroot from dpkg-buildpackage

fix typo in previous changelog

build: add substition variables

build: reformat b-d and depends

build: make control static

change from dpkg-deb to dpkg-buildpackage

Add debian directory and move the respective files there and add
missing (rules, compat, docs).

Add a Source section to the control.in file and "build" (sed
control.in >control) in the $DEB target as done in most other
packages

Move the qm verifyapi check to the new "test" target, which gets
executed before the dh_auto_install target.

Remove the obsolete vzsyscalls.ph target, vzsyscalls.h is gone for a
while now

Cleanup "clean" target.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

PVE::QemuConfig - implement $cleanup flag for get_replicatable_volumes

fix #1405: sort pci ids by functions

QemuServer::lspci() iterates over /sys/bus/pci/devices which
doesn't guarantee any order which means functions sometimes
ended up in the wrong order and it was never clear which
one would get the additional options such as x-vga passed
to them.

migrate: migration_type setting moved to pve-guest-common

import disk: add \n to die

import disk: downgrade hotplug failure to warning

Add new qm command 'importdisk' to import external disk images

The VM must be already existing, and the syntax is

qm importdisk 421 minix204.img pve4tank

where 421 is an already existing VM

Add ImportDisk module to import external disk images into a VM

Each disk passed as paramater is add as 'unused[n]' in the vm.conf
(the default) or ide[n]|scsi[n]|sata[n]
We rely on qemu-img(1) convert heuristics to detect the file type,
as this works in most case.

Refactor the resolution of target disk format in own sub

This will allow use to reuse the code in ImportDisk.pm.

migration: implement insecure offline migration

check also pending changes when reverting/deleting

otherwise we are not able to revert/delete pending changes which
introduce a new config line

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 5.0-6

fix burst length parameter names and pass them to qemu

bps_max_length & friends were wrongly named and were only
passed to qemu when hot-applying changes. They can only
be passed via the command line with their new names. For
consistency let's rename them all, that way they're all in
one place.

Fixes #1195 (for real this time).

fix #1229: more explicit spice port allocation

We cannot look for ports on "any" wildcard address while
letting qemu bind to "localhost", this may lead to a qemu
process occupying ::1 while the next search successfully
finds the same port available for IPv4's '*' address.

Instead, we now lookup the IP of the desired family for
'localhost'. Note that while we could simply be hardcoding
::1 or 127.0.0.1, with this code we are protocol agnostic.

migrate: aquire guest_migration_lock during migration

To block replication jobs.

do not allow destroy if there are replication jobs

remove 'replicate' configuration - we will store that in another file

improve error on '{full, linked} clone not available' error

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

print_cpu_device: remove unused variable

Fix #1384: add missing decrement to calculation of socket-id

For calculation of "current_core" the input variable id is decremented.
For calculation of "current_socket" this decrement was missing resulting
in a wrong value when "cores" is set to 1.

Signed-off-by: Tobias Böhm <tb@robhost.de>

migrate: pass ssh_info to storage_migrate

build: run tests on build

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

tests: fix broken snapshot create tests

by mocking de/activate vmstate volumes. these were broken by
3a8deb551f2c7648865437961b3593d11bf0591b, which introduced
activating/deactivating vmstate volumes for KRBD

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

tests: fix broken snapshot delete tests

these broke when the additional "snapshot-delete" lock was
introduced

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

tests: exit with -1 in case of failures

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

use ReuseAddr for vncproxy

to avoid "Socket already in use" errors, when quickly opening/closing
console sessions on the webinterface

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

Fix #1361: create disk: stricter parsing of storage:size

This fixes paths such as
/dev/disk/by-id/some-ID:0.5
being interpreted as a request to create a 0.5G-sized disk
in the storage named '/dev/disk/by-id/some-ID'.

move get_replicatable_volumes from QemuServer.pm to QemuConfig.pm

PVE::QemuServer::create_disks - run code inside eval

So that we can free allocated volumes ins something fails.

Thi bug was introduced with commit ae57f6b352242fed69da851f15f976095d290833

get_replicatable_volumes: replacemnet for PVE::ReplicationTools::get_syncable_guestdisks()

correctly scan for volumes inside snapshots.

This will also solve the cyclic package dependency propblem.

rename drive 'replica' property to 'replicate'

Revert "Integrate replica in the qemu migration."

This reverts commit 63d02c707429efcd509ddb14d3fd560cfcf4979e.

The commit changes the configuration before the VM is actually
migrated, so it is possible to have a wrong configuration when
migration fails for some reason. Also, I am quite unsure if
this automatic target change is really wanted. The patch also
contains wrong refereces to $self->{opts}->{node}.

Revert "migrate: cleanup replica volume skip condition"

This reverts commit 6e8044dcea4187d076f637b9e5d3e153d080087f.

use a single replicate property (format pve-replicate)

add description of read/writes statistics in vzdump output

since this statistics are note really described, sometimes users
miss that their slow backups are caused by slow reads

start vncproxy worker in the background

this allows it to use the vncproxy api call to use from pvesh,
because before we waited until the task finished to get the vncticket
which was too late

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 5.0-5

api: replica: safer config update

Configuration updates should only happen if and after their
change has successfully taken effect.

migrate: cleanup replica volume skip condition

whitespace fixup

Destroy all remote and local replication datasets when a VM will destroyed.

Integrate replica in the qemu migration.

Now it is possible to migrate a VM offline when replica is enabled.
It will reduce replication to an minimal amount.

Insert new properties in the Qemu config for the PVE Replica.

This patch will include all necessary properties for the replication.
Also will it enable and disable a replication job
when appointed flags are set or deleted.

add rerror for all drives

it was missing for scsi, and it's supported for all kind of drive

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 5.0-4

live storage migration : fix check of target storage availability

if we define a different target storeid for remote node,
and that storage is not available on source node

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 5.0-3

migrate: clarify comment

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

migrate: cleanup nbd source disks earlier

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

fix #1338: migrate: stop nbd before resuming

since Qemu 2.9, block device write access is limited to one
writer unless shared_rw is set to true. there is an
exception for live-migrating local disks via NBD as long as
the VM is suspended.

stop the NBD server before resuming the VM accordingly to
unbreak local disk live-migration.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

start: keep VM paused when migrating via unix socket

this (correctly!) errored out with Qemu 2.9 when live-migrating
local disks, because the NBD server blocks the VM from being
resumed. was probably missed when migrating via unix domains
was originally introduced..

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

turn off alarm timer after accepting a vnc connection

else we always get a failed task when the vnc connection is
running longer than $timeout

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 5.0-2

don't compare booleans

a) because perl isn't THAT bad of a language that you'd need
to do this and b) because JSON::XS version 2.90 "dropped"
this "feature"

update_vm: check whether opt is set before deleting

otherwise we get lots uninitialized warnings:

update VM 600: -delete unused7
Use of uninitialized value $data in split at /usr/share/perl5/PVE/JSONSchema.pm line 533.
Use of uninitialized value in concatenation (.) or string at /usr/share/perl5/PVE/API2/Qemu.pm line 1012.
Use of uninitialized value $volid in pattern match (m//) at /usr/share/perl5/PVE/QemuServer.pm line 1824.
Use of uninitialized value $volid in pattern match (m//) at /usr/share/perl5/PVE/Storage/Plugin.pm line 201.
Use of uninitialized value $volid in concatenation (.) or string at /usr/share/perl5/PVE/Storage/Plugin.pm line 205.

vs:

update VM 600: -delete unused7
cannot delete 'unused7' - not set in current configuration!

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 5.0-1

bump version to 4.0-110

Use backticks instead of single quotes in qm resize description

Single quoted text in asciidoc is rendered in man pages
with underlines, which makes the '+' symbol very similar to '+/-'

Backticks are rendered with monospace text in HTML, normal text
in man pages, and still readable in raw format.

defined() style cleanup

Check array existed before use.

This triggers if a qemu guest has a local unused disk.
The disk will migrate by offline disk migration, so it is not in the target_drives.

remove netcat6 dependency

By simply using a socket.

add Skylake to CPU Models

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

Improve error message when trying to shrink a volume, fix typo

fix bad scsihw default value check

This was checking for scsihw being set in both branches
whereas lsi is also the default. Added the missing 'not'.

Fixes a bug where a VM with a disk with a scsi index >= 7
refused to start due to an invalid scsi id.

Reported-by: Friedrich Ramberger <f.ramberger@proxmox.com>

fix dependency

bump version to 4.0-109

skiplock standard option was moved to pve-common

this now need libpve-common-perl >= 4.0-92

don't pull HA modules for doc-generation

buildsys: use fakeroot for dpkg-deb

buildsys: use gzip -n to disable timestamps

buildsys: set PVE_GENERATING_DOCS for completions

bump version to 4.0-108

buildsys: job-safe deb target

change TLS cipher suite to HIGH

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

fix #1260: convert moved template disk to base

this was already possible manually via "qm template", but
doing it automatically when moving a disk of a template
makes more sense.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 4.0-107

add dependencies for common packages

libpve-guest-common-perl
libpve-common-perl

bump version to 4.0-106

only use scsi-block with explicit opt-in

since it can cause I/O errors and data corruption in low
memory or highly fragmented memory situations since Qemu 2.7

use scsi-hd by default instead

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 4.0-105

use new PVE::Storage::check_volume_access()

Set zero $size and continue if volume_resize() returns false

Needed for some storages with backing block devices to do oonlinr resize.

Signed-off-by: Dmitry Petuhov <mityapetuhov@gmail.com>

bump version to 4.0-104

add setup_environment hook to CLIHandler classes

cleanup: drop superfluous condition in assignment

Its use later on already uses itself as condition.

add romfile option to hostpci

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add with-local-disks option for live storage migration

As Fabian as required,
add an extra flag "with-local-disks"  to enable live storage migration with localdisk.

default target storage is same sid than source, this can be overrided with
"targetstorage" option.

I will try improve this later, with optionnal mapping, disk by disk.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

cleanup: error messages

drive-mirror: bump timeout to 5s, add 30s inactivity timeout

drive-mirror: warn use POSIX::_exit on exec failure

cleanup: whitespaces & style

live clone_vm : suspend or freezefs before block-job-cancel

if qga is enabled, we try to freeze the fs before cancelling block job.
if not , we pause the vm.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add socat and unix socket for storage migration

This is a workaround for nbd infinite timeout connect

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add live storage migration with vm migration

This allow to migrate disks on local storage  to a remote node storage.

When the target node start, a new volumes are created and exposed through qemu embedded nbd server.

qemu drive-mirror is launch on source vm for each disk with nbd server as target.

when drive-mirror reach 100% of 1 disk, we don't complete the block jobs and begin mirror of next disk.
(mirroring are parralel, but we try to mirroring them 1 by 1 to avoid storage && network overload)

Then we live migrate the vm to destination node. (drive-mirror still occur at the same time).

We the vm is livemigrate (source vm paused, target vm pause), we complete the block jobs mirror.

When is done we stop the source vm and resume the target vm

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>