tests: allow running migration tests in parallel

It's not easily possible to use separate JSON files for the test configuration,
because part of it is generated with perl code. While this could be encoded too,
it seems cleaner to use the "run a single test by specifing the name"
functionality while adding a way for make to obtain a list of the test names.

Each test has (and needs) its own directory now, meaning the log files do not
need to be renamed anymore.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

bump version to 6.3-3

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix cloning/restoring of cloudinit disks in raw format

We only added the format extension when it was not 'raw'. But on file level
storages we always require it. To fix this, always add the format
extension if the storage provides the 'path' property.
This is the same logic we use in create_disks for cloudinit disks.

Signed-off-by: Mira Limbeck <m.limbeck@proxmox.com>

d/control: bump versioned dependency on libpve-guest-common-perl (>= 3.1-3)

for new move VM config helper

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

create test environment for migration

and the associated parts for 'qm start'.

Each test will first populate the MigrationTest/run directory
with the relevant configuration files and files keeping track of the
state of everything necessary. Second, the mock-script for migration
is executed, which in turn will execute the 'qm start' mock-script
(if it's an online test that gets far enough). The scripts will simulate
a migration and update the relevant files in the MigrationTest/run directory.
Finally, the main test script will evaluate the state.

The main checks are the volume IDs on the source and target and the VM
configuration itself. Additional checks are the vm_status and expected_calls,
keeping track if certain calls have been made.

The rationale behind creating two mock-scripts is two-fold:
1. It removes the need to hard code responses for the tunnel
   and to recycle logic for determining and allocating migration volumes.
   Some of that logic already happens in the API part, so it was necessary
   to mock the whole CLI-Handler.
2. It allows testing the code relevant for migration in 'qm start' as well,
   and it should even be possible to test different versions of the
   mock-scripts against each other. With a bit of extra work and things
   like 'git worktree', it might even be possible to automate this.

The helper get_patched config is useful to change pre-defined configuration
files on the fly, avoiding the new to explicitly define whole configurations to
test for something in many cases.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

migration: sort volumes migrated with storage_migrate

Having a deterministic order here is useful for testing.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

migration: factor out starting remote tunnel

so it can be mocked when testing.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

use new move_config_to_node method

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

clone_disk: fix offline clone of efidisk

by partially reverting 4df98f2f14348d0ed57529c4c04a1b5ffb840055 and fixing the
line-length issue differently. The commit didn't update two later usages of
$size, breaking copying the efidisk. The other usage as a parameter to
qemu_img_convert() is luckily only cosmetic, for progress output.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

api: adapt VM destroy description

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

qm destroy: Extend --purge description

Add replication jobs & HA. This makes the enumeration complete.

Signed-off-by: Dominic Jäger <d.jaeger@proxmox.com>

bump version to 6.3-2

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: bump versioned dependency for libpve-common-perl

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

use get_repository from PVE::PBSClient

this fixes the issue that we did not generate the correct repository
url for pbs storages that contained an ipv6 address or a port

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 6.3-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

qmeventd: flush after verbose printing

if one would try to use -v in a systemd service, systemd would disable
line buffering for stdout and no output would happen (until the buffer
is full)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

clone disk: avoid errors after disk was moved by QEMU

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api: cleanup code format of clone_disk call

showing off it's monstrosity of a method signature, needs to be
cleaned up in a followup commit

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add and use get_qga_key

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

status: skip query-proxmox-support if VM is offline

otherwise pvestatd will print lots of warnings..

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

print query-proxmox-support result in 'full' status

Extends print_recursive_hash for the CLI to handle JSON booleans so the
result will actually show up in 'qm status --verbose'.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

d/control: bump versioned dependency on pve-storage

for 'activate_volumes in storage_migrate', which we now rely on in
migration code

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

deactivate volumes after storage_migrate

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

adapt to new storage_migrate activation behavior

Offline migrated volumes are now activated within storage_migrate.
Online migrated volumes can be assumed to be already active.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

systemd scope: add CPUWeight for cgroupv2

replace cgroups_write by cgroup change_cpu_shares && change_cpu_quota

add PVE::QemuServer::Cgroup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 6.2-20

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

stop qmeventd after pve-guests and pve-ha-lrm services

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
Co-developed-by: Stefan Reiter <s.reiter@proxmox.com>

don't migrate replicated VM whose replication job is marked for removal

while it didn't actually fail, we probably want to avoid the behavior:

With remove_job=full:
    * run_replication called during migration causes the replicated volumes to
      be removed
    * migration continues by fully copying all volumes

With remove_job=local:
    * run_replication called during migration causes the job (and local
      replication snapshots) to be removed
    * migration continues by fully copying all volumes and renaming them to
      avoid collision with the still existing remote volumes

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

fix checks for transfering replication state/switching job target

In some cases $self->{replicated_volumes} will be auto-vivified
to {} by checks like
next if $self->{replicated_volumes}->{$volid}
and then {} would evaluate to true in a boolean context.

Now the replication information is retrieved once in prepare,
and used to decide whether to make the calls or not.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

Repeat check for replication target in locked section

No need to warn twice, so the warning from the outside check
was removed.

Suggested-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

bump version to 6.2-19

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix vm_resume and allow vm_start with QMP status 'shutdown'

When the VM is in status 'shutdown', i.e. after the guest issues a
powerdown while a backup is running, QEMU requires a 'system_reset' to
be issued before 'cont' can boot the guest again.

Additionally, when the VM has been powered down during a backup, the
logically correct call would be a 'vm_start', so automatically vm_resume
from vm_start in case this situation occurs. This also means the GUI can
cope with this almost unchanged.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

config_to_command: use -no-shutdown option

Ignore shutdowns triggered from within the guest in favor of detecting
them via qmeventd and stopping the QEMU process that way.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

vzdump: use dirty bitmap for not running VMs too

Now that VMs can be started during a backup, it makes sense to create a
dirty bitmap in these cases too, since the VM might be resumed and thus
continue running normally even after the backup is done.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

vzdump: connect to qmeventd for duration of backup

Connect and send the vmid of the VM being backed up. This prevents
qmeventd from SIGTERMing the underlying QEMU instance, even if the guest
shuts itself down, until we close the socket connection (in cleanup,
which happens on success and abort, or if we crash the file handle will
be closed as well).

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

qmeventd: add last-ditch effort SIGKILL cleanup

'alarm' is used to schedule an additionaly cleanup round 5 seconds after
sending SIGTERM via terminate_client. This then sends SIGKILL via a
pidfd (if supported by the kernel) or directly via kill, making sure
that the QEMU process is *really* dead and won't be left behind in an
undetermined state.

This shouldn't be an issue under normal circumstances, but can help
avoid dead processes lying around if QEMU hangs after SIGTERM.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

qmeventd: add handling for -no-shutdown QEMU instances

We take care of killing QEMU processes when a guest shuts down manually.
QEMU will not exit itself, if started with -no-shutdown, but it will
still emit a "SHUTDOWN" event, which we await and then send SIGTERM.

This additionally allows us to handle backups in such situations. A
vzdump instance will connect to our socket and identify itself as such
in the handshake, sending along a VMID which will be marked as backing
up until the file handle is closed.

When a SHUTDOWN event is received while the VM is backing up, we do not
kill the VM. And when the vzdump handle is closed, we check if the
guest has started up since, and only if it's determined to still be
turned off, we then finally kill QEMU.

We cannot wait for QEMU directly to finish the backup (i.e. with
query-backup), as that would kill the VM too fast for vzdump to send the
last 'query-backup' to mark the backup as successful and done.

For handling 'query-status' messages sent to QEMU, a state-machine-esque
protocol is implemented into the Client struct (ClientState). This is
necessary, since QMP works asynchronously, and results arrive on the
same channel as events and even the handshake.

For referencing QEMU Clients from vzdump messages, they are kept in a
hash table. This requires linking against glib.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

fix #3113: unbreak drive hotplug

by adding the missing argument (otherwise all the other ones are shifted
one slot to the left, which is of course bogus).

this has been broken since 2018 (d559309), but was only made
visible/caused a failure with the recent changes adding

use strict;
use warnings;

to PVE::QemuServer::PCI

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 6.2-18

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

partially fix #3056: try to cancel backup without uuid

if the 'backup' qmp call itself times out or fails, we still want to
try to cancel the backup, else it can happen that there is still
a backup running even when vzdump thinks it was canceled

qapi docs says that backup cancel always returns success, even
if no backup is running

since we hold a global and a per vm lock for the backup, this should be
ok, since we should not reach this code without that lock

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

migrate: enable dirty-bitmap migration

We query QEMU if it's safe before enabling it, as on versions without
the necessary patches it not only would be useless, but can actually
lead to hangs.

PBS state is always migrated, as it's a small amount of data anyway, so
we don't need to set a specific flag for it.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

bump version to 6.2-17

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bootorder: don't print empty 'order=' property

Specifying 'boot: order=' was intended to be used for an empty bootorder
(i.e. no boot devices), but as it turns out our format parser doesn't
like empty '-list' properties if they are nested in a subformat.

Fixing this in JSONSchema sounds like a risky move, so instead just
write 'boot: ' (without 'order=') to indicate an empty bootorder. The
rest of the code handles it just fine, as this was valid before too.

Incidentally also fixes a bug where you couldn't create a new VM without
any disks if no explicit 'boot' property was specified (i.e. a simple
'qm create 100' without any parameters would fail).

Reported-by: Dominic Jäger <d.jaeger@proxmox.com>
Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

bump version to 6.2-16

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tests: make module truthy

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tests: do not use for-loop for globs

they are rather inefficient for this

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cloudinit: use normal grep

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

comment out USB hotplug code

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix some FH close

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

PCI: use warnings/strict and fix setting $vga from config2command

fixes commit 74c17b7a23c8a953d1dcec9bd53449d71d88cd5d which moved
this code here, but forgot to pass $vga ref, as the module was not
using warning nor strict mode this was not caught..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tree wide cleanups

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api: factor out common vm_is_paused code in private helper

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api: fix conditional variable declaration

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

drop legacy __read_avail code

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix various conditionally declared vars

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tree wide cleanup of s/return undef/return/

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix clone_disk failing for nonexistent cloudinit disk

After migration or a rollback the cloudinit disk might not be allocated, so
volume_size_info() fails. As we override the value anyway for cloudinit
and efi disks simply move the volume_size_info() call into the 'else'
branch.

Signed-off-by: Mira Limbeck <m.limbeck@proxmox.com>

fix VM clone from snapshot with cloudinit disk

All volumes contained in $vollist are activated. In this case a snapshot
of the volume. For cloudinit disks no snapshots are created so don't add
it to the list of volumes to activate as it otherwise fails with no
logical volume found.

Signed-off-by: Mira Limbeck <m.limbeck@proxmox.com>

fix typos

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

cfg2cmd: add tests for new boot order property

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

api: add handling for new boot order format

The API is updated to handle the deprecation correctly, i.e. when
updating the 'order' attribute, the old 'legacy' (default_key) values
are removed (would now be ignored anyway).

When removing a device that is in the bootorder list, it will be removed
from the aforementioned. Note that non-existing devices in the list will
not cause an error - they will simply be ignored - but it's still nice
to not have them in there.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

fix #3010: add 'bootorder' parameter for better control of boot devices

(also fixes #3011)

Deprecates the old-style 'boot' and 'bootdisk' options by adding a new
'order=' subproperty to 'boot'.

This allows a user to specify more than one disk in the boot order,
helping with newer versions of SeaBIOS/OVMF where disks without a
bootindex won't be initialized at all (breaks soft-raid and some LVM
setups).

This also allows specifying a bootindex for USB and hostpci devices,
which was not possible before. Floppy boot support is not supported in
the new model, but I doubt that will be a problem (AFAICT we can't even
attach floppy disks to a VM?).

Default behaviour is intended to stay the same, i.e. while new VMs will
receive the new 'order' property, it will be set so the VM starts the
same as before (using get_default_bootorder).

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

add new 'boot' property format and introduce legacy conversion helpers

The format is unused in this commit, but will replace the current
string-based format of the 'boot' property. It is included since the
parameter of bootorder_from_legacy follows it.

Two helper methods are introduced:
* bootorder_from_legacy: Parses the legacy format into a hash closer to
    what the new format represents
* get_default_bootdevices: Encapsulates the legacy default behaviour if
    nothing is specified in the boot order

resolve_first_disk is simplified and gets a new $cdrom parameter to
control the behaviour of excluding CD-ROMs or instead searching for only
them.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

cfg2cmd: add test for legacy-style bootorder

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

fix indentation

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

bump version to 6.2-15

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

followup: s/verification/validation/ to avoid confusion

We use verification for something more in-depth on the PBS server, so
avoid that term to avoid misunderstandings.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

vzdump: log 'finishing' state

...and avoid printing 100% status twice

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

d/control: update

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/copyright: update

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

line length and formatting fixes

In accord to updated perl style guide
https://pve.proxmox.com/wiki/Perl_Style_Guide#Breaking_long_lines_and_strings

Mostly try to avoid >100 column lines and update some descriptions
from 80 to 100 column limit, improving readability.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tests: add cfg2cmd test for virtio-blk disk with iothread on

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix #2570: add 'keephugepages' config

We already keep hugepages if they are created with the kernel
commandline (hugepagesz=x hugepages=y), but some setups (specifically
hugepages across multiple NUMA nodes) cannot be configured that way.
Since we always clear these hugepages at VM shutdown, rebooting a VM
that uses them might not work, since the requested count might not be
available anymore by the time we want to use them (also, we would then
no longer allocate them correctly on the NUMA nodes).

Add a 'keephugepages' parameter to skip cleanup and simply leave them
untouched.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

bump version to 6.2-14

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

vzdump: do not log per disk dirty bitmap state for templates

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix #2862: properly backup (all) VM templates

until we maybe have a 'pbs-backup' that links Qemu and PBS like
'pbs-restore', we need to do a regular backup for the template case to
support all storage types and image formats.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

followup cleanup

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tests: cfg2cmd: check also warnings

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tests: cfg2cmd: get testname earlier

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

print_vga_device: check if bios is defined

Otherwise a warning is printed if the bios is not set in the config.

reported via community forum:
https://forum.proxmox.com/threads/warning-in-qemuserver.74683/

reproduced and tested that the patch fixes the issue.

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

vzdump: show "reused" message even if nothing was transferred

This still works even if all drives were clean. It then shows the very
magical line:

  INFO: backup was done incrementally, reused 34.00 GiB (100%)

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

vzdump: allow bandwidth limit for PBS backup too

QEMU handles it just as well as with VMA, so this was probably just
forgotten to implement for PBS.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

bump version to 6.2-13

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

vzdump: restore log behavior for VMs running with older QEMU

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

vdzump: padd percentagde done counter, format duration for humans

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

vzdump: output sparseness again

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

vzdump: log reused information also if we run only <1s

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

vzdump: followup: log total dirtiness again, minor output adaptions

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 6.2-12

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cfg2cmd: vga: fix #2749: disable edid for Win+BIOS+VGA machines

Edid support was added with Qemu 5. Windows guests seem to not be able
to get all possible resolutions if the default std VGA device is used as
GPU and the VM boots in BIOS mode. The result is that only one of the
following three resolutions can be configured:

800x600
1024x768
1920x1080

It is important to note that just booting a Windows VM with the edid=off
parameter will not make the large list of resolutions available. It
seems that Windows is caching the list of possible resolutions
somewhere [0].

Uninstalling the 'Microsoft Basic Display Adapter' in the device manager
and rebooting the VM is one way I found to force Windows to recreate the
list of possible resolutions.

Signed-off-by: Aaron Lauterer <a.lauterer@proxmox.com>
[0] https://lists.nongnu.org/archive/html/qemu-devel/2020-07/msg07128.html

vzdump: don't use dirty bitmap when VM was off

There can't be a dirty bitmap when the VM was off, and if it was off we
will also shut it down after the backup, so no point in creating one.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

vzdump: log 100% percent in case $target is 0

When $target is 0, that means we don't have to upload any data, in which
case we're immediately done.

Otherwise incremental backups with no changes display a really weird
  status: 0% (0.0 B of 0.0 B), duration 0, read: 0 B/s, write: 0 B/s
when they're actually done already.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

vzdump: display actually uploaded chunks as 'write' speed

Previously 'read' and 'write' would always show the same value, which is
of little use. Change it so 'write' excludes reused bytes, thus
displaying the actual upload speed.

$last_reused needs to be initialized to contain reused data from 'clean'
dirty bitmaps to ensure the first output line is correct.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

vzdump: improve logging output with dirty bitmaps

Uses the new 'query-pbs-bitmap-info' QMP call to retrieve additional
information about each drive's dirty bitmap. Returned info is also used
to calculate $target by simply adding all the dirty values (dirty is
equal to size in case the entire drive will be backed up).

"Backup is sparse" message is suppressed for PBS, since it makes little
sense (if zero chunks appear in the clean area of a bitmap, they won't
be counted, and a user is probably more interested in the 'reused' data
anyway).

Also removes the need for the hacky $first_round query-backup handling.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

validate_cpu_conf: return config

as parse_property_string expects it to.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>
Reviewed-by: Stefan Reiter <s.reiter@proxmox.com>

Add missing die statements

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

Add dot character to CPU commandline regular expression

to be able to parse CPU features like "+sse4.2" correctly.

Reported here: https://forum.proxmox.com/threads/zsf-snapshot-unable-to-parse-value-of-runningcpu-got-undefined-value.74094/

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

d/control: bump versioned dep on pve-storage

needed for PBS plugin methods that are called in backup/restore.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>