buildsys: use gzip -n to disable timestamps

buildsys: set PVE_GENERATING_DOCS for completions

bump version to 4.0-108

buildsys: job-safe deb target

change TLS cipher suite to HIGH

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

fix #1260: convert moved template disk to base

this was already possible manually via "qm template", but
doing it automatically when moving a disk of a template
makes more sense.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 4.0-107

add dependencies for common packages

libpve-guest-common-perl
libpve-common-perl

bump version to 4.0-106

only use scsi-block with explicit opt-in

since it can cause I/O errors and data corruption in low
memory or highly fragmented memory situations since Qemu 2.7

use scsi-hd by default instead

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 4.0-105

use new PVE::Storage::check_volume_access()

Set zero $size and continue if volume_resize() returns false

Needed for some storages with backing block devices to do oonlinr resize.

Signed-off-by: Dmitry Petuhov <mityapetuhov@gmail.com>

bump version to 4.0-104

add setup_environment hook to CLIHandler classes

cleanup: drop superfluous condition in assignment

Its use later on already uses itself as condition.

add romfile option to hostpci

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add with-local-disks option for live storage migration

As Fabian as required,
add an extra flag "with-local-disks"  to enable live storage migration with localdisk.

default target storage is same sid than source, this can be overrided with
"targetstorage" option.

I will try improve this later, with optionnal mapping, disk by disk.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

cleanup: error messages

drive-mirror: bump timeout to 5s, add 30s inactivity timeout

drive-mirror: warn use POSIX::_exit on exec failure

cleanup: whitespaces & style

live clone_vm : suspend or freezefs before block-job-cancel

if qga is enabled, we try to freeze the fs before cancelling block job.
if not , we pause the vm.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add socat and unix socket for storage migration

This is a workaround for nbd infinite timeout connect

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add live storage migration with vm migration

This allow to migrate disks on local storage  to a remote node storage.

When the target node start, a new volumes are created and exposed through qemu embedded nbd server.

qemu drive-mirror is launch on source vm for each disk with nbd server as target.

when drive-mirror reach 100% of 1 disk, we don't complete the block jobs and begin mirror of next disk.
(mirroring are parralel, but we try to mirroring them 1 by 1 to avoid storage && network overload)

Then we live migrate the vm to destination node. (drive-mirror still occur at the same time).

We the vm is livemigrate (source vm paused, target vm pause), we complete the block jobs mirror.

When is done we stop the source vm and resume the target vm

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add qm nbdstop

we use it to stop remote nbd server

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add targetstorage to vm_start

This will create a new drive for each local drive found,
and start the vm with this new drives.

if targetstorage == 1, we use same sid than original vm disk

a nbd server is started in qemu and expose local volumes to network port

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

clone live vm : add support for multiple jobs

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

qemu_drive_mirror : handle multiple jobs

we can use multiple drive_mirror in parralel.

block-job-complete can be skipped, if we want to add more mirror job later.

also add support for nbd uri to qemu_drive_mirror

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

qmpclient : block-job-(complete|cancel) : set timeout to 10min

like query-block-jobs.

qmp socket can be busy when block job are running

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 4.0-103

destroy_vm: allow vdisk_free to fail

otherwise we end up with undeletable VM configs in case
vdisk_free fails (which could happen because of cluster-wide
lock contention, storage problems, ..).

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

Display volume size in log when doing a volume backup

Output before this patch
INFO: include disk 'scsi0' 'file=pve4tank:vm-402-disk-1'

Output after this patch:
INFO: include disk 'scsi0' 'file=pve4tank:vm-402-disk-1' 64G

we're mainly intersted by the volume size here, it was requested in #351

bump version to 4.0-102

and remove useless RELEASE

avoid "No balloon device has been activated" warnings in vmstatus

bump version to 4.0-101

allow migration of local qcow2 snapshots

we can migrate local snapshots when on zfs or dir storage with qcow2,
but the check was incorrect

we checked for if (zfs && !qcow2) instead of  if (zfs || qcow2)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 4.0-100

allow insecure migrations from older qemu-servers

When trying to migrate a VM from a node with qemu server <= 4.0-92 to
a node with qemu server >= 4.0-93 we failed as the remote qemu-server
got no explicit migration_type' from the older qemu server on the
source.

Check if migration_type is defined on a incoming migration start, if
not set it.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 4.0-99

qm agent: remove 'guest-' prefix from commands

qm agent: pass command as second required argument

usage: qm agent <vmid> <command>

qm agent: add output formatter

qm agent: directly return result

This is required for correct error handling. The previous
code simply cought all exceptions.

qm agent: enumerate possible guest commands

cleanup: reorder code so that emacs font-lock-mode works again

This is just a work around for emacs bugs.

qm agent: add command line completion for vmid

bump version to 4.0-98

Add qm agent.

This command makes it possible to run commnads on the Qemu-Guest-Agent if it is installed and running.

increase timeout from guest-fsfreeze-freeze

The qmp command 'guest-fsfreeze-freeze' issues in linux a FIFREEZE
ioctl call on all mounted guest FS.
This ioctl call locks the filesystem and gets it into an consistent
state. For this all caches must be synced after blocking new writes
to the FS, which may need a relative long time, especially under high
IO load on the backing storage.

In windows a VSS (Volume Shadow Copy Service) request_freeze will
issued. As of the closed Windows nature the exact mechanisms cannot
be checked but some microsoft blog posts and other forum post suggest
that it should return fast but certain workloads can still trigger a
long delay resulting an similar problems.

Thus try to minimize the error probability and increase the timeout
significantly.
We use 60 minutes as timeout as this seems a limit which should not
get trespassed in a somewhat healthy system.

See:
https://forum.proxmox.com/threads/22192/

see the 'freeze_super' and 'thaw_super' function in fs/super.c from
the linux kernel tree for more details on the freeze behavior in
Linux guests.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 4.0-97

Add entry for windows 10 and 2016 support

All special flags for Windows 8 and Windows 2012 (win8 type)
are kept the same , since we set flags based on checking  if
/^win(\d+)$/ is greater than 6 or 7

bump version to 4.0-96

restrict monitor API to Sys.Modify for most commands

because these allow adding arbitrary devices to VMs (and
other potentially dangerous things).

whitelist 'info *' and 'help' as usable with just
VM.Monitor, if more are desired and requested they can be
added later.

bump version to 4.0-95

vm_shutdown: request 'stopped' state for HA enabled VMs

combine option 'format' with previous line (avoid emacs confusion)

use ha-manager 'stopped' state instead of 'disabled'

switch to 'ha-manager set'

ha-manager enabled/disabled will get removed

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

vmstate snapshot : activate|deactivate volume

This fix vmstate snasphot on krbd volume

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

qemu_volume_snapshot_delete : fix krbd snapshot delete

like for snapshot, we need to check if krbd is enabled, to known
if we need to use qmp delete-drive-snapshot or storage command directly

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

VZDump/QemuServer: set bless clas correctly

Signed-off-by: Stefan Priebe <s.priebe@profihost.ag>

qxlnum: use $winversion

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

hv_vendor_id : for winversion >= 6 , not >=7.

as It was previously.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

cleanup windows version handling and hyperv enlightments

This cleanup windows guest os version handling,
with normalizing ostype with numbers in a new windows_version sub.

if($ostype eq 'wxp' || $ostype eq 'w2k3' || $ostype eq 'w2k') {
      $winversion = 5;
} elsif($ostype eq 'w2k8' || $ostype eq 'wvista') {
      $winversion = 6;
} elsif ($ostype =~ m/^win(\d+)$/) {
      $winversion = $1;
}

so we can simply do test on windows version with lower or upper version

Hyperv enlightments configuration is centralized
in a new add_hyperv_enlighments sub.

Also disable hyperv with win < 8 + ovmf.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

remove format_description from $met_fmt->{model}

remove unnecessary format_description from cputype

register new standard option 'pve-qm-image-format'

bump version to 4.0-94

fix add_throttle_desc - pass correct units

bump version to 4.0-93

Close #1195: support iops/bps_max_length throttling options

fix a perl warning when failing to parse a new drive string

fix a warning: discard is not a number

allow dedicated migration network, bug #1177

Without this patch we use the network were the cluster traffic runs
for sending migration traffic. This is not ideal as it may hinder
cluster traffic. Further some users have a powerful network which
would be perfect for migrations, with this patch they can run the
migration traffic over such a network without having the corosync
traffic on the same network.

The network is configurable through /etc/pve/datacenter.cfg which
got a new property, namely migration. migration has two
subproperties: type (replaces the old migration_unsecure property)
and network.

For the case of a network failure or that a VM has to be moved over
another network for arbitrary other reasons I added the
migration_type and migration_network parameters to qm migrate (and
respectively vm_start as this gets used on migration).
They allow overwriting the datacenter.cfg settings.

Fixes bug #1177

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

change default value for cpuunits to 1024

Use the same default as containers.

bump version  to 4.0-92

Close #351: add more info to backup log

Before patch:
INFO: exclude disk 'scsi1' (backup=no)
INFO: skip unused drive 'local:401/vm-401-disk-3.raw' (not included into backup)
INFO: skip unused drive 'local:401/vm-401-disk-1.raw' (not included into backup)

After patch applied:
INFO: include disk 'scsi0' local:401/vm-401-disk-4.qcow2
INFO: exclude disk 'scsi1' local:401/vm-401-disk-2.raw (backup=no)
INFO: include disk 'scsi2' pve4tank:vm-401-disk-1
INFO: skip unused drive 'local:401/vm-401-disk-3.raw' (not included into backup)
INFO: skip unused drive 'local:401/vm-401-disk-1.raw' (not included into backup)

snapshot_list: add bash completion for vmid

add qm listsnapshot call

the api call is already there, just not used in qm.pm
copied mostly from pct.pm

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

Fix #1174: remove pve-qm-drive

Let 'cdrom' use the pve-qm-ide format, as it's supposed to
be an alias to ide2.
We're not using the 'alias' schema property since the qemu
configs still use a custom parser (due to the
pending-changes system and the filename-to-volume-id
conversion for legacy support) which does not deal with
schema aliases.

Fix typo

improve error messages

enable drive-mirror with iothread for qemu 2.7 v2

changelog : check running qemu binary version

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add get_running_qemu_version

return current running qemu process version

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

cpu hotplug : add new cpu hotplug method for qemu 2.7

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

cpu hotplug : add cpu hot-unplug support

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

cpu hotplug : add coldplugged cpu to qemu command line

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

cpu hotplug : add print_cpu_device

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

numaX : use cpus option multiple time if cpulist

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 4.0-91

fix #1131: activate volume before copying efidisk

before copying the efidisk image to a storage,
we first have to activate the volume

also, add the -n flag to qemu-img convert (prevents
creation of the target volume)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 4.0-90

fix #1111: qm showcmd wrong escape sequence

Avoid to parse empty property string.

Check if string exists before you try to parse it. Remove unnecessary
eval.

fix manual page, bump version to 4.0-89

bump version to 4.0-88

restore: better error handling for vdisk deletion

when restoring into an existing VM, we don't want to die
half-way through because we can't delete one of the existing
volumes. instead, warn about the deletion failure, but
continue anyway. the not deleted disk is then added as
unused automatically.

forbid migration of template with local base image

forbid restore into existing template