split snapshot into separate methods.

We also start background tasks now. I also removed the 'digest'and 'force' parameters, because I think we do not need them here.

update config on snapshot commands

add save/load snapshot information, add basic snapshot handling stubs

add qemu_volume_snapshot_delete

We need to split the delvm monitor command, like savevm, to delete snapshot onlinefor each volume (qcow2,sheepdog,rbd)

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add qga_unfreezefs

empty for now, need to implement

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add qga_freezefs

empty for now, need to implement

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add qemu_snapshot_end

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add qemu_snapshot_start

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add qm snapshot command

qm snapshot <vmid> <action> <snapshotname> --vmstate --freezefs

action : create|rollback|delete

vmstate : save the vmstate

freezefs: freezefs with qemu-ga

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add qemu_volume_snapshot

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

set correct default for new 'agent' option

We do not enable that by default for now.

rename option 'qga' to 'agent'

add qemu guest agent support

this add chardev and virtio-serial devices for communication with guest agent.

vmconfig option :
qga: 1

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 2.0-55

migrate: disable xbzrle for now.

This is not stable, and sometimes cause endless migration (migration never stops).

bump version to 2.0-54

avoid warning about uninitialized value

migrate: tolerate query-migrate errors

use mbps instead of bps

The new parser automatically converts old bps to mbps.

cleanup: split out parse_size

allow to specify sata as boot disk

fix changelog

livemigrate : activate xbzrle cache

This help migrate for vm with of lot of memory access (like database)

live migration tests working:

kvm 1.2 -> kvm 1.2  (xbzrle set on both side)
kvm 1.1 -> kvm 1.2 (xbzrle on target)
kvm 1.1 -> kvm 1.1 (xbzrle not set, qmp command try to set xbzrle but fail)

failing migration

kvm 1.2 -> kvm 1.1 fail, but this is expected.

I tested with a memory benchmark running on the vm with 4GB ram

without xbzrle : migration take 10min, with many network hang
with xbzrle : migration take 1min, no hang

I display xbzrle counters for debug purpose, we can remove them later

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

use scsi-generic by default with libiscsi

This add scsi passthrough with libiscsi

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

scsihw: add megasas controller

It could be useful for windows7 and windows2008 , as they are no more classic lsi driver for these platform

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 2.0-53

fix bug 247: retry qmp open

set default qmp timout to 3 seconds

And allow to pass timeout paramater to vm_qmp_command().

remove qmp socket file on vm_stop_cleanup

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 2.1-52

we call vm_stop to target host,

to be sure that kvm process is killed (but it should kill itself),
and deactivate volumes

I slightly modified this patch (orig. from Alexandre) so that it apply cleanly.

live migration: reduce sleep when remaining memory is low

Reduce sleep to 0.3s when remaining memory is lower than the average transfert in 1 iteration.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

cleanup: detete trailing whitespace

put target vm in singlestep mode and resume it only when config is moved

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

pve-bridge: use enviroment variable PVE_MIGRATED_FROM

We use environment variable to pass additional information the
the network script.

add migratedfrom param to start vm with conf file an another node

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

implement phase2_cleanup

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

move config file in phase3, when live migration is finished

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix bug #236: use correct shutdown timeout

bump version to 2.0-51

allow only 16 virtio devices

This is the same number we have in 1.9. In future, most users will uses virtio-scsi, so there is no real need to support more devices here.

print_pci_addr : check if $bridges is initialized

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add bridge hotplug

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix description for max number of devices

add pci-bridge support and bump MAX_NET and MAX_VIRTIO to 32 devices

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

implement 'qm rescan' to update disk sizes and unused disk info

removed outdated TODO file

I guess it is better to have no TODO, instead of a file with outdated information.

fix bug 242: re-add old monitor code

bump version to 2.0-48

fix for resize: final cleanups

fix for resize: only allow to resize one disk.

fix for resize: remove useless permission checks

fix for resize: avoid conflicting path

qm : add resize

qm resize <vmid> -ide1 +10(G|M|K)

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add qemu_block_resize

this call storage plugin resize first.
storage plugin will
  return undef if we don't need to call qmp block_resize
or
 return 1 if we need to call qmp block_resize

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

correctly use new disksize() method

add size hint to drive options

We now store the size when we create a drive. This is just a hint, but
good enough to display on the GUI. We can now avoid to query the storage in
vmstatus().

Avoid warnings about undefined values

bump version to 2.0-47

remove more unused subs

remove old subs no more used

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

implement virtio-scsi-pci controller

This add the new virtio-scsi controller support.
http://wiki.qemu.org/Features/VirtioSCSI

Guest need kernel >= 3.4 to support. Windows drivers are also available in last virtio-win

Advantages :

- true scsi controller.(like lsi but a lot faster, around 5% slower than virtio-blk)
- multiples disk by controller (256 for now)
- scsi passthrough
- discard support (great for ssd or thinp storages)
- bootable

Hotplug is not yet available in 1.1. (already available in git)

to define lsi or virtio-scsi-pci controller for scsi disk:

scsihw: lsi|virtio-scsi-pci

default is lsi if not defined.
A megasas controller is comming form qemu 1.2, so we'll able to simply add it in the list of scsi controllers

lsi0 and lsi1 controllers have been renamed to generic scsihw0 and scsihw1,
so we can use them for both lsi or virtio-scsi controller type. (and use same pci slot addr).

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bug fix: allow to set devices directly (-ide1 /dev/XYZ)

replace file_size_info by volume_size_info.

Currently we only find a volume size by using qemu-img info (in file_size_info).

This doesn't works with "virtual" storage like sheepdog,rbd,iscsidirect,nexenta.

This also doesn't work with classic iscsi direct plugin.

So, we need to define a method for each plugin.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

migrate: only scan available storages

implement qmp block_set_io_throttle on running vm config update

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fixes for qemu_block_set_io_throttle

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

code cleanup, bump version to 2.0-44

migrate: syncdisk : avoid scanning shared storage

Currently we get list from PVE::Storage (for unused volumes), from all storage.
If something goes wrong with the network on host and thenwe can't communicate with a network shared storage(sheepdog,rbd,..),
the vdisk_list die (timeout) and we cannot migrate the vm on another kvm host.(online or offline).

We don't need to scan shared storage, as they are no disk to sync.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

migrate: fix warning about uninitialized values

And display acurate byte values instead of KB

fix command timeout

new option for vmstatus to query $full informations from KVM using qmp

use qmp for everything - remove old monitor code

use qmp for vm_devices_list

implement vm_human_monitor_command using qmp

use new QMPClient code

add PVE::QMPClient.pm

This is experimental code, not used currently.

qmp_read_available : correctly handle end of response

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix whitespace errors

convert eject cdrom monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert migrate monitor commands to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert cont monitor command (in vm_start) to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert migrate_set_downtime monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert migrate_set_speed monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert system_powerdown and stop nocheck monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert system_reset monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert block_io_throttle monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert balloon monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert cont monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert stop monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add vm_mon_cmd and vm_mon_cmd_nocheck wrapper

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

vm_qmp_command : reworks of the sub

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

qmp_read_avail : reworks

qmp response could me more than 1 json.

we can have 1 json with event info, and 1 json with return infos.

We die if we receive an error message in response.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

check if volume exist on volume update.

for the moment we check only if the real path exist on the host.
This doesn't work for "virtual" device that host doesn't see.(like rbd, virtio-scsi,...).

This add a check if the volid exist in the storage.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix coding style

add basic qmp support

this add qmp socket to kvm process
and anew sub copied from vm_monitor_command:

vm_qmp_command ($vmid, $cmdstr, $nocheck)

$cmdstr could be a simple command to be executed, without argument

vm_qmp_command($vmid,"stop");

or a complex hash with arguments

$cmdstr->{execute}="eject";
$cmdstr->{arguments}->{device}="ide1-cd0";
vm_qmp_command($vmid,$cmdstr);

documentation about qmp commands is here
http://git.qemu.org/?p=qemu.git;a=blob;f=qmp-commands.hx;h=db980fa811325aeca8ad43472ba468702d4a25a2;hb=HEAD

Code must be polish a little more, but it's a start.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix pool permission checks on create

We do not need Permission.Modify on the pool.

die if vdisk_free fail on delete_drive

 replace the warn by a die.

 Currently, if we vdisk_free a disk and something goes wrong (network
 storage problem by example), the drive is removed from config and we
 cannot retry to remove it later.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix  cluster_lock_storage() call

set RELEASE to 2.1