live migration: reduce sleep when remaining memory is low

Reduce sleep to 0.3s when remaining memory is lower than the average transfert in 1 iteration.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

cleanup: detete trailing whitespace

put target vm in singlestep mode and resume it only when config is moved

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

pve-bridge: use enviroment variable PVE_MIGRATED_FROM

We use environment variable to pass additional information the
the network script.

add migratedfrom param to start vm with conf file an another node

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

implement phase2_cleanup

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

move config file in phase3, when live migration is finished

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix bug #236: use correct shutdown timeout

bump version to 2.0-51

allow only 16 virtio devices

This is the same number we have in 1.9. In future, most users will uses virtio-scsi, so there is no real need to support more devices here.

print_pci_addr : check if $bridges is initialized

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add bridge hotplug

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix description for max number of devices

add pci-bridge support and bump MAX_NET and MAX_VIRTIO to 32 devices

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

implement 'qm rescan' to update disk sizes and unused disk info

removed outdated TODO file

I guess it is better to have no TODO, instead of a file with outdated information.

fix bug 242: re-add old monitor code

bump version to 2.0-48

fix for resize: final cleanups

fix for resize: only allow to resize one disk.

fix for resize: remove useless permission checks

fix for resize: avoid conflicting path

qm : add resize

qm resize <vmid> -ide1 +10(G|M|K)

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add qemu_block_resize

this call storage plugin resize first.
storage plugin will
  return undef if we don't need to call qmp block_resize
or
 return 1 if we need to call qmp block_resize

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

correctly use new disksize() method

add size hint to drive options

We now store the size when we create a drive. This is just a hint, but
good enough to display on the GUI. We can now avoid to query the storage in
vmstatus().

Avoid warnings about undefined values

bump version to 2.0-47

remove more unused subs

remove old subs no more used

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

implement virtio-scsi-pci controller

This add the new virtio-scsi controller support.
http://wiki.qemu.org/Features/VirtioSCSI

Guest need kernel >= 3.4 to support. Windows drivers are also available in last virtio-win

Advantages :

- true scsi controller.(like lsi but a lot faster, around 5% slower than virtio-blk)
- multiples disk by controller (256 for now)
- scsi passthrough
- discard support (great for ssd or thinp storages)
- bootable

Hotplug is not yet available in 1.1. (already available in git)

to define lsi or virtio-scsi-pci controller for scsi disk:

scsihw: lsi|virtio-scsi-pci

default is lsi if not defined.
A megasas controller is comming form qemu 1.2, so we'll able to simply add it in the list of scsi controllers

lsi0 and lsi1 controllers have been renamed to generic scsihw0 and scsihw1,
so we can use them for both lsi or virtio-scsi controller type. (and use same pci slot addr).

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bug fix: allow to set devices directly (-ide1 /dev/XYZ)

replace file_size_info by volume_size_info.

Currently we only find a volume size by using qemu-img info (in file_size_info).

This doesn't works with "virtual" storage like sheepdog,rbd,iscsidirect,nexenta.

This also doesn't work with classic iscsi direct plugin.

So, we need to define a method for each plugin.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

migrate: only scan available storages

implement qmp block_set_io_throttle on running vm config update

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fixes for qemu_block_set_io_throttle

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

code cleanup, bump version to 2.0-44

migrate: syncdisk : avoid scanning shared storage

Currently we get list from PVE::Storage (for unused volumes), from all storage.
If something goes wrong with the network on host and thenwe can't communicate with a network shared storage(sheepdog,rbd,..),
the vdisk_list die (timeout) and we cannot migrate the vm on another kvm host.(online or offline).

We don't need to scan shared storage, as they are no disk to sync.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

migrate: fix warning about uninitialized values

And display acurate byte values instead of KB

fix command timeout

new option for vmstatus to query $full informations from KVM using qmp

use qmp for everything - remove old monitor code

use qmp for vm_devices_list

implement vm_human_monitor_command using qmp

use new QMPClient code

add PVE::QMPClient.pm

This is experimental code, not used currently.

qmp_read_available : correctly handle end of response

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix whitespace errors

convert eject cdrom monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert migrate monitor commands to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert cont monitor command (in vm_start) to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert migrate_set_downtime monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert migrate_set_speed monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert system_powerdown and stop nocheck monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert system_reset monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert block_io_throttle monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert balloon monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert cont monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

convert stop monitor command to qmp

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add vm_mon_cmd and vm_mon_cmd_nocheck wrapper

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

vm_qmp_command : reworks of the sub

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

qmp_read_avail : reworks

qmp response could me more than 1 json.

we can have 1 json with event info, and 1 json with return infos.

We die if we receive an error message in response.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

check if volume exist on volume update.

for the moment we check only if the real path exist on the host.
This doesn't work for "virtual" device that host doesn't see.(like rbd, virtio-scsi,...).

This add a check if the volid exist in the storage.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix coding style

add basic qmp support

this add qmp socket to kvm process
and anew sub copied from vm_monitor_command:

vm_qmp_command ($vmid, $cmdstr, $nocheck)

$cmdstr could be a simple command to be executed, without argument

vm_qmp_command($vmid,"stop");

or a complex hash with arguments

$cmdstr->{execute}="eject";
$cmdstr->{arguments}->{device}="ide1-cd0";
vm_qmp_command($vmid,$cmdstr);

documentation about qmp commands is here
http://git.qemu.org/?p=qemu.git;a=blob;f=qmp-commands.hx;h=db980fa811325aeca8ad43472ba468702d4a25a2;hb=HEAD

Code must be polish a little more, but it's a start.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix pool permission checks on create

We do not need Permission.Modify on the pool.

die if vdisk_free fail on delete_drive

 replace the warn by a die.

 Currently, if we vdisk_free a disk and something goes wrong (network
 storage problem by example), the drive is removed from config and we
 cannot retry to remove it later.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix  cluster_lock_storage() call

set RELEASE to 2.1

avoid warning if vm does not belong to a pool

minor fixes for newer pve-storage versions

add diskio throttling option to drive

This add disk io limit to drive options.

I also add the qemu monitor command, but I din't have added yet to Qemu.pm

>From qemu mailing:

Some available features follow as below:
(1) global bps limit.
   -drive bps=xxx            in bytes/s
(2) only read bps limit
   -drive bps_rd=xxx         in bytes/s
(3) only write bps limit
   -drive bps_wr=xxx         in bytes/s
(4) global iops limit
   -drive iops=xxx           in ios/s
(5) only read iops limit
   -drive iops_rd=xxx        in ios/s
(6) only write iops limit
   -drive iops_wr=xxx        in ios/s
(7) the combination of some limits.
   -drive bps=xxx,iops=xxx

Known Limitations:
(1) #1 can not coexist with #2, #3
(2) #4 can not coexist with #5, #6
(3) When bps/iops limits are specified to a small value such as 511 bytes/s,
this VM will hang up. We are considering how to handle this senario.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

removed startall/stopall commands

Because we now support startup priorities, and start/stop order must include containers

new startup option to define startup order

fix bug #147: allow to set migrate_downtime to 0

increase package version to release directsync cache mode

add directsync cache mode

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix bug in storage availability check (migrate)

use '-no-kvm-pit-reinjection -no-hpet' for win7 and w2k8

fix bug #134: allow to pass file names to qmrestore and 'qm set'

fix bug #12: check storage availability early (migrate)

fix bug #121: activate volumes correctly

correctly pass hexadecimal numbers with prefix 0x to kvm

This is related to this change in kvm:

http://git.kernel.org/?p=virt/kvm/qemu-kvm.git;a=commitdiff;h=97aa6e9b8f9df37add21d86fac1a9ca6ce7df9b7

use new network setup code from PVE::Network (libpve-common-perl)

do not use clusvcadm if we start using 'starturi' parameter

avoid recursive calls to clusvcadm

skip ha managed VMs in startall

Instead thos VMs should be started by rgmanager.

fix bug #97: execute 'clusvcadm' commands for HA managed VMs

only wait 1 second to aquire lock on vm_create

Waiting is not necessary, and we want to avoid delays in the GUI.

corretcly use tag instead of vlan

renamme vlan option to tag

Signed-off-by: Derumier Alexandre <aderumier@odiso.com>

use Digest::SHA instead of Digest::SHA1

cleanup startall code

Only sleep when neccessary

make startall wait up to 10 seconds for quorum

add vlan for testing

Signed-off-by: Derumier Alexandre <aderumier@odiso.com>

use scsi inquiry to test if we can use the scsi-block driver

This is basically the same test as done inside the scsi-block driver. This also works for device-mapper multipath devices.

restrict name to DNS format 'dns-name'

fix bug 102: remove stale status file on stop

save description as comment

fix lvremove call: avoid 'Not a CODE reference' warning