drive-mirror : wait that busy eq false before block-job-complete

When the drive-mirror is at 100%, and write occurs, the busy flag can change from false->true

- 100% no new writes

transferred: 1073741824 bytes remaining: 0 bytes total: 1073741824 bytes progression: 100.00 % busy: false
transferred: 1073741824 bytes remaining: 0 bytes total: 1073741824 bytes progression: 100.00 % busy: false
transferred: 1073741824 bytes remaining: 0 bytes total: 1073741824 bytes progression: 100.00 % busy: false

- 100% new writes

transferred: 1073741824 bytes remaining: 0 bytes total: 1073741824 bytes progression: 100.00 % busy: true
transferred: 1073741824 bytes remaining: 0 bytes total: 1073741824 bytes progression: 100.00 % busy: true
transferred: 1073741824 bytes remaining: 0 bytes total: 1073741824 bytes progression: 100.00 % busy: true

- 100% no new writes

transferred: 1073741824 bytes remaining: 0 bytes total: 1073741824 bytes progression: 100.00 % busy: false
transferred: 1073741824 bytes remaining: 0 bytes total: 1073741824 bytes progression: 100.00 % busy: false
transferred: 1073741824 bytes remaining: 0 bytes total: 1073741824 bytes progression: 100.00 % busy: false

So, we need to check that busy is false before doing the block-job-complete.

Also, we force the vm to pause, if it's busy for more than 120s when drive-mirror is at 100%

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

block-job-cancel : wait that jobs is really finished

block-job-cancel is async, we need to check that job is really finished

before try to free the volume

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.3-1

enable write zeroes optimisations

This enable write zeroes optimisation inside guest.

(I have tested them with qcow2,raw (ext4|xfs) , zfs|iscsi and nfs too.

No impact if the block driver don't support it yet (like rbd)

https://lists.nongnu.org/archive/html/qemu-devel/2014-04/msg00009.html

> a) mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdX
>
> QCOW2         [off]     [on]     [unmap]
> -----
> runtime:       14secs    1.1secs  1.1secs
> filesize:      937M      18M      18M
>
> iSCSI         [off]     [on]     [unmap]
> ----
> runtime:       9.3s      0.9s     0.9s
>
> b) dd if=/dev/zero of=/dev/vdX bs=1M oflag=direct
>
> QCOW2         [off]     [on]     [unmap]
> -----
> runtime:       246secs   18secs   18secs
> filesize:      51G       192K     192K
> throughput:    203M/s    2.3G/s   2.3G/s
>
> iSCSI*        [off]     [on]     [unmap]
> ----
> runtime:       8mins     45secs   33secs
> throughput:    106M/s    1.2G/s   1.6G/s
> allocated:     100%      100%     0%

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add iothread/dataplane support

new config option:

iothread: 1|0

This enable iothread/dataplane support, to improve io performance on fast storages

Currently block jobs don't work yet, it's planned for qemu 2.2.
So it's better to not expose yet this option in gui.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-35

fix bug #542: return VMID as integer

bump version to 3.1-34

vm_devices_list : also list block devices

This allow scsi disk to be plug|unplug

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

Currently,if we don't have a "machine" option in running config, and we take a vmstate snapshot

the machine option is write in the snapshot (ok), but also in the running config (bad)

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>
Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

allow hotplug of virtio-scsi disks

It was an old protection, it's working fine now

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-33

clone_vm: auto generate new uuid

bump version to 3.1-32

add Broadwell cpu model

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-31

generate spice devices cmd line after pci bridge

we should push to $devices array instead $cmd array,

because pci bridges need to be create before spice devices

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-30

bump max hostpci to 4

user need to passthough 3 devices here
http://forum.proxmox.com/threads/19134-KVM-passtrought-PciExpress-3-card

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

vga=none if x-vga passthrough is enabled

we need to disable virtual vga card if we passthrough a physical gpu

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-29

vm_stop: do not use ha commands if $migratedfrom is set

bump version to 3.1-28

disable kvm cpu signature if x-vga is enabled

see
http://git.qemu.org/?p=qemu.git;a=commit;h=f522d2acc549dd11f495048330aa5f3f424a7dfa

last nvdia drivers don't install in kvm machine if they detect kvm signature.

This patch hide kvm signature in cpuflags (but don't disable kvm)

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-27

Reset device only if has_fl_reset is defined

Signed-off-by: Kamil Trzciński <ayufan@ayufan.eu>

bump version to 3.1-26

snapshot_delete: reorder parent "connection" after prepare

Signed-off-by: Stefan Priebe <s.priebe@profihost.ag>

API2: remove require full parameter for snapshot cloning

Signed-off-by: Stefan Priebe <s.priebe@profihost.ag>

pass snapname to PVE::Storage::vdisk_clone

Signed-off-by: Stefan Priebe <s.priebe@profihost.ag>

bump version to 3.1-25

allow resize of virtio windows boot disk

virtio-win-0.1-74  have fixed the resize bug of virtio boot disk

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

auto generate uuid on VM create

Other VM environments also generates an UUID by default.

require 'VM.Config.HWType' priviledge to change new smbios1 option

bump version to 3.1-24

new option smbios1: specify SMBIOS type 1 fields (uuid, ...)

bump version to 3.1-23

vncproxy: remove check if VM is running

Because this does not work when VM is on other cluster node.

bump version to 3.1-22

add pci multifunction unbind support

we need to unbind each functions of a multifunction pci device

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add pci multifunction support

multifunction device should be define without the .function

hostpci0: 00:00

example
-------
if 00:00.0
   00:00.1
   00:00.2

exists,

then we generate the multifunction devices

-device (pci-assign|vfio-pci),host=00:00.0,id=hostpci0.0,bus=...,addr=0x0.0,multifunction=on
-device (pci-assign|vfio-pci),host=00:00.1,id=hostpci0.1,bus=...,addr=0x0.1
-device (pci-assign|vfio-pci),host=00:00.2,id=hostpci0.2,bus=...,addr=0x0.2

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add pcie and x-vga passthrough

hostpci0:  .....,x-vga=on,pcie=1

x-vga require kernel 3.10 with vfio-vga support enable
if x-vga=on, we force vfio-pci device

pcie=1 choose the pciexpress bus (need q35 machine model)

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

vncproxy: add check if VM is running

To provide better eror message for console task.

bump version to 3.1-21

protect websocket API with vncticket

fix a typo

bump version to 3.1-20

vncwebsocket: do not proxy connection

bump version to 3.1-19

do not use novnc wsproxy

Instead, we use new HTTPServer features.

added support for vfio-pci passthrough

Signed-off-by: Stefan Priebe <s.priebe@profihost.ag>

cleanup previous patch

enable q35 machine support

q35 use pcie.0 root by default. so currently we can't start machine model q35.

we need to add 3 pci-bridge pci.0, pci.1, pci.2, to handle our devices.

pcie.0 does not support hotplug. so pci-bridge are defined at startup.

I use an pve-q35.cfg (mostly the same than q35-chipset.cfg from qemu docs).

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-18

migration : add setup state

since qemu 1.5, they are a new migration state : "setup"

it's mainly use for rdma migration, but slow vm can it see and hang on migration

http://git.qemu.org/?p=qemu.git;a=commit;h=3b6959506831193f37cc830c8e111b437c0d1380

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

depend on novnc-pve

cleanup VNC websocket patch

Pass ticket via ENV{LC_PVE_TICKET} to vncproxy. Also remove 'unsecure' option, because
this is implied if we want a websocket connection.

API2/Qemu: add unsecure and websocket options to vncpoxy also set qemu vnc server properties on the fly

Signed-off-by: Stefan Priebe <s.priebe@profihost.ag>

add virtio-net multiqueue support

this a new option queue=(\d+) to net interface

Allow to use more than 1 cpu for network stream, so this can improve network bandwidth,
when vhost-net cpu is the bottleneck

http://www.linux-kvm.org/page/Multiqueue#Enable_MQ_feature

-netdev tap,vhost=on,queues=N -device virtio-net-pci,mq=on,vectors=2N+2

host requirement
----------------
this require host kernel >= 3.8 (or qemu die at start)

linux guest requirement
-----------------------
kernel >= 3.8

manual enabling multiqueue

windows guest requierement
--------------------------
recent virtio-net driver

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add option iscsi only once

We simply add option iscsi if we have an initiator name. So we
never add this option multiple times, and it works with hotplug
in case someone plugs an 'iscsi:' drive later.

cleanup previous commit - use IO::File

add initiator-name to iscsi drives if configured

Signed-off-by: Michael Rasmussen <mir@datanom.net>

print_net : add firewall option

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

do not ignore errors on tap_unplug

add pve-bridgedown script

This allow to delete fwbr bridge, link interfaces, cleanup ovs
when vm is shutdown

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add firewall option to qemu network interface

this allow to disable firewall for a specific interface

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-17

depend on pve-firewall, add firewall API for VMs

qmrestore: removed short timeout

set RELEASE to 3.2

add linefeed to warn message and add changelog for previous commit

move_disk : don't delete disk if used in a previous snasphot v2

and set it as unused

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-16

fix bug #502: allow creation of empty vma archives

disable cpu enforce flag

Enforce needs kernel 3.10, so we do not use it for now.

enforce cpu check

enable check if host support all cpu flags configured for the guests

this avoid some bad setup like Opteron vcpu on a intel host for example,
and avoid some bad live migrations

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add depend on libpve-access-control

fix changelog

QemuMigrate: print migration xbzrle if enabled (has xbzrlecachesize) for whatever reason (bug qemu, bug pve, ...)

Signed-off-by: Stefan Priebe <s.priebe@profihost.ag>

bump version to 3.1-15

remove unneeded parentheses

since qemu 1.7 xbzrle is AUTOMATICALLY enabled in the end of transfer - we need to explicit disable all feature we do not want

Signed-off-by: Stefan Priebe <s.priebe@profihost.ag>

add changelog for last commit

Adds the VM name to the title for the spice clent, making it easier to identify which in window lists etc.

Signed-off-by: Lindsay Mathieson <lindsay.mathieson@gmail.com>

bump version to 3.1-14

deactivate volume after clone

To avoid lvm LVs to be active on several nodes.

white space cleanups

add cpu_hotplug

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add maxcpus config

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

cleanup previous commit

migration : enable auto-converge capability v2

This reduce guest cpu speed if dirtied bytes is 50% more than the approx.amount of bytes that just got transferred since the last time we were in this routine.

qemu commit :
http://git.qemu.org/?p=qemu.git;a=commit;h=bde1e2ec2176c363c1783bf8887b6b1beb08dfee

tested with "stress -m 2 -c 2" under debian

without autoconvergence : downtime 12s - duration 12min
with autoconvergence : downtime 2s - duration 4min

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-13

add more options for pci passthrough

bump version to 3.1-12

code cleanup

Use new helper methods.

use new helper PVE::Tools::next_spice_port()

spiceproxy: use POST instead of GET

using GET is a security risk (no CSRF checks)

add changelog entry for last commit

qemuserver : iothrottle add support for throttling burst max

http://git.qemu.org/?p=qemu.git;a=commit;h=3e9fab690d59ac15956c3733fe0794ce1ae4c4af

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add 'lsi53c810' to the list of scsi controllers