API2/Qemu: add unsecure and websocket options to vncpoxy also set qemu vnc server properties on the fly

Signed-off-by: Stefan Priebe <s.priebe@profihost.ag>

add virtio-net multiqueue support

this a new option queue=(\d+) to net interface

Allow to use more than 1 cpu for network stream, so this can improve network bandwidth,
when vhost-net cpu is the bottleneck

http://www.linux-kvm.org/page/Multiqueue#Enable_MQ_feature

-netdev tap,vhost=on,queues=N -device virtio-net-pci,mq=on,vectors=2N+2

host requirement
----------------
this require host kernel >= 3.8 (or qemu die at start)

linux guest requirement
-----------------------
kernel >= 3.8

manual enabling multiqueue

windows guest requierement
--------------------------
recent virtio-net driver

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add option iscsi only once

We simply add option iscsi if we have an initiator name. So we
never add this option multiple times, and it works with hotplug
in case someone plugs an 'iscsi:' drive later.

cleanup previous commit - use IO::File

add initiator-name to iscsi drives if configured

Signed-off-by: Michael Rasmussen <mir@datanom.net>

print_net : add firewall option

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

do not ignore errors on tap_unplug

add pve-bridgedown script

This allow to delete fwbr bridge, link interfaces, cleanup ovs
when vm is shutdown

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add firewall option to qemu network interface

this allow to disable firewall for a specific interface

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-17

depend on pve-firewall, add firewall API for VMs

qmrestore: removed short timeout

set RELEASE to 3.2

add linefeed to warn message and add changelog for previous commit

move_disk : don't delete disk if used in a previous snasphot v2

and set it as unused

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-16

fix bug #502: allow creation of empty vma archives

disable cpu enforce flag

Enforce needs kernel 3.10, so we do not use it for now.

enforce cpu check

enable check if host support all cpu flags configured for the guests

this avoid some bad setup like Opteron vcpu on a intel host for example,
and avoid some bad live migrations

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add depend on libpve-access-control

fix changelog

QemuMigrate: print migration xbzrle if enabled (has xbzrlecachesize) for whatever reason (bug qemu, bug pve, ...)

Signed-off-by: Stefan Priebe <s.priebe@profihost.ag>

bump version to 3.1-15

remove unneeded parentheses

since qemu 1.7 xbzrle is AUTOMATICALLY enabled in the end of transfer - we need to explicit disable all feature we do not want

Signed-off-by: Stefan Priebe <s.priebe@profihost.ag>

add changelog for last commit

Adds the VM name to the title for the spice clent, making it easier to identify which in window lists etc.

Signed-off-by: Lindsay Mathieson <lindsay.mathieson@gmail.com>

bump version to 3.1-14

deactivate volume after clone

To avoid lvm LVs to be active on several nodes.

white space cleanups

add cpu_hotplug

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add maxcpus config

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

cleanup previous commit

migration : enable auto-converge capability v2

This reduce guest cpu speed if dirtied bytes is 50% more than the approx.amount of bytes that just got transferred since the last time we were in this routine.

qemu commit :
http://git.qemu.org/?p=qemu.git;a=commit;h=bde1e2ec2176c363c1783bf8887b6b1beb08dfee

tested with "stress -m 2 -c 2" under debian

without autoconvergence : downtime 12s - duration 12min
with autoconvergence : downtime 2s - duration 4min

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-13

add more options for pci passthrough

bump version to 3.1-12

code cleanup

Use new helper methods.

use new helper PVE::Tools::next_spice_port()

spiceproxy: use POST instead of GET

using GET is a security risk (no CSRF checks)

add changelog entry for last commit

qemuserver : iothrottle add support for throttling burst max

http://git.qemu.org/?p=qemu.git;a=commit;h=3e9fab690d59ac15956c3733fe0794ce1ae4c4af

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add 'lsi53c810' to the list of scsi controllers

add drive option 'discard'

add vmxnet3 to list of available network card models

add 'pvscsi' to the list of scsi controllers.

QEMU can now emulate the VMware PVSCSI device.

fix 'qm unlink' command syntax

It is not possible to use idlist as argument, because our getoption parser
can't handle that. So we simply pass idlist as option, for example

 # qm unlink 100 --idlist 'ide2,ide3'

depend on pve-qemu-kvm >= 1.7-1

qemu-img : qemu 1.7 use -n for skip volume create

http://git.qemu.org/?p=qemu.git;a=commit;h=b2e10493c71160d88bb823cae9a92e806a79b9d6

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-10

add +lahf_lm flag to kvm64 cpudef

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

allow to migrate VMs using SPICE usb redirection

include sendkey in directory index

bump version to 3.1-9

deactivate volumes after clone to other node

bump version to 3.1-8

correcctly check if option is a drive

bump version to 3.1-7

cleanup spice code

add multi-monitors spice support

add qxl2 (2monitors),qxl3 (3monitors),qxl4 (4monitors) vga type.

For linux, we only need 1 qxl card with more memory

For windows, we need 1 qxl card by monitor

Original Information from spice-mailing
"
You need to specify multiple devices for Windows VMs. This is what
libvirt gives me (via 'virsh domxml-to-native qemu argv DOMAIN_XML'):
<...> -vga qxl -global qxl-vga.ram_size=67108864 -global qxl-vga.vram_size=33554432 -device qxl,id=video1,ram_size=67108864,vram_size=33554432 -device qxl,id=video2,ram_size=67108864,vram_size=33554432 -device qxl,id=video3,ram_size=67108864,vram_size=33554432

For Linux VM, just one qxl device is OK but then it's advisable to
increase the available RAM:
<...> -vga qxl -global qxl-vga.ram_size=134217728 -global qxl-vga.vram_size=33554432

If you don't turn off surfaces, then you should increase vram size to
say 64 MB from current default of 32 MB.
"

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

use warnings instead of global -w flag

bump version to 3.1-6

use new PVE::Storage::abs_filesystem_path()

The check_volume_access() method does no longer return a path.

bump version to 3.1-5

add opensolaris ostype and disable x2apic

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-4

qemu migrate : only wait for spice server online + eval

Currently offline migration fail ,because we are trying to check with qmp the spiceserver status.
This should be done online only.

I also add eval, to avoid migration lock if qmp query fail.

Fix :http://forum.proxmox.com/threads/16093-VM-is-locked-after-offline-migration?p=82852

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.1-3

speedup restore on glusterfs (do not write zero bytes)

add reference to git version

bump version to 3.1-2

whitespace cleanups

Allow VMAdmin to delete disk with Datastore.AllocateSpace permissions

Previosly, a VMAdmin/DatastoreUser was able to add/create new disks, but
unable to remove them.

vncproxy API: avoid warning about uninitialize value

fix typo - s/parallel/parport/

use tty chardev for usb-to-parallel

bump version to 3.1-1

allow to use usb parallel ports

avoid another compile warning

bump version to 3.0-30

fix migration port (wrong quote)

fix warning about uninitialized value

bump version to 3.0-29

load config from correct node

bump version to 3.0-28

add ability to run without graphic card ('vga: serial[n]')

improve API docu

implement 'qm terminal' to open terminal via serial device

allow to use a socket for serial devices

bump version to 3.0-27

qemu-server: add support for unsecure migration (setting in datacenter.cfg)

This patch adds support for unsecure migration using a direct tcp connection
KVM <=> KVM instead of an extra SSH tunnel. Without ssh the limit is just the
bandwith and no longer the CPU / one single core.

You can enable this by adding:
migration_unsecure: 1
to datacenter.cfg

Examples using qemu 1.4 as migration with qemu 1.3 still does not work for me:

current default with SSH Tunnel VM uses 2GB mem:
Dec 27 21:10:32 starting migration of VM 105 to node 'cloud1-1202' (10.255.0.20)
Dec 27 21:10:32 copying disk images
Dec 27 21:10:32 starting VM 105 on remote node 'cloud1-1202'
Dec 27 21:10:35 starting ssh migration tunnel
Dec 27 21:10:36 starting online/live migration on localhost:60000
Dec 27 21:10:36 migrate_set_speed: 8589934592
Dec 27 21:10:36 migrate_set_downtime: 1
Dec 27 21:10:38 migration status: active (transferred 152481002, remaining 1938546688), total 2156396544) , expected downtime 0
Dec 27 21:10:40 migration status: active (transferred 279836995, remaining 1811140608), total 2156396544) , expected downtime 0
Dec 27 21:10:42 migration status: active (transferred 421265271, remaining 1669840896), total 2156396544) , expected downtime 0
Dec 27 21:10:44 migration status: active (transferred 570987974, remaining 1520152576), total 2156396544) , expected downtime 0
Dec 27 21:10:46 migration status: active (transferred 721469404, remaining 1369939968), total 2156396544) , expected downtime 0
Dec 27 21:10:48 migration status: active (transferred 875595258, remaining 1216057344), total 2156396544) , expected downtime 0
Dec 27 21:10:50 migration status: active (transferred 1034654822, remaining 1056931840), total 2156396544) , expected downtime 0
Dec 27 21:10:54 migration status: active (transferred 1176288424, remaining 915369984), total 2156396544) , expected downtime 0
Dec 27 21:10:56 migration status: active (transferred 1339734759, remaining 752050176), total 2156396544) , expected downtime 0
Dec 27 21:10:58 migration status: active (transferred 1503743261, remaining 588206080), total 2156396544) , expected downtime 0
Dec 27 21:11:02 migration status: active (transferred 1645097827, remaining 446906368), total 2156396544) , expected downtime 0
Dec 27 21:11:04 migration status: active (transferred 1810562934, remaining 281751552), total 2156396544) , expected downtime 0
Dec 27 21:11:06 migration status: active (transferred 1964377505, remaining 126033920), total 2156396544) , expected downtime 0
Dec 27 21:11:08 migration status: active (transferred 2077930417, remaining 0), total 2156396544) , expected downtime 0
Dec 27 21:11:09 migration speed: 62.06 MB/s - downtime 37 ms
Dec 27 21:11:09 migration status: completed
Dec 27 21:11:13 migration finished successfuly (duration 00:00:41)
TASK OK

with unsecure migration without SSH Tunnel:
Dec 27 22:43:14 starting migration of VM 105 to node 'cloud1-1203' (10.255.0.22)
Dec 27 22:43:14 copying disk images
Dec 27 22:43:14 starting VM 105 on remote node 'cloud1-1203'
Dec 27 22:43:17 starting online/live migration on 10.255.0.22:60000
Dec 27 22:43:17 migrate_set_speed: 8589934592
Dec 27 22:43:17 migrate_set_downtime: 1
Dec 27 22:43:19 migration speed: 1024.00 MB/s - downtime 1100 ms
Dec 27 22:43:19 migration status: completed
Dec 27 22:43:22 migration finished successfuly (duration 00:00:09)
TASK OK

use STDIN to pass spice ticket

new vga_conf_has_spice() helper

code cleanups

return spice_port from config_to_command()

That way we do not need to run qmp command to get the port.
Set spice ticket expire time to 30 (5 seconds seems a bit too short).
Coding style cleanups.

add spice migration

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

add read_x509_subject_spice

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 3.0-26

remove spice cert paths

And depend on pve-qemu-kvm (>= 1.4-16), which automatically uses the correct
certs by default.

disable tablet for spice

bump version to 3.0-25