]> git.proxmox.com Git - qemu-server.git/blobdiff - PVE/QemuServer.pm
qemu_machine_pxe : return $machine if no pxe
[qemu-server.git] / PVE / QemuServer.pm
index 84fc71262c780e9fa47880119adc703da2563d6b..c19943707af4fa3b83a6ae1cfd79c3fb421294e7 100644 (file)
@@ -30,6 +30,7 @@ use PVE::ProcFSTools;
 use PVE::QMPClient;
 use PVE::RPCEnvironment;
 use Time::HiRes qw(gettimeofday);
+use File::Copy qw(copy);
 
 my $qemu_snap_storage = {rbd => 1, sheepdog => 1};
 
@@ -89,6 +90,22 @@ mkdir $lock_dir;
 
 my $pcisysfs = "/sys/bus/pci";
 
+my $cpudesc = {
+    cputype => {
+       description => "Emulated CPU type.",
+       type => 'string',
+       enum => [ qw(486 athlon pentium pentium2 pentium3 coreduo core2duo kvm32 kvm64 qemu32 qemu64 phenom Conroe Penryn Nehalem Westmere SandyBridge IvyBridge Haswell Haswell-noTSX Broadwell Broadwell-noTSX Opteron_G1 Opteron_G2 Opteron_G3 Opteron_G4 Opteron_G5 host) ],
+       default => 'kvm64',
+       default_key => 1,
+    },
+    hidden => {
+       description => "Do not identify as a KVM virtual machine.",
+       type => 'boolean',
+       optional => 1,
+       default => 0
+    },
+};
+
 my $confdesc = {
     onboot => {
        optional => 1,
@@ -352,8 +369,7 @@ EODESCR
        optional => 1,
        description => "Emulated CPU type.",
        type => 'string',
-       enum => [ qw(486 athlon pentium pentium2 pentium3 coreduo core2duo kvm32 kvm64 qemu32 qemu64 phenom Conroe Penryn Nehalem Westmere SandyBridge IvyBridge Haswell Broadwell Opteron_G1 Opteron_G2 Opteron_G3 Opteron_G4 Opteron_G5 host) ],
-       default => 'kvm64',
+       format => $cpudesc,
     },
     parent => get_standard_option('pve-snapshot-name', {
        optional => 1,
@@ -373,17 +389,29 @@ EODESCR
     machine => {
        description => "Specific the Qemu machine type.",
        type => 'string',
-       pattern => '(pc|pc(-i440fx)?-\d+\.\d+|q35|pc-q35-\d+\.\d+)',
+       pattern => '(pc|pc(-i440fx)?-\d+\.\d+(\.pxe)?|q35|pc-q35-\d+\.\d+(\.pxe)?)',
        maxLength => 40,
        optional => 1,
     },
     smbios1 => {
        description => "Specify SMBIOS type 1 fields.",
        type => 'string', format => 'pve-qm-smbios1',
-       typetext => "[manufacturer=str][,product=str][,version=str][,serial=str] [,uuid=uuid][,sku=str][,family=str]",
        maxLength => 256,
        optional => 1,
     },
+    protection => {
+       optional => 1,
+       type => 'boolean',
+       description => "Sets the protection flag of the VM. This will prevent the remove operation.",
+       default => 0,
+    },
+    bios => {
+       optional => 1,
+       type => 'string',
+       enum => [ qw(seabios ovmf) ],
+       description => "Select BIOS implementation.",
+       default => 'seabios',
+    },
 };
 
 # what about other qemu settings ?
@@ -441,7 +469,7 @@ my $nic_model_list_txt = join(' ', sort @$nic_model_list);
 my $netdesc = {
     optional => 1,
     type => 'string', format => 'pve-qm-net',
-    typetext => "MODEL=XX:XX:XX:XX:XX:XX [,bridge=<dev>][,queues=<nbqueues>][,rate=<mbps>] [,tag=<vlanid>][,firewall=0|1],link_down=0|1]",
+    typetext => "MODEL=XX:XX:XX:XX:XX:XX [,bridge=<dev>][,queues=<nbqueues>][,rate=<mbps>] [,tag=<vlanid>][,trunks=<vlanid[;vlanid]>][,firewall=0|1],link_down=0|1]",
     description => <<EODESCR,
 Specify network devices.
 
@@ -472,48 +500,258 @@ for (my $i = 0; $i < $MAX_NETS; $i++)  {
 
 my $drivename_hash;
 
+my %drivedesc_base = (
+    volume => { alias => 'file' },
+    file => {
+       type => 'pve-volume-id',
+       default_key => 1,
+       format_description => 'volume',
+       description => "The drive's backing volume.",
+    },
+    media => {
+       type => 'string',
+       format_description => 'cdrom|disk',
+       enum => [qw(cdrom disk)],
+       description => "The drive's media type.",
+       default => 'disk',
+       optional => 1
+    },
+    cyls => {
+       type => 'integer',
+       format_description => 'count',
+       description => "Force the drive's physical geometry to have a specific cylinder count.",
+       optional => 1
+    },
+    heads => {
+       type => 'integer',
+       format_description => 'count',
+       description => "Force the drive's physical geometry to have a specific head count.",
+       optional => 1
+    },
+    secs => {
+       type => 'integer',
+       format_description => 'count',
+       description => "Force the drive's physical geometry to have a specific sector count.",
+       optional => 1
+    },
+    trans => {
+       type => 'string',
+       format_description => 'none|lba|auto',
+       enum => [qw(none lba auto)],
+       description => "Force disk geometry bios translation mode.",
+       optional => 1,
+    },
+    snapshot => {
+       type => 'boolean',
+       format_description => 'on|off',
+       description => "Whether the drive should be included when making snapshots.",
+       optional => 1,
+    },
+    cache => {
+       type => 'string',
+       format_description => 'none|writethrough|writeback|unsafe|directsync',
+       enum => [qw(none writethrough writeback unsafe directsync)],
+       description => "The drive's cache mode",
+       optional => 1,
+    },
+    format => {
+       type => 'string',
+       format_description => 'drive format',
+       enum => [qw(raw cow qcow qed qcow2 vmdk cloop)],
+       description => "The drive's backing file's data format.",
+       optional => 1,
+    },
+    size => {
+       type => 'string',
+       format => 'disk-size',
+       description => "Disk size. This is purely informational and has no effect.",
+       optional => 1,
+    },
+    backup => {
+       type => 'boolean',
+       format_description => 'on|off',
+       description => "Whether the drive should be included when making backups.",
+       optional => 1,
+    },
+    werror => {
+       type => 'string',
+       format_description => 'enospc|ignore|report|stop',
+       enum => [qw(enospc ignore report stop)],
+       description => 'Write error action.',
+       optional => 1,
+    },
+    aio => {
+       type => 'string',
+       format_description => 'native|threads',
+       enum => [qw(native threads)],
+       description => 'AIO type to use.',
+       optional => 1,
+    },
+    discard => {
+       type => 'string',
+       format_description => 'ignore|on',
+       enum => [qw(ignore on)],
+       description => 'Controls whether to pass discard/trim requests to the underlying storage.',
+       optional => 1,
+    },
+    detect_zeroes => {
+       type => 'boolean',
+       description => 'Controls whether to detect and try to optimize writes of zeroes.',
+       optional => 1,
+    },
+    serial => {
+       type => 'string',
+       format_description => 'serial',
+       description => "The drive's reported serial number.",
+       optional => 1,
+    }
+);
+
+my %rerror_fmt = (
+    rerror => {
+       type => 'string',
+       format_description => 'ignore|report|stop',
+       enum => [qw(ignore report stop)],
+       description => 'Read error action.',
+       optional => 1,
+    },
+);
+
+my %iothread_fmt = ( iothread => {
+       type => 'boolean',
+       format_description => 'off|on',
+       description => "Whether to use iothreads for this drive",
+       optional => 1,
+});
+
+my %model_fmt = (
+    model => {
+       type => 'string',
+       format_description => 'model',
+       description => "The drive's reported model name.",
+       optional => 1,
+    },
+);
+
+my %queues_fmt = (
+    queues => {
+       type => 'integer',
+       format_description => 'nbqueues',
+       description => "Number of queues.",
+       minimum => 2,
+       optional => 1
+    }
+);
+
+my $add_throttle_desc = sub {
+    my ($key, $type, $what, $size, $longsize) = @_;
+    $drivedesc_base{$key} = {
+       type => $type,
+       format_description => $size,
+       description => "Maximum $what speed in $longsize per second.",
+       optional => 1,
+    };
+};
+# throughput: (leaky bucket)
+$add_throttle_desc->('bps',     'integer', 'r/w speed',   'bps',  'bytes');
+$add_throttle_desc->('bps_rd',  'integer', 'read speed',  'bps',  'bytes');
+$add_throttle_desc->('bps_wr',  'integer', 'write speed', 'bps',  'bytes');
+$add_throttle_desc->('mbps',    'float',   'r/w speed',   'mbps', 'megabytes');
+$add_throttle_desc->('mbps_rd', 'float',   'read speed',  'mbps', 'megabytes');
+$add_throttle_desc->('mbps_wr', 'float',   'write speed', 'mbps', 'megabytes');
+$add_throttle_desc->('iops',    'integer', 'r/w I/O',     'iops', 'operations');
+$add_throttle_desc->('iops_rd', 'integer', 'read I/O',    'iops', 'operations');
+$add_throttle_desc->('iops_wr', 'integer', 'write I/O',   'iops', 'operations');
+
+# pools: (pool of IO before throttling starts taking effect)
+$add_throttle_desc->('mbps_max',    'float',   'unthrottled r/w pool',       'mbps', 'megabytes');
+$add_throttle_desc->('mbps_rd_max', 'float',   'unthrottled read pool',      'mbps', 'megabytes');
+$add_throttle_desc->('mbps_wr_max', 'float',   'unthrottled write pool',     'mbps', 'megabytes');
+$add_throttle_desc->('iops_max',    'integer', 'unthrottled r/w I/O pool',   'iops', 'operations');
+$add_throttle_desc->('iops_rd_max', 'integer', 'unthrottled read I/O pool',  'iops', 'operations');
+$add_throttle_desc->('iops_wr_max', 'integer', 'unthrottled write I/O pool', 'iops', 'operations');
+
+my $ide_fmt = {
+    %drivedesc_base,
+    %rerror_fmt,
+    %model_fmt,
+};
+
 my $idedesc = {
     optional => 1,
-    type => 'string', format => 'pve-qm-drive',
-    typetext => '[volume=]volume,] [,media=cdrom|disk] [,cyls=c,heads=h,secs=s[,trans=t]] [,snapshot=on|off] [,cache=none|writethrough|writeback|unsafe|directsync] [,format=f] [,backup=yes|no] [,rerror=ignore|report|stop] [,werror=enospc|ignore|report|stop] [,aio=native|threads] [,discard=ignore|on]',
+    type => 'string', format => $ide_fmt,
     description => "Use volume as IDE hard disk or CD-ROM (n is 0 to " .($MAX_IDE_DISKS -1) . ").",
 };
 PVE::JSONSchema::register_standard_option("pve-qm-ide", $idedesc);
 
+my $scsi_fmt = {
+    %drivedesc_base,
+    %iothread_fmt,
+    %queues_fmt,
+};
 my $scsidesc = {
     optional => 1,
-    type => 'string', format => 'pve-qm-drive',
-    typetext => '[volume=]volume,] [,media=cdrom|disk] [,cyls=c,heads=h,secs=s[,trans=t]] [,snapshot=on|off] [,cache=none|writethrough|writeback|unsafe|directsync] [,format=f] [,backup=yes|no] [,rerror=ignore|report|stop] [,werror=enospc|ignore|report|stop] [,aio=native|threads] [,discard=ignore|on] [,iothread=on] [,queues=<nbqueues>]',
+    type => 'string', format => $scsi_fmt,
     description => "Use volume as SCSI hard disk or CD-ROM (n is 0 to " . ($MAX_SCSI_DISKS - 1) . ").",
 };
 PVE::JSONSchema::register_standard_option("pve-qm-scsi", $scsidesc);
 
+my $sata_fmt = {
+    %drivedesc_base,
+    %rerror_fmt,
+};
 my $satadesc = {
     optional => 1,
-    type => 'string', format => 'pve-qm-drive',
-    typetext => '[volume=]volume,] [,media=cdrom|disk] [,cyls=c,heads=h,secs=s[,trans=t]] [,snapshot=on|off] [,cache=none|writethrough|writeback|unsafe|directsync] [,format=f] [,backup=yes|no] [,rerror=ignore|report|stop] [,werror=enospc|ignore|report|stop] [,aio=native|threads]  [,discard=ignore|on]',
+    type => 'string', format => $sata_fmt,
     description => "Use volume as SATA hard disk or CD-ROM (n is 0 to " . ($MAX_SATA_DISKS - 1). ").",
 };
 PVE::JSONSchema::register_standard_option("pve-qm-sata", $satadesc);
 
+my $virtio_fmt = {
+    %drivedesc_base,
+    %iothread_fmt,
+    %rerror_fmt,
+};
 my $virtiodesc = {
     optional => 1,
-    type => 'string', format => 'pve-qm-drive',
-    typetext => '[volume=]volume,] [,media=cdrom|disk] [,cyls=c,heads=h,secs=s[,trans=t]] [,snapshot=on|off] [,cache=none|writethrough|writeback|unsafe|directsync] [,format=f] [,backup=yes|no] [,rerror=ignore|report|stop] [,werror=enospc|ignore|report|stop] [,aio=native|threads]  [,discard=ignore|on] [,iothread=on]',
+    type => 'string', format => $virtio_fmt,
     description => "Use volume as VIRTIO hard disk (n is 0 to " . ($MAX_VIRTIO_DISKS - 1) . ").",
 };
 PVE::JSONSchema::register_standard_option("pve-qm-virtio", $virtiodesc);
 
+my $alldrive_fmt = {
+    %drivedesc_base,
+    %rerror_fmt,
+    %iothread_fmt,
+    %model_fmt,
+    %queues_fmt,
+};
+
+my $usbformat = {
+    host => {
+       default_key => 1,
+       type => 'string', format => 'pve-qm-usb-device',
+       format_description => 'HOSTUSBDEVICE|spice',
+       description => 'The Host USB device or port or the value spice',
+    },
+    usb3 => {
+       optional => 1,
+       type => 'boolean',
+       format_description => 'yes|no',
+       description => 'Specifies whether if given host option is a USB3 device or port',
+    },
+};
+
 my $usbdesc = {
     optional => 1,
-    type => 'string', format => 'pve-qm-usb-device',
-    typetext => 'host=HOSTUSBDEVICE|spice',
+    type => 'string', format => $usbformat,
     description => <<EODESCR,
 Configure an USB device (n is 0 to 4). This can be used to
 pass-through usb devices to the guest. HOSTUSBDEVICE syntax is:
 
 'bus-port(.port)*' (decimal numbers) or
-'vendor_id:product_id' (hexadeciaml numbers)
+'vendor_id:product_id' (hexadeciaml numbers) or
+'spice'
 
 You can use the 'lsusb -t' command to list existing usb devices.
 
@@ -521,6 +759,8 @@ Note: This option allows direct access to host hardware. So it is no longer poss
 
 The value 'spice' can be used to add a usb redirection devices for spice.
 
+The 'usb3' option determines whether the device is a USB3 device or not (this does currently not work reliably with spice redirection and is then ignored).
+
 EODESCR
 };
 PVE::JSONSchema::register_standard_option("pve-qm-usb", $usbdesc);
@@ -528,7 +768,7 @@ PVE::JSONSchema::register_standard_option("pve-qm-usb", $usbdesc);
 my $hostpcidesc = {
         optional => 1,
         type => 'string', format => 'pve-qm-hostpci',
-        typetext => "[host=]HOSTPCIDEVICE [,driver=kvm|vfio] [,rombar=on|off] [,pcie=0|1] [,x-vga=on|off]",
+        typetext => "[host=]HOSTPCIDEVICE [,rombar=on|off] [,pcie=0|1] [,x-vga=on|off]",
         description => <<EODESCR,
 Map host pci devices. HOSTPCIDEVICE syntax is:
 
@@ -552,7 +792,7 @@ my $serialdesc = {
        description =>  <<EODESCR,
 Create a serial device inside the VM (n is 0 to 3), and pass through a host serial device (i.e. /dev/ttyS0), or create a unix socket on the host side (use 'qm terminal' to open a terminal connection).
 
-Note: This option allows direct access to host hardware. So it is no longer possible to migrate such machines - use with special care.
+Note: If you pass through a host serial device, it is no longer possible to migrate such machines - use with special care.
 
 Experimental: user reported problems with this option.
 EODESCR
@@ -645,7 +885,7 @@ sub kvm_user_version {
 
     my $tmp = `kvm -help 2>/dev/null`;
 
-    if ($tmp =~ m/^QEMU( PC)? emulator version (\d+\.\d+(\.\d+)?)[,\s]/) {
+    if ($tmp =~ m/^QEMU( PC)? emulator version (\d+\.\d+(\.\d+)?)(\.\d+)?[,\s]/) {
        $kvm_user_version = $2;
     }
 
@@ -831,160 +1071,71 @@ sub pve_verify_hotplug_features {
     die "unable to parse hotplug option\n";
 }
 
-my $parse_size = sub {
-    my ($value) = @_;
-
-    return undef if $value !~ m/^(\d+(\.\d+)?)([KMG])?$/;
-    my ($size, $unit) = ($1, $3);
-    if ($unit) {
-       if ($unit eq 'K') {
-           $size = $size * 1024;
-       } elsif ($unit eq 'M') {
-           $size = $size * 1024 * 1024;
-       } elsif ($unit eq 'G') {
-           $size = $size * 1024 * 1024 * 1024;
-       }
-    }
-    return int($size);
-};
-
-my $format_size = sub {
-    my ($size) = @_;
-
-    $size = int($size);
-
-    my $kb = int($size/1024);
-    return $size if $kb*1024 != $size;
-
-    my $mb = int($kb/1024);
-    return "${kb}K" if $mb*1024 != $kb;
-
-    my $gb = int($mb/1024);
-    return "${mb}M" if $gb*1024 != $mb;
-
-    return "${gb}G";
-};
-
 # ideX = [volume=]volume-id[,media=d][,cyls=c,heads=h,secs=s[,trans=t]]
 #        [,snapshot=on|off][,cache=on|off][,format=f][,backup=yes|no]
 #        [,rerror=ignore|report|stop][,werror=enospc|ignore|report|stop]
-#        [,aio=native|threads][,discard=ignore|on][,iothread=on]
+#        [,aio=native|threads][,discard=ignore|on][,detect_zeroes=on|off]
+#        [,iothread=on][,serial=serial][,model=model]
 
 sub parse_drive {
     my ($key, $data) = @_;
 
-    my $res = {};
+    my ($interface, $index);
 
-    # $key may be undefined - used to verify JSON parameters
-    if (!defined($key)) {
-       $res->{interface} = 'unknown'; # should not harm when used to verify parameters
-       $res->{index} = 0;
-    } elsif ($key =~ m/^([^\d]+)(\d+)$/) {
-       $res->{interface} = $1;
-       $res->{index} = $2;
+    if ($key =~ m/^([^\d]+)(\d+)$/) {
+       $interface = $1;
+       $index = $2;
     } else {
        return undef;
     }
 
-    foreach my $p (split (/,/, $data)) {
-       next if $p =~ m/^\s*$/;
-
-       if ($p =~ m/^(file|volume|cyls|heads|secs|trans|media|snapshot|cache|format|rerror|werror|backup|aio|bps|mbps|mbps_max|bps_rd|mbps_rd|mbps_rd_max|bps_wr|mbps_wr|mbps_wr_max|iops|iops_max|iops_rd|iops_rd_max|iops_wr|iops_wr_max|size|discard|iothread|queues)=(.+)$/) {
-           my ($k, $v) = ($1, $2);
-
-           $k = 'file' if $k eq 'volume';
-
-           return undef if defined $res->{$k};
-
-           if ($k eq 'bps' || $k eq 'bps_rd' || $k eq 'bps_wr') {
-               return undef if !$v || $v !~ m/^\d+/;
-               $k = "m$k";
-               $v = sprintf("%.3f", $v / (1024*1024));
-           }
-           $res->{$k} = $v;
-       } else {
-           if (!$res->{file} && $p !~ m/=/) {
-               $res->{file} = $p;
-           } else {
-               return undef;
+    my $desc = $key =~ /^unused\d+$/ ? $alldrive_fmt
+                                     : $confdesc->{$key}->{format};
+    if (!$desc) {
+       warn "invalid drive key: $key\n";
+       return undef;
+    }
+    my $res = eval { PVE::JSONSchema::parse_property_string($desc, $data) };
+    return undef if !$res;
+    $res->{interface} = $interface;
+    $res->{index} = $index;
+
+    my $error = 0;
+    foreach my $opt (qw(bps bps_rd bps_wr)) {
+       if (my $bps = defined(delete $res->{$opt})) {
+           if (defined($res->{"m$opt"})) {
+               warn "both $opt and m$opt specified\n";
+               ++$error;
+               next;
            }
+           $res->{"m$opt"} = sprintf("%.3f", $bps / (1024*1024.0));
        }
     }
-
-    return undef if !$res->{file};
-
-    return undef if $res->{cache} &&
-       $res->{cache} !~ m/^(off|none|writethrough|writeback|unsafe|directsync)$/;
-    return undef if $res->{snapshot} && $res->{snapshot} !~ m/^(on|off)$/;
-    return undef if $res->{cyls} && $res->{cyls} !~ m/^\d+$/;
-    return undef if $res->{heads} && $res->{heads} !~ m/^\d+$/;
-    return undef if $res->{secs} && $res->{secs} !~ m/^\d+$/;
-    return undef if $res->{media} && $res->{media} !~ m/^(disk|cdrom)$/;
-    return undef if $res->{trans} && $res->{trans} !~ m/^(none|lba|auto)$/;
-    return undef if $res->{format} && $res->{format} !~ m/^(raw|cow|qcow|qed|qcow2|vmdk|cloop)$/;
-    return undef if $res->{rerror} && $res->{rerror} !~ m/^(ignore|report|stop)$/;
-    return undef if $res->{werror} && $res->{werror} !~ m/^(enospc|ignore|report|stop)$/;
-    return undef if $res->{backup} && $res->{backup} !~ m/^(yes|no)$/;
-    return undef if $res->{aio} && $res->{aio} !~ m/^(native|threads)$/;
-    return undef if $res->{discard} && $res->{discard} !~ m/^(ignore|on)$/;
-    return undef if $res->{iothread} && $res->{iothread} !~ m/^(on)$/;
-    return undef if $res->{queues} && ($res->{queues} !~ m/^\d+$/ || $res->{queues} < 2);
+    return undef if $error;
 
     return undef if $res->{mbps_rd} && $res->{mbps};
     return undef if $res->{mbps_wr} && $res->{mbps};
-
-    return undef if $res->{mbps} && $res->{mbps} !~ m/^\d+(\.\d+)?$/;
-    return undef if $res->{mbps_max} && $res->{mbps_max} !~ m/^\d+(\.\d+)?$/;
-    return undef if $res->{mbps_rd} && $res->{mbps_rd} !~ m/^\d+(\.\d+)?$/;
-    return undef if $res->{mbps_rd_max} && $res->{mbps_rd_max} !~ m/^\d+(\.\d+)?$/;
-    return undef if $res->{mbps_wr} && $res->{mbps_wr} !~ m/^\d+(\.\d+)?$/;
-    return undef if $res->{mbps_wr_max} && $res->{mbps_wr_max} !~ m/^\d+(\.\d+)?$/;
-
     return undef if $res->{iops_rd} && $res->{iops};
     return undef if $res->{iops_wr} && $res->{iops};
 
-
-    return undef if $res->{iops} && $res->{iops} !~ m/^\d+$/;
-    return undef if $res->{iops_max} && $res->{iops_max} !~ m/^\d+$/;
-    return undef if $res->{iops_rd} && $res->{iops_rd} !~ m/^\d+$/;
-    return undef if $res->{iops_rd_max} && $res->{iops_rd_max} !~ m/^\d+$/;
-    return undef if $res->{iops_wr} && $res->{iops_wr} !~ m/^\d+$/;
-    return undef if $res->{iops_wr_max} && $res->{iops_wr_max} !~ m/^\d+$/;
-
-
-    if ($res->{size}) {
-       return undef if !defined($res->{size} = &$parse_size($res->{size}));
-    }
-
     if ($res->{media} && ($res->{media} eq 'cdrom')) {
        return undef if $res->{snapshot} || $res->{trans} || $res->{format};
        return undef if $res->{heads} || $res->{secs} || $res->{cyls};
        return undef if $res->{interface} eq 'virtio';
     }
 
-    # rerror does not work with scsi drives
-    if ($res->{rerror}) {
-       return undef if $res->{interface} eq 'scsi';
+    if (my $size = $res->{size}) {
+       return undef if !defined($res->{size} = PVE::JSONSchema::parse_size($size));
     }
 
     return $res;
 }
 
-my @qemu_drive_options = qw(heads secs cyls trans media format cache snapshot rerror werror aio discard iops iops_rd iops_wr iops_max iops_rd_max iops_wr_max);
-
 sub print_drive {
     my ($vmid, $drive) = @_;
-
-    my $opts = '';
-    foreach my $o (@qemu_drive_options, 'mbps', 'mbps_rd', 'mbps_wr', 'mbps_max', 'mbps_rd_max', 'mbps_wr_max', 'backup', 'iothread', 'queues') {
-       $opts .= ",$o=$drive->{$o}" if $drive->{$o};
-    }
-
-    if ($drive->{size}) {
-       $opts .= ",size=" . &$format_size($drive->{size});
-    }
-
-    return "$drive->{file}$opts";
+    my $data = { %$drive };
+    delete $data->{$_} for qw(index interface);
+    return PVE::JSONSchema::print_property_string($data, $alldrive_fmt);
 }
 
 sub scsi_inquiry {
@@ -1116,6 +1267,9 @@ sub print_drivedevice_full {
        my $devicetype = ($drive->{media} && $drive->{media} eq 'cdrom') ? "cd" : "hd";
 
        $device = "ide-$devicetype,bus=ide.$controller,unit=$unit,drive=drive-$drive->{interface}$drive->{index},id=$drive->{interface}$drive->{index}";
+       if ($devicetype eq 'hd' && (my $model = $drive->{model})) {
+           $device .= ",model=$model";
+       }
     } elsif ($drive->{interface} eq 'sata'){
        my $controller = int($drive->{index} / $MAX_SATA_DISKS);
        my $unit = $drive->{index} % $MAX_SATA_DISKS;
@@ -1146,6 +1300,7 @@ sub get_initiator_name {
     return $initiator;
 }
 
+my @qemu_drive_options = qw(heads secs cyls trans media format cache snapshot rerror werror aio discard iops iops_rd iops_wr iops_max iops_rd_max iops_wr_max serial);
 sub print_drive_full {
     my ($storecfg, $vmid, $drive) = @_;
 
@@ -1163,6 +1318,7 @@ sub print_drive_full {
            $format = qemu_img_format($scfg, $volname);
        } else {
            $path = $volid;
+           $format = "raw";
        }
    }
 
@@ -1197,8 +1353,18 @@ sub print_drive_full {
        }
     }
 
-    my $detectzeroes = $drive->{discard} ? "unmap" : "on";
-    $opts .= ",detect-zeroes=$detectzeroes" if !drive_is_cdrom($drive);
+    if (!drive_is_cdrom($drive)) {
+       my $detectzeroes;
+       if (defined($drive->{detect_zeroes}) && !$drive->{detect_zeroes}) {
+           $detectzeroes = 'off';
+       } elsif ($drive->{discard}) {
+           $detectzeroes = $drive->{discard} eq 'on' ? 'unmap' : 'on';
+       } else {
+           # This used to be our default with discard not being specified:
+           $detectzeroes = 'on';
+       }
+       $opts .= ",detect-zeroes=$detectzeroes" if $detectzeroes;
+    }
 
     my $pathinfo = $path ? "file=$path," : '';
 
@@ -1206,7 +1372,7 @@ sub print_drive_full {
 }
 
 sub print_netdevice_full {
-    my ($vmid, $conf, $net, $netid, $bridges) = @_;
+    my ($vmid, $conf, $net, $netid, $bridges, $use_old_bios_files) = @_;
 
     my $bootorder = $conf->{boot} || $confdesc->{boot}->{default};
 
@@ -1223,11 +1389,28 @@ sub print_netdevice_full {
        $tmpstr .= ",vectors=$vectors,mq=on";
     }
     $tmpstr .= ",bootindex=$net->{bootindex}" if $net->{bootindex} ;
+
+    if ($use_old_bios_files) {
+       my $romfile;
+       if ($device eq 'virtio-net-pci') {
+           $romfile = 'pxe-virtio.rom';
+       } elsif ($device eq 'e1000') {
+           $romfile = 'pxe-e1000.rom';
+       } elsif ($device eq 'ne2k') {
+           $romfile = 'pxe-ne2k_pci.rom';
+       } elsif ($device eq 'pcnet') {
+           $romfile = 'pxe-pcnet.rom';
+       } elsif ($device eq 'rtl8139') {
+           $romfile = 'pxe-rtl8139.rom';
+       }
+       $tmpstr .= ",romfile=$romfile" if $romfile;
+    }
+
     return $tmpstr;
 }
 
 sub print_netdev_full {
-    my ($vmid, $conf, $net, $netid) = @_;
+    my ($vmid, $conf, $net, $netid, $hotplug) = @_;
 
     my $i = '';
     if ($netid =~ m/^net(\d+)$/) {
@@ -1248,9 +1431,10 @@ sub print_netdev_full {
     my $vmname = $conf->{name} || "vm$vmid";
 
     my $netdev = "";
+    my $script = $hotplug ? "pve-bridge-hotplug" : "pve-bridge";
 
     if ($net->{bridge}) {
-        $netdev = "type=tap,id=$netid,ifname=${ifname},script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown$vhostparam";
+        $netdev = "type=tap,id=$netid,ifname=${ifname},script=/var/lib/qemu-server/$script,downscript=/var/lib/qemu-server/pve-bridgedown$vhostparam";
     } else {
         $netdev = "type=user,id=$netid,hostname=$vmname";
     }
@@ -1313,8 +1497,6 @@ sub parse_hostpci {
                my $pcidevices = lspci($2);
                $res->{pciid} = $pcidevices->{$2};
            }
-       } elsif ($kv =~ m/^driver=(kvm|vfio)$/) {
-           $res->{driver} = $1;
        } elsif ($kv =~ m/^rombar=(on|off)$/) {
            $res->{rombar} = $1;
        } elsif ($kv =~ m/^x-vga=(on|off)$/) {
@@ -1352,6 +1534,8 @@ sub parse_net {
            $res->{rate} = $1;
         } elsif ($kvp =~ m/^tag=(\d+)$/) {
             $res->{tag} = $1;
+        } elsif ($kvp =~ m/^trunks=([0-9;]+)$/) {
+           $res->{trunks} = $1;
         } elsif ($kvp =~ m/^firewall=([01])$/) {
            $res->{firewall} = $1;
        } elsif ($kvp =~ m/^link_down=([01])$/) {
@@ -1375,6 +1559,7 @@ sub print_net {
     $res .= ",bridge=$net->{bridge}" if $net->{bridge};
     $res .= ",rate=$net->{rate}" if $net->{rate};
     $res .= ",tag=$net->{tag}" if $net->{tag};
+    $res .= ",trunks=$net->{trunks}" if $net->{trunks};
     $res .= ",firewall=1" if $net->{firewall};
     $res .= ",link_down=1" if $net->{link_down};
     $res .= ",queues=$net->{queues}" if $net->{queues};
@@ -1427,29 +1612,35 @@ sub vm_is_volid_owner {
     return undef;
 }
 
+sub split_flagged_list {
+    my $text = shift || '';
+    $text =~ s/[,;]/ /g;
+    $text =~ s/^\s+//;
+    return { map { /^(!?)(.*)$/ && ($2, $1) } ($text =~ /\S+/g) };
+}
+
+sub join_flagged_list {
+    my ($how, $lst) = @_;
+    join $how, map { $lst->{$_} . $_ } keys %$lst;
+}
+
 sub vmconfig_delete_pending_option {
-    my ($conf, $key) = @_;
+    my ($conf, $key, $force) = @_;
 
     delete $conf->{pending}->{$key};
-    my $pending_delete_hash = { $key => 1 };
-    foreach my $opt (PVE::Tools::split_list($conf->{pending}->{delete})) {
-       $pending_delete_hash->{$opt} = 1;
-    }
-    $conf->{pending}->{delete} = join(',', keys %$pending_delete_hash);
+    my $pending_delete_hash = split_flagged_list($conf->{pending}->{delete});
+    $pending_delete_hash->{$key} = $force ? '!' : '';
+    $conf->{pending}->{delete} = join_flagged_list(',', $pending_delete_hash);
 }
 
 sub vmconfig_undelete_pending_option {
     my ($conf, $key) = @_;
 
-    my $pending_delete_hash = {};
-    foreach my $opt (PVE::Tools::split_list($conf->{pending}->{delete})) {
-       $pending_delete_hash->{$opt} = 1;
-    }
+    my $pending_delete_hash = split_flagged_list($conf->{pending}->{delete});
     delete $pending_delete_hash->{$key};
 
-    my @keylist = keys %$pending_delete_hash;
-    if (scalar(@keylist)) {
-       $conf->{pending}->{delete} = join(',', @keylist);
+    if (%$pending_delete_hash) {
+       $conf->{pending}->{delete} = join_flagged_list(',', $pending_delete_hash);
     } else {
        delete $conf->{pending}->{delete};
     }
@@ -1478,19 +1669,18 @@ sub vmconfig_cleanup_pending {
        }
     }
 
-    # remove delete if option is not set
+    my $current_delete_hash = split_flagged_list($conf->{pending}->{delete});
     my $pending_delete_hash = {};
-    foreach my $opt (PVE::Tools::split_list($conf->{pending}->{delete})) {
+    while (my ($opt, $force) = each %$current_delete_hash) {
        if (defined($conf->{$opt})) {
-           $pending_delete_hash->{$opt} = 1;
+           $pending_delete_hash->{$opt} = $force;
        } else {
            $changes = 1;
        }
     }
 
-    my @keylist = keys %$pending_delete_hash;
-    if (scalar(@keylist)) {
-       $conf->{pending}->{delete} = join(',', @keylist);
+    if (%$pending_delete_hash) {
+       $conf->{pending}->{delete} = join_flagged_list(',', $pending_delete_hash);
     } else {
        delete $conf->{pending}->{delete};
     }
@@ -1498,57 +1688,66 @@ sub vmconfig_cleanup_pending {
     return $changes;
 }
 
-my $valid_smbios1_options = {
-    manufacturer => '\S+',
-    product => '\S+',
-    version => '\S+',
-    serial => '\S+',
-    uuid => '[a-fA-F0-9]{8}(?:-[a-fA-F0-9]{4}){3}-[a-fA-F0-9]{12}',
-    sku => '\S+',
-    family => '\S+',
+# smbios: [manufacturer=str][,product=str][,version=str][,serial=str][,uuid=uuid][,sku=str][,family=str]
+my $smbios1_desc = {
+    uuid => {
+       type => 'string',
+       pattern => '[a-fA-F0-9]{8}(?:-[a-fA-F0-9]{4}){3}-[a-fA-F0-9]{12}',
+       format_description => 'UUID',
+       optional => 1,
+    },
+    version => {
+       type => 'string',
+       pattern => '\S+',
+       format_description => 'str',
+       optional => 1,
+    },
+    serial => {
+       type => 'string',
+       pattern => '\S+',
+       format_description => 'str',
+       optional => 1,
+    },
+    manufacturer => {
+       type => 'string',
+       pattern => '\S+',
+       format_description => 'name',
+       optional => 1,
+    },
+    product => {
+       type => 'string',
+       pattern => '\S+',
+       format_description => 'name',
+       optional => 1,
+    },
+    sku => {
+       type => 'string',
+       pattern => '\S+',
+       format_description => 'str',
+       optional => 1,
+    },
+    family => {
+       type => 'string',
+       pattern => '\S+',
+       format_description => 'str',
+       optional => 1,
+    },
 };
 
-# smbios: [manufacturer=str][,product=str][,version=str][,serial=str][,uuid=uuid][,sku=str][,family=str]
 sub parse_smbios1 {
     my ($data) = @_;
 
-    my $res = {};
-
-    foreach my $kvp (split(/,/, $data)) {
-       return undef if $kvp !~ m/^(\S+)=(.+)$/;
-       my ($k, $v) = split(/=/, $kvp);
-       return undef if !defined($k) || !defined($v);
-       return undef if !$valid_smbios1_options->{$k};
-       return undef if $v !~ m/^$valid_smbios1_options->{$k}$/;
-       $res->{$k} = $v;
-    }
-
+    my $res = eval { PVE::JSONSchema::parse_property_string($smbios1_desc, $data) };
+    warn $@ if $@;
     return $res;
 }
 
 sub print_smbios1 {
     my ($smbios1) = @_;
-
-    my $data = '';
-    foreach my $k (keys %$smbios1) {
-       next if !defined($smbios1->{$k});
-       next if !$valid_smbios1_options->{$k};
-       $data .= ',' if $data;
-       $data .= "$k=$smbios1->{$k}";
-    }
-    return $data;
+    return PVE::JSONSchema::print_property_string($smbios1, $smbios1_desc);
 }
 
-PVE::JSONSchema::register_format('pve-qm-smbios1', \&verify_smbios1);
-sub verify_smbios1 {
-    my ($value, $noerr) = @_;
-
-    return $value if parse_smbios1($value);
-
-    return undef if $noerr;
-
-    die "unable to parse smbios (type 1) options\n";
-}
+PVE::JSONSchema::register_format('pve-qm-smbios1', $smbios1_desc);
 
 PVE::JSONSchema::register_format('pve-qm-bootdisk', \&verify_bootdisk);
 sub verify_bootdisk {
@@ -1583,17 +1782,6 @@ sub verify_net {
     die "unable to parse network options\n";
 }
 
-PVE::JSONSchema::register_format('pve-qm-drive', \&verify_drive);
-sub verify_drive {
-    my ($value, $noerr) = @_;
-
-    return $value if parse_drive(undef, $value);
-
-    return undef if $noerr;
-
-    die "unable to parse drive options\n";
-}
-
 PVE::JSONSchema::register_format('pve-qm-hostpci', \&verify_hostpci);
 sub verify_hostpci {
     my ($value, $noerr) = @_;
@@ -1643,27 +1831,18 @@ sub parse_usb_device {
 
     return undef if !$value;
 
-    my @dl = split(/,/, $value);
-    my $found;
-
     my $res = {};
-    foreach my $v (@dl) {
-       if ($v =~ m/^host=(0x)?([0-9A-Fa-f]{4}):(0x)?([0-9A-Fa-f]{4})$/) {
-           $found = 1;
-           $res->{vendorid} = $2;
-           $res->{productid} = $4;
-       } elsif ($v =~ m/^host=(\d+)\-(\d+(\.\d+)*)$/) {
-           $found = 1;
-           $res->{hostbus} = $1;
-           $res->{hostport} = $2;
-       } elsif ($v =~ m/^spice$/) {
-           $found = 1;
-           $res->{spice} = 1;
-       } else {
-           return undef;
-       }
+    if ($value =~ m/^(0x)?([0-9A-Fa-f]{4}):(0x)?([0-9A-Fa-f]{4})$/) {
+       $res->{vendorid} = $2;
+       $res->{productid} = $4;
+    } elsif ($value =~ m/^(\d+)\-(\d+(\.\d+)*)$/) {
+       $res->{hostbus} = $1;
+       $res->{hostport} = $2;
+    } elsif ($value =~ m/^spice$/i) {
+       $res->{spice} = 1;
+    } else {
+       return undef;
     }
-    return undef if !$found;
 
     return $res;
 }
@@ -1801,13 +1980,13 @@ sub touch_config {
 }
 
 sub destroy_vm {
-    my ($storecfg, $vmid, $keep_empty_config) = @_;
+    my ($storecfg, $vmid, $keep_empty_config, $skiplock) = @_;
 
     my $conffile = config_file($vmid);
 
     my $conf = load_config($vmid);
 
-    check_lock($conf);
+    check_lock($conf) if !$skiplock;
 
     # only remove disks owned by this VM
     foreach_drive($conf, sub {
@@ -1876,7 +2055,7 @@ sub parse_vm_config {
     my $vmid = $1;
 
     my $conf = $res;
-    my $descr = '';
+    my $descr;
     my $section = '';
 
     my @lines = split(/\n/, $raw);
@@ -1885,25 +2064,33 @@ sub parse_vm_config {
 
        if ($line =~ m/^\[PENDING\]\s*$/i) {
            $section = 'pending';
-           $conf->{description} = $descr if $descr;
-           $descr = '';
+           if (defined($descr)) {
+               $descr =~ s/\s+$//;
+               $conf->{description} = $descr;
+           }
+           $descr = undef;
            $conf = $res->{$section} = {};
            next;
 
        } elsif ($line =~ m/^\[([a-z][a-z0-9_\-]+)\]\s*$/i) {
            $section = $1;
-           $conf->{description} = $descr if $descr;
-           $descr = '';
+           if (defined($descr)) {
+               $descr =~ s/\s+$//;
+               $conf->{description} = $descr;
+           }
+           $descr = undef;
            $conf = $res->{snapshots}->{$section} = {};
            next;
        }
 
        if ($line =~ m/^\#(.*)\s*$/) {
+           $descr = '' if !defined($descr);
            $descr .= PVE::Tools::decode_text($1) . "\n";
            next;
        }
 
        if ($line =~ m/^(description):\s*(.*\S)\s*$/) {
+           $descr = '' if !defined($descr);
            $descr .= PVE::Tools::decode_text($2);
        } elsif ($line =~ m/snapstate:\s*(prepare|delete)\s*$/) {
            $conf->{snapstate} = $1;
@@ -1946,8 +2133,10 @@ sub parse_vm_config {
        }
     }
 
-    $conf->{description} = $descr if $descr;
-
+    if (defined($descr)) {
+       $descr =~ s/\s+$//;
+       $conf->{description} = $descr;
+    }
     delete $res->{snapstate}; # just to be sure
 
     return $res;
@@ -2018,14 +2207,19 @@ sub write_vm_config {
     }
 
     my $generate_raw_config = sub {
-       my ($conf) = @_;
+       my ($conf, $pending) = @_;
 
        my $raw = '';
 
        # add description as comment to top of file
-       my $descr = $conf->{description} || '';
-       foreach my $cl (split(/\n/, $descr)) {
-           $raw .= '#' .  PVE::Tools::encode_text($cl) . "\n";
+       if (defined(my $descr = $conf->{description})) {
+           if ($descr) {
+               foreach my $cl (split(/\n/, $descr)) {
+                   $raw .= '#' .  PVE::Tools::encode_text($cl) . "\n";
+               }
+           } else {
+               $raw .= "#\n" if $pending;
+           }
        }
 
        foreach my $key (sort keys %$conf) {
@@ -2039,7 +2233,7 @@ sub write_vm_config {
 
     if (scalar(keys %{$conf->{pending}})){
        $raw .= "\n[PENDING]\n";
-       $raw .= &$generate_raw_config($conf->{pending});
+       $raw .= &$generate_raw_config($conf->{pending}, 1);
     }
 
     foreach my $snapname (sort keys %{$conf->{snapshots}}) {
@@ -2050,22 +2244,14 @@ sub write_vm_config {
     return $raw;
 }
 
-sub update_config_nolock {
-    my ($vmid, $conf, $skiplock) = @_;
-
-    check_lock($conf) if !$skiplock;
+sub write_config {
+    my ($vmid, $conf) = @_;
 
     my $cfspath = cfs_config_path($vmid);
 
     PVE::Cluster::cfs_write_file($cfspath, $conf);
 }
 
-sub update_config {
-    my ($vmid, $conf, $skiplock) = @_;
-
-    lock_config($vmid, &update_config_nolock, $conf, $skiplock);
-}
-
 sub load_defaults {
 
     my $res = {};
@@ -2109,6 +2295,8 @@ sub check_local_resources {
 
     foreach my $k (keys %$conf) {
        next if $k =~ m/^usb/ && ($conf->{$k} eq 'spice');
+       # sockets are safe: they will recreated be on the target side post-migrate
+       next if $k =~ m/^serial/ && ($conf->{$k} eq 'socket');
        $loc_res = 1 if $k =~ m/^(usb|hostpci|serial|parallel)\d+$/;
     }
 
@@ -2582,6 +2770,7 @@ sub config_to_command {
     my $bridges = {};
     my $kvmver = kvm_user_version();
     my $vernum = 0; # unknown
+    my $ostype = $conf->{ostype};
     if ($kvmver =~ m/^(\d+)\.(\d+)$/) {
        $vernum = $1*1000000+$2*1000;
     } elsif ($kvmver =~ m/^(\d+)\.(\d+)\.(\d+)$/) {
@@ -2595,6 +2784,8 @@ sub config_to_command {
     my $q35 = machine_type_is_q35($conf);
     my $hotplug_features = parse_hotplug_features(defined($conf->{hotplug}) ? $conf->{hotplug} : '1');
     my $machine_type = $forcemachine || $conf->{machine};
+    my $use_old_bios_files = undef;
+    ($use_old_bios_files, $machine_type) = qemu_use_old_bios_files($machine_type);
 
     my $cpuunits = defined($conf->{cpuunits}) ?
             $conf->{cpuunits} : $defaults->{cpuunits};
@@ -2603,6 +2794,9 @@ sub config_to_command {
     push @$cmd, '--scope';
     push @$cmd, '--slice', "qemu";
     push @$cmd, '--unit', $vmid;
+    # set KillMode=none, so that systemd don't kill those scopes
+    # at shutdown (pve-manager service should stop the VMs instead)
+    push @$cmd, '-p', "KillMode=none";
     push @$cmd, '-p', "CPUShares=$cpuunits";
     if ($conf->{cpulimit}) {
        my $cpulimit = int($conf->{cpulimit} * 100);
@@ -2619,8 +2813,6 @@ sub config_to_command {
     push @$cmd, '-chardev', "socket,id=qmp,path=$qmpsocket,server,nowait";
     push @$cmd, '-mon', "chardev=qmp,mode=control";
 
-    my $socket = vnc_socket($vmid);
-    push @$cmd,  '-vnc', "unix:$socket,x509,password";
 
     push @$cmd, '-pidfile' , pidfile_name($vmid);
 
@@ -2630,6 +2822,15 @@ sub config_to_command {
        push @$cmd, '-smbios', "type=1,$conf->{smbios1}";
     }
 
+    if ($conf->{bios} && $conf->{bios} eq 'ovmf') {
+       my $ovmfvar = "OVMF_VARS-pure-efi.fd";
+       my $ovmfvar_src = "/usr/share/kvm/$ovmfvar";
+       my $ovmfvar_dst = "/tmp/$vmid-$ovmfvar";
+       PVE::Tools::file_copy($ovmfvar_src, $ovmfvar_dst, 256*1024);
+       push @$cmd, '-drive', "if=pflash,format=raw,readonly,file=/usr/share/kvm/OVMF-pure-efi.fd";
+       push @$cmd, '-drive', "if=pflash,format=raw,file=$ovmfvar_dst";
+    }
+
     if ($q35) {
        # the q35 chipset support native usb2, so we enable usb controller
        # by default for this machine type
@@ -2641,12 +2842,27 @@ sub config_to_command {
         my $use_usb2 = 0;
        for (my $i = 0; $i < $MAX_USB_DEVICES; $i++)  {
            next if !$conf->{"usb$i"};
+           my $d = eval { PVE::JSONSchema::parse_property_string($usbdesc->{format},$conf->{"usb$i"}) };
+           next if !$d || $d->{usb3}; # do not add usb2 controller if we have only usb3 devices
            $use_usb2 = 1;
        }
        # include usb device config
        push @$devices, '-readconfig', '/usr/share/qemu-server/pve-usb.cfg' if $use_usb2;
     }
 
+    # add usb3 controller if needed
+
+    my $use_usb3 = 0;
+    for (my $i = 0; $i < $MAX_USB_DEVICES; $i++)  {
+       next if !$conf->{"usb$i"};
+       my $d = eval { PVE::JSONSchema::parse_property_string($usbdesc->{format},$conf->{"usb$i"}) };
+       next if !$d || !$d->{usb3};
+       $use_usb3 = 1;
+    }
+
+    $pciaddr = print_pci_addr("xhci", $bridges);
+    push @$devices, '-device', "nec-usb-xhci,id=xhci$pciaddr" if $use_usb3;
+
     my $vga = $conf->{vga};
 
     my $qxlnum = vga_conf_has_spice($vga);
@@ -2674,6 +2890,7 @@ sub config_to_command {
 
     push @$devices, '-device', print_tabletdevice_full($conf) if $tablet;
 
+    my $kvm_off = 0;
     # host pci devices
     for (my $i = 0; $i < $MAX_HOSTPCI_DEVICES; $i++)  {
        my $d = parse_hostpci($conf->{"hostpci$i"});
@@ -2688,13 +2905,17 @@ sub config_to_command {
        }
 
        my $rombar = $d->{rombar} && $d->{rombar} eq 'off' ? ",rombar=0" : "";
-       my $driver = $d->{driver} && $d->{driver} eq 'vfio' ? "vfio-pci" : "pci-assign";
        my $xvga = $d->{'x-vga'} && $d->{'x-vga'} eq 'on' ? ",x-vga=on" : "";
        if ($xvga && $xvga ne '') {
-           push @$cpuFlags, 'kvm=off';
+           $kvm_off = 1;
            $vga = 'none';
+           if ($ostype eq 'win7' || $ostype eq 'win8' || $ostype eq 'w2k8') {
+               push @$cpuFlags , 'hv_vendor_id=proxmox';
+           }
+           if ($conf->{bios} && $conf->{bios} eq 'ovmf') {
+               $xvga = "";
+           }
        }
-       $driver = "vfio-pci" if $xvga ne '';
        my $pcidevices = $d->{pciid};
        my $multifunction = 1 if @$pcidevices > 1;
 
@@ -2705,7 +2926,7 @@ sub config_to_command {
            $id .= ".$j" if $multifunction;
            my $addr = $pciaddr;
            $addr .= ".$j" if $multifunction;
-           my $devicestr = "$driver,host=$pcidevice->{id}.$pcidevice->{function},id=$id$addr";
+           my $devicestr = "vfio-pci,host=$pcidevice->{id}.$pcidevice->{function},id=$id$addr";
 
            if($j == 0){
                $devicestr .= "$rombar$xvga";
@@ -2719,16 +2940,27 @@ sub config_to_command {
 
     # usb devices
     for (my $i = 0; $i < $MAX_USB_DEVICES; $i++)  {
-       my $d = parse_usb_device($conf->{"usb$i"});
+       next if !$conf->{"usb$i"};
+       my $d = eval { PVE::JSONSchema::parse_property_string($usbdesc->{format},$conf->{"usb$i"}) };
        next if !$d;
-       if ($d->{vendorid} && $d->{productid}) {
-           push @$devices, '-device', "usb-host,vendorid=0x$d->{vendorid},productid=0x$d->{productid}";
-       } elsif (defined($d->{hostbus}) && defined($d->{hostport})) {
-           push @$devices, '-device', "usb-host,hostbus=$d->{hostbus},hostport=$d->{hostport}";
-       } elsif ($d->{spice}) {
-           # usb redir support for spice
-           push @$devices, '-chardev', "spicevmc,id=usbredirchardev$i,name=usbredir";
-           push @$devices, '-device', "usb-redir,chardev=usbredirchardev$i,id=usbredirdev$i,bus=ehci.0";
+
+       # if it is a usb3 device, attach it to the xhci controller, else omit the bus option
+       my $usbbus = '';
+       if (defined($d->{usb3}) && $d->{usb3}) {
+           $usbbus = ',bus=xhci.0';
+       }
+
+       if (defined($d->{host})) {
+           $d = parse_usb_device($d->{host});
+           if (defined($d->{vendorid}) && defined($d->{productid})) {
+               push @$devices, '-device', "usb-host$usbbus,vendorid=0x$d->{vendorid},productid=0x$d->{productid}";
+           } elsif (defined($d->{hostbus}) && defined($d->{hostport})) {
+               push @$devices, '-device', "usb-host$usbbus,hostbus=$d->{hostbus},hostport=$d->{hostport}";
+           } elsif (defined($d->{spice}) && $d->{spice}) {
+               # usb redir support for spice, currently no usb3
+               push @$devices, '-chardev', "spicevmc,id=usbredirchardev$i,name=usbredir";
+               push @$devices, '-device', "usb-redir,chardev=usbredirchardev$i,id=usbredirdev$i,bus=ehci.0";
+           }
        }
     }
 
@@ -2773,7 +3005,7 @@ sub config_to_command {
 
     my $allowed_vcpus = $cpuinfo->{cpus};
 
-    die "MAX $maxcpus vcpus allowed per VM on this node\n"
+    die "MAX $allowed_vcpus vcpus allowed per VM on this node\n"
        if ($allowed_vcpus < $maxcpus);
 
     push @$cmd, '-smp', "$vcpus,sockets=$sockets,cores=$cores,maxcpus=$maxcpus";
@@ -2797,16 +3029,23 @@ sub config_to_command {
 
     push @$cmd, '-vga', $vga if $vga && $vga !~ m/^serial\d+$/; # for kvm 77 and later
 
+    if ($vga && $vga !~ m/^serial\d+$/ && $vga ne 'none'){
+       my $socket = vnc_socket($vmid);
+       push @$cmd,  '-vnc', "unix:$socket,x509,password";
+    } else {
+       push @$cmd, '-nographic';
+    }
+
     # time drift fix
     my $tdf = defined($conf->{tdf}) ? $conf->{tdf} : $defaults->{tdf};
 
     my $nokvm = defined($conf->{kvm}) && $conf->{kvm} == 0 ? 1 : 0;
     my $useLocaltime = $conf->{localtime};
 
-    if (my $ost = $conf->{ostype}) {
+    if ($ostype) {
        # other, wxp, w2k, w2k3, w2k8, wvista, win7, win8, l24, l26, solaris
 
-       if ($ost =~ m/^w/) { # windows
+       if ($ostype =~ m/^w/) { # windows
            $useLocaltime = 1 if !defined($conf->{localtime});
 
            # use time drift fix when acpi is enabled
@@ -2815,8 +3054,8 @@ sub config_to_command {
            }
        }
 
-       if ($ost eq 'win7' || $ost eq 'win8' || $ost eq 'w2k8' ||
-           $ost eq 'wvista') {
+       if ($ostype eq 'win7' || $ostype eq 'win8' || $ostype eq 'w2k8' ||
+           $ostype eq 'wvista') {
            push @$globalFlags, 'kvm-pit.lost_tick_policy=discard';
            push @$cmd, '-no-hpet';
            if (qemu_machine_feature_enabled ($machine_type, $kvmver, 2, 3)) {
@@ -2829,7 +3068,7 @@ sub config_to_command {
            }
        }
 
-       if ($ost eq 'win7' || $ost eq 'win8') {
+       if ($ostype eq 'win7' || $ostype eq 'win8') {
            push @$cpuFlags , 'hv_relaxed' if !$nokvm;
        }
     }
@@ -2853,13 +3092,17 @@ sub config_to_command {
     }
 
     my $cpu = $nokvm ? "qemu64" : "kvm64";
-    $cpu = $conf->{cpu} if $conf->{cpu};
+    if (my $cputype = $conf->{cpu}) {
+       my $cpuconf = PVE::JSONSchema::parse_property_string($cpudesc, $cputype)
+           or die "Cannot parse cpu description: $cputype\n";
+       $cpu = $cpuconf->{cputype};
+       $kvm_off = 1 if $cpuconf->{hidden};
+    }
 
     push @$cpuFlags , '+lahf_lm' if $cpu eq 'kvm64';
 
-    push @$cpuFlags , '+x2apic' if !$nokvm && $conf->{ostype} ne 'solaris';
-
-    push @$cpuFlags , '-x2apic' if $conf->{ostype} eq 'solaris';
+    push @$cpuFlags , '-x2apic'
+       if $conf->{ostype} && $conf->{ostype} eq 'solaris';
 
     push @$cpuFlags, '+sep' if $cpu eq 'kvm64' || $cpu eq 'kvm32';
 
@@ -2873,6 +3116,8 @@ sub config_to_command {
 
     push @$cpuFlags, 'enforce' if $cpu ne 'host' && !$nokvm;
 
+    push @$cpuFlags, 'kvm=off' if $kvm_off;
+
     $cpu .= "," . join(',', @$cpuFlags) if scalar(@$cpuFlags);
 
     push @$cmd, '-cpu', $cpu;
@@ -2973,7 +3218,7 @@ sub config_to_command {
            #if dimm_memory is not aligned to dimm map
            if($current_size > $memory) {
                 $conf->{memory} = $current_size;
-                update_config_nolock($vmid, $conf, 1);
+                write_config($vmid, $conf);
            }
        });
     }
@@ -3124,7 +3369,7 @@ sub config_to_command {
          my $netdevfull = print_netdev_full($vmid,$conf,$d,"net$i");
          push @$devices, '-netdev', $netdevfull;
 
-         my $netdevicefull = print_netdevice_full($vmid,$conf,$d,"net$i",$bridges);
+         my $netdevicefull = print_netdevice_full($vmid, $conf, $d, "net$i", $bridges, $use_old_bios_files);
          push @$devices, '-device', $netdevicefull;
     }
 
@@ -3289,7 +3534,12 @@ sub vm_deviceplug {
     } elsif ($deviceid =~ m/^(net)(\d+)$/) {
 
         return undef if !qemu_netdevadd($vmid, $conf, $device, $deviceid);
-        my $netdevicefull = print_netdevice_full($vmid, $conf, $device, $deviceid);
+
+        my $machine_type = PVE::QemuServer::qemu_machine_pxe($vmid, $conf); 
+        my $use_old_bios_files = undef;
+        ($use_old_bios_files, $machine_type) = qemu_use_old_bios_files($machine_type);
+
+        my $netdevicefull = print_netdevice_full($vmid, $conf, $device, $deviceid, undef, $use_old_bios_files);
         qemu_deviceadd($vmid, $netdevicefull);
         eval { qemu_deviceaddverify($vmid, $deviceid); };
        if (my $err = $@) {
@@ -3546,7 +3796,7 @@ sub qemu_set_link_status {
 sub qemu_netdevadd {
     my ($vmid, $conf, $device, $deviceid) = @_;
 
-    my $netdev = print_netdev_full($vmid, $conf, $device, $deviceid);
+    my $netdev = print_netdev_full($vmid, $conf, $device, $deviceid, 1);
     my %options =  split(/[=,]/, $netdev);
 
     vm_mon_cmd($vmid, "netdev_add",  %options);
@@ -3625,7 +3875,7 @@ sub qemu_memory_hotplug {
                }
                #update conf after each succesful module hotplug
                $conf->{memory} = $current_size;
-               update_config_nolock($vmid, $conf, 1);
+               write_config($vmid, $conf);
        });
 
     } else {
@@ -3650,7 +3900,7 @@ sub qemu_memory_hotplug {
                $conf->{memory} = $current_size;
 
                eval { qemu_objectdel($vmid, "mem-$name"); };
-               update_config_nolock($vmid, $conf, 1);
+               write_config($vmid, $conf);
        });
     }
 }
@@ -3673,11 +3923,26 @@ sub qemu_dimm_list {
 }
 
 sub qemu_block_set_io_throttle {
-    my ($vmid, $deviceid, $bps, $bps_rd, $bps_wr, $iops, $iops_rd, $iops_wr) = @_;
+    my ($vmid, $deviceid,
+       $bps, $bps_rd, $bps_wr, $iops, $iops_rd, $iops_wr,
+       $bps_max, $bps_rd_max, $bps_wr_max, $iops_max, $iops_rd_max, $iops_wr_max) = @_;
 
     return if !check_running($vmid) ;
 
-    vm_mon_cmd($vmid, "block_set_io_throttle", device => $deviceid, bps => int($bps), bps_rd => int($bps_rd), bps_wr => int($bps_wr), iops => int($iops), iops_rd => int($iops_rd), iops_wr => int($iops_wr));
+    vm_mon_cmd($vmid, "block_set_io_throttle", device => $deviceid,
+       bps => int($bps),
+       bps_rd => int($bps_rd),
+       bps_wr => int($bps_wr),
+       iops => int($iops),
+       iops_rd => int($iops_rd),
+       iops_wr => int($iops_wr),
+       bps_max => int($bps_max),
+       bps_rd_max => int($bps_rd_max),
+       bps_wr_max => int($bps_wr_max),
+       iops_max => int($iops_max),
+       iops_rd_max => int($iops_rd_max),
+       iops_wr_max => int($iops_wr_max)
+    );
 
 }
 
@@ -3833,9 +4098,10 @@ sub set_migration_caps {
 
     my $enabled_cap = {
        "auto-converge" => 1,
-       "xbzrle" => 0,
+       "xbzrle" => 1,
        "x-rdma-pin-all" => 0,
        "zero-blocks" => 0,
+       "compress" => 0
     };
 
     my $supported_capabilities = vm_mon_cmd_nocheck($vmid, "query-migrate-capabilities");
@@ -3856,6 +4122,7 @@ my $fast_plug_option = {
     'onboot' => 1,
     'shares' => 1,
     'startup' => 1,
+    'description' => 1,
 };
 
 # hotplug changes in [PENDING]
@@ -3886,14 +4153,14 @@ sub vmconfig_hotplug_pending {
     }
 
     if ($changes) {
-       update_config_nolock($vmid, $conf, 1);
+       write_config($vmid, $conf);
        $conf = load_config($vmid); # update/reload
     }
 
     my $hotplug_features = parse_hotplug_features(defined($conf->{hotplug}) ? $conf->{hotplug} : '1');
 
-    my @delete = PVE::Tools::split_list($conf->{pending}->{delete});
-    foreach my $opt (@delete) {
+    my $pending_delete_hash = split_flagged_list($conf->{pending}->{delete});
+    while (my ($opt, $force) = each %$pending_delete_hash) {
        next if $selection && !$selection->{$opt};
        eval {
            if ($opt eq 'hotplug') {
@@ -3919,7 +4186,7 @@ sub vmconfig_hotplug_pending {
            } elsif (valid_drivename($opt)) {
                die "skip\n" if !$hotplug_features->{disk} || $opt =~ m/(ide|sata)(\d+)/;
                vm_deviceunplug($vmid, $conf, $opt);
-               vmconfig_register_unused_drive($storecfg, $vmid, $conf, parse_drive($opt, $conf->{$opt}));
+               vmconfig_delete_or_detach_drive($vmid, $storecfg, $conf, $opt, $force);
            } elsif ($opt =~ m/^memory$/) {
                die "skip\n" if !$hotplug_features->{memory};
                qemu_memory_hotplug($vmid, $conf, $defaults, $opt);
@@ -3937,7 +4204,7 @@ sub vmconfig_hotplug_pending {
            # save new config if hotplug was successful
            delete $conf->{$opt};
            vmconfig_undelete_pending_option($conf, $opt);
-           update_config_nolock($vmid, $conf, 1);
+           write_config($vmid, $conf);
            $conf = load_config($vmid); # update/reload
        }
     }
@@ -3995,33 +4262,72 @@ sub vmconfig_hotplug_pending {
            # save new config if hotplug was successful
            $conf->{$opt} = $value;
            delete $conf->{pending}->{$opt};
-           update_config_nolock($vmid, $conf, 1);
+           write_config($vmid, $conf);
            $conf = load_config($vmid); # update/reload
        }
     }
 }
 
+sub try_deallocate_drive {
+    my ($storecfg, $vmid, $conf, $key, $drive, $rpcenv, $authuser, $force) = @_;
+
+    if (($force || $key =~ /^unused/) && !drive_is_cdrom($drive, 1)) {
+       my $volid = $drive->{file};
+       if (vm_is_volid_owner($storecfg, $vmid, $volid)) {
+           my $sid = PVE::Storage::parse_volume_id($volid);
+           $rpcenv->check($authuser, "/storage/$sid", ['Datastore.AllocateSpace']);
+
+           # check if the disk is really unused
+           die "unable to delete '$volid' - volume is still in use (snapshot?)\n"
+               if is_volume_in_use($storecfg, $conf, $key, $volid);
+           PVE::Storage::vdisk_free($storecfg, $volid);
+           return 1;
+       } else {
+           # If vm is not owner of this disk remove from config
+           return 1;
+       }
+    }
+
+    return undef;
+}
+
+sub vmconfig_delete_or_detach_drive {
+    my ($vmid, $storecfg, $conf, $opt, $force) = @_;
+
+    my $drive = parse_drive($opt, $conf->{$opt});
+
+    my $rpcenv = PVE::RPCEnvironment::get();
+    my $authuser = $rpcenv->get_user();
+
+    if ($force) {
+       $rpcenv->check_vm_perm($authuser, $vmid, undef, ['VM.Config.Disk']);
+       try_deallocate_drive($storecfg, $vmid, $conf, $opt, $drive, $rpcenv, $authuser, $force);
+    } else {
+       vmconfig_register_unused_drive($storecfg, $vmid, $conf, $drive);
+    }
+}
+
 sub vmconfig_apply_pending {
     my ($vmid, $conf, $storecfg) = @_;
 
     # cold plug
 
-    my @delete = PVE::Tools::split_list($conf->{pending}->{delete});
-    foreach my $opt (@delete) { # delete
+    my $pending_delete_hash = split_flagged_list($conf->{pending}->{delete});
+    while (my ($opt, $force) = each %$pending_delete_hash) {
        die "internal error" if $opt =~ m/^unused/;
        $conf = load_config($vmid); # update/reload
        if (!defined($conf->{$opt})) {
            vmconfig_undelete_pending_option($conf, $opt);
-           update_config_nolock($vmid, $conf, 1);
+           write_config($vmid, $conf);
        } elsif (valid_drivename($opt)) {
-           vmconfig_register_unused_drive($storecfg, $vmid, $conf, parse_drive($opt, $conf->{$opt}));
+           vmconfig_delete_or_detach_drive($vmid, $storecfg, $conf, $opt, $force);
            vmconfig_undelete_pending_option($conf, $opt);
            delete $conf->{$opt};
-           update_config_nolock($vmid, $conf, 1);
+           write_config($vmid, $conf);
        } else {
            vmconfig_undelete_pending_option($conf, $opt);
            delete $conf->{$opt};
-           update_config_nolock($vmid, $conf, 1);
+           write_config($vmid, $conf);
        }
     }
 
@@ -4041,7 +4347,7 @@ sub vmconfig_apply_pending {
        }
 
        delete $conf->{pending}->{$opt};
-       update_config_nolock($vmid, $conf, 1);
+       write_config($vmid, $conf);
     }
 }
 
@@ -4092,9 +4398,10 @@ sub vmconfig_update_net {
 
            if (&$safe_string_ne($oldnet->{bridge}, $newnet->{bridge}) ||
                &$safe_num_ne($oldnet->{tag}, $newnet->{tag}) ||
+               &$safe_string_ne($oldnet->{trunks}, $newnet->{trunks}) ||
                &$safe_num_ne($oldnet->{firewall}, $newnet->{firewall})) {
                PVE::Network::tap_unplug($iface);
-               PVE::Network::tap_plug($iface, $newnet->{bridge}, $newnet->{tag}, $newnet->{firewall});
+               PVE::Network::tap_plug($iface, $newnet->{bridge}, $newnet->{tag}, $newnet->{firewall}, $newnet->{trunks});
            }
 
            if (&$safe_string_ne($oldnet->{link_down}, $newnet->{link_down})) {
@@ -4198,11 +4505,13 @@ sub vmconfig_update_disk {
 
     die "skip\n" if !$hotplug || $opt =~ m/(ide|sata)(\d+)/;
     # hotplug new disks
+    PVE::Storage::activate_volumes($storecfg, [$drive->{file}]) if $drive->{file} !~ m|^/dev/.+|;
     vm_deviceplug($storecfg, $conf, $vmid, $opt, $drive);
 }
 
 sub vm_start {
-    my ($storecfg, $vmid, $statefile, $skiplock, $migratedfrom, $paused, $forcemachine, $spice_ticket) = @_;
+    my ($storecfg, $vmid, $statefile, $skiplock, $migratedfrom, $paused,
+       $forcemachine, $spice_ticket) = @_;
 
     lock_config($vmid, sub {
        my $conf = load_config($vmid, $migratedfrom);
@@ -4234,10 +4543,11 @@ sub vm_start {
                my $nodename = PVE::INotify::nodename();
                if ($datacenterconf->{migration_unsecure}) {
                        $localip = PVE::Cluster::remote_node_ip($nodename, 1);
+                       $localip = "[$localip]" if Net::IP::ip_is_ipv6($localip);
                }
                my $pfamily = PVE::Tools::get_host_address_family($nodename);
                $migrate_port = PVE::Tools::next_migrate_port($pfamily);
-               $migrate_uri = "tcp:[${localip}]:${migrate_port}";
+               $migrate_uri = "tcp:${localip}:${migrate_port}";
                push @$cmd, '-incoming', $migrate_uri;
                push @$cmd, '-S';
            } else {
@@ -4258,13 +4568,7 @@ sub vm_start {
                my $info = pci_device_info("0000:$pciid");
                die "IOMMU not present\n" if !check_iommu_support();
                die "no pci device info for device '$pciid'\n" if !$info;
-
-               if ($d->{driver} && $d->{driver} eq "vfio") {
-                   die "can't unbind/bind pci group to vfio '$pciid'\n" if !pci_dev_group_bind_to_vfio($pciid);
-               } else {
-                   die "can't unbind/bind to stub pci device '$pciid'\n" if !pci_dev_bind_to_stub($info);
-               }
-
+               die "can't unbind/bind pci group to vfio '$pciid'\n" if !pci_dev_group_bind_to_vfio($pciid);
                die "can't reset pci device '$pciid'\n" if $info->{has_fl_reset} and !pci_dev_reset($info);
          }
         }
@@ -4273,8 +4577,12 @@ sub vm_start {
 
        eval  { run_command($cmd, timeout => $statefile ? undef : 30,
                    umask => 0077); };
-       my $err = $@;
-       die "start failed: $err" if $err;
+
+       if (my $err = $@) {
+           # deactivate volumes if start fails
+           eval { PVE::Storage::deactivate_volumes($storecfg, $vollist); };
+           die "start failed: $err";
+       }
 
        print "migration listens on $migrate_uri\n" if $migrate_uri;
 
@@ -4549,15 +4857,21 @@ sub vm_suspend {
 }
 
 sub vm_resume {
-    my ($vmid, $skiplock) = @_;
+    my ($vmid, $skiplock, $nocheck) = @_;
 
     lock_config($vmid, sub {
 
-       my $conf = load_config($vmid);
+       if (!$nocheck) {
 
-       check_lock($conf) if !($skiplock || ($conf->{lock} && $conf->{lock} eq 'backup'));
+           my $conf = load_config($vmid);
 
-       vm_mon_cmd($vmid, "cont");
+           check_lock($conf) if !($skiplock || ($conf->{lock} && $conf->{lock} eq 'backup'));
+
+           vm_mon_cmd($vmid, "cont");
+
+       } else {
+           vm_mon_cmd_nocheck($vmid, "cont");
+       }
     });
 }
 
@@ -4580,10 +4894,8 @@ sub vm_destroy {
 
        my $conf = load_config($vmid);
 
-       check_lock($conf) if !$skiplock;
-
        if (!check_running($vmid)) {
-           destroy_vm($storecfg, $vmid);
+           destroy_vm($storecfg, $vmid, undef, $skiplock);
        } else {
            die "VM $vmid is running - destroy failed\n";
        }
@@ -4647,30 +4959,6 @@ sub pci_dev_reset {
     return file_write($fn, "1");
 }
 
-sub pci_dev_bind_to_stub {
-    my ($dev) = @_;
-
-    my $name = $dev->{name};
-
-    my $testdir = "$pcisysfs/drivers/pci-stub/$name";
-    return 1 if -d $testdir;
-
-    my $data = "$dev->{vendor} $dev->{product}";
-    return undef if !file_write("$pcisysfs/drivers/pci-stub/new_id", $data);
-
-    my $fn = "$pcisysfs/devices/$name/driver/unbind";
-    if (!file_write($fn, $name)) {
-       return undef if -f $fn;
-    }
-
-    $fn = "$pcisysfs/drivers/pci-stub/bind";
-    if (! -d $testdir) {
-       return undef if !file_write($fn, $name);
-    }
-
-    return -d $testdir;
-}
-
 sub pci_dev_bind_to_vfio {
     my ($dev) = @_;
 
@@ -4794,6 +5082,7 @@ sub print_pci_addr {
        'net29' => { bus => 1, addr => 24 },
        'net30' => { bus => 1, addr => 25 },
        'net31' => { bus => 1, addr => 26 },
+       'xhci' => { bus => 1, addr => 27 },
        'virtio6' => { bus => 2, addr => 1 },
        'virtio7' => { bus => 2, addr => 2 },
        'virtio8' => { bus => 2, addr => 3 },
@@ -4983,10 +5272,10 @@ sub restore_update_config_line {
     } elsif ($line =~ m/^((ide|scsi|virtio|sata)\d+):\s*(\S+)\s*$/) {
        my $virtdev = $1;
        my $value = $3;
-       if ($line =~ m/backup=no/) {
+       my $di = parse_drive($virtdev, $value);
+       if (defined($di->{backup}) && !$di->{backup}) {
            print $outfd "#$line";
-       } elsif ($virtdev && $map->{$virtdev}) {
-           my $di = parse_drive($virtdev, $value);
+       } elsif ($map->{$virtdev}) {
            delete $di->{format}; # format can change on restore
            $di->{file} = $map->{$virtdev};
            $value = print_drive($vmid, $di);
@@ -5016,10 +5305,10 @@ sub scan_volids {
     return $volid_hash;
 }
 
-sub get_used_paths {
-    my ($vmid, $storecfg, $conf, $scan_snapshots, $skip_drive) = @_;
+sub is_volume_in_use {
+    my ($storecfg, $conf, $skip_drive, $volid) = @_;
 
-    my $used_path = {};
+    my $path = PVE::Storage::path($storecfg, $volid);
 
     my $scan_config = sub {
        my ($cref, $snapname) = @_;
@@ -5030,31 +5319,31 @@ sub get_used_paths {
                next if $skip_drive && $key eq $skip_drive;
                my $drive = parse_drive($key, $value);
                next if !$drive || !$drive->{file} || drive_is_cdrom($drive);
+               return 1 if $volid eq $drive->{file};
                if ($drive->{file} =~ m!^/!) {
-                   $used_path->{$drive->{file}}++; # = 1;
+                   return 1 if $drive->{file} eq $path;
                } else {
                    my ($storeid, $volname) = PVE::Storage::parse_volume_id($drive->{file}, 1);
                    next if !$storeid;
                    my $scfg = PVE::Storage::storage_config($storecfg, $storeid, 1);
                    next if !$scfg;
-                   my $path = PVE::Storage::path($storecfg, $drive->{file}, $snapname);
-                   $used_path->{$path}++; # = 1;
+                   return 1 if $path eq PVE::Storage::path($storecfg, $drive->{file}, $snapname);
                }
            }
        }
+
+       return 0;
     };
 
-    &$scan_config($conf);
+    return 1 if &$scan_config($conf);
 
     undef $skip_drive;
 
-    if ($scan_snapshots) {
-       foreach my $snapname (keys %{$conf->{snapshots}}) {
-           &$scan_config($conf->{snapshots}->{$snapname}, $snapname);
-       }
+    foreach my $snapname (keys %{$conf->{snapshots}}) {
+       return 1 if &$scan_config($conf->{snapshots}->{$snapname}, $snapname);
     }
 
-    return $used_path;
+    return 0;
 }
 
 sub update_disksize {
@@ -5142,7 +5431,7 @@ sub rescan {
 
        my $changes = update_disksize($vmid, $conf, $vm_volids);
 
-       update_config_nolock($vmid, $conf, 1) if $changes;
+       write_config($vmid, $conf) if $changes;
     };
 
     if (defined($vmid)) {
@@ -5223,6 +5512,13 @@ sub restore_vma_archive {
        my $fh = IO::File->new($cfgfn, "r") ||
            "unable to read qemu-server.conf - $!\n";
 
+       my $fwcfgfn = "$tmpdir/qemu-server.fw";
+       if (-f $fwcfgfn) {
+           my $pve_firewall_dir = '/etc/pve/firewall';
+           mkdir $pve_firewall_dir; # make sure the dir exists
+           PVE::Tools::file_copy($fwcfgfn, "${pve_firewall_dir}/$vmid.fw");
+       }
+
        while (defined(my $line = <$fh>)) {
            if ($line =~ m/^\#qmdump\#map:(\S+):(\S+):(\S*):(\S*):$/) {
                my ($virtdev, $devname, $storeid, $format) = ($1, $2, $3, $4);
@@ -5277,6 +5573,18 @@ sub restore_vma_archive {
                    PVE::Storage::vdisk_free($cfg, $volid);
                }
            });
+
+           # delete vmstate files
+           # since after the restore we have no snapshots anymore
+           foreach my $snapname (keys %{$oldconf->{snapshots}}) {
+               my $snap = $oldconf->{snapshots}->{$snapname};
+               if ($snap->{vmstate}) {
+                   eval { PVE::Storage::vdisk_free($cfg, $snap->{vmstate}); };
+                   if (my $err = $@) {
+                       warn $err;
+                   }
+               }
+           }
        }
 
        my $map = {};
@@ -5296,6 +5604,8 @@ sub restore_vma_archive {
            $d->{volid} = $volid;
            my $path = PVE::Storage::path($cfg, $volid);
 
+           PVE::Storage::activate_volumes($cfg,[$volid]);
+
            my $write_zeros = 1;
            # fixme: what other storages types initialize volumes with zero?
            if ($scfg->{type} eq 'dir' || $scfg->{type} eq 'nfs' || $scfg->{type} eq 'glusterfs' ||
@@ -5361,13 +5671,21 @@ sub restore_vma_archive {
 
     alarm($oldtimeout) if $oldtimeout;
 
+    my $vollist = [];
+    foreach my $devname (keys %$devinfo) {
+       my $volid = $devinfo->{$devname}->{volid};
+       push @$vollist, $volid if $volid;
+    }
+
+    my $cfg = cfs_read_file('storage.cfg');
+    PVE::Storage::deactivate_volumes($cfg, $vollist);
+
     unlink $mapfifo;
 
     if ($err) {
        rmtree $tmpdir;
        unlink $tmpfn;
 
-       my $cfg = cfs_read_file('storage.cfg');
        foreach my $devname (keys %$devinfo) {
            my $volid = $devinfo->{$devname}->{volid};
            next if !$volid;
@@ -5613,7 +5931,18 @@ my $alloc_vmstate_volid = sub {
     return $volid;
 };
 
-my $snapshot_prepare = sub {
+my $snapshot_save_vmstate = sub {
+    my ($vmid, $conf, $snapname, $storecfg) = @_;
+
+    my $snap = $conf->{snapshots}->{$snapname};
+
+    $snap->{vmstate} = &$alloc_vmstate_volid($storecfg, $vmid, $conf, $snapname);
+    # always overwrite machine if we save vmstate. This makes sure we
+    # can restore it later using correct machine type
+    $snap->{machine} = get_current_qemu_machine($vmid);
+};
+
+sub snapshot_prepare {
     my ($vmid, $snapname, $save_vmstate, $comment) = @_;
 
     my $snap;
@@ -5633,12 +5962,12 @@ my $snapshot_prepare = sub {
            if defined($conf->{snapshots}->{$snapname});
 
        my $storecfg = PVE::Storage::config();
-       die "snapshot feature is not available" if !has_feature('snapshot', $conf, $storecfg);
+       die "snapshot feature is not available\n" if !has_feature('snapshot', $conf, $storecfg);
 
        $snap = $conf->{snapshots}->{$snapname} = {};
 
        if ($save_vmstate && check_running($vmid)) {
-           $snap->{vmstate} = &$alloc_vmstate_volid($storecfg, $vmid, $conf, $snapname);
+           &$snapshot_save_vmstate($vmid, $conf, $snapname, $storecfg);
        }
 
        &$snapshot_copy_config($conf, $snap);
@@ -5647,19 +5976,15 @@ my $snapshot_prepare = sub {
        $snap->{snaptime} = time();
        $snap->{description} = $comment if $comment;
 
-       # always overwrite machine if we save vmstate. This makes sure we
-       # can restore it later using correct machine type
-       $snap->{machine} = get_current_qemu_machine($vmid) if $snap->{vmstate};
-
-       update_config_nolock($vmid, $conf, 1);
+       write_config($vmid, $conf);
     };
 
     lock_config($vmid, $updatefn);
 
     return $snap;
-};
+}
 
-my $snapshot_commit = sub {
+sub snapshot_commit {
     my ($vmid, $snapname) = @_;
 
     my $updatefn = sub {
@@ -5687,11 +6012,11 @@ my $snapshot_commit = sub {
 
        $newconf->{parent} = $snapname;
 
-       update_config_nolock($vmid, $newconf, 1);
+       write_config($vmid, $newconf);
     };
 
     lock_config($vmid, $updatefn);
-};
+}
 
 sub snapshot_rollback {
     my ($vmid, $snapname) = @_;
@@ -5766,7 +6091,7 @@ sub snapshot_rollback {
            delete $conf->{machine} if $snap->{vmstate} && !$has_machine_config;
        }
 
-       update_config_nolock($vmid, $conf, 1);
+       write_config($vmid, $conf);
 
        if (!$prepare && $snap->{vmstate}) {
            my $statefile = PVE::Storage::path($storecfg, $snap->{vmstate});
@@ -5814,7 +6139,8 @@ sub do_snapshots_with_qemu {
 
     my $storage_name = PVE::Storage::parse_volume_id($volid);
 
-    if ($qemu_snap_storage->{$storecfg->{ids}->{$storage_name}->{type}} ){
+    if ($qemu_snap_storage->{$storecfg->{ids}->{$storage_name}->{type}} 
+       && !$storecfg->{ids}->{$storage_name}->{krbd}){
        return 1;
     }
 
@@ -5825,10 +6151,21 @@ sub do_snapshots_with_qemu {
     return undef;
 }
 
+sub qga_check_running {
+    my ($vmid) = @_;
+
+    eval { vm_mon_cmd($vmid, "guest-ping", timeout => 3); };
+    if ($@) {
+       warn "Qemu Guest Agent are not running - $@";
+       return 0;
+    }
+    return 1;
+}
+
 sub snapshot_create {
     my ($vmid, $snapname, $save_vmstate, $comment) = @_;
 
-    my $snap = &$snapshot_prepare($vmid, $snapname, $save_vmstate, $comment);
+    my $snap = snapshot_prepare($vmid, $snapname, $save_vmstate, $comment);
 
     $save_vmstate = 0 if !$snap->{vmstate}; # vm is not running
 
@@ -5836,7 +6173,7 @@ sub snapshot_create {
 
     my $running = check_running($vmid);
 
-    my $freezefs = $running && $config->{agent};
+    my $freezefs = $running && $config->{agent} && qga_check_running($vmid);
     $freezefs = 0 if $snap->{vmstate}; # not needed if we save RAM
 
     my $drivehash = {};
@@ -5904,7 +6241,7 @@ sub snapshot_create {
        die $err;
     }
 
-    &$snapshot_commit($vmid, $snapname);
+    snapshot_commit($vmid, $snapname);
 }
 
 # Note: $drivehash is only set when called from snapshot_create.
@@ -5973,7 +6310,7 @@ sub snapshot_delete {
            }
        }
 
-       update_config_nolock($vmid, $conf, 1);
+       write_config($vmid, $conf);
     };
 
     lock_config($vmid, $updatefn);
@@ -6051,7 +6388,7 @@ sub template_create {
        my $voliddst = PVE::Storage::vdisk_create_base($storecfg, $volid);
        $drive->{file} = $voliddst;
        $conf->{$ds} = print_drive($vmid, $drive);
-       update_config_nolock($vmid, $conf, 1);
+       write_config($vmid, $conf);
     });
 }
 
@@ -6069,6 +6406,9 @@ sub qemu_img_convert {
     my ($dst_storeid, $dst_volname) = PVE::Storage::parse_volume_id($dst_volid, 1);
 
     if ($src_storeid && $dst_storeid) {
+
+       PVE::Storage::activate_volumes($storecfg, [$src_volid], $snapname);
+
        my $src_scfg = PVE::Storage::storage_config($storecfg, $src_storeid);
        my $dst_scfg = PVE::Storage::storage_config($storecfg, $dst_storeid);
 
@@ -6215,6 +6555,8 @@ sub clone_disk {
        $newvolid = PVE::Storage::vdisk_alloc($storecfg, $storeid, $newvmid, $format, undef, ($size/1024));
        push @$newvollist, $newvolid;
 
+       PVE::Storage::activate_volumes($storecfg, $newvollist);
+
        if (!$running || $snapname) {
            qemu_img_convert($drive->{file}, $newvolid, $size, $snapname);
        } else {
@@ -6271,6 +6613,44 @@ sub qemu_machine_feature_enabled {
 
 }
 
+sub qemu_machine_pxe {
+    my ($vmid, $conf, $machine) = @_;
+
+    $machine =  PVE::QemuServer::get_current_qemu_machine($vmid) if !$machine;
+
+    foreach my $opt (keys %$conf) {
+       next if $opt !~ m/^net(\d+)$/;
+       my $net = PVE::QemuServer::parse_net($conf->{$opt});
+       next if !$net;
+       my $romfile = PVE::QemuServer::vm_mon_cmd_nocheck($vmid, 'qom-get', path => $opt, property => 'romfile');
+       return $machine.".pxe" if $romfile =~ m/pxe/;
+       last;
+    }
+
+    return $machine;
+}
+
+sub qemu_use_old_bios_files {
+    my ($machine_type) = @_;
+
+    return if !$machine_type;
+
+    my $use_old_bios_files = undef;
+
+    if ($machine_type =~ m/^(\S+)\.pxe$/) {
+        $machine_type = $1;
+        $use_old_bios_files = 1;
+    } else {
+        # Note: kvm version < 2.4 use non-efi pxe files, and have problems when we
+        # load new efi bios files on migration. So this hack is required to allow
+        # live migration from qemu-2.2 to qemu-2.4, which is sometimes used when
+        # updrading from proxmox-ve-3.X to proxmox-ve 4.0
+        $use_old_bios_files = !qemu_machine_feature_enabled ($machine_type, undef, 2, 4);
+    }
+
+    return ($use_old_bios_files, $machine_type);
+}
+
 sub lspci {
 
     my $devices = {};
@@ -6316,4 +6696,77 @@ sub scsihw_infos {
     return ($maxdev, $controller, $controller_prefix);
 }
 
+# bash completion helper
+
+sub complete_backup_archives {
+    my ($cmdname, $pname, $cvalue) = @_;
+
+    my $cfg = PVE::Storage::config();
+
+    my $storeid;
+
+    if ($cvalue =~ m/^([^:]+):/) {
+       $storeid = $1;
+    }
+
+    my $data = PVE::Storage::template_list($cfg, $storeid, 'backup');
+
+    my $res = [];
+    foreach my $id (keys %$data) {
+       foreach my $item (@{$data->{$id}}) {
+           next if $item->{format} !~ m/^vma\.(gz|lzo)$/;
+           push @$res, $item->{volid} if defined($item->{volid});
+       }
+    }
+
+    return $res;
+}
+
+my $complete_vmid_full = sub {
+    my ($running) = @_;
+
+    my $idlist = vmstatus();
+
+    my $res = [];
+
+    foreach my $id (keys %$idlist) {
+       my $d = $idlist->{$id};
+       if (defined($running)) {
+           next if $d->{template};
+           next if $running && $d->{status} ne 'running';
+           next if !$running && $d->{status} eq 'running';
+       }
+       push @$res, $id;
+
+    }
+    return $res;
+};
+
+sub complete_vmid {
+    return &$complete_vmid_full();
+}
+
+sub complete_vmid_stopped {
+    return &$complete_vmid_full(0);
+}
+
+sub complete_vmid_running {
+    return &$complete_vmid_full(1);
+}
+
+sub complete_storage {
+
+    my $cfg = PVE::Storage::config();
+    my $ids = $cfg->{ids};
+
+    my $res = [];
+    foreach my $sid (keys %$ids) {
+       next if !PVE::Storage::storage_check_enabled($cfg, $sid, undef, 1);
+       next if !$ids->{$sid}->{content}->{images};
+       push @$res, $sid;
+    }
+
+    return $res;
+}
+
 1;