]> git.proxmox.com Git - qemu-server.git/blobdiff - PVE/API2/Qemu.pm
avoid recursive calls to clusvcadm
[qemu-server.git] / PVE / API2 / Qemu.pm
index d97b67b55f1cc821ead9d4a7620bf99af93b676d..c98c315022830b0814be8d997a1591c9315395c1 100644 (file)
@@ -4,7 +4,7 @@ use strict;
 use warnings;
 use Cwd 'abs_path';
 
-use PVE::Cluster;
+use PVE::Cluster qw (cfs_read_file cfs_write_file);;
 use PVE::SafeSyslog;
 use PVE::Tools qw(extract_param);
 use PVE::Exception qw(raise raise_param_exc);
@@ -33,70 +33,64 @@ my $resolve_cdrom_alias = sub {
     }
 };
 
-my $check_volume_access = sub {
-    my ($rpcenv, $authuser, $storecfg, $vmid, $volid, $pool) = @_;
-
-    my $path;
-    if (my ($sid, $volname) = PVE::Storage::parse_volume_id($volid, 1)) {
-       my ($ownervm, $vtype);
-       ($path, $ownervm, $vtype) = PVE::Storage::path($storecfg, $volid);
-       if ($vtype eq 'iso' || $vtype eq 'vztmpl') {
-           # we simply allow access 
-       } elsif (!$ownervm || ($ownervm != $vmid)) {
-           # allow if we are Datastore administrator
-           $rpcenv->check_storage_perm($authuser, $vmid, $pool, $sid, [ 'Datastore.Allocate' ]);
-       }
-    } else {
-       die "Only root can pass arbitrary filesystem paths."
-           if $authuser ne 'root@pam';
 
-       $path = abs_path($volid);
-    }
-    return $path;
+my $check_storage_access = sub {
+   my ($rpcenv, $authuser, $storecfg, $vmid, $settings, $default_storage) = @_;
+
+   PVE::QemuServer::foreach_drive($settings, sub {
+       my ($ds, $drive) = @_;
+
+       my $isCDROM = PVE::QemuServer::drive_is_cdrom($drive);
+
+       my $volid = $drive->{file};
+
+       if (!$volid || $volid eq 'none') {
+           # nothing to check
+       } elsif ($isCDROM && ($volid eq 'cdrom')) {
+           $rpcenv->check($authuser, "/", ['Sys.Console']);
+       } elsif (!$isCDROM && ($volid =~ m/^(([^:\s]+):)?(\d+(\.\d+)?)$/)) {
+           my ($storeid, $size) = ($2 || $default_storage, $3);
+           die "no storage ID specified (and no default storage)\n" if !$storeid;
+           $rpcenv->check($authuser, "/storage/$storeid", ['Datastore.AllocateSpace']);
+       } else {
+           my $path = $rpcenv->check_volume_access($authuser, $storecfg, $vmid, $volid);
+           die "image '$path' does not exists\n" if (!(-f $path || -b $path));
+       }
+    });
 };
 
 # Note: $pool is only needed when creating a VM, because pool permissions
 # are automatically inherited if VM already exists inside a pool.
 my $create_disks = sub {
-    my ($rpcenv, $authuser, $storecfg, $vmid, $pool, $settings, $conf, $default_storage) = @_;
+    my ($rpcenv, $authuser, $conf, $storecfg, $vmid, $pool, $settings, $default_storage) = @_;
 
-    # check permissions first
+    my $vollist = [];
 
-    my $alloc = [];
-    foreach_drive($settings, sub {
+    my $res = {};
+    PVE::QemuServer::foreach_drive($settings, sub {
        my ($ds, $disk) = @_;
 
-       return if drive_is_cdrom($disk);
-
        my $volid = $disk->{file};
 
-       if ($volid =~ m/^(([^:\s]+):)?(\d+(\.\d+)?)$/) {
+       if (!$volid || $volid eq 'none' || $volid eq 'cdrom') {
+           $res->{$ds} = $settings->{$ds};
+       } elsif ($volid =~ m/^(([^:\s]+):)?(\d+(\.\d+)?)$/) {
            my ($storeid, $size) = ($2 || $default_storage, $3);
            die "no storage ID specified (and no default storage)\n" if !$storeid;
-           $rpcenv->check_storage_perm($authuser, $vmid, $pool, $storeid, [ 'Datastore.AllocateSpace' ]);
            my $defformat = PVE::Storage::storage_default_format($storecfg, $storeid);
            my $fmt = $disk->{format} || $defformat;
-           push @$alloc, [$ds, $disk, $storeid, $size, $fmt];
-       } else {
-           my $path = &$check_volume_access($rpcenv, $authuser, $storecfg, $vmid, $volid, $pool);
-           die "image '$path' does not exists\n" if (!(-f $path || -b $path));
-       }
-    });
-
-    # now try to allocate everything
-
-    my $vollist = [];
-    eval {
-       foreach my $task (@$alloc) {
-           my ($ds, $disk, $storeid, $size, $fmt) = @$task;
-
            my $volid = PVE::Storage::vdisk_alloc($storecfg, $storeid, $vmid,
                                                  $fmt, undef, $size*1024*1024);
-
            $disk->{file} = $volid;
            push @$vollist, $volid;
+           delete $disk->{format}; # no longer needed
+           $res->{$ds} = PVE::QemuServer::print_drive($vmid, $disk);
+       } else {
+           my $path = $rpcenv->check_volume_access($authuser, $storecfg, $vmid, $volid);
+           die "image '$path' does not exists\n" if (!(-f $path || -b $path));
+           $res->{$ds} = $settings->{$ds};
        }
-    };
+    });
 
     # free allocated images on error
     if (my $err = $@) {
@@ -109,27 +103,25 @@ my $create_disks = sub {
     }
 
     # modify vm config if everything went well
-    foreach my $task (@$alloc) {
-       my ($ds, $disk) = @$task;
-       delete $disk->{format}; # no longer needed
-       $settings->{$ds} = PVE::QemuServer::print_drive($vmid, $disk);
+    foreach my $ds (keys %$res) {
+       $conf->{$ds} = $res->{$ds};
     }
 
     return $vollist;
 };
 
 my $check_vm_modify_config_perm = sub {
-    my ($rpcenv, $authuser, $vmid, $pool, $param) = @_;
+    my ($rpcenv, $authuser, $vmid, $pool, $key_list) = @_;
 
-    return 1 if $authuser ne 'root@pam';
+    return 1 if $authuser eq 'root@pam';
 
-    foreach my $opt (keys %$param) {
+    foreach my $opt (@$key_list) {
        # disk checks need to be done somewhere else
        next if PVE::QemuServer::valid_drivename($opt);
 
        if ($opt eq 'sockets' || $opt eq 'cores' ||
            $opt eq 'cpu' || $opt eq 'smp' || 
-           $opt eq 'cpuimit' || $opt eq 'cpuunits') {
+           $opt eq 'cpulimit' || $opt eq 'cpuunits') {
            $rpcenv->check_vm_perm($authuser, $vmid, $pool, ['VM.Config.CPU']);
        } elsif ($opt eq 'boot' || $opt eq 'bootdisk') {
            $rpcenv->check_vm_perm($authuser, $vmid, $pool, ['VM.Config.Disk']);
@@ -279,12 +271,16 @@ __PACKAGE__->register_method({
            $rpcenv->check_perm_modify($authuser, "/pool/$pool");
        } 
 
-       $rpcenv->check_storage_perm($authuser, $vmid, $pool, $storage, [ 'Datastore.AllocateSpace' ])
+       $rpcenv->check($authuser, "/storage/$storage", ['Datastore.AllocateSpace'])
            if defined($storage);
 
        if (!$archive) {
            &$resolve_cdrom_alias($param);
 
+           &$check_storage_access($rpcenv, $authuser, $storecfg, $vmid, $param, $storage);
+
+           &$check_vm_modify_config_perm($rpcenv, $authuser, $vmid, $pool, [ keys %$param]);
+
            foreach my $opt (keys %$param) {
                if (PVE::QemuServer::valid_drivename($opt)) {
                    my $drive = PVE::QemuServer::parse_drive($opt, $param->{$opt});
@@ -304,12 +300,21 @@ __PACKAGE__->register_method({
                die "pipe requires cli environment\n"
                    && $rpcenv->{type} ne 'cli';
            } else {
-               my $path = &$check_volume_access($rpcenv, $authuser, $storecfg, $vmid, $archive, $pool);
+               my $path = $rpcenv->check_volume_access($authuser, $storecfg, $vmid, $archive);
                die "can't find archive file '$archive'\n" if !($path && -f $path);
                $archive = $path;
            }
        }
 
+       my $addVMtoPoolFn = sub {                      
+           my $usercfg = cfs_read_file("user.cfg");
+           if (my $data = $usercfg->{pools}->{$pool}) {
+               $data->{vms}->{$vmid} = 1;
+               $usercfg->{vms}->{$vmid} = $pool;
+               cfs_write_file("user.cfg", $usercfg);
+           }
+       };
+
        my $restorefn = sub {
 
            if (-f $filename) {
@@ -328,16 +333,16 @@ __PACKAGE__->register_method({
                    storage => $storage,
                    pool => $pool,
                    unique => $unique });
+
+               PVE::AccessControl::lock_user_config($addVMtoPoolFn, "can't add VM to pool") if $pool;
            };
 
            return $rpcenv->fork_worker('qmrestore', $vmid, $authuser, $realcmd);
        };
 
-       &$check_vm_modify_config_perm($rpcenv, $authuser, $vmid, $pool, $param);
-
        my $createfn = sub {
 
-           # second test (after locking test is accurate)
+           # test after locking
            die "unable to create vm $vmid: config file already exists\n"
                if -f $filename;
 
@@ -345,24 +350,28 @@ __PACKAGE__->register_method({
 
                my $vollist = [];
 
+               my $conf = $param;
+
                eval {
-                   $vollist = &$create_disks($rpcenv, $authuser, $storecfg, $vmid, $pool, $param, $storage);
+
+                   $vollist = &$create_disks($rpcenv, $authuser, $conf, $storecfg, $vmid, $pool, $param, $storage);
 
                    # try to be smart about bootdisk
                    my @disks = PVE::QemuServer::disknames();
                    my $firstdisk;
                    foreach my $ds (reverse @disks) {
-                       next if !$param->{$ds};
-                       my $disk = PVE::QemuServer::parse_drive($ds, $param->{$ds});
+                       next if !$conf->{$ds};
+                       my $disk = PVE::QemuServer::parse_drive($ds, $conf->{$ds});
                        next if PVE::QemuServer::drive_is_cdrom($disk);
                        $firstdisk = $ds;
                    }
 
-                   if (!$param->{bootdisk} && $firstdisk) {
-                       $param->{bootdisk} = $firstdisk;
+                   if (!$conf->{bootdisk} && $firstdisk) {
+                       $conf->{bootdisk} = $firstdisk;
                    }
 
-                   PVE::QemuServer::create_conf_nolock($vmid, $param);
+                   PVE::QemuServer::update_config_nolock($vmid, $conf);
+
                };
                my $err = $@;
 
@@ -373,12 +382,14 @@ __PACKAGE__->register_method({
                    }
                    die "create failed - $err";
                }
+
+               PVE::AccessControl::lock_user_config($addVMtoPoolFn, "can't add VM to pool") if $pool;
            };
 
            return $rpcenv->fork_worker('qmcreate', $vmid, $authuser, $realcmd);
        };
 
-       return PVE::QemuServer::lock_config($vmid, $archive ? $restorefn : $createfn);
+       return PVE::QemuServer::lock_config_full($vmid, 1, $archive ? $restorefn : $createfn);
     }});
 
 __PACKAGE__->register_method({
@@ -545,6 +556,151 @@ __PACKAGE__->register_method({
        return $conf;
     }});
 
+my $vm_is_volid_owner = sub {
+    my ($storecfg, $vmid, $volid) =@_;
+
+    if ($volid !~  m|^/|) {
+       my ($path, $owner);
+       eval { ($path, $owner) = PVE::Storage::path($storecfg, $volid); };
+       if ($owner && ($owner == $vmid)) {
+           return 1;
+       }
+    }
+
+    return undef;
+};
+
+my $test_deallocate_drive = sub {
+    my ($storecfg, $vmid, $key, $drive, $force) = @_;
+
+    if (!PVE::QemuServer::drive_is_cdrom($drive)) {
+       my $volid = $drive->{file};
+       if (&$vm_is_volid_owner($storecfg, $vmid, $volid)) {
+           if ($force || $key =~ m/^unused/) {
+               my $sid = PVE::Storage::parse_volume_id($volid);
+               return $sid;
+           }
+       }
+    }
+
+    return undef;
+};
+
+my $delete_drive = sub {
+    my ($conf, $storecfg, $vmid, $key, $drive, $force) = @_;
+
+    if (!PVE::QemuServer::drive_is_cdrom($drive)) {
+       my $volid = $drive->{file};
+       if (&$vm_is_volid_owner($storecfg, $vmid, $volid)) {
+           if ($force || $key =~ m/^unused/) {
+               eval { PVE::Storage::vdisk_free($storecfg, $volid); };
+               warn $@ if $@;
+           } else {
+               PVE::QemuServer::add_unused_volume($conf, $volid, $vmid);
+           }
+       }
+    }
+
+    delete $conf->{$key};
+};
+
+my $vmconfig_delete_option = sub {
+    my ($rpcenv, $authuser, $conf, $storecfg, $vmid, $opt, $force) = @_;
+
+    return if !defined($conf->{$opt});
+
+    my $isDisk = PVE::QemuServer::valid_drivename($opt)|| ($opt =~ m/^unused/);
+
+    if ($isDisk) {
+       $rpcenv->check_vm_perm($authuser, $vmid, undef, ['VM.Config.Disk']);
+
+       my $drive = PVE::QemuServer::parse_drive($opt, $conf->{$opt});
+       if (my $sid = &$test_deallocate_drive($storecfg, $vmid, $opt, $drive, $force)) {  
+           $rpcenv->check($authuser, "/storage/$sid", ['Datastore.Allocate']);
+       }
+    }
+               
+    die "error hot-unplug $opt" if !PVE::QemuServer::vm_deviceunplug($vmid, $conf, $opt);
+
+    if ($isDisk) {
+       my $drive = PVE::QemuServer::parse_drive($opt, $conf->{$opt});
+       &$delete_drive($conf, $storecfg, $vmid, $opt, $drive, $force);
+    } else {
+       delete $conf->{$opt};
+    }
+
+    PVE::QemuServer::update_config_nolock($vmid, $conf, 1);
+};
+
+my $vmconfig_update_disk = sub {
+    my ($rpcenv, $authuser, $conf, $storecfg, $vmid, $opt, $value, $force) = @_;
+
+    my $drive = PVE::QemuServer::parse_drive($opt, $value);
+
+    if (PVE::QemuServer::drive_is_cdrom($drive)) { #cdrom
+       $rpcenv->check_vm_perm($authuser, $vmid, undef, ['VM.Config.CDROM']);
+    } else {
+       $rpcenv->check_vm_perm($authuser, $vmid, undef, ['VM.Config.Disk']);
+    }
+
+    if ($conf->{$opt}) {
+
+       if (my $old_drive = PVE::QemuServer::parse_drive($opt, $conf->{$opt}))  {
+
+           my $media = $drive->{media} || 'disk';
+           my $oldmedia = $old_drive->{media} || 'disk';
+           die "unable to change media type\n" if $media ne $oldmedia;
+
+           if (!PVE::QemuServer::drive_is_cdrom($old_drive) &&
+               ($drive->{file} ne $old_drive->{file})) {  # delete old disks
+
+               &$vmconfig_delete_option($rpcenv, $authuser, $conf, $storecfg, $vmid, $opt, $force);
+               $conf = PVE::QemuServer::load_config($vmid); # update/reload
+           }
+       }
+    }
+
+    &$create_disks($rpcenv, $authuser, $conf, $storecfg, $vmid, undef, {$opt => $value});
+    PVE::QemuServer::update_config_nolock($vmid, $conf, 1);
+
+    $conf = PVE::QemuServer::load_config($vmid); # update/reload
+    $drive = PVE::QemuServer::parse_drive($opt, $conf->{$opt});
+
+    if (PVE::QemuServer::drive_is_cdrom($drive)) { # cdrom
+
+       if (PVE::QemuServer::check_running($vmid)) {
+           if ($drive->{file} eq 'none') {
+               PVE::QemuServer::vm_monitor_command($vmid, "eject -f drive-$opt", 0);
+           } else {
+               my $path = PVE::QemuServer::get_iso_path($storecfg, $vmid, $drive->{file});
+               PVE::QemuServer::vm_monitor_command($vmid, "eject -f drive-$opt", 0); #force eject if locked
+               PVE::QemuServer::vm_monitor_command($vmid, "change drive-$opt \"$path\"", 0) if $path;
+           }
+       }
+
+    } else { # hotplug new disks
+
+       die "error hotplug $opt" if !PVE::QemuServer::vm_deviceplug($storecfg, $conf, $vmid, $opt, $drive);
+    }
+};
+
+my $vmconfig_update_net = sub {
+    my ($rpcenv, $authuser, $conf, $storecfg, $vmid, $opt, $value) = @_;
+
+    if ($conf->{$opt}) {
+       #if online update, then unplug first
+       die "error hot-unplug $opt for update" if !PVE::QemuServer::vm_deviceunplug($vmid, $conf, $opt);
+    }
+
+    $conf->{$opt} = $value;
+    PVE::QemuServer::update_config_nolock($vmid, $conf, 1);
+    $conf = PVE::QemuServer::load_config($vmid); # update/reload
+
+    my $net = PVE::QemuServer::parse_net($conf->{$opt});
+
+    die "error hotplug $opt" if !PVE::QemuServer::vm_deviceplug($storecfg, $conf, $vmid, $opt, $net);
+};
+
 my $vm_config_perm_list = [
            'VM.Config.Disk', 
            'VM.Config.CDROM', 
@@ -620,6 +776,12 @@ __PACKAGE__->register_method({
 
        die "no options specified\n" if !$delete_str && !scalar(keys %$param);
 
+       my $storecfg = PVE::Storage::config();
+
+       &$resolve_cdrom_alias($param);
+
+       # now try to verify all parameters
+
        my @delete = ();
        foreach my $opt (PVE::Tools::split_list($delete_str)) {
            $opt = 'ide2' if $opt eq 'cdrom';
@@ -630,12 +792,28 @@ __PACKAGE__->register_method({
            if (!PVE::QemuServer::option_exists($opt)) {
                raise_param_exc({ delete => "unknown option '$opt'" });
            }
+
            push @delete, $opt;
        }
 
-       my $storecfg = PVE::Storage::config();
+       foreach my $opt (keys %$param) {
+           if (PVE::QemuServer::valid_drivename($opt)) {
+               # cleanup drive path
+               my $drive = PVE::QemuServer::parse_drive($opt, $param->{$opt});
+               PVE::QemuServer::cleanup_drive_path($opt, $storecfg, $drive);
+               $param->{$opt} = PVE::QemuServer::print_drive($vmid, $drive);
+           } elsif ($opt =~ m/^net(\d+)$/) { 
+               # add macaddr
+               my $net = PVE::QemuServer::parse_net($param->{$opt});
+               $param->{$opt} = PVE::QemuServer::print_net($net);
+           }
+       }
 
-       &$resolve_cdrom_alias($param);
+       &$check_vm_modify_config_perm($rpcenv, $authuser, $vmid, undef, [@delete]);
+
+       &$check_vm_modify_config_perm($rpcenv, $authuser, $vmid, undef, [keys %$param]);
+
+       &$check_storage_access($rpcenv, $authuser, $storecfg, $vmid, $param);
 
        my $updatefn =  sub {
 
@@ -648,112 +826,31 @@ __PACKAGE__->register_method({
 
            PVE::Cluster::log_msg('info', $authuser, "update VM $vmid: " . join (' ', @paramarr));
 
-           #delete
-           foreach my $opt (@delete) {
-
-               next if !defined($conf->{$opt});
+           foreach my $opt (@delete) { # delete
+               $conf = PVE::QemuServer::load_config($vmid); # update/reload
+               &$vmconfig_delete_option($rpcenv, $authuser, $conf, $storecfg, $vmid, $opt, $force);
+           }
 
-               die "error hot-unplug $opt" if !PVE::QemuServer::vm_deviceunplug($vmid, $conf, $opt);
+           foreach my $opt (keys %$param) { # add/change
 
-               #drive
-               if (PVE::QemuServer::valid_drivename($opt)) {
-                   my $drive = PVE::QemuServer::parse_drive($opt, $conf->{$opt});
-                   #hdd
-                   if (!PVE::QemuServer::drive_is_cdrom($drive)) {
-                       my $volid = $drive->{file};
-                       
-                       if ($volid !~  m|^/|) {
-                           my ($path, $owner);
-                           eval { ($path, $owner) = PVE::Storage::path($storecfg, $volid); };
-                           if ($owner && ($owner == $vmid)) {
-                               if ($force) {
-                                   eval { PVE::Storage::vdisk_free($storecfg, $volid); };
-                                   # fixme: log ?
-                                   warn $@ if $@;
-                               } else {
-                                   PVE::QemuServer::add_unused_volume($conf, $volid, $vmid);
-                               }
-                           }
-                       }
-                   }
-               } elsif ($opt =~ m/^unused/) {
-                   my $drive = PVE::QemuServer::parse_drive($opt, $conf->{$opt});
-                    my $volid = $drive->{file};
-                   eval { PVE::Storage::vdisk_free($storecfg, $volid); };
-                   # fixme: log ?
-                   warn $@ if $@;
-               }
+               $conf = PVE::QemuServer::load_config($vmid); # update/reload
 
-               PVE::QemuServer::change_config_nolock($vmid, {}, { $opt => 1 }, 1);
-           }
+               next if $conf->{$opt} && ($param->{$opt} eq $conf->{$opt}); # skip if nothing changed
 
-           #add
-           foreach my $opt (keys %$param) {
-
-               #drives
                if (PVE::QemuServer::valid_drivename($opt)) {
-                   my $drive = PVE::QemuServer::parse_drive($opt, $param->{$opt});
-                   raise_param_exc({ $opt => "unable to parse drive options" }) if !$drive;
 
-                   PVE::QemuServer::cleanup_drive_path($opt, $storecfg, $drive);
-                   $param->{$opt} = PVE::QemuServer::print_drive($vmid, $drive);
+                   &$vmconfig_update_disk($rpcenv, $authuser, $conf, $storecfg, $vmid, 
+                                          $opt, $param->{$opt}, $force);
+       
+               } elsif ($opt =~ m/^net(\d+)$/) { #nics
 
-                   #cdrom
-                   if (PVE::QemuServer::drive_is_cdrom($drive) && PVE::QemuServer::check_running($vmid)) {
-                       if ($drive->{file} eq 'none') {
-                           PVE::QemuServer::vm_monitor_command($vmid, "eject -f drive-$opt", 0);
-                           #delete $param->{$opt};
-                       }
-                       else {
-                           my $path = PVE::QemuServer::get_iso_path($storecfg, $vmid, $drive->{file});
-                           PVE::QemuServer::vm_monitor_command($vmid, "eject -f drive-$opt", 0); #force eject if locked
-                           PVE::QemuServer::vm_monitor_command($vmid, "change drive-$opt \"$path\"", 0) if $path;
-                       }
-                   }
-                   #hdd
-                   else {
-                       #swap drive
-                       if ($conf->{$opt}){
-                           my $old_drive = PVE::QemuServer::parse_drive($opt, $conf->{$opt});
-                           if ($drive->{file} ne $old_drive->{file} && !PVE::QemuServer::drive_is_cdrom($old_drive)) {
-                               
-                               my ($path, $owner);
-                               eval { ($path, $owner) = PVE::Storage::path($storecfg, $old_drive->{file}); };
-                               if ($owner && ($owner == $vmid)) {
-                                   die "error hot-unplug $opt" if !PVE::QemuServer::vm_deviceunplug($vmid, $conf, $opt);
-                                   PVE::QemuServer::add_unused_volume($conf, $old_drive->{file}, $vmid);
-                               }
-                           }
-                       }
-                       my $settings = { $opt => $param->{$opt} };
-                       &$create_disks($rpcenv, $authuser, $storecfg, $vmid, undef, $settings, $conf);
-                       $param->{$opt} = $settings->{$opt};
-                       #hotplug disks
-                       if(!PVE::QemuServer::vm_deviceplug($storecfg, $conf, $vmid, $opt, $drive)) {
-                           PVE::QemuServer::add_unused_volume($conf,$drive->{file},$vmid);
-                           PVE::QemuServer::change_config_nolock($vmid, {}, { $opt => 1 }, 1);
-                           die "error hotplug $opt - put disk in unused";
-                       }
-                   }
-               }
-               #nics
-               my $net = undef;
-               if ($opt =~ m/^net(\d+)$/) {
-                   $net = PVE::QemuServer::parse_net($param->{$opt});
-                   $param->{$opt} = PVE::QemuServer::print_net($net);
-                   #if online update, then unplug first
-                   die "error hot-unplug $opt for update" if $conf->{$opt} && !PVE::QemuServer::vm_deviceunplug($vmid, $conf, $opt);
-               }
+                   &$vmconfig_update_net($rpcenv, $authuser, $conf, $storecfg, $vmid, 
+                                         $opt, $param->{$opt});
 
-               PVE::QemuServer::change_config_nolock($vmid, { $opt => $param->{$opt} }, {}, 1);
+               } else {
 
-               #nic hotplug after config write as we need it for pve-bridge script
-               if (defined ($net)) {
-                   if(!PVE::QemuServer::vm_deviceplug($storecfg, $conf, $vmid, $opt, $net)) {
-                   #rewrite conf to remove nic if hotplug fail
-                   PVE::QemuServer::change_config_nolock($vmid, {}, { $opt => 1 }, 1);
-                   die "error hotplug $opt";
-                   }
+                   $conf->{$opt} = $param->{$opt};
+                   PVE::QemuServer::update_config_nolock($vmid, $conf, 1);
                }
            }
        };
@@ -803,12 +900,24 @@ __PACKAGE__->register_method({
 
        my $storecfg = PVE::Storage::config();
 
+       my $delVMfromPoolFn = sub {                    
+           my $usercfg = cfs_read_file("user.cfg");
+           my $pool = $usercfg->{vms}->{$vmid};
+           if (my $data = $usercfg->{pools}->{$pool}) {
+               delete $data->{vms}->{$vmid};
+               delete $usercfg->{vms}->{$vmid};
+               cfs_write_file("user.cfg", $usercfg);
+           }
+       };
+
        my $realcmd = sub {
            my $upid = shift;
 
            syslog('info', "destroy VM $vmid: $upid\n");
 
            PVE::QemuServer::vm_destroy($storecfg, $vmid, $skiplock);
+
+           PVE::AccessControl::lock_user_config($delVMfromPoolFn, "pool cleanup failed");
        };
 
        return $rpcenv->fork_worker('qmdestroy', $vmid, $authuser, $realcmd);
@@ -980,6 +1089,16 @@ __PACKAGE__->register_method({
        return $res;
     }});
 
+my $vm_is_ha_managed = sub {
+    my ($vmid) = @_;
+
+    my $cc = PVE::Cluster::cfs_read_file('cluster.conf');
+    if (PVE::Cluster::cluster_conf_lookup_pvevm($cc, 0, $vmid, 1)) {
+       return 1;
+    } 
+    return 0;
+};
+
 __PACKAGE__->register_method({
     name => 'vm_status',
     path => '{vmid}/status/current',
@@ -1007,12 +1126,7 @@ __PACKAGE__->register_method({
        my $vmstatus = PVE::QemuServer::vmstatus($param->{vmid});
        my $status = $vmstatus->{$param->{vmid}};
 
-       my $cc = PVE::Cluster::cfs_read_file('cluster.conf');
-       if (PVE::Cluster::cluster_conf_lookup_pvevm($cc, 0, $param->{vmid}, 1)) {
-           $status->{ha} = 1;
-       } else {
-           $status->{ha} = 0;
-       }
+       $status->{ha} = &$vm_is_ha_managed($param->{vmid});
 
        return $status;
     }});
@@ -1060,17 +1174,38 @@ __PACKAGE__->register_method({
 
        my $storecfg = PVE::Storage::config();
 
-       my $realcmd = sub {
-           my $upid = shift;
+       if (&$vm_is_ha_managed($vmid) && $rpcenv->{type} ne 'ha') {
 
-           syslog('info', "start VM $vmid: $upid\n");
+           my $hacmd = sub {
+               my $upid = shift;
 
-           PVE::QemuServer::vm_start($storecfg, $vmid, $stateuri, $skiplock);
+               my $service = "pvevm:$vmid";
 
-           return;
-       };
+               my $cmd = ['clusvcadm', '-e', $service, '-m', $node];
 
-       return $rpcenv->fork_worker('qmstart', $vmid, $authuser, $realcmd);
+               print "Executing HA start for VM $vmid\n";
+
+               PVE::Tools::run_command($cmd);
+
+               return;
+           };
+
+           return $rpcenv->fork_worker('hastart', $vmid, $authuser, $hacmd);
+
+       } else {
+
+           my $realcmd = sub {
+               my $upid = shift;
+
+               syslog('info', "start VM $vmid: $upid\n");
+
+               PVE::QemuServer::vm_start($storecfg, $vmid, $stateuri, $skiplock);
+
+               return;
+           };
+
+           return $rpcenv->fork_worker('qmstart', $vmid, $authuser, $realcmd);
+       }
     }});
 
 __PACKAGE__->register_method({
@@ -1127,18 +1262,38 @@ __PACKAGE__->register_method({
 
        my $storecfg = PVE::Storage::config();
 
-       my $realcmd = sub {
-           my $upid = shift;
+       if (&$vm_is_ha_managed($vmid) && $rpcenv->{type} ne 'ha') {
 
-           syslog('info', "stop VM $vmid: $upid\n");
+           my $hacmd = sub {
+               my $upid = shift;
 
-           PVE::QemuServer::vm_stop($storecfg, $vmid, $skiplock, 0,
-                                    $param->{timeout}, 0, 1, $keepActive);
+               my $service = "pvevm:$vmid";
 
-           return;
-       };
+               my $cmd = ['clusvcadm', '-d', $service];
+
+               print "Executing HA stop for VM $vmid\n";
+
+               PVE::Tools::run_command($cmd);
+
+               return;
+           };
+
+           return $rpcenv->fork_worker('hastop', $vmid, $authuser, $hacmd);
+
+       } else {
+           my $realcmd = sub {
+               my $upid = shift;
+
+               syslog('info', "stop VM $vmid: $upid\n");
+
+               PVE::QemuServer::vm_stop($storecfg, $vmid, $skiplock, 0,
+                                        $param->{timeout}, 0, 1, $keepActive);
+
+               return;
+           };
 
-       return $rpcenv->fork_worker('qmstop', $vmid, $authuser, $realcmd);
+           return $rpcenv->fork_worker('qmstop', $vmid, $authuser, $realcmd);
+       }
     }});
 
 __PACKAGE__->register_method({
@@ -1476,15 +1631,35 @@ __PACKAGE__->register_method({
                if !$param->{online};
        }
 
-       my $realcmd = sub {
-           my $upid = shift;
+       if (&$vm_is_ha_managed($vmid) && $rpcenv->{type} ne 'ha') {
 
-           PVE::QemuMigrate->migrate($target, $targetip, $vmid, $param);
-       };
+           my $hacmd = sub {
+               my $upid = shift;
+
+               my $service = "pvevm:$vmid";
+
+               my $cmd = ['clusvcadm', '-M', $service, '-m', $target];
 
-       my $upid = $rpcenv->fork_worker('qmigrate', $vmid, $authuser, $realcmd);
+               print "Executing HA migrate for VM $vmid to node $target\n";
+
+               PVE::Tools::run_command($cmd);
+
+               return;
+           };
+
+           return $rpcenv->fork_worker('hamigrate', $vmid, $authuser, $hacmd);
+
+       } else {
+
+           my $realcmd = sub {
+               my $upid = shift;
+
+               PVE::QemuMigrate->migrate($target, $targetip, $vmid, $param);
+           };
+
+           return $rpcenv->fork_worker('qmigrate', $vmid, $authuser, $realcmd);
+       }
 
-       return $upid;
     }});
 
 __PACKAGE__->register_method({