]> git.proxmox.com Git - qemu-server.git/blobdiff - PVE/API2/Qemu.pm
split snapshot into separate methods.
[qemu-server.git] / PVE / API2 / Qemu.pm
index fcb29cd8e25f235a1fb21dcdcb4d3faad75b1089..56b30717f014d09c494aafec960c9949ff77e4a7 100644 (file)
@@ -4,7 +4,7 @@ use strict;
 use warnings;
 use Cwd 'abs_path';
 
-use PVE::Cluster;
+use PVE::Cluster qw (cfs_read_file cfs_write_file);;
 use PVE::SafeSyslog;
 use PVE::Tools qw(extract_param);
 use PVE::Exception qw(raise raise_param_exc);
@@ -33,11 +33,146 @@ my $resolve_cdrom_alias = sub {
     }
 };
 
+
+my $check_storage_access = sub {
+   my ($rpcenv, $authuser, $storecfg, $vmid, $settings, $default_storage) = @_;
+
+   PVE::QemuServer::foreach_drive($settings, sub {
+       my ($ds, $drive) = @_;
+
+       my $isCDROM = PVE::QemuServer::drive_is_cdrom($drive);
+
+       my $volid = $drive->{file};
+
+       if (!$volid || $volid eq 'none') {
+           # nothing to check
+       } elsif ($isCDROM && ($volid eq 'cdrom')) {
+           $rpcenv->check($authuser, "/", ['Sys.Console']);
+       } elsif (!$isCDROM && ($volid =~ m/^(([^:\s]+):)?(\d+(\.\d+)?)$/)) {
+           my ($storeid, $size) = ($2 || $default_storage, $3);
+           die "no storage ID specified (and no default storage)\n" if !$storeid;
+           $rpcenv->check($authuser, "/storage/$storeid", ['Datastore.AllocateSpace']);
+       } else {
+           $rpcenv->check_volume_access($authuser, $storecfg, $vmid, $volid);
+       }
+    });
+};
+
+# Note: $pool is only needed when creating a VM, because pool permissions
+# are automatically inherited if VM already exists inside a pool.
+my $create_disks = sub {
+    my ($rpcenv, $authuser, $conf, $storecfg, $vmid, $pool, $settings, $default_storage) = @_;
+
+    my $vollist = [];
+
+    my $res = {};
+    PVE::QemuServer::foreach_drive($settings, sub {
+       my ($ds, $disk) = @_;
+
+       my $volid = $disk->{file};
+
+       if (!$volid || $volid eq 'none' || $volid eq 'cdrom') {
+           $res->{$ds} = $settings->{$ds};
+       } elsif ($volid =~ m/^(([^:\s]+):)?(\d+(\.\d+)?)$/) {
+           my ($storeid, $size) = ($2 || $default_storage, $3);
+           die "no storage ID specified (and no default storage)\n" if !$storeid;
+           my $defformat = PVE::Storage::storage_default_format($storecfg, $storeid);
+           my $fmt = $disk->{format} || $defformat;
+           my $volid = PVE::Storage::vdisk_alloc($storecfg, $storeid, $vmid,
+                                                 $fmt, undef, $size*1024*1024);
+           $disk->{file} = $volid;
+           $disk->{size} = $size*1024*1024*1024;
+           push @$vollist, $volid;
+           delete $disk->{format}; # no longer needed
+           $res->{$ds} = PVE::QemuServer::print_drive($vmid, $disk);
+       } else {
+
+           my $path = $rpcenv->check_volume_access($authuser, $storecfg, $vmid, $volid);
+           
+           my ($storeid, $volname) = PVE::Storage::parse_volume_id($volid, 1);
+
+           my $foundvolid = undef;
+
+           if ($storeid) {
+               PVE::Storage::activate_volumes($storecfg, [ $volid ]);
+               my $dl = PVE::Storage::vdisk_list($storecfg, $storeid, undef);
+
+               PVE::Storage::foreach_volid($dl, sub {
+                   my ($volumeid) = @_;
+                   if($volumeid eq $volid) {
+                       $foundvolid = 1;
+                       return;
+                   }
+               });
+           }
+       
+           die "image '$path' does not exists\n" if (!(-f $path || -b $path || $foundvolid));
+
+           my ($size) = PVE::Storage::volume_size_info($storecfg, $volid, 1);
+           $disk->{size} = $size;
+           $res->{$ds} = PVE::QemuServer::print_drive($vmid, $disk);
+       }
+    });
+
+    # free allocated images on error
+    if (my $err = $@) {
+       syslog('err', "VM $vmid creating disks failed");
+       foreach my $volid (@$vollist) {
+           eval { PVE::Storage::vdisk_free($storecfg, $volid); };
+           warn $@ if $@;
+       }
+       die $err;
+    }
+
+    # modify vm config if everything went well
+    foreach my $ds (keys %$res) {
+       $conf->{$ds} = $res->{$ds};
+    }
+
+    return $vollist;
+};
+
+my $check_vm_modify_config_perm = sub {
+    my ($rpcenv, $authuser, $vmid, $pool, $key_list) = @_;
+
+    return 1 if $authuser eq 'root@pam';
+
+    foreach my $opt (@$key_list) {
+       # disk checks need to be done somewhere else
+       next if PVE::QemuServer::valid_drivename($opt);
+
+       if ($opt eq 'sockets' || $opt eq 'cores' ||
+           $opt eq 'cpu' || $opt eq 'smp' || 
+           $opt eq 'cpulimit' || $opt eq 'cpuunits') {
+           $rpcenv->check_vm_perm($authuser, $vmid, $pool, ['VM.Config.CPU']);
+       } elsif ($opt eq 'boot' || $opt eq 'bootdisk') {
+           $rpcenv->check_vm_perm($authuser, $vmid, $pool, ['VM.Config.Disk']);
+       } elsif ($opt eq 'memory' || $opt eq 'balloon') {
+           $rpcenv->check_vm_perm($authuser, $vmid, $pool, ['VM.Config.Memory']);
+       } elsif ($opt eq 'args' || $opt eq 'lock') {
+           die "only root can set '$opt' config\n";
+       } elsif ($opt eq 'cpu' || $opt eq 'kvm' || $opt eq 'acpi' || 
+                $opt eq 'vga' || $opt eq 'watchdog' || $opt eq 'tablet') {
+           $rpcenv->check_vm_perm($authuser, $vmid, $pool, ['VM.Config.HWType']);
+       } elsif ($opt =~ m/^net\d+$/) {
+           $rpcenv->check_vm_perm($authuser, $vmid, $pool, ['VM.Config.Network']);
+       } else {
+           $rpcenv->check_vm_perm($authuser, $vmid, $pool, ['VM.Config.Options']);
+       }
+    }
+
+    return 1;
+};
+
 __PACKAGE__->register_method({
     name => 'vmlist',
     path => '',
     method => 'GET',
     description => "Virtual machine index (per node).",
+    permissions => {
+       description => "Only list VMs where you have VM.Audit permissons on /vms/<vmid>.",
+       user => 'all',
+    },
     proxyto => 'node',
     protected => 1, # qemu pid files are only readable by root
     parameters => {
@@ -57,10 +192,21 @@ __PACKAGE__->register_method({
     code => sub {
        my ($param) = @_;
 
+       my $rpcenv = PVE::RPCEnvironment::get();
+       my $authuser = $rpcenv->get_user();
+
        my $vmstatus = PVE::QemuServer::vmstatus();
 
-       return PVE::RESTHandler::hash_to_array($vmstatus, 'vmid');
+       my $res = [];
+       foreach my $vmid (keys %$vmstatus) {
+           next if !$rpcenv->check($authuser, "/vms/$vmid", [ 'VM.Audit' ], 1);
+
+           my $data = $vmstatus->{$vmid};
+           $data->{vmid} = $vmid;
+           push @$res, $data;
+       }
 
+       return $res;
     }});
 
 __PACKAGE__->register_method({
@@ -68,6 +214,13 @@ __PACKAGE__->register_method({
     path => '',
     method => 'POST',
     description => "Create or restore a virtual machine.",
+    permissions => {
+       description => "You need 'VM.Allocate' permissions on /vms/{vmid} or on the VM pool /pool/{pool}. If you create disks you need 'Datastore.AllocateSpace' on any used storage.",
+       check => [ 'or', 
+                  [ 'perm', '/vms/{vmid}', ['VM.Allocate']],
+                  [ 'perm', '/pool/{pool}', ['VM.Allocate'], require_param => 'pool'],
+           ],
+    },
     protected => 1,
     proxyto => 'node',
     parameters => {
@@ -98,6 +251,11 @@ __PACKAGE__->register_method({
                    description => "Assign a unique random ethernet address.",
                    requires => 'archive',
                },
+               pool => { 
+                   optional => 1,
+                   type => 'string', format => 'pve-poolid',
+                   description => "Add the VM to the specified pool.",
+               },
            }),
     },
     returns => {
@@ -108,7 +266,7 @@ __PACKAGE__->register_method({
 
        my $rpcenv = PVE::RPCEnvironment::get();
 
-       my $user = $rpcenv->get_user();
+       my $authuser = $rpcenv->get_user();
 
        my $node = extract_param($param, 'node');
 
@@ -121,6 +279,8 @@ __PACKAGE__->register_method({
        my $force = extract_param($param, 'force');
 
        my $unique = extract_param($param, 'unique');
+       
+       my $pool = extract_param($param, 'pool');
 
        my $filename = PVE::QemuServer::config_file($vmid);
 
@@ -128,9 +288,20 @@ __PACKAGE__->register_method({
 
        PVE::Cluster::check_cfs_quorum();
 
+       if (defined($pool)) {
+           $rpcenv->check_pool_exist($pool);
+       } 
+
+       $rpcenv->check($authuser, "/storage/$storage", ['Datastore.AllocateSpace'])
+           if defined($storage);
+
        if (!$archive) {
            &$resolve_cdrom_alias($param);
 
+           &$check_storage_access($rpcenv, $authuser, $storecfg, $vmid, $param, $storage);
+
+           &$check_vm_modify_config_perm($rpcenv, $authuser, $vmid, $pool, [ keys %$param]);
+
            foreach my $opt (keys %$param) {
                if (PVE::QemuServer::valid_drivename($opt)) {
                    my $drive = PVE::QemuServer::parse_drive($opt, $param->{$opt});
@@ -148,22 +319,27 @@ __PACKAGE__->register_method({
 
            if ($archive eq '-') {
                die "pipe requires cli environment\n"
-                   && $rpcenv->{type} ne 'cli';
+                   if $rpcenv->{type} ne 'cli';
            } else {
-               my $path;
-               if (PVE::Storage::parse_volume_id($archive, 1)) {
-                   $path = PVE::Storage::path($storecfg, $archive);
-               } else {
-                   raise_param_exc({ archive => "Only root can pass arbitrary paths." })
-                       if $user ne 'root@pam';
+               my $path = $rpcenv->check_volume_access($authuser, $storecfg, $vmid, $archive);
+
+               PVE::Storage::activate_volumes($storecfg, [ $archive ])
+                   if PVE::Storage::parse_volume_id ($archive, 1);
 
-                   $path = abs_path($archive);
-               }
                die "can't find archive file '$archive'\n" if !($path && -f $path);
                $archive = $path;
            }
        }
 
+       my $addVMtoPoolFn = sub {                      
+           my $usercfg = cfs_read_file("user.cfg");
+           if (my $data = $usercfg->{pools}->{$pool}) {
+               $data->{vms}->{$vmid} = 1;
+               $usercfg->{vms}->{$vmid} = $pool;
+               cfs_write_file("user.cfg", $usercfg);
+           }
+       };
+
        my $restorefn = sub {
 
            if (-f $filename) {
@@ -178,17 +354,20 @@ __PACKAGE__->register_method({
            }
 
            my $realcmd = sub {
-               PVE::QemuServer::restore_archive($archive, $vmid, {
+               PVE::QemuServer::restore_archive($archive, $vmid, $authuser, {
                    storage => $storage,
+                   pool => $pool,
                    unique => $unique });
+
+               PVE::AccessControl::lock_user_config($addVMtoPoolFn, "can't add VM to pool") if $pool;
            };
 
-           return $rpcenv->fork_worker('qmrestore', $vmid, $user, $realcmd);
+           return $rpcenv->fork_worker('qmrestore', $vmid, $authuser, $realcmd);
        };
 
        my $createfn = sub {
 
-           # second test (after locking test is accurate)
+           # test after locking
            die "unable to create vm $vmid: config file already exists\n"
                if -f $filename;
 
@@ -196,24 +375,28 @@ __PACKAGE__->register_method({
 
                my $vollist = [];
 
+               my $conf = $param;
+
                eval {
-                   $vollist = PVE::QemuServer::create_disks($storecfg, $vmid, $param, $storage);
+
+                   $vollist = &$create_disks($rpcenv, $authuser, $conf, $storecfg, $vmid, $pool, $param, $storage);
 
                    # try to be smart about bootdisk
                    my @disks = PVE::QemuServer::disknames();
                    my $firstdisk;
                    foreach my $ds (reverse @disks) {
-                       next if !$param->{$ds};
-                       my $disk = PVE::QemuServer::parse_drive($ds, $param->{$ds});
+                       next if !$conf->{$ds};
+                       my $disk = PVE::QemuServer::parse_drive($ds, $conf->{$ds});
                        next if PVE::QemuServer::drive_is_cdrom($disk);
                        $firstdisk = $ds;
                    }
 
-                   if (!$param->{bootdisk} && $firstdisk) {
-                       $param->{bootdisk} = $firstdisk;
+                   if (!$conf->{bootdisk} && $firstdisk) {
+                       $conf->{bootdisk} = $firstdisk;
                    }
 
-                   PVE::QemuServer::create_conf_nolock($vmid, $param);
+                   PVE::QemuServer::update_config_nolock($vmid, $conf);
+
                };
                my $err = $@;
 
@@ -224,12 +407,14 @@ __PACKAGE__->register_method({
                    }
                    die "create failed - $err";
                }
+
+               PVE::AccessControl::lock_user_config($addVMtoPoolFn, "can't add VM to pool") if $pool;
            };
 
-           return $rpcenv->fork_worker('qmcreate', $vmid, $user, $realcmd);
+           return $rpcenv->fork_worker('qmcreate', $vmid, $authuser, $realcmd);
        };
 
-       return PVE::QemuServer::lock_config($vmid, $archive ? $restorefn : $createfn);
+       return PVE::QemuServer::lock_config_full($vmid, 1, $archive ? $restorefn : $createfn);
     }});
 
 __PACKAGE__->register_method({
@@ -238,6 +423,9 @@ __PACKAGE__->register_method({
     method => 'GET',
     proxyto => 'node',
     description => "Directory index",
+    permissions => {
+       user => 'all',
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
@@ -264,9 +452,12 @@ __PACKAGE__->register_method({
            { subdir => 'unlink' },
            { subdir => 'vncproxy' },
            { subdir => 'migrate' },
+           { subdir => 'resize' },
            { subdir => 'rrd' },
            { subdir => 'rrddata' },
            { subdir => 'monitor' },
+           { subdir => 'snapshot' },
+           { subdir => 'rollback' },
            ];
 
        return $res;
@@ -366,6 +557,9 @@ __PACKAGE__->register_method({
     method => 'GET',
     proxyto => 'node',
     description => "Get virtual machine configuration.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.Audit' ]],
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
@@ -387,9 +581,188 @@ __PACKAGE__->register_method({
 
        my $conf = PVE::QemuServer::load_config($param->{vmid});
 
+       delete $conf->{snapshots};
+
        return $conf;
     }});
 
+my $vm_is_volid_owner = sub {
+    my ($storecfg, $vmid, $volid) =@_;
+
+    if ($volid !~  m|^/|) {
+       my ($path, $owner);
+       eval { ($path, $owner) = PVE::Storage::path($storecfg, $volid); };
+       if ($owner && ($owner == $vmid)) {
+           return 1;
+       }
+    }
+
+    return undef;
+};
+
+my $test_deallocate_drive = sub {
+    my ($storecfg, $vmid, $key, $drive, $force) = @_;
+
+    if (!PVE::QemuServer::drive_is_cdrom($drive)) {
+       my $volid = $drive->{file};
+       if (&$vm_is_volid_owner($storecfg, $vmid, $volid)) {
+           if ($force || $key =~ m/^unused/) {
+               my $sid = PVE::Storage::parse_volume_id($volid);
+               return $sid;
+           }
+       }
+    }
+
+    return undef;
+};
+
+my $delete_drive = sub {
+    my ($conf, $storecfg, $vmid, $key, $drive, $force) = @_;
+
+    if (!PVE::QemuServer::drive_is_cdrom($drive)) {
+       my $volid = $drive->{file};
+       if (&$vm_is_volid_owner($storecfg, $vmid, $volid)) {
+           if ($force || $key =~ m/^unused/) {
+               eval { PVE::Storage::vdisk_free($storecfg, $volid); };
+               die $@ if $@;
+           } else {
+               PVE::QemuServer::add_unused_volume($conf, $volid, $vmid);
+           }
+       }
+    }
+
+    delete $conf->{$key};
+};
+
+my $vmconfig_delete_option = sub {
+    my ($rpcenv, $authuser, $conf, $storecfg, $vmid, $opt, $force) = @_;
+
+    return if !defined($conf->{$opt});
+
+    my $isDisk = PVE::QemuServer::valid_drivename($opt)|| ($opt =~ m/^unused/);
+
+    if ($isDisk) {
+       $rpcenv->check_vm_perm($authuser, $vmid, undef, ['VM.Config.Disk']);
+
+       my $drive = PVE::QemuServer::parse_drive($opt, $conf->{$opt});
+       if (my $sid = &$test_deallocate_drive($storecfg, $vmid, $opt, $drive, $force)) {  
+           $rpcenv->check($authuser, "/storage/$sid", ['Datastore.Allocate']);
+       }
+    }
+               
+    die "error hot-unplug $opt" if !PVE::QemuServer::vm_deviceunplug($vmid, $conf, $opt);
+
+    if ($isDisk) {
+       my $drive = PVE::QemuServer::parse_drive($opt, $conf->{$opt});
+       &$delete_drive($conf, $storecfg, $vmid, $opt, $drive, $force);
+    } else {
+       delete $conf->{$opt};
+    }
+
+    PVE::QemuServer::update_config_nolock($vmid, $conf, 1);
+};
+
+my $safe_num_ne = sub {
+    my ($a, $b) = @_;
+
+    return 0 if !defined($a) && !defined($b); 
+    return 1 if !defined($a); 
+    return 1 if !defined($b); 
+
+    return $a != $b;
+};
+
+my $vmconfig_update_disk = sub {
+    my ($rpcenv, $authuser, $conf, $storecfg, $vmid, $opt, $value, $force) = @_;
+
+    my $drive = PVE::QemuServer::parse_drive($opt, $value);
+
+    if (PVE::QemuServer::drive_is_cdrom($drive)) { #cdrom
+       $rpcenv->check_vm_perm($authuser, $vmid, undef, ['VM.Config.CDROM']);
+    } else {
+       $rpcenv->check_vm_perm($authuser, $vmid, undef, ['VM.Config.Disk']);
+    }
+
+    if ($conf->{$opt}) {
+
+       if (my $old_drive = PVE::QemuServer::parse_drive($opt, $conf->{$opt}))  {
+
+           my $media = $drive->{media} || 'disk';
+           my $oldmedia = $old_drive->{media} || 'disk';
+           die "unable to change media type\n" if $media ne $oldmedia;
+
+           if (!PVE::QemuServer::drive_is_cdrom($old_drive) &&
+               ($drive->{file} ne $old_drive->{file})) {  # delete old disks
+
+               &$vmconfig_delete_option($rpcenv, $authuser, $conf, $storecfg, $vmid, $opt, $force);
+               $conf = PVE::QemuServer::load_config($vmid); # update/reload
+           }
+
+            if(&$safe_num_ne($drive->{mbps}, $old_drive->{mbps}) ||
+               &$safe_num_ne($drive->{mbps_rd}, $old_drive->{mbps_rd}) ||
+               &$safe_num_ne($drive->{mbps_wr}, $old_drive->{mbps_wr}) ||
+               &$safe_num_ne($drive->{iops}, $old_drive->{iops}) ||
+               &$safe_num_ne($drive->{iops_rd}, $old_drive->{iops_rd}) ||
+               &$safe_num_ne($drive->{iops_wr}, $old_drive->{iops_wr})) {
+               PVE::QemuServer::qemu_block_set_io_throttle($vmid,"drive-$opt", $drive->{mbps}*1024*1024, 
+                                                          $drive->{mbps_rd}*1024*1024, $drive->{mbps_wr}*1024*1024, 
+                                                          $drive->{iops}, $drive->{iops_rd}, $drive->{iops_wr}) 
+                  if !PVE::QemuServer::drive_is_cdrom($drive);
+            }
+       }
+    }
+
+    &$create_disks($rpcenv, $authuser, $conf, $storecfg, $vmid, undef, {$opt => $value});
+    PVE::QemuServer::update_config_nolock($vmid, $conf, 1);
+
+    $conf = PVE::QemuServer::load_config($vmid); # update/reload
+    $drive = PVE::QemuServer::parse_drive($opt, $conf->{$opt});
+
+    if (PVE::QemuServer::drive_is_cdrom($drive)) { # cdrom
+
+       if (PVE::QemuServer::check_running($vmid)) {
+           if ($drive->{file} eq 'none') {
+               PVE::QemuServer::vm_mon_cmd($vmid, "eject",force => JSON::true,device => "drive-$opt");
+           } else {
+               my $path = PVE::QemuServer::get_iso_path($storecfg, $vmid, $drive->{file});
+               PVE::QemuServer::vm_mon_cmd($vmid, "eject",force => JSON::true,device => "drive-$opt"); #force eject if locked
+               PVE::QemuServer::vm_mon_cmd($vmid, "change",device => "drive-$opt",target => "$path") if $path;
+           }
+       }
+
+    } else { # hotplug new disks
+
+       die "error hotplug $opt" if !PVE::QemuServer::vm_deviceplug($storecfg, $conf, $vmid, $opt, $drive);
+    }
+};
+
+my $vmconfig_update_net = sub {
+    my ($rpcenv, $authuser, $conf, $storecfg, $vmid, $opt, $value) = @_;
+
+    if ($conf->{$opt}) {
+       #if online update, then unplug first
+       die "error hot-unplug $opt for update" if !PVE::QemuServer::vm_deviceunplug($vmid, $conf, $opt);
+    }
+
+    $conf->{$opt} = $value;
+    PVE::QemuServer::update_config_nolock($vmid, $conf, 1);
+    $conf = PVE::QemuServer::load_config($vmid); # update/reload
+
+    my $net = PVE::QemuServer::parse_net($conf->{$opt});
+
+    die "error hotplug $opt" if !PVE::QemuServer::vm_deviceplug($storecfg, $conf, $vmid, $opt, $net);
+};
+
+my $vm_config_perm_list = [
+           'VM.Config.Disk', 
+           'VM.Config.CDROM', 
+           'VM.Config.CPU', 
+           'VM.Config.Memory', 
+           'VM.Config.Network', 
+           'VM.Config.HWType',
+           'VM.Config.Options',
+    ];
+
 __PACKAGE__->register_method({
     name => 'update_vm',
     path => '{vmid}/config',
@@ -397,6 +770,9 @@ __PACKAGE__->register_method({
     protected => 1,
     proxyto => 'node',
     description => "Set virtual machine options.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', $vm_config_perm_list, any => 1],
+    },
     parameters => {
        additionalProperties => 0,
        properties => PVE::QemuServer::json_config_properties(
@@ -429,7 +805,7 @@ __PACKAGE__->register_method({
 
        my $rpcenv = PVE::RPCEnvironment::get();
 
-       my $user = $rpcenv->get_user();
+       my $authuser = $rpcenv->get_user();
 
        my $node = extract_param($param, 'node');
 
@@ -444,135 +820,94 @@ __PACKAGE__->register_method({
 
        my $skiplock = extract_param($param, 'skiplock');
        raise_param_exc({ skiplock => "Only root may use this option." })
-           if $skiplock && $user ne 'root@pam';
+           if $skiplock && $authuser ne 'root@pam';
+
+       my $delete_str = extract_param($param, 'delete');
 
-       my $delete = extract_param($param, 'delete');
        my $force = extract_param($param, 'force');
 
-       die "no options specified\n" if !$delete && !scalar(keys %$param);
+       die "no options specified\n" if !$delete_str && !scalar(keys %$param);
 
        my $storecfg = PVE::Storage::config();
 
        &$resolve_cdrom_alias($param);
 
-       my $conf = PVE::QemuServer::load_config($vmid);
+       # now try to verify all parameters
+
+       my @delete = ();
+       foreach my $opt (PVE::Tools::split_list($delete_str)) {
+           $opt = 'ide2' if $opt eq 'cdrom';
+           raise_param_exc({ delete => "you can't use '-$opt' and " .
+                                 "-delete $opt' at the same time" })
+               if defined($param->{$opt});
+
+           if (!PVE::QemuServer::option_exists($opt)) {
+               raise_param_exc({ delete => "unknown option '$opt'" });
+           }
 
-       die "checksum missmatch (file change by other user?)\n"
-          if $digest && $digest ne $conf->{digest};
+           push @delete, $opt;
+       }
+
+       foreach my $opt (keys %$param) {
+           if (PVE::QemuServer::valid_drivename($opt)) {
+               # cleanup drive path
+               my $drive = PVE::QemuServer::parse_drive($opt, $param->{$opt});
+               PVE::QemuServer::cleanup_drive_path($opt, $storecfg, $drive);
+               $param->{$opt} = PVE::QemuServer::print_drive($vmid, $drive);
+           } elsif ($opt =~ m/^net(\d+)$/) { 
+               # add macaddr
+               my $net = PVE::QemuServer::parse_net($param->{$opt});
+               $param->{$opt} = PVE::QemuServer::print_net($net);
+           }
+       }
 
-       PVE::QemuServer::check_lock($conf) if !$skiplock;
+       &$check_vm_modify_config_perm($rpcenv, $authuser, $vmid, undef, [@delete]);
 
-       PVE::Cluster::log_msg('info', $user, "update VM $vmid: " . join (' ', @paramarr));
+       &$check_vm_modify_config_perm($rpcenv, $authuser, $vmid, undef, [keys %$param]);
 
-       #delete
-       foreach my $opt (PVE::Tools::split_list($delete)) {
+       &$check_storage_access($rpcenv, $authuser, $storecfg, $vmid, $param);
 
-           $opt = 'ide2' if $opt eq 'cdrom';
-           die "you can't use '-$opt' and '-delete $opt' at the same time\n"
-               if defined($param->{$opt});
+       my $updatefn =  sub {
 
-           my $unset = {};
+           my $conf = PVE::QemuServer::load_config($vmid);
 
-           if (!PVE::QemuServer::option_exists($opt)) {
-               raise_param_exc({ delete => "unknown option '$opt'" });
-           }
+           die "checksum missmatch (file change by other user?)\n"
+               if $digest && $digest ne $conf->{digest};
 
-           next if !defined($conf->{$opt});
+           PVE::QemuServer::check_lock($conf) if !$skiplock;
 
-           die "error hot-unplug $opt" if !PVE::QemuServer::vm_deviceunplug($vmid, $conf, $opt);
+           PVE::Cluster::log_msg('info', $authuser, "update VM $vmid: " . join (' ', @paramarr));
 
-           #drive
-           if (PVE::QemuServer::valid_drivename($opt)) {
-               my $drive = PVE::QemuServer::parse_drive($opt, $conf->{$opt});
-                #hdd
-               if (!PVE::QemuServer::drive_is_cdrom($drive)) {
-                   my $volid = $drive->{file};
-
-                   if ($volid !~  m|^/|) {
-                       my ($path, $owner);
-                       eval { ($path, $owner) = PVE::Storage::path($storecfg, $volid); };
-                       if ($owner && ($owner == $vmid)) {
-                           if ($force) {
-                               eval { PVE::Storage::vdisk_free($storecfg, $volid); };
-                               # fixme: log ?
-                               warn $@ if $@;
-                           } else {
-                               PVE::QemuServer::add_unused_volume($conf, $volid, $vmid);
-                           }
-                       }
-                   }
-                 }
-           } elsif ($opt =~ m/^unused/) {
-                   my $drive = PVE::QemuServer::parse_drive($opt, $conf->{$opt});
-                    my $volid = $drive->{file};
-                   eval { PVE::Storage::vdisk_free($storecfg, $volid); };
-                   # fixme: log ?
-                   warn $@ if $@;
+           foreach my $opt (@delete) { # delete
+               $conf = PVE::QemuServer::load_config($vmid); # update/reload
+               &$vmconfig_delete_option($rpcenv, $authuser, $conf, $storecfg, $vmid, $opt, $force);
            }
 
-           $unset->{$opt} = 1;
-           PVE::QemuServer::change_config_nolock($vmid, {}, $unset, 1);
-       }
+           foreach my $opt (keys %$param) { # add/change
 
+               $conf = PVE::QemuServer::load_config($vmid); # update/reload
 
+               next if $conf->{$opt} && ($param->{$opt} eq $conf->{$opt}); # skip if nothing changed
 
-       #add
-       foreach my $opt (keys %$param) {
+               if (PVE::QemuServer::valid_drivename($opt)) {
 
-            #drives
-           if (PVE::QemuServer::valid_drivename($opt)) {
-               my $drive = PVE::QemuServer::parse_drive($opt, $param->{$opt});
-               raise_param_exc({ $opt => "unable to parse drive options" }) if !$drive;
+                   &$vmconfig_update_disk($rpcenv, $authuser, $conf, $storecfg, $vmid, 
+                                          $opt, $param->{$opt}, $force);
+       
+               } elsif ($opt =~ m/^net(\d+)$/) { #nics
 
-               PVE::QemuServer::cleanup_drive_path($opt, $storecfg, $drive);
-               $param->{$opt} = PVE::QemuServer::print_drive($vmid, $drive);
+                   &$vmconfig_update_net($rpcenv, $authuser, $conf, $storecfg, $vmid, 
+                                         $opt, $param->{$opt});
 
-                #cdrom
-               if (PVE::QemuServer::drive_is_cdrom($drive) && PVE::QemuServer::check_running($vmid)) {
-                   if ($drive->{file} eq 'none') {
-                        PVE::QemuServer::vm_monitor_command($vmid, "eject -f drive-$opt", 0);
-                       #delete $param->{$opt};
-                   }
-                   else {
-                       my $path = PVE::QemuServer::get_iso_path($storecfg, $vmid, $drive->{file});
-                        PVE::QemuServer::vm_monitor_command($vmid, "eject -f drive-$opt", 0); #force eject if locked
-                       PVE::QemuServer::vm_monitor_command($vmid, "change drive-$opt \"$path\"", 0) if $path;
-                    }
+               } else {
+
+                   $conf->{$opt} = $param->{$opt};
+                   PVE::QemuServer::update_config_nolock($vmid, $conf, 1);
                }
-               #hdd
-                else {
-                    #swap drive
-                    if ($conf->{$opt}){
-                       my $old_drive = PVE::QemuServer::parse_drive($opt, $conf->{$opt});
-                       if ($drive->{file} ne $old_drive->{file} && !PVE::QemuServer::drive_is_cdrom($old_drive)) {
-
-                            my ($path, $owner);
-                            eval { ($path, $owner) = PVE::Storage::path($storecfg, $old_drive->{file}); };
-                            if ($owner && ($owner == $vmid)) {
-                               die "error hot-unplug $opt" if !PVE::QemuServer::vm_deviceunplug($vmid, $conf, $opt);
-                                PVE::QemuServer::add_unused_volume($conf, $old_drive->{file}, $vmid);
-                            }
-                        }
-                    }
-                   my $settings = { $opt => $param->{$opt} };
-                   PVE::QemuServer::create_disks($storecfg, $vmid, $settings, $conf);
-                   $param->{$opt} = $settings->{$opt};
-                    #hotplug disks
-                    if(!PVE::QemuServer::vm_deviceplug($storecfg, $conf, $vmid, $opt, $drive)) {
-                       PVE::QemuServer::add_unused_volume($conf,$drive->{file},$vmid);
-                       PVE::QemuServer::change_config_nolock($vmid, {}, { $opt => 1 }, 1);
-                       die "error hotplug $opt - put disk in unused";
-                    }
-                }
-          }
-           #nics
-           if ($opt =~ m/^net(\d+)$/) {
-                my $net = PVE::QemuServer::parse_net($param->{$opt});
-                $param->{$opt} = PVE::QemuServer::print_net($net);
-           }
-
-           PVE::QemuServer::change_config_nolock($vmid, { $opt => $param->{$opt} }, {}, 1);
-       }
+           }
+       };
+
+       PVE::QemuServer::lock_config($vmid, $updatefn);
 
        return undef;
     }});
@@ -585,6 +920,9 @@ __PACKAGE__->register_method({
     protected => 1,
     proxyto => 'node',
     description => "Destroy the vm (also delete all used/owned volumes).",
+    permissions => {
+       check => [ 'perm', '/vms/{vmid}', ['VM.Allocate']],
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
@@ -601,28 +939,41 @@ __PACKAGE__->register_method({
 
        my $rpcenv = PVE::RPCEnvironment::get();
 
-       my $user = $rpcenv->get_user();
+       my $authuser = $rpcenv->get_user();
 
        my $vmid = $param->{vmid};
 
        my $skiplock = $param->{skiplock};
        raise_param_exc({ skiplock => "Only root may use this option." })
-           if $skiplock && $user ne 'root@pam';
+           if $skiplock && $authuser ne 'root@pam';
 
        # test if VM exists
        my $conf = PVE::QemuServer::load_config($vmid);
 
        my $storecfg = PVE::Storage::config();
 
+       my $delVMfromPoolFn = sub {                    
+           my $usercfg = cfs_read_file("user.cfg");
+           if (my $pool = $usercfg->{vms}->{$vmid}) {
+               if (my $data = $usercfg->{pools}->{$pool}) {
+                   delete $data->{vms}->{$vmid};
+                   delete $usercfg->{vms}->{$vmid};
+                   cfs_write_file("user.cfg", $usercfg);
+               }
+           }
+       };
+
        my $realcmd = sub {
            my $upid = shift;
 
            syslog('info', "destroy VM $vmid: $upid\n");
 
            PVE::QemuServer::vm_destroy($storecfg, $vmid, $skiplock);
+
+           PVE::AccessControl::lock_user_config($delVMfromPoolFn, "pool cleanup failed");
        };
 
-       return $rpcenv->fork_worker('qmdestroy', $vmid, $user, $realcmd);
+       return $rpcenv->fork_worker('qmdestroy', $vmid, $authuser, $realcmd);
     }});
 
 __PACKAGE__->register_method({
@@ -632,6 +983,9 @@ __PACKAGE__->register_method({
     protected => 1,
     proxyto => 'node',
     description => "Unlink/delete disk images.",
+    permissions => {
+       check => [ 'perm', '/vms/{vmid}', ['VM.Config.Disk']],
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
@@ -692,14 +1046,14 @@ __PACKAGE__->register_method({
 
        my $rpcenv = PVE::RPCEnvironment::get();
 
-       my $user = $rpcenv->get_user();
+       my $authuser = $rpcenv->get_user();
 
        my $vmid = $param->{vmid};
        my $node = $param->{node};
 
        my $authpath = "/vms/$vmid";
 
-       my $ticket = PVE::AccessControl::assemble_vnc_ticket($user, $authpath);
+       my $ticket = PVE::AccessControl::assemble_vnc_ticket($authuser, $authpath);
 
        $sslcert = PVE::Tools::file_get_contents("/etc/pve/pve-root-ca.pem", 8192)
            if !$sslcert;
@@ -736,10 +1090,10 @@ __PACKAGE__->register_method({
            return;
        };
 
-       my $upid = $rpcenv->fork_worker('vncproxy', $vmid, $user, $realcmd);
+       my $upid = $rpcenv->fork_worker('vncproxy', $vmid, $authuser, $realcmd);
 
        return {
-           user => $user,
+           user => $authuser,
            ticket => $ticket,
            port => $port,
            upid => $upid,
@@ -753,6 +1107,9 @@ __PACKAGE__->register_method({
     method => 'GET',
     proxyto => 'node',
     description => "Directory index",
+    permissions => {
+       user => 'all',
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
@@ -785,6 +1142,16 @@ __PACKAGE__->register_method({
        return $res;
     }});
 
+my $vm_is_ha_managed = sub {
+    my ($vmid) = @_;
+
+    my $cc = PVE::Cluster::cfs_read_file('cluster.conf');
+    if (PVE::Cluster::cluster_conf_lookup_pvevm($cc, 0, $vmid, 1)) {
+       return 1;
+    } 
+    return 0;
+};
+
 __PACKAGE__->register_method({
     name => 'vm_status',
     path => '{vmid}/status/current',
@@ -792,6 +1159,9 @@ __PACKAGE__->register_method({
     proxyto => 'node',
     protected => 1, # qemu pid files are only readable by root
     description => "Get virtual machine status.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.Audit' ]],
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
@@ -806,15 +1176,10 @@ __PACKAGE__->register_method({
        # test if VM exists
        my $conf = PVE::QemuServer::load_config($param->{vmid});
 
-       my $vmstatus = PVE::QemuServer::vmstatus($param->{vmid});
+       my $vmstatus = PVE::QemuServer::vmstatus($param->{vmid}, 1);
        my $status = $vmstatus->{$param->{vmid}};
 
-       my $cc = PVE::Cluster::cfs_read_file('cluster.conf');
-       if (PVE::Cluster::cluster_conf_lookup_pvevm($cc, 0, $param->{vmid}, 1)) {
-           $status->{ha} = 1;
-       } else {
-           $status->{ha} = 0;
-       }
+       $status->{ha} = &$vm_is_ha_managed($param->{vmid});
 
        return $status;
     }});
@@ -826,6 +1191,9 @@ __PACKAGE__->register_method({
     protected => 1,
     proxyto => 'node',
     description => "Start virtual machine.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.PowerMgmt' ]],
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
@@ -833,6 +1201,8 @@ __PACKAGE__->register_method({
            vmid => get_standard_option('pve-vmid'),
            skiplock => get_standard_option('skiplock'),
            stateuri => get_standard_option('pve-qm-stateuri'),
+           migratedfrom => get_standard_option('pve-node',{ optional => 1 }),
+
        },
     },
     returns => {
@@ -843,7 +1213,7 @@ __PACKAGE__->register_method({
 
        my $rpcenv = PVE::RPCEnvironment::get();
 
-       my $user = $rpcenv->get_user();
+       my $authuser = $rpcenv->get_user();
 
        my $node = extract_param($param, 'node');
 
@@ -851,25 +1221,51 @@ __PACKAGE__->register_method({
 
        my $stateuri = extract_param($param, 'stateuri');
        raise_param_exc({ stateuri => "Only root may use this option." })
-           if $stateuri && $user ne 'root@pam';
+           if $stateuri && $authuser ne 'root@pam';
 
        my $skiplock = extract_param($param, 'skiplock');
        raise_param_exc({ skiplock => "Only root may use this option." })
-           if $skiplock && $user ne 'root@pam';
+           if $skiplock && $authuser ne 'root@pam';
+
+       my $migratedfrom = extract_param($param, 'migratedfrom');
+       raise_param_exc({ migratedfrom => "Only root may use this option." })
+           if $migratedfrom && $authuser ne 'root@pam';
 
        my $storecfg = PVE::Storage::config();
 
-       my $realcmd = sub {
-           my $upid = shift;
+       if (&$vm_is_ha_managed($vmid) && !$stateuri &&
+           $rpcenv->{type} ne 'ha') {
 
-           syslog('info', "start VM $vmid: $upid\n");
+           my $hacmd = sub {
+               my $upid = shift;
 
-           PVE::QemuServer::vm_start($storecfg, $vmid, $stateuri, $skiplock);
+               my $service = "pvevm:$vmid";
 
-           return;
-       };
+               my $cmd = ['clusvcadm', '-e', $service, '-m', $node];
+
+               print "Executing HA start for VM $vmid\n";
+
+               PVE::Tools::run_command($cmd);
+
+               return;
+           };
+
+           return $rpcenv->fork_worker('hastart', $vmid, $authuser, $hacmd);
+
+       } else {
+
+           my $realcmd = sub {
+               my $upid = shift;
 
-       return $rpcenv->fork_worker('qmstart', $vmid, $user, $realcmd);
+               syslog('info', "start VM $vmid: $upid\n");
+
+               PVE::QemuServer::vm_start($storecfg, $vmid, $stateuri, $skiplock, $migratedfrom);
+
+               return;
+           };
+
+           return $rpcenv->fork_worker('qmstart', $vmid, $authuser, $realcmd);
+       }
     }});
 
 __PACKAGE__->register_method({
@@ -879,12 +1275,16 @@ __PACKAGE__->register_method({
     protected => 1,
     proxyto => 'node',
     description => "Stop virtual machine.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.PowerMgmt' ]],
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
            node => get_standard_option('pve-node'),
            vmid => get_standard_option('pve-vmid'),
            skiplock => get_standard_option('skiplock'),
+           migratedfrom => get_standard_option('pve-node',{ optional => 1 }),
            timeout => {
                description => "Wait maximal timeout seconds.",
                type => 'integer',
@@ -907,7 +1307,7 @@ __PACKAGE__->register_method({
 
        my $rpcenv = PVE::RPCEnvironment::get();
 
-       my $user = $rpcenv->get_user();
+       my $authuser = $rpcenv->get_user();
 
        my $node = extract_param($param, 'node');
 
@@ -915,26 +1315,51 @@ __PACKAGE__->register_method({
 
        my $skiplock = extract_param($param, 'skiplock');
        raise_param_exc({ skiplock => "Only root may use this option." })
-           if $skiplock && $user ne 'root@pam';
+           if $skiplock && $authuser ne 'root@pam';
 
        my $keepActive = extract_param($param, 'keepActive');
        raise_param_exc({ keepActive => "Only root may use this option." })
-           if $keepActive && $user ne 'root@pam';
+           if $keepActive && $authuser ne 'root@pam';
+
+       my $migratedfrom = extract_param($param, 'migratedfrom');
+       raise_param_exc({ migratedfrom => "Only root may use this option." })
+           if $migratedfrom && $authuser ne 'root@pam';
+
 
        my $storecfg = PVE::Storage::config();
 
-       my $realcmd = sub {
-           my $upid = shift;
+       if (&$vm_is_ha_managed($vmid) && $rpcenv->{type} ne 'ha') {
 
-           syslog('info', "stop VM $vmid: $upid\n");
+           my $hacmd = sub {
+               my $upid = shift;
 
-           PVE::QemuServer::vm_stop($storecfg, $vmid, $skiplock, 0,
-                                    $param->{timeout}, 0, 1, $keepActive);
+               my $service = "pvevm:$vmid";
 
-           return;
-       };
+               my $cmd = ['clusvcadm', '-d', $service];
+
+               print "Executing HA stop for VM $vmid\n";
 
-       return $rpcenv->fork_worker('qmstop', $vmid, $user, $realcmd);
+               PVE::Tools::run_command($cmd);
+
+               return;
+           };
+
+           return $rpcenv->fork_worker('hastop', $vmid, $authuser, $hacmd);
+
+       } else {
+           my $realcmd = sub {
+               my $upid = shift;
+
+               syslog('info', "stop VM $vmid: $upid\n");
+
+               PVE::QemuServer::vm_stop($storecfg, $vmid, $skiplock, 0,
+                                        $param->{timeout}, 0, 1, $keepActive, $migratedfrom);
+
+               return;
+           };
+
+           return $rpcenv->fork_worker('qmstop', $vmid, $authuser, $realcmd);
+       }
     }});
 
 __PACKAGE__->register_method({
@@ -944,6 +1369,9 @@ __PACKAGE__->register_method({
     protected => 1,
     proxyto => 'node',
     description => "Reset virtual machine.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.PowerMgmt' ]],
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
@@ -960,7 +1388,7 @@ __PACKAGE__->register_method({
 
        my $rpcenv = PVE::RPCEnvironment::get();
 
-       my $user = $rpcenv->get_user();
+       my $authuser = $rpcenv->get_user();
 
        my $node = extract_param($param, 'node');
 
@@ -968,7 +1396,7 @@ __PACKAGE__->register_method({
 
        my $skiplock = extract_param($param, 'skiplock');
        raise_param_exc({ skiplock => "Only root may use this option." })
-           if $skiplock && $user ne 'root@pam';
+           if $skiplock && $authuser ne 'root@pam';
 
        die "VM $vmid not running\n" if !PVE::QemuServer::check_running($vmid);
 
@@ -980,7 +1408,7 @@ __PACKAGE__->register_method({
            return;
        };
 
-       return $rpcenv->fork_worker('qmreset', $vmid, $user, $realcmd);
+       return $rpcenv->fork_worker('qmreset', $vmid, $authuser, $realcmd);
     }});
 
 __PACKAGE__->register_method({
@@ -990,6 +1418,9 @@ __PACKAGE__->register_method({
     protected => 1,
     proxyto => 'node',
     description => "Shutdown virtual machine.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.PowerMgmt' ]],
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
@@ -1024,7 +1455,7 @@ __PACKAGE__->register_method({
 
        my $rpcenv = PVE::RPCEnvironment::get();
 
-       my $user = $rpcenv->get_user();
+       my $authuser = $rpcenv->get_user();
 
        my $node = extract_param($param, 'node');
 
@@ -1032,11 +1463,11 @@ __PACKAGE__->register_method({
 
        my $skiplock = extract_param($param, 'skiplock');
        raise_param_exc({ skiplock => "Only root may use this option." })
-           if $skiplock && $user ne 'root@pam';
+           if $skiplock && $authuser ne 'root@pam';
 
        my $keepActive = extract_param($param, 'keepActive');
        raise_param_exc({ keepActive => "Only root may use this option." })
-           if $keepActive && $user ne 'root@pam';
+           if $keepActive && $authuser ne 'root@pam';
 
        my $storecfg = PVE::Storage::config();
 
@@ -1051,7 +1482,7 @@ __PACKAGE__->register_method({
            return;
        };
 
-       return $rpcenv->fork_worker('qmshutdown', $vmid, $user, $realcmd);
+       return $rpcenv->fork_worker('qmshutdown', $vmid, $authuser, $realcmd);
     }});
 
 __PACKAGE__->register_method({
@@ -1061,6 +1492,9 @@ __PACKAGE__->register_method({
     protected => 1,
     proxyto => 'node',
     description => "Suspend virtual machine.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.PowerMgmt' ]],
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
@@ -1077,7 +1511,7 @@ __PACKAGE__->register_method({
 
        my $rpcenv = PVE::RPCEnvironment::get();
 
-       my $user = $rpcenv->get_user();
+       my $authuser = $rpcenv->get_user();
 
        my $node = extract_param($param, 'node');
 
@@ -1085,7 +1519,7 @@ __PACKAGE__->register_method({
 
        my $skiplock = extract_param($param, 'skiplock');
        raise_param_exc({ skiplock => "Only root may use this option." })
-           if $skiplock && $user ne 'root@pam';
+           if $skiplock && $authuser ne 'root@pam';
 
        die "VM $vmid not running\n" if !PVE::QemuServer::check_running($vmid);
 
@@ -1099,7 +1533,7 @@ __PACKAGE__->register_method({
            return;
        };
 
-       return $rpcenv->fork_worker('qmsuspend', $vmid, $user, $realcmd);
+       return $rpcenv->fork_worker('qmsuspend', $vmid, $authuser, $realcmd);
     }});
 
 __PACKAGE__->register_method({
@@ -1109,6 +1543,9 @@ __PACKAGE__->register_method({
     protected => 1,
     proxyto => 'node',
     description => "Resume virtual machine.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.PowerMgmt' ]],
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
@@ -1125,7 +1562,7 @@ __PACKAGE__->register_method({
 
        my $rpcenv = PVE::RPCEnvironment::get();
 
-       my $user = $rpcenv->get_user();
+       my $authuser = $rpcenv->get_user();
 
        my $node = extract_param($param, 'node');
 
@@ -1133,7 +1570,7 @@ __PACKAGE__->register_method({
 
        my $skiplock = extract_param($param, 'skiplock');
        raise_param_exc({ skiplock => "Only root may use this option." })
-           if $skiplock && $user ne 'root@pam';
+           if $skiplock && $authuser ne 'root@pam';
 
        die "VM $vmid not running\n" if !PVE::QemuServer::check_running($vmid);
 
@@ -1147,7 +1584,7 @@ __PACKAGE__->register_method({
            return;
        };
 
-       return $rpcenv->fork_worker('qmresume', $vmid, $user, $realcmd);
+       return $rpcenv->fork_worker('qmresume', $vmid, $authuser, $realcmd);
     }});
 
 __PACKAGE__->register_method({
@@ -1157,6 +1594,9 @@ __PACKAGE__->register_method({
     protected => 1,
     proxyto => 'node',
     description => "Send key event to virtual machine.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.Console' ]],
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
@@ -1175,7 +1615,7 @@ __PACKAGE__->register_method({
 
        my $rpcenv = PVE::RPCEnvironment::get();
 
-       my $user = $rpcenv->get_user();
+       my $authuser = $rpcenv->get_user();
 
        my $node = extract_param($param, 'node');
 
@@ -1183,7 +1623,7 @@ __PACKAGE__->register_method({
 
        my $skiplock = extract_param($param, 'skiplock');
        raise_param_exc({ skiplock => "Only root may use this option." })
-           if $skiplock && $user ne 'root@pam';
+           if $skiplock && $authuser ne 'root@pam';
 
        PVE::QemuServer::vm_sendkey($vmid, $skiplock, $param->{key});
 
@@ -1197,6 +1637,9 @@ __PACKAGE__->register_method({
     protected => 1,
     proxyto => 'node',
     description => "Migrate virtual machine. Creates a new migration task.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.Migrate' ]],
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
@@ -1224,7 +1667,7 @@ __PACKAGE__->register_method({
 
        my $rpcenv = PVE::RPCEnvironment::get();
 
-       my $user = $rpcenv->get_user();
+       my $authuser = $rpcenv->get_user();
 
        my $target = extract_param($param, 'target');
 
@@ -1240,7 +1683,7 @@ __PACKAGE__->register_method({
        my $vmid = extract_param($param, 'vmid');
 
        raise_param_exc({ force => "Only root may use this option." })
-           if $param->{force} && $user ne 'root@pam';
+           if $param->{force} && $authuser ne 'root@pam';
 
        # test if VM exists
        my $conf = PVE::QemuServer::load_config($vmid);
@@ -1254,15 +1697,38 @@ __PACKAGE__->register_method({
                if !$param->{online};
        }
 
-       my $realcmd = sub {
-           my $upid = shift;
+       my $storecfg = PVE::Storage::config();
+       PVE::QemuServer::check_storage_availability($storecfg, $conf, $target);
 
-           PVE::QemuMigrate->migrate($target, $targetip, $vmid, $param);
-       };
+       if (&$vm_is_ha_managed($vmid) && $rpcenv->{type} ne 'ha') {
+
+           my $hacmd = sub {
+               my $upid = shift;
+
+               my $service = "pvevm:$vmid";
+
+               my $cmd = ['clusvcadm', '-M', $service, '-m', $target];
+
+               print "Executing HA migrate for VM $vmid to node $target\n";
+
+               PVE::Tools::run_command($cmd);
+
+               return;
+           };
+
+           return $rpcenv->fork_worker('hamigrate', $vmid, $authuser, $hacmd);
+
+       } else {
+
+           my $realcmd = sub {
+               my $upid = shift;
+
+               PVE::QemuMigrate->migrate($target, $targetip, $vmid, $param);
+           };
 
-       my $upid = $rpcenv->fork_worker('qmigrate', $vmid, $user, $realcmd);
+           return $rpcenv->fork_worker('qmigrate', $vmid, $authuser, $realcmd);
+       }
 
-       return $upid;
     }});
 
 __PACKAGE__->register_method({
@@ -1272,6 +1738,9 @@ __PACKAGE__->register_method({
     protected => 1,
     proxyto => 'node',
     description => "Execute Qemu monitor commands.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.Monitor' ]],
+    },
     parameters => {
        additionalProperties => 0,
        properties => {
@@ -1293,11 +1762,330 @@ __PACKAGE__->register_method({
 
        my $res = '';
        eval {
-           $res = PVE::QemuServer::vm_monitor_command($vmid, $param->{command});
+           $res = PVE::QemuServer::vm_human_monitor_command($vmid, $param->{command});
        };
        $res = "ERROR: $@" if $@;
 
        return $res;
     }});
 
+__PACKAGE__->register_method({
+    name => 'resize_vm',
+    path => '{vmid}/resize',
+    method => 'PUT',
+    protected => 1,
+    proxyto => 'node',
+    description => "Extend volume size.",
+    permissions => {
+        check => ['perm', '/vms/{vmid}', [ 'VM.Config.Disk' ]],
+    },
+    parameters => {
+        additionalProperties => 0,
+        properties => {
+           node => get_standard_option('pve-node'),
+           vmid => get_standard_option('pve-vmid'),
+           skiplock => get_standard_option('skiplock'),
+           disk => {
+               type => 'string',
+               description => "The disk you want to resize.",
+               enum => [PVE::QemuServer::disknames()],
+           },
+           size => {
+               type => 'string',
+               pattern => '\+?\d+(\.\d+)?[KMGT]?',
+               description => "The new size. With the '+' sign the value is added to the actual size of the volume and without it, the value is taken as an absolute one. Shrinking disk size is not supported.",
+           },
+           digest => {
+               type => 'string',
+               description => 'Prevent changes if current configuration file has different SHA1 digest. This can be used to prevent concurrent modifications.',
+               maxLength => 40,
+               optional => 1,
+           },
+       },
+    },
+    returns => { type => 'null'},
+    code => sub {
+        my ($param) = @_;
+
+        my $rpcenv = PVE::RPCEnvironment::get();
+
+        my $authuser = $rpcenv->get_user();
+
+        my $node = extract_param($param, 'node');
+
+        my $vmid = extract_param($param, 'vmid');
+
+        my $digest = extract_param($param, 'digest');
+
+        my $disk = extract_param($param, 'disk');
+       my $sizestr = extract_param($param, 'size');
+
+       my $skiplock = extract_param($param, 'skiplock');
+        raise_param_exc({ skiplock => "Only root may use this option." })
+            if $skiplock && $authuser ne 'root@pam';
+
+        my $storecfg = PVE::Storage::config();
+
+        my $updatefn =  sub {
+
+            my $conf = PVE::QemuServer::load_config($vmid);
+
+            die "checksum missmatch (file change by other user?)\n"
+                if $digest && $digest ne $conf->{digest};
+            PVE::QemuServer::check_lock($conf) if !$skiplock;
+
+           die "disk '$disk' does not exist\n" if !$conf->{$disk};
+
+           my $drive = PVE::QemuServer::parse_drive($disk, $conf->{$disk});
+
+           my $volid = $drive->{file};
+
+           die "disk '$disk' has no associated volume\n" if !$volid;
+
+           die "you can't resize a cdrom\n" if PVE::QemuServer::drive_is_cdrom($drive);
+
+           my ($storeid, $volname) = PVE::Storage::parse_volume_id($volid);
+
+           $rpcenv->check($authuser, "/storage/$storeid", ['Datastore.AllocateSpace']);
+
+           my $size = PVE::Storage::volume_size_info($storecfg, $volid, 5);
+
+           die "internal error" if $sizestr !~ m/^(\+)?(\d+(\.\d+)?)([KMGT])?$/;
+           my ($ext, $newsize, $unit) = ($1, $2, $4);
+           if ($unit) {
+               if ($unit eq 'K') {
+                   $newsize = $newsize * 1024;
+               } elsif ($unit eq 'M') {
+                   $newsize = $newsize * 1024 * 1024;
+               } elsif ($unit eq 'G') {
+                   $newsize = $newsize * 1024 * 1024 * 1024;
+               } elsif ($unit eq 'T') {
+                   $newsize = $newsize * 1024 * 1024 * 1024 * 1024;
+               }
+           }
+           $newsize += $size if $ext;
+           $newsize = int($newsize);
+
+           die "unable to skrink disk size\n" if $newsize < $size;
+
+           return if $size == $newsize;
+
+            PVE::Cluster::log_msg('info', $authuser, "update VM $vmid: resize --disk $disk --size $sizestr");
+
+           PVE::QemuServer::qemu_block_resize($vmid, "drive-$disk", $storecfg, $volid, $newsize);
+           
+           $drive->{size} = $newsize;
+           $conf->{$disk} = PVE::QemuServer::print_drive($vmid, $drive);
+
+           PVE::QemuServer::update_config_nolock($vmid, $conf, 1);
+       };
+
+        PVE::QemuServer::lock_config($vmid, $updatefn);
+        return undef;
+    }});
+
+__PACKAGE__->register_method({
+    name => 'snapshot_list',
+    path => '{vmid}/snapshot',
+    method => 'GET',
+    description => "List all snapshots.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.Audit' ]],
+    },
+    proxyto => 'node',
+    protected => 1, # qemu pid files are only readable by root
+    parameters => {
+       additionalProperties => 0,
+       properties => {
+           vmid => get_standard_option('pve-vmid'),
+           node => get_standard_option('pve-node'),
+       },
+    },
+    returns => {
+       type => 'array',
+       items => {
+           type => "object",
+           properties => {},
+       },
+       links => [ { rel => 'child', href => "{name}" } ],
+    },
+    code => sub {
+       my ($param) = @_;
+
+       my $conf = PVE::QemuServer::load_config($param->{vmid});
+       my $snaphash = $conf->{snapshots} || {};
+
+       my $res = [];
+
+       foreach my $name (keys %$snaphash) {
+           push @$res, { name => $name };
+       }
+
+       return $res;
+    }});
+
+__PACKAGE__->register_method({
+    name => 'snapshot',
+    path => '{vmid}/snapshot',
+    method => 'POST',
+    protected => 1,
+    proxyto => 'node',
+    description => "Snapshot a VM.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.Config.Disk' ]],
+    },
+    parameters => {
+       additionalProperties => 0,
+       properties => {
+           node => get_standard_option('pve-node'),
+           vmid => get_standard_option('pve-vmid'),
+           snapname => {
+               type => 'string',
+               description => "The name of the snapshot",
+               maxLength => 40,
+           },
+           vmstate => {
+               optional => 1,
+               type => 'boolean',
+               description => "Save the vmstate",
+           },
+           freezefs => {
+               optional => 1,
+               type => 'boolean',
+               description => "Freeze the filesystem",
+           },
+       },
+    },
+    returns => {
+       type => 'string',
+       description => "the task ID.",
+    },
+    code => sub {
+       my ($param) = @_;
+
+       my $rpcenv = PVE::RPCEnvironment::get();
+
+       my $authuser = $rpcenv->get_user();
+
+       my $node = extract_param($param, 'node');
+
+       my $vmid = extract_param($param, 'vmid');
+
+       my $snapname = extract_param($param, 'snapname');
+
+       my $vmstate = extract_param($param, 'vmstate');
+       my $freezefs = extract_param($param, 'freezefs');
+
+       # fixme: access rights? 
+       # &$check_storage_access($rpcenv, $authuser, $storecfg, $vmid, $conf);
+       # fixme: need to implement a check to see if all storages support snapshots
+
+       my $realcmd = sub {
+           PVE::Cluster::log_msg('info', $authuser, "snapshot VM $vmid: $snapname");
+           PVE::QemuServer::snapshot_create($vmid, $snapname, $vmstate, $freezefs);
+       };
+
+       return $rpcenv->fork_worker('qmsnapshot', $vmid, $authuser, $realcmd);
+    }});
+
+__PACKAGE__->register_method({
+    name => 'rollback',
+    path => '{vmid}/rollback',
+    method => 'POST',
+    protected => 1,
+    proxyto => 'node',
+    description => "Rollback VM state to specified snapshot.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.Config.Disk' ]],
+    },
+    parameters => {
+       additionalProperties => 0,
+       properties => {
+           node => get_standard_option('pve-node'),
+           vmid => get_standard_option('pve-vmid'),
+           snapname => {
+               type => 'string',
+               description => "The name of the snapshot",
+               maxLength => 40,
+           },
+       },
+    },
+    returns => {
+       type => 'string',
+       description => "the task ID.",
+    },
+    code => sub {
+       my ($param) = @_;
+
+       my $rpcenv = PVE::RPCEnvironment::get();
+
+       my $authuser = $rpcenv->get_user();
+
+       my $node = extract_param($param, 'node');
+
+       my $vmid = extract_param($param, 'vmid');
+
+       my $snapname = extract_param($param, 'snapname');
+
+       # fixme: access rights? 
+
+       my $realcmd = sub {
+           PVE::Cluster::log_msg('info', $authuser, "rollback snapshot VM $vmid: $snapname");
+           PVE::QemuServer::snapshot_rollback($vmid, $snapname);
+       };
+
+       return $rpcenv->fork_worker('qmrollback', $vmid, $authuser, $realcmd);
+    }});
+
+__PACKAGE__->register_method({
+    name => 'delsnapshot',
+    path => '{vmid}/snapshot/{snapname}',
+    method => 'DELETE',
+    protected => 1,
+    proxyto => 'node',
+    description => "Delete a VM snapshot.",
+    permissions => {
+       check => ['perm', '/vms/{vmid}', [ 'VM.Config.Disk' ]],
+    },
+    parameters => {
+       additionalProperties => 0,
+       properties => {
+           node => get_standard_option('pve-node'),
+           vmid => get_standard_option('pve-vmid'),
+           snapname => {
+               type => 'string',
+               description => "The name of the snapshot",
+               maxLength => 40,
+           },
+       },
+    },
+    returns => {
+       type => 'string',
+       description => "the task ID.",
+    },
+    code => sub {
+       my ($param) = @_;
+
+       my $rpcenv = PVE::RPCEnvironment::get();
+
+       my $authuser = $rpcenv->get_user();
+
+       my $node = extract_param($param, 'node');
+
+       my $vmid = extract_param($param, 'vmid');
+
+       my $snapname = extract_param($param, 'snapname');
+
+       # fixme: access rights? 
+
+       my $realcmd = sub {
+           PVE::Cluster::log_msg('info', $authuser, "delete snapshot VM $vmid: $snapname");
+           PVE::QemuServer::snapshot_delete($vmid, $snapname);
+       };
+
+       return $rpcenv->fork_worker('qmdelsnaphot', $vmid, $authuser, $realcmd);
+    }});
+
 1;