]> git.proxmox.com Git - pve-storage.git/blobdiff - PVE/Storage/ZFSPoolPlugin.pm
increase default timeout for zpool import
[pve-storage.git] / PVE / Storage / ZFSPoolPlugin.pm
index 50045e98411c61d733cc1776ad44ec315317ce83..227244dfbe3e90b873611d93bbdf9b2f0a589aec 100644 (file)
@@ -6,7 +6,7 @@ use IO::File;
 use POSIX;
 use PVE::Tools qw(run_command);
 use PVE::Storage::Plugin;
-
+use PVE::RPCEnvironment;
 
 use base qw(PVE::Storage::Plugin);
 
@@ -41,7 +41,6 @@ sub options {
        sparse => { optional => 1 },
        nodes => { optional => 1 },
        disable => { optional => 1 },
-        maxfiles => { optional => 1 },
        content => { optional => 1 },
     };
 }
@@ -102,7 +101,7 @@ sub zfs_parse_zvol_list {
        my $name = pop @parts;
        my $pool = join('/', @parts);
 
-       next unless $name =~ m!^(vm|base|subvol)-(\d+)-(\S+)$!;
+       next unless $name =~ m!^(vm|base|subvol|basevol)-(\d+)-(\S+)$!;
        $zvol->{owner} = $2;
 
        $zvol->{pool} = $pool;
@@ -130,9 +129,10 @@ sub zfs_parse_zvol_list {
 sub parse_volname {
     my ($class, $volname) = @_;
 
-    if ($volname =~ m/^(((base|vm)-(\d+)-\S+)\/)?((base)?(vm|subvol)?-(\d+)-\S+)$/) {
-       my $format = $7 && $7 eq 'subvol' ? 'subvol' : 'raw';
-       return ('images', $5, $8, $2, $4, $6, $format);
+    if ($volname =~ m/^(((base|basevol)-(\d+)-\S+)\/)?((base|basevol|vm|subvol)-(\d+)-\S+)$/) {
+       my $format = ($6 eq 'subvol' || $6 eq 'basevol') ? 'subvol' : 'raw';
+       my $isBase = ($6 eq 'base' || $6 eq 'basevol');
+       return ('images', $5, $7, $2, $4, $isBase, $format);
     }
 
     die "unable to parse zfs volume name '$volname'\n";
@@ -141,19 +141,20 @@ sub parse_volname {
 # virtual zfs methods (subclass can overwrite them)
 
 sub path {
-    my ($class, $scfg, $volname) = @_;
+    my ($class, $scfg, $volname, $storeid, $snapname) = @_;
 
     my ($vtype, $name, $vmid) = $class->parse_volname($volname);
 
     my $path = '';
 
     if ($vtype eq "images") {
-       if ($volname =~ m/^subvol-/) {
+       if ($name =~ m/^subvol-/ || $name =~ m/^basevol-/) {
            # fixme: we currently assume standard mount point?!
-           $path = "/$scfg->{pool}/$volname";
+           $path = "/$scfg->{pool}/$name";
        } else {
-           $path = "/dev/zvol/$scfg->{pool}/$volname";
+           $path = "/dev/zvol/$scfg->{pool}/$name";
        }
+       $path .= "\@$snapname" if defined($snapname);
     } else {
        die "$vtype is not allowed in ZFSPool!";
     }
@@ -164,12 +165,15 @@ sub path {
 sub zfs_request {
     my ($class, $scfg, $timeout, $method, @params) = @_;
 
-    $timeout = 5 if !$timeout;
+    my $default_timeout = PVE::RPCEnvironment::is_worker() ? 60*60 : 5;
 
     my $cmd = [];
 
     if ($method eq 'zpool_list') {
        push @$cmd, 'zpool', 'list';
+    } elsif ($method eq 'zpool_import') {
+       push @$cmd, 'zpool', 'import';
+       $default_timeout = 15 if $default_timeout < 15;
     } else {
        push @$cmd, 'zfs', $method;
     }
@@ -183,6 +187,8 @@ sub zfs_request {
         $msg .= "$line\n";
     };
 
+    $timeout =  $default_timeout if !$timeout;
+
     run_command($cmd, errmsg => "zfs error", outfunc => $output, timeout => $timeout);
 
     return $msg;
@@ -204,7 +210,7 @@ sub alloc_image {
        my $devname = "/dev/zvol/$scfg->{pool}/$volname";
 
        run_command("udevadm trigger --subsystem-match block");
-       system("udevadm settle --timeout 10 --exit-if-exists=${devname}");
+       system('udevadm', 'settle', '--timeout', '10', "--exit-if-exists=${devname}");
 
     } elsif ( $fmt eq 'subvol') {
 
@@ -246,27 +252,26 @@ sub list_images {
 
        foreach my $image (keys %$dat) {
 
-           my $volname = $dat->{$image}->{name};
-           my $parent = $dat->{$image}->{parent};
+           my $info = $dat->{$image};
 
-           my $volid = undef;
-            if ($parent && $parent =~ m/^(\S+)@(\S+)$/) {
+           my $volname = $info->{name};
+           my $parent = $info->{parent};
+           my $owner = $info->{vmid};
+
+           if ($parent && $parent =~ m/^(\S+)\@__base__$/) {
                my ($basename) = ($1);
-               $volid = "$storeid:$basename/$volname";
+               $info->{volid} = "$storeid:$basename/$volname";
            } else {
-               $volid = "$storeid:$volname";
+               $info->{volid} = "$storeid:$volname";
            }
 
-           my $owner = $dat->{$volname}->{vmid};
            if ($vollist) {
-               my $found = grep { $_ eq $volid } @$vollist;
+               my $found = grep { $_ eq $info->{volid} } @$vollist;
                next if !$found;
            } else {
                next if defined ($vmid) && ($owner ne $vmid);
            }
 
-           my $info = $dat->{$volname};
-           $info->{volid} = $volid;
            push @$res, $info;
        }
     }
@@ -295,18 +300,6 @@ sub zfs_get_pool_stats {
     return ($available, $used);
 }
 
-sub zfs_get_zvol_size {
-    my ($class, $scfg, $zvol) = @_;
-
-    my $text = $class->zfs_request($scfg, undef, 'get', '-Hp', 'volsize', "$scfg->{pool}/$zvol");
-
-    if ($text =~ /volsize\s(\d+)/) {
-       return $1;
-    }
-
-    die "Could not get zvol size";
-}
-
 sub zfs_create_zvol {
     my ($class, $scfg, $zvol, $size) = @_;
     
@@ -326,7 +319,8 @@ sub zfs_create_subvol {
 
     my $dataset = "$scfg->{pool}/$volname";
     
-    my $cmd = ['create', '-o', "refquota=${size}k", $dataset];
+    my $cmd = ['create', '-o', 'acltype=posixacl', '-o', 'xattr=sa',
+              '-o', "refquota=${size}k", $dataset];
 
     $class->zfs_request($scfg, undef, @$cmd);
 }
@@ -395,7 +389,7 @@ sub zfs_find_free_diskname {
 
     foreach my $image (keys %$dat) {
         my $volname = $dat->{$image}->{name};
-        if ($volname =~ m/(vm|base|subvol)-$vmid-disk-(\d+)/){
+        if ($volname =~ m/(vm|base|subvol|basevol)-$vmid-disk-(\d+)/){
             $disk_ids->{$2} = 1;
         }
     }
@@ -412,14 +406,16 @@ sub zfs_find_free_diskname {
 sub zfs_get_latest_snapshot {
     my ($class, $scfg, $volname) = @_;
 
+    my $vname = ($class->parse_volname($volname))[1];
+
     # abort rollback if snapshot is not the latest
     my @params = ('-t', 'snapshot', '-o', 'name', '-s', 'creation');
-    my $text = zfs_request($class, $scfg, undef, 'list', @params);
+    my $text = $class->zfs_request($scfg, undef, 'list', @params);
     my @snapshots = split(/\n/, $text);
 
     my $recentsnap;
     foreach (@snapshots) {
-        if (/$scfg->{pool}\/$volname/) {
+        if (/$scfg->{pool}\/$vname/) {
             s/^.*@//;
             $recentsnap = $_;
         }
@@ -449,25 +445,41 @@ sub status {
 sub volume_size_info {
     my ($class, $scfg, $storeid, $volname, $timeout) = @_;
 
-    return $class->zfs_get_zvol_size($scfg, $volname);
+    my (undef, $vname, undef, undef, undef, undef, $format) =
+        $class->parse_volname($volname);
+
+    my $attr = $format eq 'subvol' ? 'refquota' : 'volsize';
+    my $text = $class->zfs_request($scfg, undef, 'get', '-Hp', $attr, "$scfg->{pool}/$vname");
+    if ($text =~ /\s$attr\s(\d+)\s/) {
+       return $1;
+    }
+
+    die "Could not get zfs volume size\n";
 }
 
 sub volume_snapshot {
     my ($class, $scfg, $storeid, $volname, $snap) = @_;
 
-    $class->zfs_request($scfg, undef, 'snapshot', "$scfg->{pool}/$volname\@$snap");
+    my $vname = ($class->parse_volname($volname))[1];
+
+    $class->zfs_request($scfg, undef, 'snapshot', "$scfg->{pool}/$vname\@$snap");
 }
 
 sub volume_snapshot_delete {
     my ($class, $scfg, $storeid, $volname, $snap, $running) = @_;
 
-    $class->zfs_request($scfg, undef, 'destroy', "$scfg->{pool}/$volname\@$snap");
+    my $vname = ($class->parse_volname($volname))[1];
+
+    $class->deactivate_volume($storeid, $scfg, $vname, $snap, {});
+    $class->zfs_request($scfg, undef, 'destroy', "$scfg->{pool}/$vname\@$snap");
 }
 
 sub volume_snapshot_rollback {
     my ($class, $scfg, $storeid, $volname, $snap) = @_;
 
-    zfs_request($class, $scfg, undef, 'rollback', "$scfg->{pool}/$volname\@$snap");
+    my $vname = ($class->parse_volname($volname))[1];
+
+    $class->zfs_request($scfg, undef, 'rollback', "$scfg->{pool}/$vname\@$snap");
 }
 
 sub volume_rollback_is_possible {
@@ -484,16 +496,22 @@ sub volume_rollback_is_possible {
 sub activate_storage {
     my ($class, $storeid, $scfg, $cache) = @_;
 
-    my @param = ('-o', 'name', '-H');
-
-    my $text = zfs_request($class, $scfg, undef, 'zpool_list', @param);
-
     # Note: $scfg->{pool} can include dataset <pool>/<dataset>
     my $pool = $scfg->{pool};
     $pool =~ s!/.*$!!;
 
-    if ($text !~ $pool) {
-       run_command("zpool import -d /dev/disk/by-id/ -a");
+    my @param = ('-o', 'name', '-H', "$pool");
+    my $res;
+    eval {
+       $res = $class->zfs_request($scfg, undef, 'zpool_list', @param);
+    };
+
+    if ($@ || !defined($res) || $res !~ $pool) {
+       eval {
+           @param = ('-d', '/dev/disk/by-id/', "$pool");
+           $class->zfs_request($scfg, undef, 'zpool_import', @param);
+       };
+       die "could not activate storage '$storeid', $@\n" if $@;
     }
     return 1;
 }
@@ -504,12 +522,12 @@ sub deactivate_storage {
 }
 
 sub activate_volume {
-    my ($class, $storeid, $scfg, $volname, $exclusive, $cache) = @_;
+    my ($class, $storeid, $scfg, $volname, $snapname, $cache) = @_;
     return 1;
 }
 
 sub deactivate_volume {
-    my ($class, $storeid, $scfg, $volname, $exclusive, $cache) = @_;
+    my ($class, $storeid, $scfg, $volname, $snapname, $cache) = @_;
     return 1;
 }
 
@@ -525,9 +543,15 @@ sub clone_image {
 
     my $name = $class->zfs_find_free_diskname($storeid, $scfg, $vmid, $format);
 
-    $class->zfs_request($scfg, undef, 'clone', "$scfg->{pool}/$basename\@$snap", "$scfg->{pool}/$name");
+    if ($format eq 'subvol') {
+       my $size = $class->zfs_request($scfg, undef, 'list', '-H', '-o', 'refquota', "$scfg->{pool}/$basename");
+       chomp($size);
+       $class->zfs_request($scfg, undef, 'clone', "$scfg->{pool}/$basename\@$snap", "$scfg->{pool}/$name", '-o', "refquota=$size");
+    } else {
+       $class->zfs_request($scfg, undef, 'clone', "$scfg->{pool}/$basename\@$snap", "$scfg->{pool}/$name");
+    }
 
-    return $name;
+    return "$basename/$name";
 }
 
 sub create_base {
@@ -535,14 +559,17 @@ sub create_base {
 
     my $snap = '__base__';
 
-    my ($vtype, $name, $vmid, $basename, $basevmid, $isBase) =
+    my ($vtype, $name, $vmid, $basename, $basevmid, $isBase, $format) =
         $class->parse_volname($volname);
 
     die "create_base not possible with base image\n" if $isBase;
 
     my $newname = $name;
-    $newname =~ s/^vm-/base-/;
-
+    if ( $format eq 'subvol' ) {
+       $newname =~ s/^subvol-/basevol-/;
+    } else {
+       $newname =~ s/^vm-/base-/;
+    }
     my $newvolname = $basename ? "$basename/$newname" : "$newname";
 
     $class->zfs_request($scfg, undef, 'rename', "$scfg->{pool}/$name", "$scfg->{pool}/$newname");
@@ -557,9 +584,14 @@ sub create_base {
 sub volume_resize {
     my ($class, $scfg, $storeid, $volname, $size, $running) = @_;
 
-    my $new_size = ($size/1024);
+    my $new_size = int($size/1024);
+
+    my (undef, $vname, undef, undef, undef, undef, $format) =
+        $class->parse_volname($volname);
+
+    my $attr = $format eq 'subvol' ? 'refquota' : 'volsize';
 
-    $class->zfs_request($scfg, undef, 'set', 'volsize=' . $new_size . 'k', "$scfg->{pool}/$volname");
+    $class->zfs_request($scfg, undef, 'set', "$attr=${new_size}k", "$scfg->{pool}/$vname");
 
     return $new_size;
 }
@@ -572,6 +604,7 @@ sub volume_has_feature {
        clone => { base => 1},
        template => { current => 1},
        copy => { base => 1, current => 1},
+       sparseinit => { base => 1, current => 1},
     };
 
     my ($vtype, $name, $vmid, $basename, $basevmid, $isBase) =