]> git.proxmox.com Git - pve-storage.git/blobdiff - PVE/Storage/Plugin.pm
iSCSI ipv6 support
[pve-storage.git] / PVE / Storage / Plugin.pm
index 41427c5cca83059a8d6e6950e729b269e585e077..6741fecf2bf8690cedf7eb070e00859f608ebe8e 100644 (file)
@@ -2,6 +2,7 @@ package PVE::Storage::Plugin;
 
 use strict;
 use warnings;
+use File::chdir;
 use File::Path;
 use PVE::Tools qw(run_command);
 use PVE::JSONSchema qw(get_standard_option);
@@ -15,13 +16,14 @@ cfs_register_file ('storage.cfg',
                   sub { __PACKAGE__->parse_config(@_); },
                   sub { __PACKAGE__->write_config(@_); });
 
+
 my $defaultData = {
     propertyList => {
        type => { description => "Storage type." },
        storage => get_standard_option('pve-storage-id'),
        nodes => get_standard_option('pve-node-list', { optional => 1 }),
        content => {
-           description => "Allowed content types.",
+           description => "Allowed content types. Note: value 'rootdir' is used for Containers, and value 'images' for KVM-Qemu VM's.\n",
            type => 'string', format => 'pve-storage-content-list',
            optional => 1,
        },
@@ -104,9 +106,9 @@ PVE::JSONSchema::register_format('pve-storage-server', \&verify_server);
 sub verify_server {
     my ($server, $noerr) = @_;
 
-    # fixme: use better regex ?
-    # IP or DNS name
-    if ($server !~ m/^[[:alnum:]\-\.]+$/) {
+    if (!(PVE::JSONSchema::pve_verify_ip($server, 1) ||
+          PVE::JSONSchema::pve_verify_dns_name($server, 1)))
+    {
        return undef if $noerr;
        die "value does not look like a valid server name or IP address\n";
     }
@@ -131,7 +133,7 @@ sub verify_portal_dns {
     my ($portal, $noerr) = @_;
 
     # IP or DNS name with optional port
-    if ($portal !~ m/^(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}|[[:alnum:]\-\.]+)(:\d+)?$/) {
+    if (!PVE::Tools::parse_host_and_port($portal)) {
        return undef if $noerr;
        die "value does not look like a valid portal address\n";
     }
@@ -156,7 +158,7 @@ PVE::JSONSchema::register_format('pve-storage-format', \&verify_format);
 sub verify_format {
     my ($fmt, $noerr) = @_;
 
-    if ($fmt !~ m/(raw|qcow2|vmdk)/) {
+    if ($fmt !~ m/(raw|qcow2|vmdk|subvol)/) {
        return undef if $noerr;
        die "invalid format '$fmt'\n";
     }
@@ -177,6 +179,17 @@ sub verify_options {
     return $value;
 }
 
+PVE::JSONSchema::register_format('pve-volume-id', \&parse_volume_id);
+sub parse_volume_id {
+    my ($volid, $noerr) = @_;
+
+    if ($volid =~ m/^([a-z][a-z0-9\-\_\.]*[a-z0-9]):(.+)$/i) {
+       return wantarray ? ($1, $2) : $1;
+    }
+    return undef if $noerr;
+    die "unable to parse volume ID '$volid'\n";
+}
+
 
 sub private {
     return $defaultData;
@@ -300,7 +313,7 @@ sub parse_config {
            $d->{content} = $def->{content}->[1] if !$d->{content};
        }
 
-       if ($type eq 'iscsi' || $type eq 'nfs' || $type eq 'rbd' || $type eq 'sheepdog' || $type eq 'iscsidirect' || $type eq 'nexenta' ) {
+       if ($type eq 'iscsi' || $type eq 'nfs' || $type eq 'rbd' || $type eq 'sheepdog' || $type eq 'iscsidirect' || $type eq 'glusterfs' || $type eq 'zfs' || $type eq 'drbd') {
            $d->{shared} = 1;
        }
     }
@@ -330,8 +343,8 @@ sub cluster_lock_storage {
 sub parse_name_dir {
     my $name = shift;
 
-    if ($name =~ m!^([^/\s]+\.(raw|qcow2|vmdk))$!) {
-       return ($1, $2);
+    if ($name =~ m!^((base-)?[^/\s]+\.(raw|qcow2|vmdk|subvol))$!) {
+       return ($1, $3, $2); # (name, format, isBase)
     }
 
     die "unable to parse volume filename '$name'\n";
@@ -340,19 +353,25 @@ sub parse_name_dir {
 sub parse_volname {
     my ($class, $volname) = @_;
 
-    if ($volname =~ m!^(\d+)/(\S+)$!) {
+    if ($volname =~ m!^(\d+)/(\S+)/(\d+)/(\S+)$!) {
+       my ($basedvmid, $basename) = ($1, $2);
+       parse_name_dir($basename);
+       my ($vmid, $name) = ($3, $4);
+       my (undef, $format, $isBase) = parse_name_dir($name);
+       return ('images', $name, $vmid, $basename, $basedvmid, $isBase, $format);
+    } elsif ($volname =~ m!^(\d+)/(\S+)$!) {
        my ($vmid, $name) = ($1, $2);
-       parse_name_dir($name);
-       return ('images', $name, $vmid);
+       my (undef, $format, $isBase) = parse_name_dir($name);
+       return ('images', $name, $vmid, undef, undef, $isBase, $format);
     } elsif ($volname =~ m!^iso/([^/]+\.[Ii][Ss][Oo])$!) {
        return ('iso', $1);
-    } elsif ($volname =~ m!^vztmpl/([^/]+\.tar\.gz)$!) {
+    } elsif ($volname =~ m!^vztmpl/([^/]+\.tar\.[gx]z)$!) {
        return ('vztmpl', $1);
     } elsif ($volname =~ m!^rootdir/(\d+)$!) {
        return ('rootdir', $1, $1);
-    } elsif ($volname =~ m!^backup/([^/]+(\.(tar|tar\.gz|tar\.lzo|tgz)))$!) {
+    } elsif ($volname =~ m!^backup/([^/]+(\.(tar|tar\.gz|tar\.lzo|tgz|vma|vma\.gz|vma\.lzo)))$!) {
        my $fn = $1;
-       if ($fn =~ m/^vzdump-(openvz|qemu)-(\d+)-.+/) {
+       if ($fn =~ m/^vzdump-(openvz|lxc|qemu)-(\d+)-.+/) {
            return ('backup', $fn, $2);
        }
        return ('backup', $fn);
@@ -383,10 +402,16 @@ sub get_subdir {
     return "$path/$subdir";
 }
 
-sub path {
-    my ($class, $scfg, $volname, $storeid) = @_;
+sub filesystem_path {
+    my ($class, $scfg, $volname, $snapname) = @_;
+
+    my ($vtype, $name, $vmid, undef, undef, $isBase, $format) =
+       $class->parse_volname($volname);
 
-    my ($vtype, $name, $vmid) = $class->parse_volname($volname);
+    # Note: qcow2/qed has internal snapshot, so path is always
+    # the same (with or without snapshot => same file).
+    die "can't snapshot this image format\n"
+       if defined($snapname) && $format !~ m/^(qcow2|qed)$/;
 
     my $dir = $class->get_subdir($scfg, $vtype);
 
@@ -397,6 +422,123 @@ sub path {
     return wantarray ? ($path, $vmid, $vtype) : $path;
 }
 
+sub path {
+    my ($class, $scfg, $volname, $storeid, $snapname) = @_;
+
+    return $class->filesystem_path($scfg, $volname, $snapname);
+}
+
+sub create_base {
+    my ($class, $storeid, $scfg, $volname) = @_;
+
+    # this only works for file based storage types
+    die "storage definintion has no path\n" if !$scfg->{path};
+
+    my ($vtype, $name, $vmid, $basename, $basevmid, $isBase, $format) =
+       $class->parse_volname($volname);
+
+    die "create_base on wrong vtype '$vtype'\n" if $vtype ne 'images';
+
+    die "create_base not possible with base image\n" if $isBase;
+
+    my $path = $class->filesystem_path($scfg, $volname);
+
+    my ($size, undef, $used, $parent) = file_size_info($path);
+    die "file_size_info on '$volname' failed\n" if !($format && defined($size));
+
+    die "volname '$volname' contains wrong information about parent\n"
+       if $basename && (!$parent || $parent ne "../$basevmid/$basename");
+
+    my $newname = $name;
+    $newname =~ s/^vm-/base-/;
+
+    my $newvolname = $basename ? "$basevmid/$basename/$vmid/$newname" :
+       "$vmid/$newname";
+
+    my $newpath = $class->filesystem_path($scfg, $newvolname);
+
+    die "file '$newpath' already exists\n" if -f $newpath;
+
+    rename($path, $newpath) ||
+       die "rename '$path' to '$newpath' failed - $!\n";
+
+    # We try to protect base volume
+
+    chmod(0444, $newpath); # nobody should write anything
+
+    # also try to set immutable flag
+    eval { run_command(['/usr/bin/chattr', '+i', $newpath]); };
+    warn $@ if $@;
+
+    return $newvolname;
+}
+
+my $find_free_diskname = sub {
+    my ($imgdir, $vmid, $fmt) = @_;
+
+    my $disk_ids = {};
+    PVE::Tools::dir_glob_foreach($imgdir,
+                                qr!(vm|base)-$vmid-disk-(\d+)\..*!,
+                                sub {
+                                    my ($fn, $type, $disk) = @_;
+                                    $disk_ids->{$disk} = 1;
+                                });
+
+    for (my $i = 1; $i < 100; $i++) {
+       if (!$disk_ids->{$i}) {
+           return "vm-$vmid-disk-$i.$fmt";
+       }
+    }
+
+    die "unable to allocate a new image name for VM $vmid in '$imgdir'\n";
+};
+
+sub clone_image {
+    my ($class, $scfg, $storeid, $volname, $vmid, $snap) = @_;
+
+    # this only works for file based storage types
+    die "storage definintion has no path\n" if !$scfg->{path};
+
+    my ($vtype, $basename, $basevmid, undef, undef, $isBase, $format) =
+       $class->parse_volname($volname);
+
+    die "clone_image on wrong vtype '$vtype'\n" if $vtype ne 'images';
+
+    die "this storage type does not support clone_image on snapshot\n" if $snap;
+
+    die "this storage type does not support clone_image on subvolumes\n" if $format eq 'subvol';
+
+    die "clone_image only works on base images\n" if !$isBase;
+
+    my $imagedir = $class->get_subdir($scfg, 'images');
+    $imagedir .= "/$vmid";
+
+    mkpath $imagedir;
+
+    my $name = &$find_free_diskname($imagedir, $vmid, "qcow2");
+
+    warn "clone $volname: $vtype, $name, $vmid to $name (base=../$basevmid/$basename)\n";
+
+    my $newvol = "$basevmid/$basename/$vmid/$name";
+
+    my $path = $class->filesystem_path($scfg, $newvol);
+
+    # Note: we use relative paths, so we need to call chdir before qemu-img
+    eval {
+       local $CWD = $imagedir;
+
+       my $cmd = ['/usr/bin/qemu-img', 'create', '-b', "../$basevmid/$basename",
+                  '-f', 'qcow2', $path];
+
+       run_command($cmd);
+    };
+    my $err = $@;
+
+    die $err if $err;
+
+    return $newvol;
+}
+
 sub alloc_image {
     my ($class, $storeid, $scfg, $vmid, $fmt, $name, $size) = @_;
 
@@ -405,18 +547,7 @@ sub alloc_image {
 
     mkpath $imagedir;
 
-    if (!$name) {
-       for (my $i = 1; $i < 100; $i++) {
-           my @gr = <$imagedir/vm-$vmid-disk-$i.*>;
-           if (!scalar(@gr)) {
-               $name = "vm-$vmid-disk-$i.$fmt";
-               last;
-           }
-       }
-    }
-
-    die "unable to allocate an image name for VM $vmid in storage '$storeid'\n"
-       if !$name;
+    $name = &$find_free_diskname($imagedir, $vmid, $fmt) if !$name;
 
     my (undef, $tmpfmt) = parse_name_dir($name);
 
@@ -427,46 +558,71 @@ sub alloc_image {
 
     die "disk image '$path' already exists\n" if -e $path;
 
-    my $cmd = ['/usr/bin/qemu-img', 'create'];
-
-    push @$cmd, '-o', 'preallocation=metadata' if $fmt eq 'qcow2';
-
-    push @$cmd, '-f', $fmt, $path, "${size}K";
+    if ($fmt eq 'subvol') {
+       # only allow this if size = 0, so that user knows what he is doing
+       die "storage does not support subvol quotas\n" if $size != 0;
+       
+       (mkdir $path) || die "unable to create subvol '$path' - $!\n";
+    } else {
+       my $cmd = ['/usr/bin/qemu-img', 'create'];
 
-    run_command($cmd, errmsg => "unable to create image");
+       push @$cmd, '-o', 'preallocation=metadata' if $fmt eq 'qcow2';
+       
+       push @$cmd, '-f', $fmt, $path, "${size}K";
 
+       run_command($cmd, errmsg => "unable to create image");
+    }
+    
     return "$vmid/$name";
 }
 
 sub free_image {
-    my ($class, $storeid, $scfg, $volname) = @_;
+    my ($class, $storeid, $scfg, $volname, $isBase, $format) = @_;
 
-    my $path = $class->path($scfg, $volname);
+    my $path = $class->filesystem_path($scfg, $volname);
 
-    if (! -f $path) {
-       warn "disk image '$path' does not exists\n";
+    if ($format eq 'subvol') {
+       File::Path::remove_tree($path);
     } else {
-       unlink $path;
-    }
+    
+       if (! -f $path) {
+           warn "disk image '$path' does not exists\n";
+           return undef;
+       }
 
+       if ($isBase) {
+           # try to remove immutable flag
+           eval { run_command(['/usr/bin/chattr', '-i', $path]); };
+           warn $@ if $@;
+       }
+
+       unlink($path) || die "unlink '$path' failed - $!\n";
+    }
+    
     return undef;
 }
 
 sub file_size_info {
     my ($filename, $timeout) = @_;
 
+    if (-d $filename) {
+       return wantarray ? (0, 'subvol', 0, undef) : 1;
+    }
+    
     my $cmd = ['/usr/bin/qemu-img', 'info', $filename];
 
     my $format;
+    my $parent;
     my $size = 0;
     my $used = 0;
 
     eval {
        run_command($cmd, timeout => $timeout, outfunc => sub {
            my $line = shift;
-
            if ($line =~ m/^file format:\s+(\S+)\s*$/) {
                $format = $1;
+           } elsif ($line =~ m/^backing file:\s(\S+)\s/) {
+               $parent = $1;
            } elsif ($line =~ m/^virtual size:\s\S+\s+\((\d+)\s+bytes\)$/) {
                $size = int($1);
            } elsif ($line =~ m/^disk size:\s+(\d+(.\d+)?)([KMGT])\s*$/) {
@@ -483,12 +639,12 @@ sub file_size_info {
        });
     };
 
-    return wantarray ? ($size, $format, $used) : $size;
+    return wantarray ? ($size, $format, $used, $parent) : $size;
 }
 
 sub volume_size_info {
     my ($class, $scfg, $storeid, $volname, $timeout) = @_;
-    my $path = $class->path($scfg, $volname);
+    my $path = $class->filesystem_path($scfg, $volname);
     return file_size_info($path, $timeout);
 
 }
@@ -496,11 +652,11 @@ sub volume_size_info {
 sub volume_resize {
     my ($class, $scfg, $storeid, $volname, $size, $running) = @_;
 
-    die "can't resize this image format" if $volname !~ m/\.(raw|qcow2)$/;
+    die "can't resize this image format\n" if $volname !~ m/\.(raw|qcow2)$/;
 
     return 1 if $running;
 
-    my $path = $class->path($scfg, $volname);
+    my $path = $class->filesystem_path($scfg, $volname);
 
     my $cmd = ['/usr/bin/qemu-img', 'resize', $path , $size];
 
@@ -510,31 +666,35 @@ sub volume_resize {
 }
 
 sub volume_snapshot {
-    my ($class, $scfg, $storeid, $volname, $snap, $running) = @_;
-
-    die "can't snapshot this image format" if $volname !~ m/\.(qcow2|qed)$/;
+    my ($class, $scfg, $storeid, $volname, $snap) = @_;
 
-    return 1 if $running;
+    die "can't snapshot this image format\n" if $volname !~ m/\.(qcow2|qed)$/;
 
-    my $path = $class->path($scfg, $volname);
+    my $path = $class->filesystem_path($scfg, $volname);
 
     my $cmd = ['/usr/bin/qemu-img', 'snapshot','-c', $snap, $path];
 
-    run_command($cmd, timeout => 30);
+    run_command($cmd);
 
     return undef;
 }
 
+sub volume_rollback_is_possible {
+    my ($class, $scfg, $storeid, $volname, $snap) = @_; 
+
+    return 1; 
+}
+
 sub volume_snapshot_rollback {
     my ($class, $scfg, $storeid, $volname, $snap) = @_;
 
-    die "can't rollback snapshot this image format" if $volname !~ m/\.(qcow2|qed)$/;
+    die "can't rollback snapshot this image format\n" if $volname !~ m/\.(qcow2|qed)$/;
 
-    my $path = $class->path($scfg, $volname);
+    my $path = $class->filesystem_path($scfg, $volname);
 
     my $cmd = ['/usr/bin/qemu-img', 'snapshot','-a', $snap, $path];
 
-    run_command($cmd, timeout => 30);
+    run_command($cmd);
 
     return undef;
 }
@@ -542,15 +702,42 @@ sub volume_snapshot_rollback {
 sub volume_snapshot_delete {
     my ($class, $scfg, $storeid, $volname, $snap, $running) = @_;
 
-    die "can't delete snapshot for this image format" if $volname !~ m/\.(qcow2|qed)$/;
+    die "can't delete snapshot for this image format\n" if $volname !~ m/\.(qcow2|qed)$/;
 
     return 1 if $running;
 
-    my $path = $class->path($scfg, $volname);
+    my $path = $class->filesystem_path($scfg, $volname);
 
     my $cmd = ['/usr/bin/qemu-img', 'snapshot','-d', $snap, $path];
 
-    run_command($cmd, timeout => 30);
+    run_command($cmd);
+
+    return undef;
+}
+
+sub volume_has_feature {
+    my ($class, $scfg, $feature, $storeid, $volname, $snapname, $running) = @_;
+
+    my $features = {
+       snapshot => { current => { qcow2 => 1}, snap => { qcow2 => 1} },
+       clone => { base => {qcow2 => 1, raw => 1, vmdk => 1} },
+       template => { current => {qcow2 => 1, raw => 1, vmdk => 1, subvol => 1} },
+       copy => { base => {qcow2 => 1, raw => 1, vmdk => 1},
+                 current => {qcow2 => 1, raw => 1, vmdk => 1},
+                 snap => {qcow2 => 1} },
+    };
+
+    my ($vtype, $name, $vmid, $basename, $basevmid, $isBase, $format) =
+       $class->parse_volname($volname);
+
+    my $key = undef;
+    if($snapname){
+        $key = 'snap';
+    }else{
+        $key =  $isBase ? 'base' : 'current';
+    }
+
+    return 1 if defined($features->{$feature}->{$key}->{$format});
 
     return undef;
 }
@@ -572,23 +759,29 @@ sub list_images {
 
        my $owner = $2;
        my $name = $3;
-       my $volid = "$storeid:$owner/$name";
 
-       if ($vollist) {
-           my $found = grep { $_ eq $volid } @$vollist;
-           next if !$found;
+       next if !$vollist && defined($vmid) && ($owner ne $vmid);
+
+       my ($size, $format, $used, $parent) = file_size_info($fn);
+       next if !($format && defined($size));
+
+       my $volid;
+       if ($parent && $parent =~ m!^../(\d+)/([^/]+\.($fmts))$!) {
+           my ($basevmid, $basename) = ($1, $2);
+           $volid = "$storeid:$basevmid/$basename/$owner/$name";
        } else {
-           next if defined($vmid) && ($owner ne $vmid);
+           $volid = "$storeid:$owner/$name";
        }
 
-       my ($size, $format, $used) = file_size_info($fn);
-
-       if ($format && $size) {
-           push @$res, {
-               volid => $volid, format => $format,
-               size => $size, vmid => $owner, used => $used };
+       if ($vollist) {
+           my $found = grep { $_ eq $volid } @$vollist;
+           next if !$found;
        }
 
+       push @$res, {
+           volid => $volid, format => $format,
+           size => $size, vmid => $owner, used => $used, parent => $parent
+       };
     }
 
     return $res;
@@ -621,9 +814,12 @@ sub activate_storage {
 
     if (defined($scfg->{content})) {
        foreach my $vtype (keys %$vtype_subdirs) {
-           next if !defined($scfg->{content}->{$vtype});
-           my $subdir = $class->get_subdir($scfg, $vtype);
-           mkpath $subdir if $subdir ne $path;
+           # OpenVZMigrate uses backup (dump) dir
+           if (defined($scfg->{content}->{$vtype}) ||
+               ($vtype eq 'backup' && defined($scfg->{content}->{'rootdir'}))) {
+               my $subdir = $class->get_subdir($scfg, $vtype);
+               mkpath $subdir if $subdir ne $path;
+           }
        }
     }
 }
@@ -637,7 +833,7 @@ sub deactivate_storage {
 sub activate_volume {
     my ($class, $storeid, $scfg, $volname, $exclusive, $cache) = @_;
 
-    my $path = $class->path($scfg, $volname);
+    my $path = $class->filesystem_path($scfg, $volname);
 
     # check is volume exists
     if ($scfg->{path}) {