]> git.proxmox.com Git - pve-storage.git/blobdiff - PVE/Diskmanage.pm
Diskmanage: introduce usage helper
[pve-storage.git] / PVE / Diskmanage.pm
index cac944d46ca81e121fc6b8567e946770a8aa24bd..431316122bf0078ffaeb3c754a4fa5d117221f5d 100644 (file)
@@ -2,6 +2,7 @@ package PVE::Diskmanage;
 
 use strict;
 use warnings;
+
 use PVE::ProcFSTools;
 use Data::Dumper;
 use Cwd qw(abs_path);
@@ -16,7 +17,6 @@ my $ZPOOL = "/sbin/zpool";
 my $SGDISK = "/sbin/sgdisk";
 my $PVS = "/sbin/pvs";
 my $LVS = "/sbin/lvs";
-my $UDEVADM = "/bin/udevadm";
 my $LSBLK = "/bin/lsblk";
 
 sub verify_blockdev_path {
@@ -108,7 +108,6 @@ sub get_smart_data {
            if (defined($type) && $type eq 'ata' && $line =~ m/^([ \d]{2}\d)\s+(\S+)\s+(\S{6})\s+(\d+)\s+(\d+)\s+(\S+)\s+(\S+)\s+(.*)$/) {
                my $entry = {};
 
-
                $entry->{name} = $2 if defined $2;
                $entry->{flags} = $3 if defined $3;
                # the +0 makes a number out of the strings
@@ -134,8 +133,8 @@ sub get_smart_data {
            } elsif (defined($type) && $type eq 'text') {
                $smartdata->{text} = '' if !defined $smartdata->{text};
                $smartdata->{text} .= "$line\n";
-               # extract wearout from nvme text, allow for decimal values
-               if ($line =~ m/Percentage Used:\s*(\d+(?:\.\d+)?)\%/i) {
+               # extract wearout from nvme/sas text, allow for decimal values
+               if ($line =~ m/Percentage Used(?: endurance indicator)?:\s*(\d+(?:\.\d+)?)\%/i) {
                    $smartdata->{wearout} = 100 - $1;
                }
            } elsif ($line =~ m/SMART Disabled/) {
@@ -157,8 +156,8 @@ sub get_smart_data {
     return $smartdata;
 }
 
-sub get_parttype_info() {
-    my $cmd = [$LSBLK, '--json', '-o', 'path,parttype'];
+sub get_lsblk_info() {
+    my $cmd = [$LSBLK, '--json', '-o', 'path,parttype,fstype'];
     my $output = "";
     my $res = {};
     eval {
@@ -174,30 +173,32 @@ sub get_parttype_info() {
     warn "$@\n" if $@;
     my $list = $parsed->{blockdevices} // [];
 
-    foreach my $dev (@$list) {
-       next if !($dev->{parttype});
-       my $type = $dev->{parttype};
-       $res->{$type} = [] if !defined($res->{$type});
-       push @{$res->{$type}}, $dev->{path};
-    }
+    $res = { map {
+       $_->{path} => {
+           parttype => $_->{parttype},
+           fstype => $_->{fstype}
+       }
+    } @{$list} };
 
     return $res;
 }
 
 my $get_devices_by_partuuid = sub {
-    my ($parttype_map, $uuids, $res) = @_;
+    my ($lsblk_info, $uuids, $res) = @_;
 
     $res = {} if !defined($res);
 
-    foreach my $uuid (sort keys %$uuids) {
-       map { $res->{$_} = $uuids->{$uuid} } @{$parttype_map->{$uuid}};
+    foreach my $dev (sort keys %{$lsblk_info}) {
+       my $uuid = $lsblk_info->{$dev}->{parttype};
+       next if !defined($uuid) || !defined($uuids->{$uuid});
+       $res->{$dev} = $uuids->{$uuid};
     }
 
     return $res;
 };
 
 sub get_zfs_devices {
-    my ($parttype_map) = @_;
+    my ($lsblk_info) = @_;
     my $res = {};
 
     return {} if ! -x $ZPOOL;
@@ -225,13 +226,13 @@ sub get_zfs_devices {
     };
 
 
-    $res = $get_devices_by_partuuid->($parttype_map, $uuids, $res);
+    $res = $get_devices_by_partuuid->($lsblk_info, $uuids, $res);
 
     return $res;
 }
 
 sub get_lvm_devices {
-    my ($parttype_map) = @_;
+    my ($lsblk_info) = @_;
     my $res = {};
     eval {
        run_command([$PVS, '--noheadings', '--readonly', '-o', 'pv_name'], outfunc => sub{
@@ -251,13 +252,13 @@ sub get_lvm_devices {
        "e6d6d379-f507-44c2-a23c-238f2a3df928" => 1,
     };
 
-    $res = $get_devices_by_partuuid->($parttype_map, $uuids, $res);
+    $res = $get_devices_by_partuuid->($lsblk_info, $uuids, $res);
 
     return $res;
 }
 
 sub get_ceph_journals {
-    my ($parttype_map) = @_;
+    my ($lsblk_info) = @_;
     my $res = {};
 
     my $uuids = {
@@ -267,7 +268,7 @@ sub get_ceph_journals {
        'cafecafe-9b03-4f30-b4c6-b4b80ceff106' => 4, # block
     };
 
-    $res = $get_devices_by_partuuid->($parttype_map, $uuids, $res);
+    $res = $get_devices_by_partuuid->($lsblk_info, $uuids, $res);
 
     return $res;
 }
@@ -312,7 +313,7 @@ sub get_udev_info {
     my $info = "";
     my $data = {};
     eval {
-       run_command([$UDEVADM, 'info', '-p', $dev, '--query', 'all'], outfunc => sub {
+       run_command(['udevadm', 'info', '-p', $dev, '--query', 'all'], outfunc => sub {
            my ($line) = @_;
            $info .= "$line\n";
        });
@@ -359,9 +360,25 @@ sub get_udev_info {
        $data->{wwn} = $1;
     }
 
+    if ($info =~ m/^E: DEVLINKS=(.+)$/m) {
+       my @devlinks = grep(m#^/dev/disk/by-id/(ata|scsi|nvme(?!-eui))#, split (/ /, $1));
+       $data->{by_id_link} = $devlinks[0] if defined($devlinks[0]);
+    }
+
     return $data;
 }
 
+sub get_sysdir_size {
+    my ($sysdir) = @_;
+
+    my $size = file_read_firstline("$sysdir/size");
+    return if !$size;
+
+    # linux always considers sectors to be 512 bytes,
+    # independently of real block size
+    return $size * 512;
+}
+
 sub get_sysdir_info {
     my ($sysdir) = @_;
 
@@ -369,12 +386,7 @@ sub get_sysdir_info {
 
     my $data = {};
 
-    my $size = file_read_firstline("$sysdir/size");
-    return undef if !$size;
-
-    # linux always considers sectors to be 512 bytes,
-    # independently of real block size
-    $data->{size} = $size * 512;
+    $data->{size} = get_sysdir_size($sysdir) or return;
 
     # dir/queue/rotational should be 1 for hdd, 0 for ssd
     $data->{rotational} = file_read_firstline("$sysdir/queue/rotational") // -1;
@@ -391,7 +403,7 @@ sub get_sysdir_info {
 }
 
 sub get_wear_leveling_info {
-    my ($smartdata, $model) = @_;
+    my ($smartdata) = @_;
     my $attributes = $smartdata->{attributes};
 
     if (defined($smartdata->{wearout})) {
@@ -400,37 +412,35 @@ sub get_wear_leveling_info {
 
     my $wearout;
 
-    my $vendormap = {
-       'kingston' => 231,
-       'samsung' => 177,
-       'intel' => 233,
-       'sandisk' => 233,
-       'crucial' => 202,
-       'default' => 233,
-    };
-
-    # find target attr id
-
-    my $attrid;
-
-    foreach my $vendor (keys %$vendormap) {
-       if ($model =~ m/$vendor/i) {
-           $attrid = $vendormap->{$vendor};
-           # found the attribute
-           last;
+    # Common register names that represent percentage values of potential
+    # failure indicators used in drivedb.h of smartmontool's. Order matters,
+    # as some drives may have multiple definitions
+    my @wearoutregisters = (
+       "Media_Wearout_Indicator",
+       "SSD_Life_Left",
+       "Wear_Leveling_Count",
+       "Perc_Write\/Erase_Ct_BC",
+       "Perc_Rated_Life_Remain",
+       "Remaining_Lifetime_Perc",
+       "Percent_Lifetime_Remain",
+       "Lifetime_Left",
+       "PCT_Life_Remaining",
+       "Lifetime_Remaining",
+       "Percent_Life_Remaining",
+       "Percent_Lifetime_Used",
+       "Perc_Rated_Life_Used"
+    );
+
+    # Search for S.M.A.R.T. attributes for known register
+    foreach my $register (@wearoutregisters) {
+       last if defined $wearout;
+       foreach my $attr (@$attributes) {
+          next if $attr->{name} !~ m/$register/;
+          $wearout = $attr->{value};
+          last;
        }
     }
 
-    if (!$attrid) {
-       $attrid = $vendormap->{default};
-    }
-
-    foreach my $attr (@$attributes) {
-       next if $attr->{id} != $attrid;
-       $wearout = $attr->{value};
-       last;
-    }
-
     return $wearout;
 }
 
@@ -459,6 +469,11 @@ sub is_iscsi {
     return 0;
 }
 
+my sub is_ssdlike {
+    my ($type) = @_;
+    return $type eq 'ssd' || $type eq 'nvme';
+}
+
 sub get_disks {
     my ($disks, $nosmart) = @_;
     my $disklist = {};
@@ -472,19 +487,14 @@ sub get_disks {
        $mounted->{abs_path($mount->[0])} = $mount->[1];
     };
 
-    my $dev_is_mounted = sub {
-       my ($dev) = @_;
-       return $mounted->{$dev};
-    };
-
-    my $parttype_map = get_parttype_info();
+    my $lsblk_info = get_lsblk_info();
 
-    my $journalhash = get_ceph_journals($parttype_map);
+    my $journalhash = get_ceph_journals($lsblk_info);
     my $ceph_volume_infos = get_ceph_volume_infos();
 
-    my $zfshash = get_zfs_devices($parttype_map);
+    my $zfshash = get_zfs_devices($lsblk_info);
 
-    my $lvmhash = get_lvm_devices($parttype_map);
+    my $lvmhash = get_lvm_devices($lsblk_info);
 
     my $disk_regex = ".*";
     if (defined($disks)) {
@@ -494,7 +504,7 @@ sub get_disks {
            die "disks is not a string or array reference\n";
        }
        # we get cciss/c0d0 but need cciss!c0d0
-       map { s|cciss/|cciss!| } @$disks;
+       $_ =~ s|cciss/|cciss!| for @$disks;
 
        $disk_regex = "(?:" . join('|', @$disks) . ")";
     }
@@ -528,6 +538,7 @@ sub get_disks {
 
        if ($sysdata->{rotational} == 0) {
            $type = 'ssd';
+           $type = 'nvme' if $dev =~ m/^nvme\d+n\d+$/;
            $data->{rpm} = 0;
        } elsif ($sysdata->{rotational} == 1) {
            if ($data->{rpm} != -1) {
@@ -543,25 +554,17 @@ sub get_disks {
 
        if (!$nosmart) {
            eval {
-               my $smartdata = get_smart_data($devpath, ($type ne 'ssd'));
+               my $smartdata = get_smart_data($devpath, !is_ssdlike($type));
                $health = $smartdata->{health} if $smartdata->{health};
 
-               if ($type eq 'ssd') {
+               if (is_ssdlike($type)) {
                    # if we have an ssd we try to get the wearout indicator
-                   my $wearval = get_wear_leveling_info($smartdata, $data->{model} || $sysdata->{model});
+                   my $wearval = get_wear_leveling_info($smartdata);
                    $wearout = $wearval if defined($wearval);
                }
            };
        }
 
-       my $used;
-
-       $used = 'LVM' if $lvmhash->{$devpath};
-
-       $used = 'mounted' if &$dev_is_mounted($devpath);
-
-       $used = 'ZFS' if $zfshash->{$devpath};
-
        # we replaced cciss/ with cciss! above
        # but in the result we need cciss/ again
        # because the caller might want to check the
@@ -584,6 +587,9 @@ sub get_disks {
            wearout => $wearout,
        };
 
+       my $by_id_link = $data->{by_id_link};
+       $disklist->{$dev}->{by_id_link} = $by_id_link if defined($by_id_link);
+
        my $osdid = -1;
        my $bluestore = 0;
        my $osdencrypted = 0;
@@ -592,11 +598,6 @@ sub get_disks {
        my $db_count = 0;
        my $wal_count = 0;
 
-       my $found_partitions;
-       my $found_lvm;
-       my $found_mountpoints;
-       my $found_zfs;
-       my $found_dm;
        my $partpath = $devpath;
 
        # remove part after last / to
@@ -604,36 +605,52 @@ sub get_disks {
        # e.g. from /dev/cciss/c0d0 get /dev/cciss
        $partpath =~ s/\/[^\/]+$//;
 
+       my $determine_usage = sub {
+           my ($devpath, $sysdir, $is_partition) = @_;
+
+           return 'LVM' if $lvmhash->{$devpath};
+           return 'ZFS' if $zfshash->{$devpath};
+
+           my $info = $lsblk_info->{$devpath} // {};
+           my $fstype = $info->{fstype};
+           if (defined($fstype)) {
+               return "${fstype} (mounted)" if $mounted->{$devpath};
+               return "${fstype}";
+           }
+           return 'mounted' if $mounted->{$devpath};
+
+           return if !$is_partition;
+
+           # for devices, this check is done explicitly later
+           return 'Device Mapper' if !dir_is_empty("$sysdir/holders");
+
+           return 'partition';
+       };
+
+       my $partitions = {};
+
        dir_glob_foreach("$sysdir", "$dev.+", sub {
            my ($part) = @_;
 
-           $found_partitions = 1;
+           $partitions->{$part}->{devpath} = "$partpath/$part";
+           $partitions->{$part}->{gpt} = $data->{gpt};
+           $partitions->{$part}->{size} =
+               get_sysdir_size("$sysdir/$part") // 0;
+           $partitions->{$part}->{used} =
+               $determine_usage->("$partpath/$part", "$sysdir/$part", 1);
 
-           if (my $mp = &$dev_is_mounted("$partpath/$part")) {
-               $found_mountpoints = 1;
+           if (my $mp = $mounted->{"$partpath/$part"}) {
                if ($mp =~ m|^/var/lib/ceph/osd/ceph-(\d+)$|) {
                    $osdid = $1;
                }
            }
 
-           if ($lvmhash->{"$partpath/$part"}) {
-               $found_lvm = 1;
-           }
-
-           if ($zfshash->{"$partpath/$part"}) {
-               $found_zfs = 1;
-           }
-
            if (my $journal_part = $journalhash->{"$partpath/$part"}) {
                $journal_count++ if $journal_part == 1;
                $db_count++ if $journal_part == 2;
                $wal_count++ if $journal_part == 3;
                $bluestore = 1 if $journal_part == 4;
            }
-
-           if (!dir_is_empty("$sysdir/$part/holders") && !$found_lvm)  {
-               $found_dm = 1;
-           }
        });
 
        if (my $ceph_volume = $ceph_volume_infos->{$devpath}) {
@@ -647,16 +664,16 @@ sub get_disks {
            }
        }
 
-       $used = 'mounted' if $found_mountpoints && !$used;
-       $used = 'LVM' if $found_lvm && !$used;
-       $used = 'ZFS' if $found_zfs && !$used;
-       $used = 'Device Mapper' if $found_dm && !$used;
-       $used = 'partitions' if $found_partitions && !$used;
-
+       my $used = $determine_usage->($devpath, $sysdir, 0);
+       foreach my $part (sort keys %{$partitions}) {
+           next if $partitions->{$part}->{used} eq 'partition';
+           $used //= $partitions->{$part}->{used};
+       }
+       $used //= 'partitions' if scalar(keys %{$partitions});
        # multipath, software raid, etc.
        # this check comes in last, to show more specific info
        # if we have it
-       $used = 'Device Mapper' if !$used && !dir_is_empty("$sysdir/holders");
+       $used //= 'Device Mapper' if !dir_is_empty("$sysdir/holders");
 
        $disklist->{$dev}->{used} = $used if $used;
        $disklist->{$dev}->{osdid} = $osdid;
@@ -701,9 +718,12 @@ sub get_partnum {
 sub get_blockdev {
     my ($part_path) = @_;
 
-    my $dev = $1 if $part_path =~ m|^/dev/(.*)$|;
-    my $link = readlink "/sys/class/block/$dev";
-    my $block_dev = $1 if $link =~ m|([^/]*)/$dev$|;
+    my ($dev, $block_dev);
+    if ($part_path =~ m|^/dev/(.*)$|) {
+       $dev = $1;
+       my $link = readlink "/sys/class/block/$dev";
+       $block_dev = $1 if $link =~ m|([^/]*)/$dev$|;
+    }
 
     die "Can't parse parent device\n" if !defined($block_dev);
     die "No valid block device\n" if index($dev, $block_dev) == -1;