]> git.proxmox.com Git - pve-common.git/blobdiff - src/PVE/Tools.pm
array_intersect: allow passing list of references for convenience
[pve-common.git] / src / PVE / Tools.pm
index d5373a4246062887bd778f35f4d2ac9cf2bb8bd1..676647eefb375d8d1ad00e9d06ab404baab9c906 100644 (file)
@@ -24,9 +24,6 @@ use JSON;
 use Text::ParseWords;
 use String::ShellQuote;
 use Time::HiRes qw(usleep gettimeofday tv_interval alarm);
-use Net::DBus qw(dbus_uint32 dbus_uint64);
-use Net::DBus::Callback;
-use Net::DBus::Reactor;
 use Scalar::Util 'weaken';
 use PVE::Syscall;
 
@@ -643,7 +640,7 @@ sub pipe_socket_to_command  {
 }
 
 sub split_list {
-    my $listtxt = shift || '';
+    my $listtxt = shift // '';
 
     return split (/\0/, $listtxt) if $listtxt =~ m/\0/;
 
@@ -673,7 +670,7 @@ sub template_replace {
     return $tmpl if !$tmpl;
 
     my $res = '';
-    while ($tmpl =~ m/([^{]+)?({([^}]+)})?/g) {
+    while ($tmpl =~ m/([^{]+)?(\{([^}]+)\})?/g) {
        $res .= $1 if $1;
        $res .= ($data->{$3} || '-') if $2;
     }
@@ -763,7 +760,7 @@ my $keymaphash =  {
     'pl'     => ['Polish', 'pl', 'qwerty/pl.kmap.gz', 'pl', undef],
     'pt'     => ['Portuguese', 'pt', 'qwerty/pt-latin1.kmap.gz', 'pt', 'nodeadkeys'],
     'pt-br'  => ['Brazil-Portuguese', 'pt-br', 'qwerty/br-latin1.kmap.gz', 'br', 'nodeadkeys'],
-    #'ru'     => ['Russian', 'ru', 'qwerty/ru.kmap.gz', 'ru', undef], # dont know?
+    #'ru'     => ['Russian', 'ru', 'qwerty/ru.kmap.gz', 'ru', undef], # don't know?
     'si'     => ['Slovenian', 'sl', 'qwertz/slovene.kmap.gz', 'si', undef],
     'se'     => ['Swedish', 'sv', 'qwerty/se-latin1.kmap.gz', 'se', 'nodeadkeys'],
     #'th'     => [],
@@ -904,6 +901,13 @@ sub next_spice_port {
     return next_unused_port(61000, 61099, $family, $address);
 }
 
+sub must_stringify {
+       my ($value) = @_;
+       eval { $value = "$value" };
+       return "error turning value into a string: $@" if $@;
+       return $value;
+}
+
 # sigkill after $timeout  a $sub running in a fork if it can't write a pipe
 # the $sub has to return a single scalar
 sub run_fork_with_timeout {
@@ -918,7 +922,6 @@ sub run_fork_with_timeout {
 
     # avoid leaving a zombie if the parent gets interrupted
     my $sig_received;
-    local $SIG{INT} = sub { $sig_received++; };
 
     my $child = fork();
     if (!defined($child)) {
@@ -935,18 +938,24 @@ sub run_fork_with_timeout {
            $pipe_out->flush();
        };
        if (my $err = $@) {
-           print {$pipe_out} encode_json({ error => $err });
+           print {$pipe_out} encode_json({ error => must_stringify($err) });
            $pipe_out->flush();
            POSIX::_exit(1);
        }
        POSIX::_exit(0);
     }
 
+    local $SIG{INT} = sub { $sig_received++; };
+    local $SIG{TERM} = sub {
+       $error //= "interrupted by unexpected signal\n";
+       kill('TERM', $child);
+    };
+
     $pipe_out->reader();
 
     my $readvalues = sub {
        local $/ = undef;
-       my $child_res = decode_json(scalar<$pipe_out>);
+       my $child_res = decode_json(readline_nointr($pipe_out));
        $res = $child_res->{result};
        $error = $child_res->{error};
     };
@@ -986,11 +995,35 @@ sub df {
     my $res = eval { run_fork_with_timeout($timeout, $df) } // {};
     warn $@ if $@;
 
+    # untaint the values
+    my ($blocks, $used, $bavail) = map { defined($_) ? (/^(\d+)$/) : 0 }
+       $res->@{qw(blocks used bavail)};
+
     return {
-       total => $res->{blocks} // 0,
-       used => $res->{used} // 0,
-       avail => $res->{bavail} // 0,
+       total => $blocks,
+       used => $used,
+       avail => $bavail,
+    };
+}
+
+sub du {
+    my ($path, $timeout) = @_;
+
+    my $size;
+
+    $timeout //= 10;
+
+    my $parser = sub {
+       my $line = shift;
+
+       if ($line =~ m/^(\d+)\s+total$/) {
+           $size = $1;
+       }
     };
+
+    run_command(['du', '-scb', $path], outfunc => $parser, timeout => $timeout);
+
+    return $size;
 }
 
 # UPID helper
@@ -1351,6 +1384,11 @@ sub parse_host_and_port {
     return; # nothing
 }
 
+sub setresuid($$$) {
+    my ($ruid, $euid, $suid) = @_;
+    return 0 == syscall(PVE::Syscall::setresuid, $ruid, $euid, $suid);
+}
+
 sub unshare($) {
     my ($flags) = @_;
     return 0 == syscall(PVE::Syscall::unshare, $flags);
@@ -1366,6 +1404,11 @@ sub syncfs($) {
     return 0 == syscall(PVE::Syscall::syncfs, $fileno);
 }
 
+sub fsync($) {
+    my ($fileno) = @_;
+    return 0 == syscall(PVE::Syscall::fsync, $fileno);
+}
+
 sub sync_mountpoint {
     my ($path) = @_;
     sysopen my $fd, $path, O_PATH or die "failed to open $path: $!\n";
@@ -1513,77 +1556,6 @@ sub mkdirat($$$) {
     return syscall(PVE::Syscall::mkdirat, $dirfd, $name, $mode) == 0;
 }
 
-# NOTE: This calls the dbus main loop and must not be used when another dbus
-# main loop is being used as we need to wait for the JobRemoved signal.
-# Polling the job status instead doesn't work because this doesn't give us the
-# distinction between success and failure.
-#
-# Note that the description is mandatory for security reasons.
-sub enter_systemd_scope {
-    my ($unit, $description, %extra) = @_;
-    die "missing description\n" if !defined($description);
-
-    my $timeout = delete $extra{timeout};
-
-    $unit .= '.scope';
-    my $properties = [ [PIDs => [dbus_uint32($$)]] ];
-
-    foreach my $key (keys %extra) {
-       if ($key eq 'Slice' || $key eq 'KillMode') {
-           push @$properties, [$key, $extra{$key}];
-       } elsif ($key eq 'CPUShares') {
-           push @$properties, [$key, dbus_uint64($extra{$key})];
-       } elsif ($key eq 'CPUQuota') {
-           push @$properties, ['CPUQuotaPerSecUSec',
-                               dbus_uint64($extra{$key} * 10000)];
-       } else {
-           die "Don't know how to encode $key for systemd scope\n";
-       }
-    }
-
-    my $job;
-    my $done = 0;
-
-    my $bus = Net::DBus->system();
-    my $reactor = Net::DBus::Reactor->main();
-
-    my $service = $bus->get_service('org.freedesktop.systemd1');
-    my $if = $service->get_object('/org/freedesktop/systemd1', 'org.freedesktop.systemd1.Manager');
-    # Connect to the JobRemoved signal since we want to wait for it to finish
-    my $sigid;
-    my $timer;
-    my $cleanup = sub {
-       my ($no_shutdown) = @_;
-       $if->disconnect_from_signal('JobRemoved', $sigid) if defined($if);
-       $if = undef;
-       $sigid = undef;
-       $reactor->remove_timeout($timer) if defined($timer);
-       $timer = undef;
-       return if $no_shutdown;
-       $reactor->shutdown();
-    };
-
-    $sigid = $if->connect_to_signal('JobRemoved', sub {
-       my ($id, $removed_job, $signaled_unit, $result) = @_;
-       return if $signaled_unit ne $unit || $removed_job ne $job;
-       $cleanup->(0);
-       die "systemd job failed\n" if $result ne 'done';
-       $done = 1;
-    });
-
-    my $on_timeout = sub {
-       $cleanup->(0);
-       die "systemd job timed out\n";
-    };
-
-    $timer = $reactor->add_timeout($timeout * 1000, Net::DBus::Callback->new(method => $on_timeout))
-       if defined($timeout);
-    $job = $if->StartTransientUnit($unit, 'fail', $properties, []);
-    $reactor->run();
-    $cleanup->(1);
-    die "systemd job never completed\n" if !$done;
-}
-
 my $salt_starter = time();
 
 sub encrypt_pw {
@@ -1639,4 +1611,81 @@ sub convert_size {
     return int($value);
 }
 
+# uninterruptible readline
+# retries on EINTR
+sub readline_nointr {
+    my ($fh) = @_;
+    my $line;
+    while (1) {
+       $line = <$fh>;
+       last if defined($line) || ($! != EINTR);
+    }
+    return $line;
+}
+
+sub get_host_arch {
+
+    my @uname = POSIX::uname();
+    my $machine = $uname[4];
+
+    if ($machine eq 'x86_64') {
+       return 'amd64';
+    } elsif ($machine eq 'aarch64') {
+       return 'arm64';
+    } else {
+       die "unsupported host architecture '$machine'\n";
+    }
+}
+
+# Devices are: [ (12 bits minor) (12 bits major) (8 bits minor) ]
+sub dev_t_major($) {
+    my ($dev_t) = @_;
+    return (int($dev_t) & 0xfff00) >> 8;
+}
+
+sub dev_t_minor($) {
+    my ($dev_t) = @_;
+    $dev_t = int($dev_t);
+    return (($dev_t >> 12) & 0xfff00) | ($dev_t & 0xff);
+}
+
+# Given an array of array refs [ \[a b c], \[a b b], \[e b a] ]
+# Returns the intersection of elements as a single array [a b]
+sub array_intersect {
+    my ($arrays) = @_;
+
+    if (!ref($arrays->[0])) {
+       $arrays = [ grep { ref($_) eq 'ARRAY' } @_ ];
+    }
+
+    return [] if scalar(@$arrays) == 0;
+    return $arrays->[0] if scalar(@$arrays) == 1;
+
+    my $array_unique = sub {
+       my %seen = ();
+       return grep { ! $seen{ $_ }++ } @_;
+    };
+
+    # base idea is to get all unique members from the first array, then
+    # check the common elements with the next (uniquely made) one, only keep
+    # those. Repeat for every array and at the end we only have those left
+    # which exist in all arrays
+    my $return_arr = [ $array_unique->(@{$arrays->[0]}) ];
+    for my $i (1 .. $#$arrays) {
+       my %count = ();
+       # $return_arr is already unique, explicit at before the loop, implicit below.
+       foreach my $element (@$return_arr, $array_unique->(@{$arrays->[$i]})) {
+           $count{$element}++;
+       }
+       $return_arr = [];
+       foreach my $element (keys %count) {
+           push @$return_arr, $element if $count{$element} > 1;
+       }
+       last if scalar(@$return_arr) == 0; # empty intersection, early exit
+    }
+
+    return $return_arr;
+}
+
+
 1;