]> git.proxmox.com Git - pve-container.git/blobdiff - src/PVE/LXC.pm
better parsing for lxc networking mtu setting
[pve-container.git] / src / PVE / LXC.pm
index 370adda251a1322af2b64568be485966cc45d237..9bd04afaa707b839a6ec79293a8f2bfe5049764f 100644 (file)
@@ -20,9 +20,16 @@ use PVE::SafeSyslog;
 use PVE::INotify;
 use PVE::JSONSchema qw(get_standard_option);
 use PVE::Tools qw(
-    dir_glob_foreach file_get_contents file_set_contents
-    AT_FDCWD O_PATH $IPV4RE $IPV6RE
+    run_command
+    dir_glob_foreach
+    file_get_contents
+    file_set_contents
+    AT_FDCWD
+    O_PATH
+    $IPV4RE
+    $IPV6RE
 );
+use PVE::RPCEnvironment;
 use PVE::CpuSet;
 use PVE::Network;
 use PVE::AccessControl;
@@ -33,6 +40,7 @@ use PVE::GuestHelpers qw(safe_string_ne safe_num_ne safe_boolean_ne);
 use PVE::LXC::Tools;
 use PVE::LXC::CGroup;
 use PVE::LXC::Monitor;
+use PVE::CGroup;
 
 use Time::HiRes qw (gettimeofday);
 my $have_sdn;
@@ -47,6 +55,8 @@ my $nodename = PVE::INotify::nodename();
 
 my $cpuinfo= PVE::ProcFSTools::read_cpuinfo();
 
+our $NEW_DISK_RE = qr/^([^:\s]+):(\d+(\.\d+)?)$/;
+
 sub config_list {
     my $vmlist = PVE::Cluster::get_vmlist();
     my $res = {};
@@ -164,7 +174,7 @@ our $vmstatus_return_properties = {
 sub vmstatus {
     my ($opt_vmid) = @_;
 
-    my $list = $opt_vmid ? { $opt_vmid => { type => 'lxc', vmid => $opt_vmid }} : config_list();
+    my $list = $opt_vmid ? { $opt_vmid => { type => 'lxc', vmid => int($opt_vmid) }} : config_list();
 
     my $active_hash = list_active_containers();
 
@@ -180,7 +190,7 @@ sub vmstatus {
     foreach my $vmid (keys %$list) {
        my $d = $list->{$vmid};
 
-       eval { $d->{pid} = find_lxc_pid($vmid) if defined($active_hash->{$vmid}); };
+       eval { $d->{pid} = int(find_lxc_pid($vmid)) if defined($active_hash->{$vmid}); };
        warn $@ if $@; # ignore errors (consider them stopped)
 
        $d->{status} = $active_hash->{$vmid} ? 'running' : 'stopped';
@@ -196,13 +206,12 @@ sub vmstatus {
        $d->{cpus} = $conf->{cores} || $conf->{cpulimit};
        $d->{cpus} = $cpucount if !$d->{cpus};
 
-       $d->{lock} = $conf->{lock} || '';
        $d->{tags} = $conf->{tags} if defined($conf->{tags});
 
        if ($d->{pid}) {
            my $res = get_container_disk_usage($vmid, $d->{pid});
-           $d->{disk} = $res->{used};
-           $d->{maxdisk} = $res->{total};
+           $d->{disk} = int($res->{used});
+           $d->{maxdisk} = int($res->{total});
        } else {
            $d->{disk} = 0;
            # use 4GB by default ??
@@ -228,7 +237,7 @@ sub vmstatus {
        $d->{diskread} = 0;
        $d->{diskwrite} = 0;
 
-       $d->{template} = PVE::LXC::Config->is_template($conf);
+       $d->{template} = 1 if PVE::LXC::Config->is_template($conf);
        $d->{lock} = $conf->{lock} if $conf->{lock};
     }
 
@@ -246,16 +255,16 @@ sub vmstatus {
        my $cgroups = PVE::LXC::CGroup->new($vmid);
 
        if (defined(my $mem = $cgroups->get_memory_stat())) {
-           $d->{mem} = $mem->{mem};
-           $d->{swap} = $mem->{swap};
+           $d->{mem} = int($mem->{mem});
+           $d->{swap} = int($mem->{swap});
        } else {
            $d->{mem} = 0;
            $d->{swap} = 0;
        }
 
        if (defined(my $blkio = $cgroups->get_io_stats())) {
-           $d->{diskread} = $blkio->{diskread};
-           $d->{diskwrite} = $blkio->{diskwrite};
+           $d->{diskread} = int($blkio->{diskread});
+           $d->{diskwrite} = int($blkio->{diskwrite});
        } else {
            $d->{diskread} = 0;
            $d->{diskwrite} = 0;
@@ -402,11 +411,6 @@ sub parse_ipv4_cidr {
     die "unable to parse ipv4 address/mask\n";
 }
 
-# Deprecated. Use `PVE::LXC::CGroup::get_cgroup_controllers()` instead.
-sub get_cgroup_subsystems {
-    PVE::LXC::CGroup::get_v1_controllers();
-}
-
 # With seccomp trap to userspace we now have the ability to optionally forward
 # certain syscalls to the "host" to handle (via our pve-lxc-syscalld daemon).
 #
@@ -434,6 +438,15 @@ sub make_seccomp_config {
 
     my $rules = {
        keyctl => ['errno 38'],
+
+       # Disable btrfs ioctrls since they don't work particularly well in user namespaces.
+       # Particularly, without the mount option to enable rmdir removing snapshots, user
+       # namespaces can create snapshots but neither `show` or `delete` them, which is quite
+       # horrible, so for now, just disable this entirely:
+       #
+       # BTRFS_IOCTL_MAGIC 0x94, _IOC type shift is 8,
+       # so `(req & 0xFF00) == 0x9400` is a btrfs ioctl and gets an EPERM
+       ioctl  => ['errno 1 [1,0x9400,SCMP_CMP_MASKED_EQ,0xff00]'],
     };
 
     my $raw_conf = '';
@@ -599,6 +612,8 @@ sub update_lxc_config {
 
     my $ostype = $conf->{ostype} || die "missing 'ostype' - internal error";
 
+    File::Path::mkpath($dir);
+
     my $cfgpath = '/usr/share/lxc/config';
     my $inc = "$cfgpath/$ostype.common.conf";
     $inc ="$cfgpath/common.conf" if !-f $inc;
@@ -631,7 +646,7 @@ sub update_lxc_config {
     # files while the container is running!
     $raw .= "lxc.monitor.unshare = 1\n";
 
-    my $cgv1 = get_cgroup_subsystems();
+    my ($cgv1, $cgv2) = PVE::CGroup::get_cgroup_controllers();
 
     # Should we read them from /etc/subuid?
     if ($unprivileged && !$custom_idmap) {
@@ -641,7 +656,11 @@ sub update_lxc_config {
 
     if (!PVE::LXC::Config->has_dev_console($conf)) {
        $raw .= "lxc.console.path = none\n";
-       $raw .= "lxc.cgroup.devices.deny = c 5:1 rwm\n" if $cgv1->{devices};
+       if ($cgv1->{devices}) {
+           $raw .= "lxc.cgroup.devices.deny = c 5:1 rwm\n";
+       } elsif (defined($cgv2)) {
+           $raw .= "lxc.cgroup2.devices.deny = c 5:1 rwm\n";
+       }
     }
 
     my $ttycount = PVE::LXC::Config->get_tty_count($conf);
@@ -662,6 +681,15 @@ sub update_lxc_config {
 
        my $lxcswap = int(($memory + $swap)*1024*1024);
        $raw .= "lxc.cgroup.memory.memsw.limit_in_bytes = $lxcswap\n";
+    } elsif ($cgv2->{memory}) {
+       my $memory = $conf->{memory} || 512;
+       my $swap = $conf->{swap} // 0;
+
+       my $lxcmem = int($memory*1024*1024);
+       $raw .= "lxc.cgroup2.memory.max = $lxcmem\n";
+
+       my $lxcswap = int($swap*1024*1024);
+       $raw .= "lxc.cgroup2.memory.swap.max = $lxcswap\n";
     }
 
     if ($cgv1->{cpu}) {
@@ -671,8 +699,19 @@ sub update_lxc_config {
            $raw .= "lxc.cgroup.cpu.cfs_quota_us = $value\n";
        }
 
-       my $shares = $conf->{cpuunits} || 1024;
+       my $shares = PVE::CGroup::clamp_cpu_shares($conf->{cpuunits});
        $raw .= "lxc.cgroup.cpu.shares = $shares\n";
+    } elsif ($cgv2->{cpu}) {
+       # See PVE::CGroup
+       if (my $cpulimit = $conf->{cpulimit}) {
+           my $value = int(100000*$cpulimit);
+           $raw .= "lxc.cgroup2.cpu.max = $value 100000\n";
+       }
+
+       if (defined(my $shares = $conf->{cpuunits})) {
+           $shares = PVE::CGroup::clamp_cpu_shares($shares);
+           $raw .= "lxc.cgroup2.cpu.weight = $shares\n";
+       }
     }
 
     die "missing 'rootfs' configuration\n"
@@ -690,7 +729,15 @@ sub update_lxc_config {
        $raw .= "lxc.net.$ind.veth.pair = veth${vmid}i${ind}\n";
        $raw .= "lxc.net.$ind.hwaddr = $d->{hwaddr}\n" if defined($d->{hwaddr});
        $raw .= "lxc.net.$ind.name = $d->{name}\n" if defined($d->{name});
-       $raw .= "lxc.net.$ind.mtu = $d->{mtu}\n" if defined($d->{mtu});
+
+       # Keep container from starting with invalid mtu configuration
+       if (my $mtu = $d->{mtu}) {
+           my $bridge_mtu = PVE::Network::read_bridge_mtu($d->{bridge});
+           die "$k: MTU size '$mtu' is bigger than bridge MTU '$bridge_mtu'\n"
+               if ($mtu > $bridge_mtu);
+
+           $raw .= "lxc.net.$ind.mtu = $mtu\n";
+       }
 
        # Starting with lxc 4.0, we do not patch lxc to execute our up-scripts.
        if ($lxc_major >= 4) {
@@ -708,7 +755,7 @@ sub update_lxc_config {
     }
 
     my $cpuset;
-    my ($cpuset_cgroup, $cpuset_version) = eval { PVE::LXC::CGroup::cpuset_controller_path() };
+    my ($cpuset_cgroup, $cpuset_version) = eval { PVE::CGroup::cpuset_controller_path() };
     if (defined($cpuset_cgroup)) {
        $cpuset = eval { PVE::CpuSet->new_from_path("$cpuset_cgroup/lxc", 1) }
            || PVE::CpuSet->new_from_path($cpuset_cgroup, 1);
@@ -736,7 +783,7 @@ sub verify_nameserver_list {
 
     my @list = ();
     foreach my $server (PVE::Tools::split_list($nameserver_list)) {
-       PVE::JSONSchema::pve_verify_ip($server);
+       PVE::LXC::Config::verify_ip_with_ll_iface($server);
        push @list, $server;
     }
 
@@ -822,12 +869,31 @@ sub delete_mountpoint_volume {
 }
 
 sub destroy_lxc_container {
-    my ($storage_cfg, $vmid, $conf, $replacement_conf) = @_;
+    my ($storage_cfg, $vmid, $conf, $replacement_conf, $purge_unreferenced) = @_;
 
-    PVE::LXC::Config->foreach_volume_full($conf, {include_unused => 1}, sub {
+    my $volids = {};
+    my $remove_volume = sub {
        my ($ms, $mountpoint) = @_;
-       delete_mountpoint_volume($storage_cfg, $vmid, $mountpoint->{volume});
-    });
+
+       my $volume = $mountpoint->{volume};
+
+       return if $volids->{$volume};
+       $volids->{$volume} = 1;
+
+       delete_mountpoint_volume($storage_cfg, $vmid, $volume);
+    };
+    PVE::LXC::Config->foreach_volume_full($conf, {include_unused => 1}, $remove_volume);
+
+    PVE::LXC::Config->foreach_volume_full($conf->{pending}, {include_unused => 1}, $remove_volume);
+
+    if ($purge_unreferenced) { # also remove unreferenced disk
+       my $vmdisks = PVE::Storage::vdisk_list($storage_cfg, undef, $vmid, undef, 'rootdir');
+       PVE::Storage::foreach_volid($vmdisks, sub {
+           my ($volid, $sid, $volname, $d) = @_;
+           eval { PVE::Storage::vdisk_free($storage_cfg, $volid) };
+           warn $@ if $@;
+       });
+    }
 
     rmdir "/var/lib/lxc/$vmid/rootfs";
     unlink "/var/lib/lxc/$vmid/config";
@@ -890,8 +956,10 @@ sub update_net {
 
                if ($have_sdn) {
                    PVE::Network::SDN::Zones::tap_plug($veth, $newnet->{bridge}, $newnet->{tag}, $newnet->{firewall}, $newnet->{trunks}, $newnet->{rate});
+                   PVE::Network::SDN::Zones::add_bridge_fdb($veth, $newnet->{hwaddr}, $newnet->{bridge}, $newnet->{firewall});
                } else {
                    PVE::Network::tap_plug($veth, $newnet->{bridge}, $newnet->{tag}, $newnet->{firewall}, $newnet->{trunks}, $newnet->{rate});
+                   PVE::Network::add_bridge_fdb($veth, $newnet->{hwaddr}, $newnet->{firewall}); # early returns if brport has learning on
                }
 
                # This includes the rate:
@@ -924,9 +992,11 @@ sub hotplug_net {
     if ($have_sdn) {
        PVE::Network::SDN::Zones::veth_create($veth, $vethpeer, $newnet->{bridge}, $newnet->{hwaddr});
        PVE::Network::SDN::Zones::tap_plug($veth, $newnet->{bridge}, $newnet->{tag}, $newnet->{firewall}, $newnet->{trunks}, $newnet->{rate});
+       PVE::Network::SDN::Zones::add_bridge_fdb($veth, $newnet->{hwaddr}, $newnet->{bridge}, $newnet->{firewall});
     } else {
        PVE::Network::veth_create($veth, $vethpeer, $newnet->{bridge}, $newnet->{hwaddr});
        PVE::Network::tap_plug($veth, $newnet->{bridge}, $newnet->{tag}, $newnet->{firewall}, $newnet->{trunks}, $newnet->{rate});
+       PVE::Network::add_bridge_fdb($veth, $newnet->{hwaddr}, $newnet->{firewall}); # early returns if brport has learning on
     }
 
     # attach peer in container
@@ -1103,11 +1173,24 @@ my $do_syncfs = sub {
     my $mountdata = do { local $/ = undef; <$socket> };
     close $socket;
 
+    my %nosyncfs = (
+       cgroup => 1,
+       cgroup2 => 1,
+       devtmpfs => 1,
+       devpts => 1,
+       'fuse.lxcfs' => 1,
+       fusectl => 1,
+       mqueue => 1,
+       proc => 1,
+       sysfs => 1,
+       tmpfs => 1,
+    );
+
     # Now sync all mountpoints...
     my $mounts = PVE::ProcFSTools::parse_mounts($mountdata);
     foreach my $mp (@$mounts) {
        my ($what, $dir, $fs) = @$mp;
-       next if $fs eq 'fuse.lxcfs';
+       next if $nosyncfs{$fs};
        eval { PVE::Tools::sync_mountpoint($dir); };
        warn $@ if $@;
     }
@@ -1180,9 +1263,10 @@ sub template_create {
 }
 
 sub check_ct_modify_config_perm {
-    my ($rpcenv, $authuser, $vmid, $pool, $newconf, $delete) = @_;
+    my ($rpcenv, $authuser, $vmid, $pool, $oldconf, $newconf, $delete, $unprivileged) = @_;
 
     return 1 if $authuser eq 'root@pam';
+    my $storage_cfg = PVE::Storage::config();
 
     my $check = sub {
        my ($opt, $delete) = @_;
@@ -1194,14 +1278,69 @@ sub check_ct_modify_config_perm {
            my $data = PVE::LXC::Config->parse_volume($opt, $newconf->{$opt});
            raise_perm_exc("mount point type $data->{type} is only allowed for root\@pam")
                if $data->{type} ne 'volume';
+           my $volid = $data->{volume};
+           if ($volid =~ $NEW_DISK_RE) {
+               my $sid = $1;
+               $rpcenv->check($authuser, "/storage/$sid", ['Datastore.AllocateSpace']);
+           } else {
+               PVE::Storage::check_volume_access(
+                   $rpcenv,
+                   $authuser,
+                   $storage_cfg,
+                   $vmid,
+                   $volid,
+                   'rootdir',
+               );
+           }
        } elsif ($opt eq 'memory' || $opt eq 'swap') {
            $rpcenv->check_vm_perm($authuser, $vmid, $pool, ['VM.Config.Memory']);
        } elsif ($opt =~ m/^net\d+$/ || $opt eq 'nameserver' ||
                 $opt eq 'searchdomain' || $opt eq 'hostname') {
            $rpcenv->check_vm_perm($authuser, $vmid, $pool, ['VM.Config.Network']);
        } elsif ($opt eq 'features') {
-           # For now this is restricted to root@pam
-           raise_perm_exc("changing feature flags is only allowed for root\@pam");
+           raise_perm_exc("changing feature flags for privileged container is only allowed for root\@pam")
+               if !$unprivileged;
+
+           my $nesting_changed = 0;
+           my $other_changed = 0;
+           if (!$delete) {
+               my $features = PVE::LXC::Config->parse_features($newconf->{$opt});
+               if (defined($oldconf) && $oldconf->{$opt}) {
+                   # existing container with features
+                   my $old_features = PVE::LXC::Config->parse_features($oldconf->{$opt});
+                   for my $feature ((keys %$old_features, keys %$features)) {
+                       my $old = $old_features->{$feature} // '';
+                       my $new = $features->{$feature} // '';
+                       if ($old ne $new) {
+                           if ($feature eq 'nesting') {
+                               $nesting_changed = 1;
+                               next;
+                           } else {
+                               $other_changed = 1;
+                               last;
+                           }
+                       }
+                   }
+               } else {
+                   # new container or no features defined
+                   if (scalar(keys %$features) == 1 && $features->{nesting}) {
+                       $nesting_changed = 1;
+                   } elsif (scalar(keys %$features) > 0) {
+                       $other_changed = 1;
+                   }
+               }
+           } else {
+               my $features = PVE::LXC::Config->parse_features($oldconf->{$opt});
+               if (scalar(keys %$features) == 1 && $features->{nesting}) {
+                   $nesting_changed = 1;
+               } elsif (scalar(keys %$features) > 0) {
+                   $other_changed = 1;
+               }
+           }
+           raise_perm_exc("changing feature flags (except nesting) is only allowed for root\@pam")
+               if $other_changed;
+           $rpcenv->check_vm_perm($authuser, $vmid, $pool, ['VM.Allocate'])
+               if $nesting_changed;
        } elsif ($opt eq 'hookscript') {
            # For now this is restricted to root@pam
            raise_perm_exc("changing the hookscript is only allowed for root\@pam");
@@ -1654,15 +1793,16 @@ sub __mountpoint_mount {
                }
            };
            my $use_loopdev = 0;
-           if ($scfg->{path}) {
-               $mounted_dev = run_with_loopdev($domount, $path, $readonly);
-               $use_loopdev = 1;
-           } elsif ($scfg->{type} eq 'drbd' || $scfg->{type} eq 'lvm' ||
-                    $scfg->{type} eq 'rbd' || $scfg->{type} eq 'lvmthin') {
-               $mounted_dev = $path;
-               &$domount($path);
+           if ($scfg->{content}->{rootdir}) {
+               if ($scfg->{path}) {
+                   $mounted_dev = run_with_loopdev($domount, $path, $readonly);
+                   $use_loopdev = 1;
+               } else {
+                   $mounted_dev = $path;
+                   &$domount($path);
+               }
            } else {
-               die "unsupported storage type '$scfg->{type}'\n";
+               die "storage '$storage' does not support containers\n";
            }
            return wantarray ? ($path, $use_loopdev, $mounted_dev) : $path;
        } else {
@@ -1685,7 +1825,7 @@ sub __mountpoint_mount {
     die "unsupported storage";
 }
 
-sub mountpoint_hotplug($$$) {
+sub mountpoint_hotplug :prototype($$$$$) {
     my ($vmid, $conf, $opt, $mp, $storage_cfg) = @_;
 
     my (undef, $rootuid, $rootgid) = PVE::LXC::parse_id_maps($conf);
@@ -1773,9 +1913,27 @@ sub get_staging_tempfs() {
 sub mkfs {
     my ($dev, $rootuid, $rootgid) = @_;
 
-    PVE::Tools::run_command(['mkfs.ext4', '-O', 'mmp',
-                            '-E', "root_owner=$rootuid:$rootgid",
-                            $dev]);
+    run_command(
+       [
+           'mkfs.ext4',
+           '-O',
+           'mmp',
+           '-E',
+           "root_owner=$rootuid:$rootgid",
+           $dev,
+       ],
+       outfunc => sub {
+           my $line = shift;
+           # a hack to print only the relevant stuff, i.e., the one which could help on repair
+           if ($line =~ /^(Creating filesystem|Filesystem UUID|Superblock backups|\s+\d+, \d)/) {
+               print "$line\n";
+           }
+       },
+       errfunc => sub {
+           my $line = shift;
+           print STDERR "$line\n" if $line && $line !~ /^mke2fs \d\.\d/;
+       }
+    );
 }
 
 sub format_disk {
@@ -1825,32 +1983,22 @@ sub alloc_disk {
 
     eval {
        my $do_format = 0;
-       if ($scfg->{type} eq 'dir' || $scfg->{type} eq 'nfs' || $scfg->{type} eq 'cifs' ) {
-           if ($size_kb > 0) {
-               $volid = PVE::Storage::vdisk_alloc($storecfg, $storage, $vmid, 'raw',
-                                                  undef, $size_kb);
+       if ($scfg->{content}->{rootdir} && $scfg->{path}) {
+           if ($size_kb > 0 && !($scfg->{type} eq 'btrfs' && $scfg->{quotas})) {
+               $volid = PVE::Storage::vdisk_alloc($storecfg, $storage, $vmid, 'raw', undef, $size_kb);
                $do_format = 1;
            } else {
-               $volid = PVE::Storage::vdisk_alloc($storecfg, $storage, $vmid, 'subvol',
-                                                  undef, 0);
+               $volid = PVE::Storage::vdisk_alloc($storecfg, $storage, $vmid, 'subvol', undef, $size_kb);
                $needs_chown = 1;
            }
        } elsif ($scfg->{type} eq 'zfspool') {
-
-           $volid = PVE::Storage::vdisk_alloc($storecfg, $storage, $vmid, 'subvol',
-                                              undef, $size_kb);
+           $volid = PVE::Storage::vdisk_alloc($storecfg, $storage, $vmid, 'subvol', undef, $size_kb);
            $needs_chown = 1;
-       } elsif ($scfg->{type} eq 'drbd' || $scfg->{type} eq 'lvm' || $scfg->{type} eq 'lvmthin') {
-
-           $volid = PVE::Storage::vdisk_alloc($storecfg, $storage, $vmid, 'raw', undef, $size_kb);
-           $do_format = 1;
-
-       } elsif ($scfg->{type} eq 'rbd') {
-
+       } elsif ($scfg->{content}->{rootdir}) {
            $volid = PVE::Storage::vdisk_alloc($storecfg, $storage, $vmid, 'raw', undef, $size_kb);
            $do_format = 1;
        } else {
-           die "unable to create containers on storage type '$scfg->{type}'\n";
+           die "content type 'rootdir' is not available or configured on storage '$storage'\n";
        }
        format_disk($storecfg, $volid, $rootuid, $rootgid) if $do_format;
     };
@@ -1866,7 +2014,6 @@ sub alloc_disk {
     return ($volid, $needs_chown);
 }
 
-our $NEW_DISK_RE = qr/^([^:\s]+):(\d+(\.\d+)?)$/;
 sub create_disks {
     my ($storecfg, $vmid, $settings, $conf, $pending) = @_;
 
@@ -1996,7 +2143,7 @@ sub update_unused {
 sub scan_volids {
     my ($cfg, $vmid) = @_;
 
-    my $info = PVE::Storage::vdisk_list($cfg, undef, $vmid);
+    my $info = PVE::Storage::vdisk_list($cfg, undef, $vmid, undef, 'rootdir');
 
     my $all_volumes = {};
     foreach my $storeid (keys %$info) {
@@ -2016,12 +2163,6 @@ sub rescan {
 
     my $cfg = PVE::Storage::config();
 
-    # FIXME: Remove once our RBD plugin can handle CT and VM on a single storage
-    # see: https://pve.proxmox.com/pipermail/pve-devel/2018-July/032900.html
-    foreach my $stor (keys %{$cfg->{ids}}) {
-       delete($cfg->{ids}->{$stor}) if !$cfg->{ids}->{$stor}->{content}->{rootdir};
-    }
-
     print "rescan volumes...\n";
     my $all_volumes = scan_volids($cfg, $vmid);
 
@@ -2167,8 +2308,74 @@ sub userns_command {
     return [];
 }
 
+my sub print_ct_stderr_log {
+    my ($vmid) = @_;
+    my $log = eval { file_get_contents("/run/pve/ct-$vmid.stderr") };
+    return if !$log;
+
+    while ($log =~ /^\h*(lxc-start:?\s+$vmid:?\s*\S+\s*)?(.*?)\h*$/gm) {
+       my $line = $2;
+       print STDERR "$line\n";
+    }
+}
+my sub print_ct_warn_log {
+    my ($vmid) = @_;
+    my $log_fn = "/run/pve/ct-$vmid.warnings";
+    my $log = eval { file_get_contents($log_fn) };
+    return if !$log;
+
+    my $rpcenv = eval { PVE::RPCEnvironment::get() };
+
+    my $warn_fn = $rpcenv ? sub { $rpcenv->warn($_[0]) } : sub { print STDERR "WARN: $_[0]\n" };
+
+    while ($log =~ /^\h*\s*(.*?)\h*$/gm) {
+       my $line = $1;
+       $warn_fn->($line);
+    }
+    unlink $log_fn or warn "could not unlink '$log_fn' - $!\n";
+}
+
+my sub monitor_state_change($$) {
+    my ($monitor_socket, $vmid) = @_;
+    die "no monitor socket\n" if !defined($monitor_socket);
+
+    while (1) {
+       my ($type, $name, $value) = PVE::LXC::Monitor::read_lxc_message($monitor_socket);
+
+       die "monitor socket: got EOF\n" if !defined($type);
+
+       next if $name ne "$vmid" || $type ne 'STATE';
+
+       if ($value eq PVE::LXC::Monitor::STATE_STARTING) {
+           alarm(0); # don't timeout after seeing the starting state
+       } elsif ($value eq PVE::LXC::Monitor::STATE_ABORTING ||
+                $value eq PVE::LXC::Monitor::STATE_STOPPING ||
+                $value eq PVE::LXC::Monitor::STATE_STOPPED) {
+           return 0;
+       } elsif ($value eq PVE::LXC::Monitor::STATE_RUNNING) {
+           return 1;
+       } else {
+           warn "unexpected message from monitor socket - " .
+                "type: '$type' - value: '$value'\n";
+       }
+    }
+}
+my sub monitor_start($$) {
+    my ($monitor_socket, $vmid) = @_;
+
+    my $success = eval {
+       PVE::Tools::run_with_timeout(10, \&monitor_state_change, $monitor_socket, $vmid)
+    };
+    if (my $err = $@) {
+       warn "problem with monitor socket, but continuing anyway: $err\n";
+    } elsif (!$success) {
+       print_ct_stderr_log($vmid);
+       die "startup for container '$vmid' failed\n";
+    }
+}
+
 sub vm_start {
-    my ($vmid, $conf, $skiplock) = @_;
+    my ($vmid, $conf, $skiplock, $debug) = @_;
 
     # apply pending changes while starting
     if (scalar(keys %{$conf->{pending}})) {
@@ -2192,46 +2399,26 @@ sub vm_start {
 
     PVE::Storage::activate_volumes($storage_cfg, $vollist);
 
-    my $monitor_socket = eval { PVE::LXC::Monitor::get_monitor_socket(); };
+    my $monitor_socket = eval { PVE::LXC::Monitor::get_monitor_socket() };
     warn $@ if $@;
 
-    my $monitor_state_change = sub {
-       die "no monitor socket" if !defined($monitor_socket);
-
-       while (1) {
-           my ($type, $name, $value) = PVE::LXC::Monitor::read_lxc_message($monitor_socket);
-
-           die "monitor socket EOF" if !defined($type);
-
-           next if $name ne "$vmid" || $type ne 'STATE';
+    unlink "/run/pve/ct-$vmid.stderr"; # systemd does not truncate log files
 
-           if ($value eq PVE::LXC::Monitor::STATE_STARTING) {
-               alarm(0); # don't timeout after seeing the starting state
-           } elsif ($value eq PVE::LXC::Monitor::STATE_ABORTING ||
-                    $value eq PVE::LXC::Monitor::STATE_STOPPING ||
-                    $value eq PVE::LXC::Monitor::STATE_STOPPED) {
-               return 0;
-           } elsif ($value eq PVE::LXC::Monitor::STATE_RUNNING) {
-               return 1;
-           } else {
-               warn "unexpected message from monitor socket - " .
-                    "type: '$type' - value: '$value'\n";
-           }
-       }
-    };
+    my $is_debug = $debug || (!defined($debug) && $conf->{debug});
+    my $base_unit = $is_debug ? 'pve-container-debug' : 'pve-container';
 
-    my $cmd = ['systemctl', 'start', "pve-container\@$vmid"];
+    my $cmd = ['systemctl', 'start', "$base_unit\@$vmid"];
 
     PVE::GuestHelpers::exec_hookscript($conf, $vmid, 'pre-start', 1);
     eval {
-       PVE::Tools::run_command($cmd);
+       run_command($cmd);
 
-       my $success = eval { PVE::Tools::run_with_timeout(10, $monitor_state_change); };
-       if (my $err = $@) {
-           warn "problem with monitor socket: $err - continuing anyway\n";
-       } elsif (!$success) {
-           die "startup for container '$vmid' failed\n";
-       }
+       monitor_start($monitor_socket, $vmid) if defined($monitor_socket);
+
+       # if debug is requested, print the log it also when the start succeeded
+       print_ct_stderr_log($vmid) if $is_debug;
+
+       print_ct_warn_log($vmid); # always print warn log, if any
     };
     if (my $err = $@) {
        unlink $skiplock_flag_fn;
@@ -2283,7 +2470,7 @@ sub vm_stop {
        }
     }
 
-    eval { PVE::Tools::run_command($cmd, timeout => $shutdown_timeout) };
+    eval { run_command($cmd, timeout => $shutdown_timeout) };
     if (my $err = $@) {
        warn $@ if $@;
     }
@@ -2314,7 +2501,7 @@ sub run_unshared {
        # Unshare the mount namespace
        die "failed to unshare mount namespace: $!\n"
            if !PVE::Tools::unshare(PVE::Tools::CLONE_NEWNS);
-       PVE::Tools::run_command(['mount', '--make-rslave', '/']);
+       run_command(['mount', '--make-rslave', '/']);
        return $code->();
     });
 }
@@ -2340,9 +2527,20 @@ my $copy_volume = sub {
 
        $bwlimit //= 0;
 
-       PVE::Tools::run_command(['/usr/bin/rsync', '--stats', '-X', '-A', '--numeric-ids',
-                                '-aH', '--whole-file', '--sparse', '--one-file-system',
-                                "--bwlimit=$bwlimit", "$src/", $dest]);
+       run_command([
+           'rsync',
+           '--stats',
+           '-X',
+           '-A',
+           '--numeric-ids',
+           '-aH',
+           '--whole-file',
+           '--sparse',
+           '--one-file-system',
+           "--bwlimit=$bwlimit",
+           "$src/",
+           $dest
+       ]);
     };
     my $err = $@;
 
@@ -2351,7 +2549,7 @@ my $copy_volume = sub {
     while ((system {"fuser"} "fuser",  "-s", $dest) == 0) {sleep 1};
 
     foreach my $mount (reverse @mounted) {
-       eval { PVE::Tools::run_command(['/bin/umount', $mount], errfunc => sub{})};
+       eval { run_command(['/bin/umount', $mount], errfunc => sub{})};
        warn "Can't umount $mount\n" if $@;
     }
 
@@ -2405,7 +2603,7 @@ sub copy_volume {
 
 sub get_lxc_version() {
     my $version;
-    PVE::Tools::run_command([qw(lxc-start --version)], outfunc => sub {
+    run_command([qw(lxc-start --version)], outfunc => sub {
        my ($line) = @_;
        # We only parse out major & minor version numbers.
        if ($line =~ /^(\d+)\.(\d+)(?:\D.*)?$/) {
@@ -2421,12 +2619,20 @@ sub get_lxc_version() {
 
 sub freeze($) {
     my ($vmid) = @_;
-    PVE::LXC::CGroup->new($vmid)->freeze_thaw(1);
+    if (PVE::CGroup::cgroup_mode() == 2) {
+       PVE::LXC::Command::freeze($vmid, 30);
+    } else {
+       PVE::LXC::CGroup->new($vmid)->freeze_thaw(1);
+    }
 }
 
 sub thaw($) {
     my ($vmid) = @_;
-    PVE::LXC::CGroup->new($vmid)->freeze_thaw(0);
+    if (PVE::CGroup::cgroup_mode() == 2) {
+       PVE::LXC::Command::unfreeze($vmid, 30);
+    } else {
+       PVE::LXC::CGroup->new($vmid)->freeze_thaw(0);
+    }
 }
 
 1;