]> git.proxmox.com Git - pve-container.git/blobdiff - src/PVE/LXC/Setup/Base.pm
setup: handle getty services also via systemd-preset
[pve-container.git] / src / PVE / LXC / Setup / Base.pm
index d84c80e90543bdfefc23d7a4252dde5fc12fba35..e136a436b5ac8181ce365edea3eba3630862a08c 100644 (file)
@@ -3,6 +3,7 @@ package PVE::LXC::Setup::Base;
 use strict;
 use warnings;
 
+use Cwd 'abs_path';
 use File::stat;
 use Digest::SHA;
 use IO::File;
@@ -10,15 +11,22 @@ use Encode;
 use Fcntl;
 use File::Path;
 use File::Spec;
+use File::Basename;
+use POSIX ();
 
 use PVE::INotify;
 use PVE::Tools;
 use PVE::Network;
 
+use PVE::LXC::Setup::Plugin;
+use PVE::LXC::Tools;
+
+use base qw(PVE::LXC::Setup::Plugin);
+
 sub new {
-    my ($class, $conf, $rootdir) = @_;
+    my ($class, $conf, $rootdir, $os_release) = @_;
 
-    return bless { conf => $conf, rootdir => $rootdir }, $class;
+    return bless { conf => $conf, rootdir => $rootdir, os_release => $os_release }, $class;
 }
 
 sub lookup_dns_conf {
@@ -27,38 +35,35 @@ sub lookup_dns_conf {
     my $nameserver = $conf->{nameserver};
     my $searchdomains = $conf->{searchdomain};
 
-    if (!($nameserver && $searchdomains)) {
-
-       if ($conf->{'testmode'}) {
-           
-           $nameserver = "8.8.8.8 8.8.8.9";
-           $searchdomains = "proxmox.com";
-       
-       } else {
-
-           my $host_resolv_conf = $self->{host_resolv_conf};
+    if ($conf->{'testmode'}) {
+       $nameserver //= '8.8.8.8 8.8.8.9';
+       $searchdomains //= 'proxmox.com';
+    }
 
-           $searchdomains = $host_resolv_conf->{search};
+    my $host_resolv_conf = $self->{host_resolv_conf};
 
-           my @list = ();
-           foreach my $k ("dns1", "dns2", "dns3") {
-               if (my $ns = $host_resolv_conf->{$k}) {
-                   push @list, $ns;
-               }
+    if (!defined($nameserver)) {
+       my @list = ();
+       foreach my $k ("dns1", "dns2", "dns3") {
+           if (my $ns = $host_resolv_conf->{$k}) {
+               push @list, $ns;
            }
-           $nameserver = join(' ', @list);
        }
+       $nameserver = join(' ', @list);
+    }
+
+    if (!defined($searchdomains)) {
+       $searchdomains = $host_resolv_conf->{search};
     }
 
     return ($searchdomains, $nameserver);
 }
 
 sub update_etc_hosts {
-    my ($etc_hosts_data, $hostip, $oldname, $newname, $searchdomains) = @_;
-
-    my $done = 0;
+    my ($self, $hostip, $oldname, $newname, $searchdomains) = @_;
 
-    my @lines;
+    my $hosts_fn = '/etc/hosts';
+    return if $self->ct_is_file_ignored($hosts_fn);
 
     my $namepart = ($newname =~ s/\..*$//r);
 
@@ -73,67 +78,33 @@ sub update_etc_hosts {
        $all_names .= ' ' if $all_names;
        $all_names .= $newname;
     }
-    
-    foreach my $line (split(/\n/, $etc_hosts_data)) {
-       if ($line =~ m/^#/ || $line =~ m/^\s*$/) {
-           push @lines, $line;
-           next;
-       }
 
-       my ($ip, @names) = split(/\s+/, $line);
-       if (($ip eq '127.0.0.1') || ($ip eq '::1')) {
-           push @lines, $line;
-           next;
-       }
+    # Prepare section:
+    my $section = '';
 
-       my $found = 0;
-       foreach my $name (@names) {
-           if ($name eq $oldname || $name eq $newname) {
-               $found = 1;
-           } else {
-               # fixme: record extra names?
-           }
-       }
-       $found = 1 if defined($hostip) && ($ip eq $hostip);
-       
-       if ($found) {
-           if (!$done) {
-               if (defined($hostip)) {
-                   push @lines, "$hostip $all_names";
-               } else {
-                   push @lines, "127.0.1.1 $namepart";
-               }
-               $done = 1;
-           }
-           next;
-       } else {
-           push @lines, $line;
-       }
-    }
+    my $lo4 = "127.0.0.1 localhost.localnet localhost\n";
+    my $lo6 = "::1 localhost.localnet localhost\n";
+    if ($self->ct_file_exists($hosts_fn)) {
+       my $data = $self->ct_file_get_contents($hosts_fn);
+       # don't take localhost entries within our hosts sections into account
+       $data = remove_pve_sections($data);
 
-    if (!$done) {
-       if (defined($hostip)) {
-           push @lines, "$hostip $all_names";
-       } else {
-           push @lines, "127.0.1.1 $namepart";
-       }       
+       # check for existing localhost entries
+       $section .= $lo4 if $data !~ /^\h*127\.0\.0\.1\h+/m;
+       $section .= $lo6 if $data !~ /^\h*::1\h+/m;
+    } else {
+       $section .= $lo4 . $lo6;
     }
 
-    my $found_localhost = 0;
-    foreach my $line (@lines) {
-       if ($line =~ m/^127.0.0.1\s/) {
-           $found_localhost = 1;
-           last;
-       }
+    if (defined($hostip)) {
+       $section .= "$hostip $all_names\n";
+    } elsif ($namepart ne 'localhost') {
+       $section .= "127.0.1.1 $all_names\n";
+    } else {
+       $section .= "127.0.1.1 $namepart\n";
     }
 
-    if (!$found_localhost) {
-       unshift @lines, "127.0.0.1 localhost.localnet localhost";
-    }
-    
-    $etc_hosts_data = join("\n", @lines) . "\n";
-    
-    return $etc_hosts_data;
+    $self->ct_modify_file($hosts_fn, $section);
 }
 
 sub template_fixup {
@@ -156,7 +127,7 @@ sub set_dns {
        $data .= "nameserver $ns\n";
     }
 
-    $self->ct_file_set_contents("/etc/resolv.conf", $data);
+    $self->ct_modify_file("/etc/resolv.conf", $data, replace => 1);
 }
 
 sub set_hostname {
@@ -170,23 +141,14 @@ sub set_hostname {
     
     my $oldname = $self->ct_file_read_firstline($hostname_fn) || 'localhost';
 
-    my $hosts_fn = "/etc/hosts";
-    my $etc_hosts_data = '';
-    
-    if ($self->ct_file_exists($hosts_fn)) {
-       $etc_hosts_data =  $self->ct_file_get_contents($hosts_fn);
-    }
-
     my ($ipv4, $ipv6) = PVE::LXC::get_primary_ips($conf);
     my $hostip = $ipv4 || $ipv6;
 
     my ($searchdomains) = $self->lookup_dns_conf($conf);
 
-    $etc_hosts_data = update_etc_hosts($etc_hosts_data, $hostip, $oldname, 
-                                      $hostname, $searchdomains);
+    $self->update_etc_hosts($hostip, $oldname, $hostname, $searchdomains);
     
     $self->ct_file_set_contents($hostname_fn, "$namepart\n");
-    $self->ct_file_set_contents($hosts_fn, $etc_hosts_data);
 }
 
 sub setup_network {
@@ -201,55 +163,82 @@ sub setup_init {
     die "please implement this inside subclass"
 }
 
-sub setup_systemd_console {
+# A few distros as well as unprivileged containers cannot deal with the
+# /dev/lxc/ tty subdirectory.
+sub devttydir {
     my ($self, $conf) = @_;
+    return $conf->{unprivileged} ? '' : 'lxc/';
+}
 
-    my $systemd_dir_rel = -x "/lib/systemd/systemd" ?
-       "/lib/systemd/system" : "/usr/lib/systemd/system";
-
-    my $systemd_getty_service_rel = "$systemd_dir_rel/getty\@.service";
+sub fixup_old_getty {
+    my ($self) = @_;
 
-    return if !$self->ct_file_exists($systemd_getty_service_rel);
+    my $sd_dir_rel = $self->ct_is_executable("/lib/systemd/systemd") ?
+       "/lib/systemd/system" : "/usr/lib/systemd/system";
 
-    my $raw = $self->ct_file_get_contents($systemd_getty_service_rel);
+    my $sd_getty_service_rel = "$sd_dir_rel/getty\@.service";
+    return if !$self->ct_file_exists($sd_getty_service_rel);
 
-    my $systemd_container_getty_service_rel = "$systemd_dir_rel/container-getty\@.service";
+    my $raw = $self->ct_file_get_contents($sd_getty_service_rel);
 
+    my $sd_container_getty_service_rel = "$sd_dir_rel/container-getty\@.service";
     # systemd on CenoOS 7.1 is too old (version 205), so there is no
     # container-getty service
-    if (!$self->ct_file_exists($systemd_container_getty_service_rel)) {
+    if (!$self->ct_file_exists($sd_container_getty_service_rel)) {
        if ($raw =~ s!^ConditionPathExists=/dev/tty0$!ConditionPathExists=/dev/tty!m) {
-           $self->ct_file_set_contents($systemd_getty_service_rel, $raw);
+           $self->ct_file_set_contents($sd_getty_service_rel, $raw);
        }
     } else {
        # undo above change (in case someone updated systemd)
        if ($raw =~ s!^ConditionPathExists=/dev/tty$!ConditionPathExists=/dev/tty0!m) {
-           $self->ct_file_set_contents($systemd_getty_service_rel, $raw);
+           $self->ct_file_set_contents($sd_getty_service_rel, $raw);
        }
     }
+}
+
+sub setup_container_getty_service {
+    my ($self, $conf) = @_;
 
-    my $ttycount = PVE::LXC::get_tty_count($conf);
+    my $sd_dir = $self->ct_is_executable("/lib/systemd/systemd") ?
+       "/lib/systemd/system" : "/usr/lib/systemd/system";
+
+    # prefer container-getty.service shipped by newer systemd versions
+    # fallback to getty.service and just return if that doesn't exists either..
+    my $template_base = "container-getty\@";
+    my $template_path = "${sd_dir}/${template_base}.service";
+    my $instance_base = $template_base;
+
+    if (!$self->ct_file_exists($template_path)) {
+       $template_base = "getty\@";
+       $template_path = "${template_base}.service";
+       $instance_base = "{$template_base}tty";
+       return if !$self->ct_file_exists($template_path);
+    }
+
+    my $raw = $self->ct_file_get_contents($template_path);
+    my $ttyname = $self->devttydir($conf) . 'tty%I';
+    if ($raw =~ s@pts/%I|lxc/tty%I@$ttyname@g) {
+       $self->ct_file_set_contents($template_path, $raw);
+    }
+
+    my $getty_target_fn = "/etc/systemd/system/getty.target.wants/";
+    my $ttycount = PVE::LXC::Config->get_tty_count($conf);
 
     for (my $i = 1; $i < 7; $i++) {
-       my $tty_service_lnk = "/etc/systemd/system/getty.target.wants/getty\@tty$i.service";
-       if ($i > $ttycount) {
-           $self->ct_unlink($tty_service_lnk);
-       } else {
-           if (!$self->ct_is_symlink($tty_service_lnk)) {
-               $self->ct_unlink($tty_service_lnk);
-               $self->ct_symlink($systemd_getty_service_rel, $tty_service_lnk);
-           }
+       # ensure that not two gettys are using the same tty!
+       $self->ct_unlink("$getty_target_fn/getty\@tty$i.service");
+       $self->ct_unlink("$getty_target_fn/container-getty\@$i.service");
+
+       # re-enable only those requested
+       if ($i <= $ttycount) {
+           my $tty_service = "${instance_base}${i}.service";
+
+           $self->ct_symlink($template_path, "$getty_target_fn/$tty_service");
        }
     }
-}
 
-sub setup_container_getty_service {
-    my ($self) = @_;
-    my $servicefile = '/usr/lib/systemd/system/container-getty@.service';
-    my $raw = $self->ct_file_get_contents($servicefile);
-    if ($raw =~ s@pts/%I@lxc/tty%I@g) {
-       $self->ct_file_set_contents($servicefile, $raw);
-    }
+    # ensure getty.target is not masked
+    $self->ct_unlink("/etc/systemd/system/getty.target");
 }
 
 sub setup_systemd_networkd {
@@ -257,7 +246,7 @@ sub setup_systemd_networkd {
 
     foreach my $k (keys %$conf) {
        next if $k !~ m/^net(\d+)$/;
-       my $d = PVE::LXC::parse_lxc_network($conf->{$k});
+       my $d = PVE::LXC::Config->parse_lxc_network($conf->{$k});
        next if !$d->{name};
 
        my $filename = "/etc/systemd/network/$d->{name}.network";
@@ -274,9 +263,10 @@ DATA
        my ($has_ipv4, $has_ipv6);
 
        # DHCP bitflags:
-       my @DHCPMODES = ('none', 'v4', 'v6', 'both');
+       my @DHCPMODES = ('no', 'ipv4', 'ipv6', 'yes');
        my ($NONE, $DHCP4, $DHCP6, $BOTH) = (0, 1, 2, 3);
        my $dhcp = $NONE;
+       my $accept_ra = 'false';
 
        if (defined(my $ip = $d->{ip})) {
            if ($ip eq 'dhcp') {
@@ -296,29 +286,84 @@ DATA
        if (defined(my $ip = $d->{ip6})) {
            if ($ip eq 'dhcp') {
                $dhcp |= $DHCP6;
+           } elsif ($ip eq 'auto') {
+               $accept_ra = 'true';
            } elsif ($ip ne 'manual') {
                $has_ipv6 = 1;
                $data .= "Address = $ip\n";
            }
        }
        if (defined(my $gw = $d->{gw6})) {
+           $accept_ra = 'false';
            $data .= "Gateway = $gw\n";
-           if ($has_ipv6 && !PVE::Network::is_ip_in_cidr($gw, $d->{ip6}, 6)) {
+           if ($has_ipv6 && !PVE::Network::is_ip_in_cidr($gw, $d->{ip6}, 6) &&
+               !PVE::Network::is_ip_in_cidr($gw, 'fe80::/10', 6)) {
                $routes .= "\n[Route]\nDestination = $gw/128\nScope = link\n";
            }
        }
 
        $data .= "DHCP = $DHCPMODES[$dhcp]\n";
+       $data .= "IPv6AcceptRA = $accept_ra\n";
        $data .= $routes if $routes;
 
        $self->ct_file_set_contents($filename, $data);
     }
 }
 
+# At first boot (/etc/machine-id not existing), systemd goes through a set of `presets` to bring the
+# enable/disable state of services to a default.
+# Meaning for newer templates we should use this instead of manually creating enable/disable
+# symlinks.
+#
+# Disables some common problematic and/or useless units by default.
+#
+# `$extra_preset` should map service names to a bool-ish. It can also hold overrides for the default
+# presets.
+sub setup_systemd_preset {
+    my ($self, $extra_preset) = @_;
+
+    # some don't make sense in CTs, child-plugins can still override through extra_presets
+    my $preset = {
+       'sys-kernel-config.mount' => 0,
+       'sys-kernel-debug.mount' => 0,
+       'getty@.service' => 0,
+       'container-getty@.service' => 1,
+    };
+
+    if (defined($extra_preset)) {
+       $preset->{$_} = $extra_preset->{$_} for keys $extra_preset->%*;
+    }
+
+    my $preset_data = "# Added by PVE at create-time for first-boot configuration.\n";
+    for my $service (sort keys %$preset) {
+       if ($preset->{$service}) {
+           $preset_data .= "enable $service\n";
+       } else {
+           $preset_data .= "disable $service\n";
+       }
+    }
+
+    $self->ct_mkdir('/etc/systemd/system-preset', 0755);
+    $self->ct_file_set_contents(
+       '/etc/systemd/system-preset/00-pve.preset',
+       $preset_data,
+    );
+}
+
 sub setup_securetty {
     my ($self, $conf, @add) = @_;
 
     my $filename = "/etc/securetty";
+    # root login is already allowed on every device if no securetty present
+    return if !$self->ct_file_exists($filename);
+
+    if (!scalar(@add)) {
+       @add = qw(console tty1 tty2 tty3 tty4);
+       if (my $dir = $self->devttydir($conf)) {
+           @add = map { "${dir}$_" } @add;
+       }
+    }
+
     my $data = $self->ct_file_get_contents($filename);
     chomp $data; $data .= "\n";
     foreach my $dev (@add) {
@@ -350,10 +395,6 @@ my $replacepw  = sub {
 
        my $last_change = int(time()/(60*60*24));
 
-       if ($epw =~ m/^\$TEST\$/) { # for regression tests
-           $last_change = 12345;
-       }
-       
        while (defined (my $line = <$src>)) {
            if ($shadow) {
                $line =~ s/^${user}:[^:]*:[^:]*:/${user}:${epw}:${last_change}:/;
@@ -384,9 +425,9 @@ sub set_user_password {
     my $shadow = "/etc/shadow";
     
     if (defined($opt_password)) {
-       if ($opt_password !~ m/^\$/) {
+       if ($opt_password !~ m/^\$(?:1|2[axy]?|5|6)\$[a-zA-Z0-9.\/]{1,16}\$[a-zA-Z0-9.\/]+$/) {
            my $time = substr (Digest::SHA::sha1_base64 (time), 0, 8);
-           $opt_password = crypt(encode("utf8", $opt_password), "\$1\$$time\$");
+           $opt_password = crypt(encode("utf8", $opt_password), "\$6\$$time\$");
        };
     } else {
        $opt_password = '*';
@@ -400,6 +441,34 @@ sub set_user_password {
     }
 }
 
+my $parse_home_dir = sub {
+    my ($self, $passwdfile, $user) = @_;
+
+    my $fh = $self->ct_open_file_read($passwdfile);
+    while (defined (my $line = <$fh>)) {
+       return $2
+           if $line =~ m/^${user}:([^:]*:){4}([^:]*):/;
+    }
+};
+
+sub set_user_authorized_ssh_keys {
+    my ($self, $conf, $user, $ssh_keys) = @_;
+
+    my $passwd = "/etc/passwd";
+    my $home = $user eq "root" ? "/root/" : "/home/$user/";
+
+    $home = &$parse_home_dir($self, $passwd, $user)
+       if $self->ct_file_exists($passwd);
+
+    die "home directory '$home' of $user does not exist!"
+       if ! ($self->ct_is_directory($home) || $self->ct_is_symlink($home));
+
+    $self->ct_mkdir("$home/.ssh", 0700)
+       if ! $self->ct_is_directory("$home/.ssh");
+
+    $self->ct_modify_file("$home/.ssh/authorized_keys", $ssh_keys, perms => 0700);
+}
+
 my $randomize_crontab = sub {
     my ($self, $conf) = @_;
 
@@ -430,40 +499,194 @@ my $randomize_crontab = sub {
    }
 };
 
+sub set_timezone {
+    my ($self, $conf) = @_;
+
+    my $zoneinfo = $conf->{timezone};
+
+    return if !defined($zoneinfo);
+
+    my $tz_path = "/usr/share/zoneinfo/$zoneinfo";
+
+    if ($zoneinfo eq 'host') {
+       $tz_path = $self->{host_localtime};
+    }
+
+    if ($self->ct_file_exists($tz_path)) {
+       if (abs_path('/etc/localtime') ne $tz_path) {
+           my $tmpfile = "localtime.$$.new.tmpfile";
+           $self->ct_symlink($tz_path, $tmpfile);
+           $self->ct_rename($tmpfile, "/etc/localtime");
+       }
+
+       # not all distributions have /etc/timezone
+       if ($self->ct_file_exists('/etc/timezone')) {
+           my $contents = $zoneinfo eq 'host' ? $self->{host_timezone} : $zoneinfo;
+           $self->ct_file_set_contents('/etc/timezone', "$contents\n");
+       }
+    } else {
+       warn "container does not have $tz_path, timezone can not be modified\n";
+    }
+}
+
+sub clear_machine_id {
+    my ($self, $conf, $clone) = @_;
+
+    my $uses_systemd = $self->ct_is_executable("/lib/systemd/systemd")
+       || $self->ct_is_executable("/usr/lib/systemd/systemd");
+
+    my $dbus_machine_id_path = "/var/lib/dbus/machine-id";
+    my $machine_id_path = "/etc/machine-id";
+
+    my $machine_id_existed = $self->ct_file_exists($machine_id_path);
+
+    if (
+       $self->ct_file_exists($dbus_machine_id_path)
+       && !$self->ct_is_symlink($dbus_machine_id_path)
+       && $uses_systemd
+    ) {
+        $self->ct_unlink($dbus_machine_id_path);
+    }
+
+    if ($machine_id_existed) {
+       # truncate exiting ones on clone to avoid FirstBoot condition. admins can override this by
+       # removing the machine-id file or setting it to uninitialized before creating a template, or
+       # cloning a guest - as per machine-id(5) man page. TODO: add explicit switch to API?
+       if ($clone) {
+           my $old_machine_id = $self->ct_file_read_firstline($machine_id_path) // '';
+           if ($uses_systemd && $old_machine_id ne 'uninitialized') {
+               $self->ct_file_set_contents($machine_id_path, "\n") if $uses_systemd;
+           }
+       } else {
+           $self->ct_unlink($machine_id_path);
+       }
+    }
+}
+
+# tries to guess the systemd (major) version based on the
+# libsystemd-shared<version>.so linked with /sbin/init
+sub get_systemd_version {
+    my ($self, $init) = @_;
+
+    my $version = undef;
+    PVE::Tools::run_command(
+       ['objdump', '-p', $self->{rootdir}.$init],
+       outfunc => sub {
+           my $line = shift;
+           if ($line =~ /libsystemd-shared-(\d+)(?:[-.][a-zA-Z0-9]+)*\.so:?$/) {
+               $version = $1;
+           }
+       },
+       errmsg => "objdump on $init failed",
+    );
+
+    return $version;
+}
+
+sub unified_cgroupv2_support {
+    my ($self, $init) = @_;
+
+    # https://www.freedesktop.org/software/systemd/man/systemd.html
+    # systemd is installed as symlink to /sbin/init
+    # assume non-systemd init will run with unified cgroupv2
+    if (!defined($init) || $init !~ m@/systemd$@) {
+       return 1;
+    }
+
+    # systemd version 232 (e.g. debian stretch) supports the unified hierarchy
+    my $sdver = $self->get_systemd_version($init);
+    if (!defined($sdver) || $sdver < 232) {
+       return 0;
+    }
+
+    return 1;
+}
+
+sub get_ct_init_path {
+    my ($self) = @_;
+
+    my $init_path = "/sbin/init";
+    if ($self->ct_is_symlink($init_path)) {
+       $init_path = $self->ct_readlink_recursive($init_path);
+    }
+    return $init_path;
+}
+
+sub ssh_host_key_types_to_generate {
+    my ($self) = @_;
+
+    return {
+       rsa => 'ssh_host_rsa_key',
+       dsa => 'ssh_host_dsa_key',
+       ecdsa => 'ssh_host_ecdsa_key',
+       ed25519 => 'ssh_host_ed25519_key',
+    };
+}
+
+sub detect_architecture {
+    my ($self) = @_;
+
+    # '/bin/sh' is POSIX mandatory
+    return PVE::LXC::Tools::detect_elf_architecture('/bin/sh');
+}
+
 sub pre_start_hook {
     my ($self, $conf) = @_;
 
+    $self->ct_file_set_contents('/fastboot', ''); # skips fsck, among other things
+
     $self->setup_init($conf);
     $self->setup_network($conf);
     $self->set_hostname($conf);
     $self->set_dns($conf);
+    $self->set_timezone($conf);
 
     # fixme: what else ?
 }
 
+sub post_clone_hook {
+    my ($self, $conf) = @_;
+
+    $self->clear_machine_id($conf, 1);
+}
+
 sub post_create_hook {
-    my ($self, $conf, $root_password) = @_;
+    my ($self, $conf, $root_password, $ssh_keys) = @_;
 
+    $self->clear_machine_id($conf);
     $self->template_fixup($conf);
-    
+
     &$randomize_crontab($self, $conf);
-    
+
     $self->set_user_password($conf, 'root', $root_password);
+    $self->set_user_authorized_ssh_keys($conf, 'root', $ssh_keys) if $ssh_keys;
     $self->setup_init($conf);
     $self->setup_network($conf);
     $self->set_hostname($conf);
     $self->set_dns($conf);
-    
+    $self->set_timezone($conf);
+
     # fixme: what else ?
 }
 
 # File access wrappers for container setup code.
+# NOTE: those are not direct part of the Plugin API (yet), avoid using them outside the child plugins
 # For user-namespace support these might need to take uid and gid maps into account.
 
+sub ct_is_file_ignored {
+    my ($self, $file) = @_;
+    my ($name, $path) = fileparse($file);
+    return -f "$path/.pve-ignore.$name";
+}
+
 sub ct_reset_ownership {
     my ($self, @files) = @_;
     my $conf = $self->{conf};
     return if !$self->{id_map};
+
+    @files = grep { !$self->ct_is_file_ignored($_) } @files;
+    return if !@files;
+
     my $uid = $self->{rootuid};
     my $gid = $self->{rootgid};
     chown($uid, $gid, @files);
@@ -482,12 +705,14 @@ sub ct_mkdir {
 sub ct_unlink {
     my ($self, @files) = @_;
     foreach my $file (@files) {
+       next if $self->ct_is_file_ignored($file);
        CORE::unlink($file);
     }
 }
 
 sub ct_rename {
     my ($self, $old, $new) = @_;
+    return if $self->ct_is_file_ignored($new);
     CORE::rename($old, $new);
 }
 
@@ -500,6 +725,7 @@ sub ct_open_file_read {
 sub ct_open_file_write {
     my $self = shift;
     my $file = shift;
+    $file = '/dev/null' if $self->ct_is_file_ignored($file);
     my $fh = IO::File->new($file, O_WRONLY | O_CREAT, @_);
     $self->ct_reset_ownership($fh);
     return $fh;
@@ -507,21 +733,44 @@ sub ct_open_file_write {
 
 sub ct_make_path {
     my $self = shift;
-    if ($self->{id_map}) {
-       my $opts = pop;
-       if (ref($opts) eq 'HASH') {
-           $opts->{owner} = $self->{rootuid} if !defined($self->{owner});
-           $opts->{group} = $self->{rootgid} if !defined($self->{group});
-       }
-       File::Path::make_path(@_, $opts);
-    } else {
-       File::Path::make_path(@_);
+
+    my $opts = {};
+    if (defined($self->{id_map})) {
+       $opts->{owner} = $self->{rootuid};
+       $opts->{group} = $self->{rootgid};
     }
+    File::Path::make_path(@_, $opts);
 }
 
 sub ct_symlink {
     my ($self, $old, $new) = @_;
-    return CORE::symlink($old, $new);
+    return if $self->ct_is_file_ignored($new);
+    if (CORE::symlink($old, $new)) {
+       if (defined($self->{id_map})) {
+           POSIX::lchown($self->{rootuid}, $self->{rootgid}, $new);
+       }
+       return 1;
+    } else {
+       return 0;
+    }
+}
+
+sub ct_readlink {
+    my ($self, $name) = @_;
+    return CORE::readlink($name);
+}
+
+sub ct_readlink_recursive {
+    my ($self, $name) = @_;
+
+    my $res = $name;
+    for (my $i = 0; $self->ct_is_symlink($res); $i++) {
+       # arbitrary limit, but should be enough for all for our management relevant things
+       die "maximal link depth of 10 for resolving '$name' reached, abort\n" if $i >= 10;
+       $res = $self->ct_readlink($res);
+       $res = abs_path($res);
+    }
+    return $res;
 }
 
 sub ct_file_exists {
@@ -539,6 +788,11 @@ sub ct_is_symlink {
     return -l $file;
 }
 
+sub ct_is_executable {
+    my ($self, $file) = @_;
+    return -x $file
+}
+
 sub ct_stat {
     my ($self, $file) = @_;
     return File::stat::stat($file);
@@ -556,36 +810,98 @@ sub ct_file_get_contents {
 
 sub ct_file_set_contents {
     my ($self, $file, $data, $perms) = @_;
+    return if $self->ct_is_file_ignored($file);
     PVE::Tools::file_set_contents($file, $data, $perms);
     $self->ct_reset_ownership($file);
 }
 
-# Modify a marked portion of a file and move it to the beginning of the file.
-# If the file becomes empty it will be deleted.
-sub ct_modify_file_head_portion {
-    my ($self, $file, $head, $tail, $data) = @_;
-    if ($self->ct_file_exists($file)) {
-       my $old = $self->ct_file_get_contents($file);
-       # remove the portion between $head and $tail (all instances via /g)
-       $old =~ s/(?:^|(?<=\n))\Q$head\E.*\Q$tail\E//gs;
-       chomp $old;
-       if ($old) {
-           # old data existed, append and add the trailing newline
-           if ($data) {
-               $self->ct_file_set_contents($file, $head.$data.$tail . $old."\n");
-           } else {
-               $self->ct_file_set_contents($file, $old."\n");
-           }
-       } elsif ($data) {
-           # only our own data will be added
-           $self->ct_file_set_contents($file, $head.$data.$tail);
+# Modify a marked portion of a file.
+# Optionally if the file becomes empty it will be deleted.
+sub ct_modify_file {
+    my ($self, $file, $data, %options) = @_;
+    return if $self->ct_is_file_ignored($file);
+
+    my $head = "# --- BEGIN PVE ---\n";
+    my $tail = "# --- END PVE ---\n";
+    my $perms = $options{perms};
+    $data .= "\n" if $data && $data !~ /\n$/;
+
+    if (!$self->ct_file_exists($file)) {
+       $self->ct_file_set_contents($file, $head.$data.$tail, $perms) if $data;
+       return;
+    }
+
+    my $old = $self->ct_file_get_contents($file);
+    my @lines = split(/\n/, $old);
+
+    my ($beg, $end);
+    foreach my $i (0..(@lines-1)) {
+       my $line = $lines[$i];
+       $beg = $i if !defined($beg) &&
+           $line =~ /^#\s*---\s*BEGIN\s*PVE\s*/;
+       $end = $i if !defined($end) && defined($beg) &&
+           $line =~ /^#\s*---\s*END\s*PVE\s*/i;
+       last if defined($beg) && defined($end);
+    }
+
+    if (defined($beg) && defined($end)) {
+       # Found a section
+       if ($data) {
+           chomp $tail;
+           splice @lines, $beg, $end-$beg+1, $head.$data.$tail;
        } else {
-           # empty => delete
+           if ($beg == 0 && $end == (@lines-1)) {
+               $self->ct_unlink($file) if $options{delete};
+               return;
+           }
+           splice @lines, $beg, $end-$beg+1, $head.$data.$tail;
+       }
+       $self->ct_file_set_contents($file, join("\n", @lines) . "\n");
+    } elsif ($data) {
+       # No section found
+       my $content = join("\n", @lines);
+       chomp $content;
+       if (!$content && !$data && $options{delete}) {
            $self->ct_unlink($file);
+           return;
+       }
+       $content .= "\n";
+       $data = $head.$data.$tail;
+       if ($options{replace}) {
+           $self->ct_file_set_contents($file, $data, $perms);
+       } elsif ($options{prepend}) {
+           $self->ct_file_set_contents($file, $data . $content, $perms);
+       } else { # append
+           $self->ct_file_set_contents($file, $content . $data, $perms);
        }
-    } else {
-       $self->ct_file_set_contents($file, $head.$data.$tail);
     }
 }
 
+sub remove_pve_sections {
+    my ($data) = @_;
+
+    my $head = "# --- BEGIN PVE ---";
+    my $tail = "# --- END PVE ---";
+
+    # Remove the sections enclosed with the above headers and footers.
+    # from a line (^) starting with '\h*$head'
+    # to a line (the other ^) starting with '\h*$tail' up to including that
+    # line's end (.*?$).
+    return $data =~ s/^\h*\Q$head\E.*^\h*\Q$tail\E.*?$//rgms;
+}
+
+# templates from images.linuxcontainers.org have a bogus LXC_NAME line in /etc/hosts
+sub remove_lxc_name_from_etc_hosts {
+    my ($self) = @_;
+
+    return if ! -e '/etc/hosts';
+
+    my $hosts = $self->ct_file_get_contents('/etc/hosts');
+    my @lines = grep { !/^127.0.1.1\s+LXC_NAME$/ } split(/\n/, $hosts);
+
+    $hosts = join("\n", @lines). "\n";
+
+    $self->ct_file_set_contents('/etc/hosts', $hosts);
+}
+
 1;