followup: s/CUSTOM_TFA_TYPES/USER_CONTROLLED_TFA_TYPES/
[pve-access-control.git] / PVE / AccessControl.pm
index 3cae437..af1bd6a 100644 (file)
 package PVE::AccessControl;
 
 use strict;
+use warnings;
 use Encode;
 use Crypt::OpenSSL::Random;
 use Crypt::OpenSSL::RSA;
+use Net::SSLeay;
+use Net::IP;
 use MIME::Base64;
 use Digest::SHA;
-use Authen::PAM qw(:constants);
-use Net::LDAP;
+use IO::File;
+use File::stat;
+use JSON;
+
+use PVE::OTP;
+use PVE::Ticket;
 use PVE::Tools qw(run_command lock_file file_get_contents split_list safe_print);
 use PVE::Cluster qw(cfs_register_file cfs_read_file cfs_write_file cfs_lock_file);
-use PVE::JSONSchema;
-use Encode;
+use PVE::JSONSchema qw(register_standard_option get_standard_option);
+
+use PVE::Auth::Plugin;
+use PVE::Auth::AD;
+use PVE::Auth::LDAP;
+use PVE::Auth::PVE;
+use PVE::Auth::PAM;
+
+# load and initialize all plugins
 
-use Data::Dumper; # fixme: remove
+PVE::Auth::AD->register();
+PVE::Auth::LDAP->register();
+PVE::Auth::PVE->register();
+PVE::Auth::PAM->register();
+PVE::Auth::Plugin->init();
 
 # $authdir must be writable by root only!
 my $confdir = "/etc/pve";
 my $authdir = "$confdir/priv";
-my $authprivkeyfn = "$authdir/authkey.key";
-my $authpubkeyfn = "$confdir/authkey.pub";
-my $shadowconfigfile = "priv/shadow.cfg";
-my $domainconfigfile = "domains.cfg";
+
 my $pve_www_key_fn = "$confdir/pve-www.key";
 
+my $pve_auth_key_files = {
+    priv => "$authdir/authkey.key",
+    pub =>  "$confdir/authkey.pub",
+    pubold => "$confdir/authkey.pub.old",
+};
+
+my $pve_auth_key_cache = {};
+
 my $ticket_lifetime = 3600*2; # 2 hours
+# TODO: set to 24h for PVE 6.0
+my $authkey_lifetime = 3600*0; # rotation disabled
 
 Crypt::OpenSSL::RSA->import_random_seed();
 
-cfs_register_file('user.cfg', 
-                 \&parse_user_config,  
+cfs_register_file('user.cfg',
+                 \&parse_user_config,
                  \&write_user_config);
+cfs_register_file('priv/tfa.cfg',
+                 \&parse_priv_tfa_config,
+                 \&write_priv_tfa_config);
 
-cfs_register_file($shadowconfigfile, 
-                 \&parse_shadow_passwd, 
-                 \&write_shadow_config);
-
-cfs_register_file($domainconfigfile, 
-                 \&parse_domains,
-                 \&write_domains);
+sub verify_username {
+    PVE::Auth::Plugin::verify_username(@_);
+}
 
+sub pve_verify_realm {
+    PVE::Auth::Plugin::pve_verify_realm(@_);
+}
 
 sub lock_user_config {
     my ($code, $errmsg) = @_;
 
     cfs_lock_file("user.cfg", undef, $code);
-    my $err = $@;
-    if ($err) {
+    if (my $err = $@) {
        $errmsg ? die "$errmsg: $err" : die $err;
     }
 }
 
-sub lock_domain_config {
-    my ($code, $errmsg) = @_;
+my $cache_read_key = sub {
+    my ($type) = @_;
 
-    cfs_lock_file($domainconfigfile, undef, $code);
-    my $err = $@;
-    if ($err) {
-       $errmsg ? die "$errmsg: $err" : die $err;
+    my $path = $pve_auth_key_files->{$type};
+
+    my $read_key_and_mtime = sub {
+       my $fh = IO::File->new($path, "r");
+
+       return undef if !defined($fh);
+
+       my $st = stat($fh);
+       my $pem = PVE::Tools::safe_read_from($fh, 0, 0, $path);
+
+       close $fh;
+
+       my $key;
+       if ($type eq 'pub' || $type eq 'pubold') {
+           $key = eval { Crypt::OpenSSL::RSA->new_public_key($pem); };
+       } elsif ($type eq 'priv') {
+           $key = eval { Crypt::OpenSSL::RSA->new_private_key($pem); };
+       } else {
+           die "Invalid authkey type '$type'\n";
+       }
+
+       return { key => $key, mtime => $st->mtime };
+    };
+
+    if (!defined($pve_auth_key_cache->{$type})) {
+       $pve_auth_key_cache->{$type} = $read_key_and_mtime->();
+    } else {
+       my $st = stat($path);
+       if (!$st || $st->mtime != $pve_auth_key_cache->{$type}->{mtime}) {
+           $pve_auth_key_cache->{$type} = $read_key_and_mtime->();
+       }
     }
+
+    return $pve_auth_key_cache->{$type};
+};
+
+sub get_pubkey {
+    my ($old) = @_;
+
+    my $type = $old ? 'pubold' : 'pub';
+
+    my $res = $cache_read_key->($type);
+    return undef if !defined($res);
+
+    return wantarray ? ($res->{key}, $res->{mtime}) : $res->{key};
 }
 
-sub lock_shadow_config {
-    my ($code, $errmsg) = @_;
+sub get_privkey {
+    my $res = $cache_read_key->('priv');
 
-    cfs_lock_file($shadowconfigfile, undef, $code);
-    my $err = $@;
-    if ($err) {
-       $errmsg ? die "$errmsg: $err" : die $err;
+    if (!defined($res) || !check_authkey(1)) {
+       rotate_authkey();
+       $res = $cache_read_key->('priv');
+    }
+
+    return wantarray ? ($res->{key}, $res->{mtime}) : $res->{key};
+}
+
+sub check_authkey {
+    my ($quiet) = @_;
+
+    # skip check if non-quorate, as rotation is not possible anyway
+    return 1 if !PVE::Cluster::check_cfs_quorum(1);
+
+    my ($pub_key, $mtime) = get_pubkey();
+    if (!$pub_key) {
+       warn "auth key pair missing, generating new one..\n"  if !$quiet;
+       return 0;
+    } else {
+       if (time() - $mtime >= $authkey_lifetime) {
+           warn "auth key pair too old, rotating..\n" if !$quiet;;
+           return 0;
+       } else {
+           warn "auth key new enough, skipping rotation\n" if !$quiet;;
+           return 1;
+       }
     }
 }
 
-my $pve_auth_pub_key;
-sub get_pubkey {    
+sub rotate_authkey {
+    return if $authkey_lifetime == 0;
 
-    return $pve_auth_pub_key if $pve_auth_pub_key;
+    PVE::Cluster::cfs_lock_authkey(undef, sub {
+       # re-check with lock to avoid double rotation in clusters
+       return if check_authkey();
 
-    my $input = PVE::Tools::file_get_contents($authpubkeyfn); 
+       my $old = get_pubkey();
 
-    $pve_auth_pub_key = Crypt::OpenSSL::RSA->new_public_key($input);
+       if ($old) {
+           eval {
+               my $pem = $old->get_public_key_x509_string();
+               PVE::Tools::file_set_contents($pve_auth_key_files->{pubold}, $pem);
+           };
+           die "Failed to store old auth key: $@\n" if $@;
+       }
 
-    return $pve_auth_pub_key;
+       my $new = Crypt::OpenSSL::RSA->generate_key(2048);
+       eval {
+           my $pem = $new->get_public_key_x509_string();
+           PVE::Tools::file_set_contents($pve_auth_key_files->{pub}, $pem);
+       };
+       if ($@) {
+           if ($old) {
+               warn "Failed to store new auth key - $@\n";
+               warn "Reverting to previous auth key\n";
+               eval {
+                   my $pem = $old->get_public_key_x509_string();
+                   PVE::Tools::file_set_contents($pve_auth_key_files->{pub}, $pem);
+               };
+               die "Failed to restore old auth key: $@\n" if $@;
+           } else {
+               die "Failed to store new auth key - $@\n";
+           }
+       }
+
+       eval {
+           my $pem = $new->get_private_key_string();
+           PVE::Tools::file_set_contents($pve_auth_key_files->{priv}, $pem);
+       };
+       if ($@) {
+           warn "Failed to store new auth key - $@\n";
+           warn "Deleting auth key to force regeneration\n";
+           unlink $pve_auth_key_files->{pub};
+           unlink $pve_auth_key_files->{priv};
+       }
+    });
+    die $@ if $@;
 }
 
 my $csrf_prevention_secret;
 my $get_csrfr_secret = sub {
     if (!$csrf_prevention_secret) {
-       my $input = PVE::Tools::file_get_contents($pve_www_key_fn); 
+       my $input = PVE::Tools::file_get_contents($pve_www_key_fn);
        $csrf_prevention_secret = Digest::SHA::sha1_base64($input);
     }
     return $csrf_prevention_secret;
@@ -95,84 +221,113 @@ my $get_csrfr_secret = sub {
 sub assemble_csrf_prevention_token {
     my ($username) = @_;
 
-    my $timestamp = sprintf("%08X", time());
-
-    my $digest = Digest::SHA::sha1_base64("$timestamp:$username", &$get_csrfr_secret());
+    my $secret =  &$get_csrfr_secret();
 
-    return "$timestamp:$digest"; 
+    return PVE::Ticket::assemble_csrf_prevention_token ($secret, $username);
 }
 
 sub verify_csrf_prevention_token {
     my ($username, $token, $noerr) = @_;
 
-    if ($token =~ m/^([A-Z0-9]{8}):(\S+)$/) {
-       my $sig = $2;
-       my $timestamp = $1;
-       my $ttime = hex($timestamp);
+    my $secret =  &$get_csrfr_secret();
 
-       my $digest = Digest::SHA::sha1_base64("$timestamp:$username", &$get_csrfr_secret());
+    return PVE::Ticket::verify_csrf_prevention_token(
+       $secret, $username, $token, -300, $ticket_lifetime, $noerr);
+}
 
-       my $age = time() - $ttime;
-       return if ($digest eq $sig) && ($age > -300) && ($age < $ticket_lifetime);
-    }
+my $get_ticket_age_range = sub {
+    my ($now, $mtime, $rotated) = @_;
 
-    die "Permission denied - invalid csrf token\n" if !$noerr;
+    my $key_age = $now - $mtime;
+    $key_age = 0 if $key_age < 0;
 
-    return undef;
-}
+    my $min = -300;
+    my $max = $ticket_lifetime;
 
-my $pve_auth_priv_key;
-sub get_privkey {
+    if ($rotated) {
+       # ticket creation after rotation is not allowed
+       $min = $key_age - 300;
+    } else {
+       if ($key_age > $authkey_lifetime && $authkey_lifetime > 0) {
+           if (PVE::Cluster::check_cfs_quorum(1)) {
+               # key should have been rotated, clamp range accordingly
+               $min = $key_age - $authkey_lifetime;
+           } else {
+               warn "Cluster not quorate - extending auth key lifetime!\n";
+           }
+       }
 
-    return $pve_auth_priv_key if $pve_auth_priv_key;
+       $max = $key_age + 300 if $key_age < $ticket_lifetime;
+    }
+
+    return undef if $min > $ticket_lifetime;
+    return ($min, $max);
+};
 
-    my $input = PVE::Tools::file_get_contents($authprivkeyfn); 
+sub assemble_ticket {
+    my ($data) = @_;
 
-    $pve_auth_priv_key = Crypt::OpenSSL::RSA->new_private_key($input);
+    my $rsa_priv = get_privkey();
 
-    return $pve_auth_priv_key;
+    return PVE::Ticket::assemble_rsa_ticket($rsa_priv, 'PVE', $data);
 }
 
-sub assemble_ticket {
-    my ($username) = @_;
+sub verify_ticket {
+    my ($ticket, $noerr) = @_;
 
-    my $rsa_priv = get_privkey();
+    my $now = time();
 
-    my $timestamp = sprintf("%08X", time());
+    my $check = sub {
+       my ($old) = @_;
 
-    my $plain = "PVE:$username:$timestamp";
+       my ($rsa_pub, $rsa_mtime) = get_pubkey($old);
+       return undef if !$rsa_pub;
 
-    my $ticket = $plain . "::" . encode_base64($rsa_priv->sign($plain), '');
+       my ($min, $max) = $get_ticket_age_range->($now, $rsa_mtime, $old);
+       return undef if !$min;
 
-    return $ticket;
-}
+       return PVE::Ticket::verify_rsa_ticket(
+           $rsa_pub, 'PVE', $ticket, undef, $min, $max, 1);
+    };
 
-sub verify_ticket {
-    my ($ticket, $noerr) = @_;
+    my ($data, $age) = $check->();
 
-    if ($ticket && $ticket =~ m/^(PVE:\S+)::([^:\s]+)$/) {
-       my $plain = $1;
-       my $sig = $2;
+    # check with old, rotated key if current key failed
+    ($data, $age) = $check->(1) if !defined($data);
 
-       my $rsa_pub = get_pubkey();
-       if ($rsa_pub->verify($plain, decode_base64($sig))) {
-           if ($plain =~ m/^PVE:(([A-Za-z0-9\.\-_]+)(\@([A-Za-z0-9\.\-_]+))?):([A-Z0-9]{8})$/) {
-               my $username = $1;
-               my $timestamp = $5;
-               my $ttime = hex($timestamp);
+    my $auth_failure = sub {
+       if ($noerr) {
+           return undef;
+       } else {
+           # raise error via undef ticket
+           PVE::Ticket::verify_rsa_ticket(undef, 'PVE');
+       }
+    };
 
-               my $age = time() - $ttime;
+    if (!defined($data)) {
+       return $auth_failure->();
+    }
 
-               if (($age > -300) && ($age < $ticket_lifetime)) {
-                   return wantarray ? ($username, $age) : $username;
-               }
-           }
+    my ($username, $challenge);
+    if ($data =~ m{^u2f!([^!]+)!([0-9a-zA-Z/.=_\-+]+)$}) {
+       # Ticket for u2f-users:
+       ($username, $challenge) = ($1, $2);
+       if ($challenge eq 'verified') {
+           # u2f challenge was completed
+           $challenge = undef;
+       } elsif (!wantarray) {
+           # The caller is not aware there could be an ongoing challenge,
+           # so we treat this ticket as invalid:
+           return $auth_failure->();
        }
+    } else {
+       # Regular ticket (full access)
+       $username = $data;
     }
 
-    die "permission denied - invalid ticket\n" if !$noerr;
+    return undef if !PVE::Auth::Plugin::verify_username($username, $noerr);
 
-    return undef;
+    return wantarray ? ($username, $age, $challenge) : $username;
 }
 
 # VNC tickets
@@ -183,206 +338,122 @@ sub assemble_vnc_ticket {
 
     my $rsa_priv = get_privkey();
 
-    my $timestamp = sprintf("%08X", time());
-
-    my $plain = "PVEVNC:$timestamp";
-
     $path = normalize_path($path);
 
-    my $full = "$plain:$username:$path";
+    my $secret_data = "$username:$path";
 
-    my $ticket = $plain . "::" . encode_base64($rsa_priv->sign($full), '');
-
-    return $ticket;
+    return PVE::Ticket::assemble_rsa_ticket(
+       $rsa_priv, 'PVEVNC', undef, $secret_data);
 }
 
 sub verify_vnc_ticket {
     my ($ticket, $username, $path, $noerr) = @_;
 
-    if ($ticket && $ticket =~ m/^(PVEVNC:\S+)::([^:\s]+)$/) {
-       my $plain = $1;
-       my $sig = $2;
-       my $full = "$plain:$username:$path";
-
-       my $rsa_pub = get_pubkey();
-       # Note: sign only match if $username and  $path is correct
-       if ($rsa_pub->verify($full, decode_base64($sig))) {
-           if ($plain =~ m/^PVEVNC:([A-Z0-9]{8})$/) {
-               my $ttime = hex($1);
-
-               my $age = time() - $ttime;
+    my $secret_data = "$username:$path";
 
-               if (($age > -20) && ($age < 40)) {
-                   return 1;
-               }
-           }
+    my ($rsa_pub, $rsa_mtime) = get_pubkey();
+    if (!$rsa_pub || (time() - $rsa_mtime > $authkey_lifetime && $authkey_lifetime > 0)) {
+       if ($noerr) {
+           return undef;
+       } else {
+           # raise error via undef ticket
+           PVE::Ticket::verify_rsa_ticket($rsa_pub, 'PVEVNC');
        }
     }
 
-    die "permission denied - invalid vnc ticket\n" if !$noerr;
-
-    return undef;
-}
-
-
-sub authenticate_user_shadow {
-    my ($userid, $password) = @_;
-
-    die "no password\n" if !$password;
-
-    my $shadow_cfg = cfs_read_file($shadowconfigfile);
-    
-    if ($shadow_cfg->{users}->{$userid}) {
-       my $encpw = crypt($password, $shadow_cfg->{users}->{$userid}->{shadow});
-        die "invalid credentials\n" if ($encpw ne $shadow_cfg->{users}->{$userid}->{shadow});
-    } else {
-       die "no password set\n";
-    }
+    return PVE::Ticket::verify_rsa_ticket(
+       $rsa_pub, 'PVEVNC', $ticket, $secret_data, -20, 40, $noerr);
 }
 
-sub authenticate_user_pam {
-    my ($userid, $password) = @_;
-
-    # user (www-data) need to be able to read /etc/passwd /etc/shadow
-
-    die "no password\n" if !$password;
-
-    my $pamh = new Authen::PAM ('common-auth', $userid, sub {
-       my @res;
-       while(@_) {
-           my $msg_type = shift;
-           my $msg = shift;
-           push @res, (0, $password);
-       }
-       push @res, 0;
-       return @res;
-    });
-
-    if (!ref ($pamh)) {
-       my $err = $pamh->pam_strerror($pamh);
-       die "error during PAM init: $err";
-    }
+sub assemble_spice_ticket {
+    my ($username, $vmid, $node) = @_;
 
-    my $res;
+    my $secret = &$get_csrfr_secret();
 
-    if (($res = $pamh->pam_authenticate(0)) != PAM_SUCCESS) {
-       my $err = $pamh->pam_strerror($res);
-       die "$err\n";
-    }
-
-    if (($res = $pamh->pam_acct_mgmt (0)) != PAM_SUCCESS) {
-       my $err = $pamh->pam_strerror($res);
-       die "$err\n";
-    }
-
-    $pamh = 0; # call destructor
+    return PVE::Ticket::assemble_spice_ticket(
+       $secret, $username, $vmid, $node);
 }
 
-sub authenticate_user_ad {
-
-    my ($entry, $server, $userid, $password) = @_;
-
-    my $default_port = $entry->{secure} ? 636: 389;
-    my $port = $entry->{port} ? $entry->{port} : $default_port;
-    my $scheme = $entry->{secure} ? 'ldaps' : 'ldap';
-    my $conn_string = "$scheme://${server}:$port";
-    
-    my $ldap = Net::LDAP->new($server) || die "$@\n";
+sub verify_spice_connect_url {
+    my ($connect_str) = @_;
 
-    $userid = "$userid\@$entry->{domain}" 
-       if $userid !~ m/@/ && $entry->{domain};
+    my $secret = &$get_csrfr_secret();
 
-    my $res = $ldap->bind($userid, password => $password);
-
-    my $code = $res->code();
-    my $err = $res->error;
-
-    $ldap->unbind();
-
-    die "$err\n" if ($code);
+    return PVE::Ticket::verify_spice_connect_url($secret, $connect_str);
 }
 
-sub authenticate_user_ldap {
+sub read_x509_subject_spice {
+    my ($filename) = @_;
 
-    my ($entry, $server, $userid, $password) = @_;
+    # read x509 subject
+    my $bio = Net::SSLeay::BIO_new_file($filename, 'r');
+    die "Could not open $filename using OpenSSL\n"
+       if !$bio;
 
-    my $default_port = $entry->{secure} ? 636: 389;
-    my $port = $entry->{port} ? $entry->{port} : $default_port;
-    my $scheme = $entry->{secure} ? 'ldaps' : 'ldap';
-    my $conn_string = "$scheme://${server}:$port";
+    my $x509 = Net::SSLeay::PEM_read_bio_X509($bio);
+    Net::SSLeay::BIO_free($bio);
 
-    my $ldap = Net::LDAP->new($conn_string, verify => 'none') || die "$@\n";
-    my $search = $entry->{user_attr} . "=" . $userid;
-    my $result = $ldap->search( base    => "$entry->{base_dn}",
-                               scope   => "sub",
-                               filter  => "$search",
-                               attrs   => ['dn']
-                               );
-    die "no entries returned\n" if !$result->entries;
-    my @entries = $result->entries;
-    my $res = $ldap->bind($entries[0]->dn, password => $password);
+    die "Could not parse X509 certificate in $filename\n"
+       if !$x509;
 
-    my $code = $res->code();
-    my $err = $res->error;
+    my $nameobj = Net::SSLeay::X509_get_subject_name($x509);
+    my $subject = Net::SSLeay::X509_NAME_oneline($nameobj);
+    Net::SSLeay::X509_free($x509);
 
-    $ldap->unbind();
+    # remote-viewer wants comma as seperator (not '/')
+    $subject =~ s!^/!!;
+    $subject =~ s!/(\w+=)!,$1!g;
 
-    die "$err\n" if ($code);
+    return $subject;
 }
 
-sub authenticate_user_domain {
-    my ($realm, $userid, $password) = @_;
-    my $domain_cfg = cfs_read_file($domainconfigfile);
+# helper to generate SPICE remote-viewer configuration
+sub remote_viewer_config {
+    my ($authuser, $vmid, $node, $proxy, $title, $port) = @_;
 
-    die "no auth domain specified" if !$realm;
+    if (!$proxy) {
+       my $host = `hostname -f` || PVE::INotify::nodename();
+       chomp $host;
+       $proxy = $host;
+    }
 
-    if ($realm eq 'pam') {
-       authenticate_user_pam($userid, $password);
-       return;
-    } 
-
-    eval {
-       if ($realm eq 'pve') {
-           authenticate_user_shadow($userid, $password);
-       } else { 
-
-           my $cfg = $domain_cfg->{$realm};
-           die "auth domain '$realm' does not exists\n" if !$cfg;
-    
-           if ($cfg->{type} eq 'ad') {
-               eval { authenticate_user_ad($cfg, $cfg->{server1}, $userid, $password); };
-               my $err = $@;
-               return if !$err;
-               die $err if !$cfg->{server2};
-               authenticate_user_ad($cfg, $cfg->{server2}, $userid, $password); 
-           } elsif ($cfg->{type} eq 'ldap') {
-               eval { authenticate_user_ldap($cfg, $cfg->{server1}, $userid, $password); };
-               my $err = $@;
-               return if !$err;
-               die $err if !$cfg->{server2};
-               authenticate_user_ldap($cfg, $cfg->{server2}, $userid, $password); 
-           } else {
-               die "unknown auth type '$cfg->{type}'\n";
-           }
-       }
+    my ($ticket, $proxyticket) = assemble_spice_ticket($authuser, $vmid, $node);
+
+    my $filename = "/etc/pve/local/pve-ssl.pem";
+    my $subject = read_x509_subject_spice($filename);
+
+    my $cacert = PVE::Tools::file_get_contents("/etc/pve/pve-root-ca.pem", 8192);
+    $cacert =~ s/\n/\\n/g;
+
+    $proxy = "[$proxy]" if Net::IP::ip_is_ipv6($proxy);
+    my $config = {
+       'secure-attention' => "Ctrl+Alt+Ins",
+       'toggle-fullscreen' => "Shift+F11",
+       'release-cursor' => "Ctrl+Alt+R",
+       type => 'spice',
+       title => $title,
+       host => $proxyticket, # this breaks tls hostname verification, so we need to use 'host-subject'
+       proxy => "http://$proxy:3128",
+       'tls-port' => $port,
+       'host-subject' => $subject,
+       ca => $cacert,
+       password => $ticket,
+       'delete-this-file' => 1,
     };
-    if (my $err = $@) {
-       sleep(2); # timeout after failed auth
-       die $err;
-    }
+
+    return ($ticket, $proxyticket, $config);
 }
 
 sub check_user_exist {
     my ($usercfg, $username, $noerr) = @_;
 
-    $username = verify_username($username, $noerr);
+    $username = PVE::Auth::Plugin::verify_username($username, $noerr);
     return undef if !$username;
+
     return $usercfg->{users}->{$username} if $usercfg && $usercfg->{users}->{$username};
 
     die "no such user ('$username')\n" if !$noerr;
+
     return undef;
 }
 
@@ -394,188 +465,172 @@ sub check_user_enabled {
 
     return 1 if $data->{enable};
 
-    return 1 if $username eq 'root@pam'; # root is always enabled
-
     die "user '$username' is disabled\n" if !$noerr;
+
     return undef;
 }
 
-# password should be utf8 encoded
-sub authenticate_user {
-    my ($username, $password) = @_;
-
-    die "no username specified\n" if !$username;
-    my ($userid, $realm);
+sub verify_one_time_pw {
+    my ($type, $username, $keys, $tfa_cfg, $otp) = @_;
 
-    ($username, $userid, $realm) = verify_username($username);
+    die "missing one time password for two-factor authentication '$type'\n" if !$otp;
 
-    my $usercfg = cfs_read_file('user.cfg');
+    # fixme: proxy support?
+    my $proxy;
 
-    eval { check_user_enabled($usercfg, $username); };
-    if (my $err = $@) {
-       sleep(2);
-       die $err;
+    if ($type eq 'yubico') {
+       PVE::OTP::yubico_verify_otp($otp, $keys, $tfa_cfg->{url},
+                                   $tfa_cfg->{id}, $tfa_cfg->{key}, $proxy);
+    } elsif ($type eq 'oath') {
+       PVE::OTP::oath_verify_otp($otp, $keys, $tfa_cfg->{step}, $tfa_cfg->{digits});
+    } else {
+       die "unknown tfa type '$type'\n";
     }
+}
 
-    my $ctime = time();
-    my $expire = $usercfg->{users}->{$username}->{expire};
+# password should be utf8 encoded
+# Note: some plugins delay/sleep if auth fails
+sub authenticate_user {
+    my ($username, $password, $otp) = @_;
 
-    if ($expire && ($expire < $ctime)) {
-       sleep(2);
-       die "account expired\n"
-    }
+    die "no username specified\n" if !$username;
 
-    authenticate_user_domain($realm, $userid, $password);
+    my ($ruid, $realm);
 
-    return $username;
-}
+    ($username, $ruid, $realm) = PVE::Auth::Plugin::verify_username($username);
 
-sub delete_shadow_password {
-    my ($userid) = @_;
-    lock_shadow_config(sub {
-       my $shadow_cfg = cfs_read_file($shadowconfigfile);
-       delete ($shadow_cfg->{users}->{$userid})
-           if $shadow_cfg->{users}->{$userid};
-       cfs_write_file($shadowconfigfile, $shadow_cfg);
-    });
-}
+    my $usercfg = cfs_read_file('user.cfg');
 
-sub store_shadow_password {
-    my ($userid, $password) = @_;
-  
-    lock_shadow_config(sub {
-       my $shadow_cfg = cfs_read_file($shadowconfigfile);
-       $shadow_cfg->{users}->{$userid}->{shadow} = encrypt_pw($password);
-       cfs_write_file($shadowconfigfile, $shadow_cfg);
-    });
-}
+    check_user_enabled($usercfg, $username);
 
-sub encrypt_pw {
-    my ($pw) = @_;
+    my $ctime = time();
+    my $expire = $usercfg->{users}->{$username}->{expire};
 
-    my $time = substr (Digest::SHA::sha1_base64 (time), 0, 8);
-    return crypt (encode("utf8", $pw), "\$5\$$time\$");
-}
+    die "account expired\n" if $expire && ($expire < $ctime);
 
-sub store_pam_password {
-    my ($userid, $password) = @_;
+    my $domain_cfg = cfs_read_file('domains.cfg');
 
-    my $cmd = ['/usr/sbin/usermod'];
+    my $cfg = $domain_cfg->{ids}->{$realm};
+    die "auth domain '$realm' does not exists\n" if !$cfg;
+    my $plugin = PVE::Auth::Plugin->lookup($cfg->{type});
+    $plugin->authenticate_user($cfg, $realm, $ruid, $password);
 
-    my $epw = encrypt_pw($password);
-    push @$cmd, '-p', $epw;
+    my $u2f;
 
-    push @$cmd, $userid;
+    my ($type, $tfa_data) = user_get_tfa($username, $realm);
+    if ($type) {
+       if ($type eq 'u2f') {
+           # Note that if the user did not manage to complete the initial u2f registration
+           # challenge we have a hash containing a 'challenge' entry in the user's tfa.cfg entry:
+           $u2f = $tfa_data if !exists $tfa_data->{challenge};
+       } else {
+           my $keys = $tfa_data->{keys};
+           my $tfa_cfg = $tfa_data->{config};
+           verify_one_time_pw($type, $username, $keys, $tfa_cfg, $otp);
+       }
+    }
 
-    run_command($cmd);
+    return wantarray ? ($username, $u2f) : $username;
 }
 
 sub domain_set_password {
-    my ($realm, $userid, $password) = @_;
+    my ($realm, $username, $password) = @_;
 
     die "no auth domain specified" if !$realm;
 
-    if ($realm eq 'pam') {
-       store_pam_password($userid, $password);
-    } elsif ($realm eq 'pve') {
-       store_shadow_password($userid, $password);
-    } else {
-       die "can't set password on auth domain '$realm'\n";
-    }
+    my $domain_cfg = cfs_read_file('domains.cfg');
+
+    my $cfg = $domain_cfg->{ids}->{$realm};
+    die "auth domain '$realm' does not exist\n" if !$cfg;
+    my $plugin = PVE::Auth::Plugin->lookup($cfg->{type});
+    $plugin->store_password($cfg, $realm, $username, $password);
 }
 
 sub add_user_group {
-
     my ($username, $usercfg, $group) = @_;
+
     $usercfg->{users}->{$username}->{groups}->{$group} = 1;
     $usercfg->{groups}->{$group}->{users}->{$username} = 1;
 }
 
 sub delete_user_group {
-
     my ($username, $usercfg) = @_;
-    
+
     foreach my $group (keys %{$usercfg->{groups}}) {
 
-       delete ($usercfg->{groups}->{$group}->{users}->{$username}) 
+       delete ($usercfg->{groups}->{$group}->{users}->{$username})
            if $usercfg->{groups}->{$group}->{users}->{$username};
     }
 }
 
 sub delete_user_acl {
-
     my ($username, $usercfg) = @_;
 
     foreach my $acl (keys %{$usercfg->{acl}}) {
 
-       delete ($usercfg->{acl}->{$acl}->{users}->{$username}) 
+       delete ($usercfg->{acl}->{$acl}->{users}->{$username})
            if $usercfg->{acl}->{$acl}->{users}->{$username};
     }
 }
 
 sub delete_group_acl {
-
     my ($group, $usercfg) = @_;
 
     foreach my $acl (keys %{$usercfg->{acl}}) {
 
-       delete ($usercfg->{acl}->{$acl}->{groups}->{$group}) 
+       delete ($usercfg->{acl}->{$acl}->{groups}->{$group})
            if $usercfg->{acl}->{$acl}->{groups}->{$group};
     }
 }
 
 sub delete_pool_acl {
-
     my ($pool, $usercfg) = @_;
 
     my $path = "/pool/$pool";
 
-    foreach my $aclpath (keys %{$usercfg->{acl}}) {
-       delete ($usercfg->{acl}->{$aclpath})
-           if $usercfg->{acl}->{$aclpath} eq 'path';
-    }
+    delete ($usercfg->{acl}->{$path})
 }
 
 # we automatically create some predefined roles by splitting privs
 # into 3 groups (per category)
 # root: only root is allowed to do that
 # admin: an administrator can to that
-# user: a normak user/customer can to that
+# user: a normal user/customer can to that
 my $privgroups = {
     VM => {
        root => [],
-       admin => [           
-           'VM.Config.Disk', 
-           'VM.Config.CDROM', # change CDROM media
-           'VM.Config.CPU', 
-           'VM.Config.Memory', 
-           'VM.Config.Network', 
+       admin => [
+           'VM.Config.Disk',
+           'VM.Config.CPU',
+           'VM.Config.Memory',
+           'VM.Config.Network',
            'VM.Config.HWType',
-           'VM.Config.Options', # covers all other things 
-           'VM.Allocate', 
+           'VM.Config.Options', # covers all other things
+           'VM.Allocate',
+           'VM.Clone',
            'VM.Migrate',
-           'VM.Monitor', 
+           'VM.Monitor',
+           'VM.Snapshot',
+           'VM.Snapshot.Rollback',
        ],
        user => [
-           'VM.Console', 
+           'VM.Config.CDROM', # change CDROM media
+           'VM.Console',
            'VM.Backup',
            'VM.PowerMgmt',
        ],
-       audit => [ 
+       audit => [
            'VM.Audit',
        ],
     },
     Sys => {
        root => [
-           'Sys.PowerMgmt',     
+           'Sys.PowerMgmt',
            'Sys.Modify', # edit/change node settings
        ],
        admin => [
            'Permissions.Modify',
-           'Sys.Console',    
+           'Sys.Console',
            'Sys.Syslog',
        ],
        user => [],
@@ -603,7 +658,7 @@ my $privgroups = {
        admin => [
            'User.Modify',
            'Group.Allocate', # edit/change group settings
-           'Realm.AllocateUser', 
+           'Realm.AllocateUser',
        ],
        user => [],
        audit => [],
@@ -621,15 +676,15 @@ my $privgroups = {
 my $valid_privs = {};
 
 my $special_roles = {
-    'NoAccess' => {}, # no priviledges
-    'Administrator' => $valid_privs, # all priviledges
+    'NoAccess' => {}, # no privileges
+    'Administrator' => $valid_privs, # all privileges
 };
 
 sub create_roles {
 
     foreach my $cat (keys %$privgroups) {
        my $cd = $privgroups->{$cat};
-       foreach my $p (@{$cd->{root}}, @{$cd->{admin}}, 
+       foreach my $p (@{$cd->{root}}, @{$cd->{admin}},
                       @{$cd->{user}}, @{$cd->{audit}}) {
            $valid_privs->{$p} = 1;
        }
@@ -647,29 +702,27 @@ sub create_roles {
            $special_roles->{"PVEAuditor"}->{$p} = 1;
        }
     }
+
+    $special_roles->{"PVETemplateUser"} = { 'VM.Clone' => 1, 'VM.Audit' => 1 };
 };
 
 create_roles();
 
-my $valid_attributes = {
-    ad => {
-       server1 => '[\w\d]+(.[\w\d]+)*',
-       server2 => '[\w\d]+(.[\w\d]+)*',
-       domain => '\S+',
-       port => '\d+',
-       secure => '',
-       comment => '.*',
-    },
-    ldap => {
-       server1 => '[\w\d]+(.[\w\d]+)*',
-       server2 => '[\w\d]+(.[\w\d]+)*',
-       base_dn => '\w+=[\w\s]+(,\s*\w+=[\w\s]+)*',
-       user_attr => '\S{2,}',
-       secure => '',
-       port => '\d+',
-       comment => '.*',
+sub create_priv_properties {
+    my $properties = {};
+    foreach my $priv (keys %$valid_privs) {
+       $properties->{$priv} = {
+           type => 'boolean',
+           optional => 1,
+       };
     }
-};
+    return $properties;
+}
+
+sub role_is_special {
+    my ($role) = @_;
+    return (exists $special_roles->{$role}) ? 1 : 0;
+}
 
 sub add_role_privs {
     my ($role, $usercfg, $privs) = @_;
@@ -682,9 +735,9 @@ sub add_role_privs {
        if (defined ($valid_privs->{$priv})) {
            $usercfg->{roles}->{$role}->{$priv} = 1;
        } else {
-           die "invalid priviledge '$priv'\n";
-       } 
-    }  
+           die "invalid privilege '$priv'\n";
+       }
+    }
 }
 
 sub normalize_path {
@@ -698,59 +751,10 @@ sub normalize_path {
 
     $path = "/$path" if $path !~ m|^/|;
 
-    return undef if $path !~ m|^[[:alnum:]\-\_\/]+$|;
+    return undef if $path !~ m|^[[:alnum:]\.\-\_\/]+$|;
 
     return $path;
-} 
-
-my $realm_regex = qr/[A-Za-z][A-Za-z0-9\.\-_]+/;
-
-sub pve_verify_realm {
-    my ($realm, $noerr) = @_;
-    if ($realm !~ m/^${realm_regex}$/) {
-       return undef if $noerr;
-       die "value does not look like a valid realm\n"; 
-    }
-    return $realm;
-}
-
-PVE::JSONSchema::register_format('pve-userid', \&verify_username);
-sub verify_username {
-    my ($username, $noerr) = @_;
-
-    $username = '' if !$username;
-    my $len = length($username);
-    if ($len < 3) {
-       die "user name '$username' is too short\n" if !$noerr;
-       return undef;
-    }
-    if ($len > 64) {
-       die "user name '$username' is too long ($len > 64)\n" if !$noerr;
-       return undef;
-    }
-
-    # we only allow a limited set of characters (colon is not allowed,
-    # because we store usernames in colon separated lists)!
-    if ($username =~ m/^([^\s:]+)\@(${realm_regex})$/) {
-       return wantarray ? ($username, $1, $2) : $username;
-    }
-
-    die "value '$username' does not look like a valid user name\n" if !$noerr;
-
-    return undef;
 }
-PVE::JSONSchema::register_standard_option('userid', {
-    description => "User ID",
-    type => 'string', format => 'pve-userid',
-    maxLength => 64,
-});
-
-PVE::JSONSchema::register_standard_option('realm', {
-    description => "Authentication domain ID",
-    type => 'string', format => 'pve-configid',
-    maxLength => 32,
-});
 
 PVE::JSONSchema::register_format('pve-groupid', \&verify_groupname);
 sub verify_groupname {
@@ -762,7 +766,7 @@ sub verify_groupname {
 
        return undef;
     }
-    
+
     return $groupname;
 }
 
@@ -776,11 +780,11 @@ sub verify_rolename {
 
        return undef;
     }
-    
+
     return $rolename;
 }
 
-PVE::JSONSchema::register_format('pve-poolid', \&verify_groupname);
+PVE::JSONSchema::register_format('pve-poolid', \&verify_poolname);
 sub verify_poolname {
     my ($poolname, $noerr) = @_;
 
@@ -790,7 +794,7 @@ sub verify_poolname {
 
        return undef;
     }
-    
+
     return $poolname;
 }
 
@@ -799,11 +803,11 @@ sub verify_privname {
     my ($priv, $noerr) = @_;
 
     if (!$valid_privs->{$priv}) {
-       die "invalid priviledge '$priv'\n" if !$noerr;
+       die "invalid privilege '$priv'\n" if !$noerr;
 
        return undef;
     }
-    
+
     return $priv;
 }
 
@@ -814,10 +818,10 @@ sub userconfig_force_defaults {
        $cfg->{roles}->{$r} = $special_roles->{$r};
     }
 
-    # fixme: remove 'root' group (not required)?
-
-    # add root user 
-    $cfg->{users}->{'root@pam'}->{enable} = 1;
+    # add root user if not exists
+    if (!$cfg->{users}->{'root@pam'}) {
+       $cfg->{users}->{'root@pam'}->{enable} = 1;
+    }
 }
 
 sub parse_user_config {
@@ -827,15 +831,13 @@ sub parse_user_config {
 
     userconfig_force_defaults($cfg);
 
-    while ($raw && $raw =~ s/^(.*?)(\n|$)//) {
+    $raw = '' if !defined($raw);
+    while ($raw =~ /^\s*(.+?)\s*$/gm) {
        my $line = $1;
-
-       next if $line =~ m/^\s*$/; # skip empty lines
-
        my @data;
 
        foreach my $d (split (/:/, $line)) {
-           $d =~ s/^\s+//; 
+           $d =~ s/^\s+//;
            $d =~ s/\s+$//;
            push @data, $d
        }
@@ -843,9 +845,9 @@ sub parse_user_config {
        my $et = shift @data;
 
        if ($et eq 'user') {
-           my ($user, $enable, $expire, $firstname, $lastname, $email, $comment) = @data;
+           my ($user, $enable, $expire, $firstname, $lastname, $email, $comment, $keys) = @data;
 
-           my (undef, undef, $realm) = verify_username($user, 1);
+           my (undef, undef, $realm) = PVE::Auth::Plugin::verify_username($user, 1);
            if (!$realm) {
                warn "user config - ignore user '$user' - invalid user name\n";
                next;
@@ -875,6 +877,8 @@ sub parse_user_config {
            $cfg->{users}->{$user}->{email} = $email;
            $cfg->{users}->{$user}->{comment} = PVE::Tools::decode_text($comment) if $comment;
            $cfg->{users}->{$user}->{expire} = $expire;
+           # keys: allowed yubico key ids or oath secrets (base32 encoded)
+           $cfg->{users}->{$user}->{keys} = $keys if $keys;
 
            #$cfg->{users}->{$user}->{groups}->{$group} = 1;
            #$cfg->{groups}->{$group}->{$user} = 1;
@@ -894,12 +898,12 @@ sub parse_user_config {
 
            foreach my $user (split_list($userlist)) {
 
-               if (!verify_username($user, 1)) {
+               if (!PVE::Auth::Plugin::verify_username($user, 1)) {
                    warn "user config - ignore invalid group member '$user'\n";
                    next;
                }
 
-               if ($cfg->{users}->{$user}) { # user exists 
+               if ($cfg->{users}->{$user}) { # user exists
                    $cfg->{users}->{$user}->{groups}->{$group} = 1;
                    $cfg->{groups}->{$group}->{users}->{$user} = 1;
                } else {
@@ -909,7 +913,7 @@ sub parse_user_config {
 
        } elsif ($et eq 'role') {
            my ($role, $privlist) = @data;
-               
+
            if (!verify_rolename($role, 1)) {
                warn "user config - ignore role '$role' - invalid characters in role name\n";
                next;
@@ -923,30 +927,30 @@ sub parse_user_config {
                    $cfg->{roles}->{$role}->{$priv} = 1;
                } else {
                    warn "user config - ignore invalid priviledge '$priv'\n";
-               } 
+               }
            }
-           
+
        } elsif ($et eq 'acl') {
            my ($propagate, $pathtxt, $uglist, $rolelist) = @data;
 
            if (my $path = normalize_path($pathtxt)) {
                foreach my $role (split_list($rolelist)) {
-                       
+
                    if (!verify_rolename($role, 1)) {
                        warn "user config - ignore invalid role name '$role' in acl\n";
                        next;
                    }
 
                    foreach my $ug (split_list($uglist)) {
-                       if ($ug =~ m/^@(\w+)$/) {
+                       if ($ug =~ m/^@(\S+)$/) {
                            my $group = $1;
-                           if ($cfg->{groups}->{$group}) { # group exists 
+                           if ($cfg->{groups}->{$group}) { # group exists
                                $cfg->{acl}->{$path}->{groups}->{$group}->{$role} = $propagate;
                            } else {
                                warn "user config - ignore invalid acl group '$group'\n";
                            }
-                       } elsif (verify_username($ug, 1)) {
-                           if ($cfg->{users}->{$ug}) { # user exists 
+                       } elsif (PVE::Auth::Plugin::verify_username($ug, 1)) {
+                           if ($cfg->{users}->{$ug}) { # user exists
                                $cfg->{acl}->{$path}->{users}->{$ug}->{$role} = $propagate;
                            } else {
                                warn "user config - ignore invalid acl member '$ug'\n";
@@ -985,7 +989,7 @@ sub parse_user_config {
                }
 
                $cfg->{pools}->{$pool}->{vms}->{$vmid} = 1;
-                   
+
                # record vmid ==> pool relation
                $cfg->{vms}->{$vmid} = $pool;
            }
@@ -1007,191 +1011,6 @@ sub parse_user_config {
     return $cfg;
 }
 
-sub parse_shadow_passwd {
-    my ($filename, $raw) = @_;
-
-    my $shadow = {};
-
-    while ($raw && $raw =~ s/^(.*?)(\n|$)//) {
-       my $line = $1;
-
-       next if $line =~ m/^\s*$/; # skip empty lines
-
-       if ($line !~ m/^\S+:\S+:$/) {
-           warn "pve shadow password: ignore invalid line $.\n";
-           next;
-       }
-
-       my ($userid, $crypt_pass) = split (/:/, $line);
-       $shadow->{users}->{$userid}->{shadow} = $crypt_pass;
-    }
-
-    return $shadow;
-}
-
-sub write_domains {
-    my ($filename, $cfg) = @_;
-
-    my $data = '';
-
-    my $wrote_default;
-
-    foreach my $realm (sort keys %$cfg) {
-       my $entry = $cfg->{$realm};
-       my $type = lc($entry->{type});
-
-       next if !$type;
-
-       next if ($type eq 'pam') || ($type eq 'pve');
-
-       my $formats = $valid_attributes->{$type};
-       next if !$formats;
-
-       $data .= "$type: $realm\n";
-
-       foreach my $k (sort keys %$entry) {
-           next if $k eq 'type';
-           my $v = $entry->{$k};
-           if ($k eq 'default') {
-                   $data .= "\t$k\n" if $v && !$wrote_default;
-                   $wrote_default = 1;
-           } elsif (defined($formats->{$k})) {
-               if (!$formats->{$k}) {
-                   $data .= "\t$k\n" if $v;
-               } elsif ($v =~ m/^$formats->{$k}$/) {
-                   $v = PVE::Tools::encode_text($v) if $k eq 'comment';
-                   $data .= "\t$k $v\n";
-               } else {
-                   die "invalid value '$v' for attribute '$k'\n";
-               }
-           } else {
-               die "invalid attribute '$k' - not supported\n";
-           }
-       }
-
-       $data .= "\n";
-    }
-
-    return $data;
-}
-
-sub parse_domains {
-    my ($filename, $raw) = @_;
-
-    my $cfg = {};
-
-    my $default;
-
-    while ($raw && $raw =~ s/^(.*?)(\n|$)//) {
-       my $line = $1;
-       next if $line =~ m/^\#/; # skip comment lines
-       next if $line =~ m/^\s*$/; # skip empty lines
-
-       if ($line =~ m/^(\S+):\s*(\S+)\s*$/) {
-           my $realm = $2;
-           my $type = lc($1);
-
-           my $ignore = 0;
-           my $entry;
-
-           my $formats = $valid_attributes->{$type};
-           if (!$formats) {
-               $ignore = 1;
-               warn "ignoring domain '$realm' - (unsupported authentication type '$type')\n";
-           } elsif (!pve_verify_realm($realm, 1)) {
-               $ignore = 1;
-               warn "ignoring domain '$realm' - (illegal characters)\n";
-           } else {
-               $entry = { type => $type };
-           }
-
-           while ($raw && $raw =~ s/^(.*?)(\n|$)//) {
-               $line = $1;
-
-               next if $line =~ m/^\#/; #skip comment lines
-               last if $line =~ m/^\s*$/;
-                   
-               next if $ignore; # skip
-
-               if ($line =~ m/^\s+(default)\s*$/) {
-                   $default = $realm if !$default;
-               } elsif ($line =~ m/^\s+(\S+)(\s+(.*\S))?\s*$/) {
-                   my ($k, $v) = (lc($1), $3);
-                   if (defined($formats->{$k})) {
-                       if (!$formats->{$k} && !defined($v)) {
-                               $entry->{$k} = 1;                           
-                       } elsif ($formats->{$k} && $v =~ m/^$formats->{$k}$/) {
-                           if (!defined($entry->{$k})) {
-                               $v = PVE::Tools::decode_text($v) if $k eq 'comment';
-                               $entry->{$k} = $v;
-                           } else {
-                               warn "ignoring duplicate attribute '$k $v'\n";
-                           }
-                       } else {
-                           warn "ignoring value '$v' for attribute '$k' - invalid format\n";
-                       }
-                   } else {
-                       warn "ignoring attribute '$k' - not supported\n";
-                   }
-               } else {
-                   warn "ignore config line: $line\n";
-               }
-           }
-
-           if ($entry->{server2} && !$entry->{server1}) {
-               $entry->{server1} = $entry->{server2};
-               delete $entry->{server2};
-           }
-
-           if ($ignore) {
-               # do nothing
-           } elsif (!$entry->{server1}) {
-               warn "ignoring domain '$realm' - missing server attribute\n";
-           } elsif (($entry->{type} eq "ldap") && !$entry->{user_attr}) {
-               warn "ignoring domain '$realm' - missing user attribute\n";
-           } elsif (($entry->{type} eq "ldap") && !$entry->{base_dn}) {
-               warn "ignoring domain '$realm' - missing base_dn attribute\n";
-           } elsif (($entry->{type} eq "ad") && !$entry->{domain}) {
-               warn "ignoring domain '$realm' - missing domain attribute\n";
-           } else {
-               $cfg->{$realm} = $entry;
-           }
-     
-       } else {
-           warn "ignore config line: $line\n";
-       }
-    }
-
-    $cfg->{$default}->{default} = 1 if $default;
-
-    # add default domains
-
-    $cfg->{pve} = {
-       type => 'builtin',
-       comment => "Proxmox VE authentication server", 
-    };
-
-    $cfg->{pam} = {
-       type => 'builtin',
-       comment => "Linux PAM standard authentication", 
-    };
-       
-    return $cfg;
-}
-
-sub write_shadow_config {
-    my ($filename, $cfg) = @_;
-
-    my $data = '';
-    foreach my $userid (keys %{$cfg->{users}}) {
-       my $crypt_pass = $cfg->{users}->{$userid}->{shadow};
-       $data .= "$userid:$crypt_pass:\n";
-    }
-
-    return $data
-}
-
 sub write_user_config {
     my ($filename, $cfg) = @_;
 
@@ -1205,7 +1024,8 @@ sub write_user_config {
        my $comment = $d->{comment} ? PVE::Tools::encode_text($d->{comment}) : '';
        my $expire = int($d->{expire} || 0);
        my $enable = $d->{enable} ? 1 : 0;
-       $data .= "user:$user:$enable:$expire:$firstname:$lastname:$email:$comment:\n";
+       my $keys = $d->{keys} ? $d->{keys} : '';
+       $data .= "user:$user:$enable:$expire:$firstname:$lastname:$email:$comment:$keys:\n";
     }
 
     $data .= "\n";
@@ -1213,7 +1033,7 @@ sub write_user_config {
     foreach my $group (keys %{$cfg->{groups}}) {
        my $d = $cfg->{groups}->{$group};
        my $list = join (',', keys %{$d->{users}});
-       my $comment = $d->{comment} ? PVE::Tools::encode_text($d->{comment}) : '';      
+       my $comment = $d->{comment} ? PVE::Tools::encode_text($d->{comment}) : '';
        $data .= "group:$group:$list:$comment:\n";
     }
 
@@ -1223,7 +1043,7 @@ sub write_user_config {
        my $d = $cfg->{pools}->{$pool};
        my $vmlist = join (',', keys %{$d->{vms}});
        my $storelist = join (',', keys %{$d->{storage}});
-       my $comment = $d->{comment} ? PVE::Tools::encode_text($d->{comment}) : '';      
+       my $comment = $d->{comment} ? PVE::Tools::encode_text($d->{comment}) : '';
        $data .= "pool:$pool:$comment:$vmlist:$storelist:\n";
     }
 
@@ -1262,8 +1082,8 @@ sub write_user_config {
        }
 
        foreach my $user (keys %{$d->{users}}) {
-           # no need to save, because root is always 'Administartor'
-           next if $user eq 'root@pam'; 
+           # no need to save, because root is always 'Administrator'
+           next if $user eq 'root@pam';
 
            my $l0 = '';
            my $l1 = '';
@@ -1294,10 +1114,68 @@ sub write_user_config {
     return $data;
 }
 
+# The TFA configuration in priv/tfa.cfg format contains one line per user of
+# the form:
+#     USER:TYPE:DATA
+# DATA is a base64 encoded json string and its format depends on the type.
+sub parse_priv_tfa_config {
+    my ($filename, $raw) = @_;
+
+    my $users = {};
+    my $cfg = { users => $users };
+
+    $raw = '' if !defined($raw);
+    while ($raw =~ /^\s*(.+?)\s*$/gm) {
+       my $line = $1;
+       my ($user, $type, $data) = split(/:/, $line, 3);
+
+       my (undef, undef, $realm) = PVE::Auth::Plugin::verify_username($user, 1);
+       if (!$realm) {
+           warn "user tfa config - ignore user '$user' - invalid user name\n";
+           next;
+       }
+
+       $data = decode_json(decode_base64($data));
+
+       $users->{$user} = {
+           type => $type,
+           data => $data,
+       };
+    }
+
+    return $cfg;
+}
+
+sub write_priv_tfa_config {
+    my ($filename, $cfg) = @_;
+
+    my $output = '';
+
+    my $users = $cfg->{users};
+    foreach my $user (sort keys %$users) {
+       my $info = $users->{$user};
+       next if !%$info; # skip empty entries
+
+       $info = {%$info}; # copy to verify contents:
+
+       my $type = delete $info->{type};
+       my $data = delete $info->{data};
+
+       if (my @keys = keys %$info) {
+           die "invalid keys in TFA config for user $user: " . join(', ', @keys) . "\n";
+       }
+
+       $data = encode_base64(encode_json($data), '');
+       $output .= "${user}:${type}:${data}\n";
+    }
+
+    return $output;
+}
+
 sub roles {
     my ($cfg, $user, $path) = @_;
 
-    # NOTE: we do not consider pools here. 
+    # NOTE: we do not consider pools here.
     # You need to use $rpcenv->roles() instead if you want that.
 
     return 'Administrator' if $user eq 'root@pam'; # root can do anything
@@ -1352,7 +1230,7 @@ sub roles {
 
     return ('NoAccess') if defined ($perm->{NoAccess});
     #return () if defined ($perm->{NoAccess});
-   
+
     #print "permission $user $path = " . Dumper ($perm);
 
     my @ra = keys %$perm;
@@ -1361,15 +1239,15 @@ sub roles {
 
     return @ra;
 }
-    
+
 sub permission {
     my ($cfg, $user, $path) = @_;
 
-    $user = verify_username($user, 1);
+    $user = PVE::Auth::Plugin::verify_username($user, 1);
     return {} if !$user;
 
     my @ra = roles($cfg, $user, $path);
-    
+
     my $privs = {};
 
     foreach my $role (@ra) {
@@ -1399,4 +1277,220 @@ sub check_permissions {
     return 1;
 }
 
+sub remove_vm_access {
+    my ($vmid) = @_;
+    my $delVMaccessFn = sub {
+        my $usercfg = cfs_read_file("user.cfg");
+       my $modified;
+
+        if (my $acl = $usercfg->{acl}->{"/vms/$vmid"}) {
+            delete $usercfg->{acl}->{"/vms/$vmid"};
+           $modified = 1;
+        }
+        if (my $pool = $usercfg->{vms}->{$vmid}) {
+            if (my $data = $usercfg->{pools}->{$pool}) {
+                delete $data->{vms}->{$vmid};
+                delete $usercfg->{vms}->{$vmid};
+               $modified = 1;
+            }
+        }
+       cfs_write_file("user.cfg", $usercfg) if $modified;
+    };
+
+    lock_user_config($delVMaccessFn, "access permissions cleanup for VM $vmid failed");
+}
+
+sub remove_storage_access {
+    my ($storeid) = @_;
+
+    my $deleteStorageAccessFn = sub {
+        my $usercfg = cfs_read_file("user.cfg");
+       my $modified;
+
+        if (my $storage = $usercfg->{acl}->{"/storage/$storeid"}) {
+            delete $usercfg->{acl}->{"/storage/$storeid"};
+            $modified = 1;
+        }
+       foreach my $pool (keys %{$usercfg->{pools}}) {
+           delete $usercfg->{pools}->{$pool}->{storage}->{$storeid};
+           $modified = 1;
+       }
+        cfs_write_file("user.cfg", $usercfg) if $modified;
+    };
+
+    lock_user_config($deleteStorageAccessFn,
+                    "access permissions cleanup for storage $storeid failed");
+}
+
+sub add_vm_to_pool {
+    my ($vmid, $pool) = @_;
+
+    my $addVMtoPoolFn = sub {
+       my $usercfg = cfs_read_file("user.cfg");
+       if (my $data = $usercfg->{pools}->{$pool}) {
+           $data->{vms}->{$vmid} = 1;
+           $usercfg->{vms}->{$vmid} = $pool;
+           cfs_write_file("user.cfg", $usercfg);
+       }
+    };
+
+    lock_user_config($addVMtoPoolFn, "can't add VM $vmid to pool '$pool'");
+}
+
+sub remove_vm_from_pool {
+    my ($vmid) = @_;
+
+    my $delVMfromPoolFn = sub {
+       my $usercfg = cfs_read_file("user.cfg");
+       if (my $pool = $usercfg->{vms}->{$vmid}) {
+           if (my $data = $usercfg->{pools}->{$pool}) {
+               delete $data->{vms}->{$vmid};
+               delete $usercfg->{vms}->{$vmid};
+               cfs_write_file("user.cfg", $usercfg);
+           }
+       }
+    };
+
+    lock_user_config($delVMfromPoolFn, "pool cleanup for VM $vmid failed");
+}
+
+my $USER_CONTROLLED_TFA_TYPES = {
+    u2f => 1,
+    oath => 1,
+};
+
+# Delete an entry by setting $data=undef in which case $type is ignored.
+# Otherwise both must be valid.
+sub user_set_tfa {
+    my ($userid, $realm, $type, $data, $cached_usercfg, $cached_domaincfg) = @_;
+
+    if (defined($data) && !defined($type)) {
+       # This is an internal usage error and should not happen
+       die "cannot set tfa data without a type\n";
+    }
+
+    my $user_cfg = $cached_usercfg || cfs_read_file('user.cfg');
+    my $user = $user_cfg->{users}->{$userid}
+       or die "user '$userid' not found\n";
+
+    my $domain_cfg = $cached_domaincfg || cfs_read_file('domains.cfg');
+    my $realm_cfg = $domain_cfg->{ids}->{$realm};
+    die "auth domain '$realm' does not exist\n" if !$realm_cfg;
+
+    my $realm_tfa = $realm_cfg->{tfa};
+    if (defined($realm_tfa)) {
+       $realm_tfa = PVE::Auth::Plugin::parse_tfa_config($realm_tfa);
+       # If the realm has a TFA setting, we're only allowed to use that.
+       if (defined($data)) {
+           my $required_type = $realm_tfa->{type};
+           if ($required_type ne $type) {
+               die "realm '$realm' only allows TFA of type '$required_type\n";
+           }
+
+           if (defined($data->{config})) {
+               # XXX: Is it enough if the type matches? Or should the configuration also match?
+           }
+
+           # realm-configured tfa always uses a simple key list, so use the user.cfg
+           $user->{keys} = $data->{keys};
+       } else {
+           die "realm '$realm' does not allow removing the 2nd factor\n";
+       }
+    } else {
+       # Without a realm-enforced TFA setting the user can add a u2f or totp entry by themselves.
+       # The 'yubico' type requires yubico server settings, which have to be configured on the
+       # realm, so this is not supported here:
+       die "domain '$realm' does not support TFA type '$type'\n"
+           if defined($data) && !$USER_CONTROLLED_TFA_TYPES->{$type};
+    }
+
+    # Custom TFA entries are stored in priv/tfa.cfg as they can be more complet: u2f uses a
+    # public key and a key handle, TOTP requires the usual totp settings...
+
+    my $tfa_cfg = cfs_read_file('priv/tfa.cfg');
+    my $tfa = ($tfa_cfg->{users}->{$userid} //= {});
+
+    if (defined($data)) {
+       $tfa->{type} = $type;
+       $tfa->{data} = $data;
+       cfs_write_file('priv/tfa.cfg', $tfa_cfg);
+
+       $user->{keys} = 'x';
+    } else {
+       delete $tfa_cfg->{users}->{$userid};
+       cfs_write_file('priv/tfa.cfg', $tfa_cfg);
+
+       delete $user->{keys};
+    }
+
+    cfs_write_file('user.cfg', $user_cfg);
+}
+
+sub user_get_tfa {
+    my ($username, $realm) = @_;
+
+    my $user_cfg = cfs_read_file('user.cfg');
+    my $user = $user_cfg->{users}->{$username}
+       or die "user '$username' not found\n";
+
+    my $keys = $user->{keys};
+    return if !$keys;
+
+    my $domain_cfg = cfs_read_file('domains.cfg');
+    my $realm_cfg = $domain_cfg->{ids}->{$realm};
+    die "auth domain '$realm' does not exist\n" if !$realm_cfg;
+
+    my $realm_tfa = $realm_cfg->{tfa};
+    $realm_tfa = PVE::Auth::Plugin::parse_tfa_config($realm_tfa)
+       if $realm_tfa;
+
+    if ($keys ne 'x') {
+       # old style config, find the type via the realm
+       return if !$realm_tfa;
+       return ($realm_tfa->{type}, {
+           keys => $keys,
+           config => $realm_tfa,
+       });
+    } else {
+       my $tfa_cfg = cfs_read_file('priv/tfa.cfg');
+       my $tfa = $tfa_cfg->{users}->{$username};
+       return if !$tfa; # should not happen (user.cfg wasn't cleaned up?)
+
+       if ($realm_tfa) {
+           # if the realm has a tfa setting we need to verify the type:
+           die "auth domain '$realm' and user have mismatching TFA settings\n"
+               if $realm_tfa && $realm_tfa->{type} ne $tfa->{type};
+       }
+
+       return ($tfa->{type}, $tfa->{data});
+    }
+}
+
+# bash completion helpers
+
+register_standard_option('userid-completed',
+    get_standard_option('userid', { completion => \&complete_username}),
+);
+
+sub complete_username {
+
+    my $user_cfg = cfs_read_file('user.cfg');
+
+    return [ keys %{$user_cfg->{users}} ];
+}
+
+sub complete_group {
+
+    my $user_cfg = cfs_read_file('user.cfg');
+
+    return [ keys %{$user_cfg->{groups}} ];
+}
+
+sub complete_realm {
+
+    my $domain_cfg = cfs_read_file('domains.cfg');
+
+    return [ keys %{$domain_cfg->{ids}} ];
+}
+
 1;