]> git.proxmox.com Git - pve-common.git/blobdiff - src/PVE/JSONSchema.pm
Reuse id parse code.
[pve-common.git] / src / PVE / JSONSchema.pm
index f014dc3f15b5c73dbadb05f865d435f70e749916..50a08243295ab63b617671344ac2d3f764d7710d 100644 (file)
@@ -16,11 +16,11 @@ use Data::Dumper;
 use base 'Exporter';
 
 our @EXPORT_OK = qw(
-register_standard_option 
+register_standard_option
 get_standard_option
 );
 
-# Note: This class implements something similar to JSON schema, but it is not 100% complete. 
+# Note: This class implements something similar to JSON schema, but it is not 100% complete.
 # see: http://tools.ietf.org/html/draft-zyp-json-schema-02
 # see: http://json-schema.org/
 
@@ -30,7 +30,7 @@ my $standard_options = {};
 sub register_standard_option {
     my ($name, $schema) = @_;
 
-    die "standard option '$name' already registered\n" 
+    die "standard option '$name' already registered\n"
        if $standard_options->{$name};
 
     $standard_options->{$name} = $schema;
@@ -77,13 +77,13 @@ register_standard_option('pve-iface', {
 register_standard_option('pve-storage-id', {
     description => "The storage identifier.",
     type => 'string', format => 'pve-storage-id',
-}); 
+});
 
 register_standard_option('pve-config-digest', {
     description => 'Prevent changes if current configuration file has different SHA1 digest. This can be used to prevent concurrent modifications.',
     type => 'string',
     optional => 1,
-    maxLength => 40, # sha1 hex digest lenght is 40
+    maxLength => 40, # sha1 hex digest length is 40
 });
 
 register_standard_option('skiplock', {
@@ -105,12 +105,26 @@ register_standard_option('fingerprint-sha256', {
     pattern => '([A-Fa-f0-9]{2}:){31}[A-Fa-f0-9]{2}',
 });
 
+register_standard_option('pve-output-format', {
+    type => 'string',
+    description => 'Output format.',
+    enum => [ 'text', 'json', 'json-pretty', 'yaml' ],
+    optional => 1,
+    default => 'text',
+});
+
+register_standard_option('pve-snapshot-name', {
+    description => "The name of the snapshot.",
+    type => 'string', format => 'pve-configid',
+    maxLength => 40,
+});
+
 my $format_list = {};
 
 sub register_format {
     my ($format, $code) = @_;
 
-    die "JSON schema format '$format' already registered\n" 
+    die "JSON schema format '$format' already registered\n"
        if $format_list->{$format};
 
     $format_list->{$format} = $code;
@@ -121,6 +135,22 @@ sub get_format {
     return $format_list->{$format};
 }
 
+my $renderer_hash = {};
+
+sub register_renderer {
+    my ($name, $code) = @_;
+
+    die "renderer '$name' already registered\n"
+       if $renderer_hash->{$name};
+
+    $renderer_hash->{$name} = $code;
+}
+
+sub get_renderer {
+    my ($name) = @_;
+    return $renderer_hash->{$name};
+}
+
 # register some common type for pve
 
 register_format('string', sub {}); # allow format => 'string-list'
@@ -138,10 +168,10 @@ sub pve_verify_urlencoded {
 register_format('pve-configid', \&pve_verify_configid);
 sub pve_verify_configid {
     my ($id, $noerr) = @_;
+
     if ($id !~ m/^[a-z][a-z0-9_]+$/i) {
        return undef if $noerr;
-       die "invalid configuration ID '$id'\n"; 
+       die "invalid configuration ID '$id'\n";
     }
     return $id;
 }
@@ -150,14 +180,19 @@ PVE::JSONSchema::register_format('pve-storage-id', \&parse_storage_id);
 sub parse_storage_id {
     my ($storeid, $noerr) = @_;
 
-    if ($storeid !~ m/^[a-z][a-z0-9\-\_\.]*[a-z0-9]$/i) {
+    return parse_id($storeid, 'storage', $noerr);
+}
+
+sub parse_id {
+    my ($id, $type, $noerr) = @_;
+
+     if ($id !~ m/^[a-z][a-z0-9\-\_\.]*[a-z0-9]$/i) {
        return undef if $noerr;
-       die "storage ID '$storeid' contains illegal characters\n";
+       die "$type ID '$id' contains illegal characters\n";
     }
-    return $storeid;
+    return $id;
 }
 
-
 register_format('pve-vmid', \&pve_verify_vmid);
 sub pve_verify_vmid {
     my ($vmid, $noerr) = @_;
@@ -180,6 +215,28 @@ sub pve_verify_node_name {
     return $node;
 }
 
+register_format('mac-addr', \&pve_verify_mac_addr);
+sub pve_verify_mac_addr {
+    my ($mac_addr, $noerr) = @_;
+
+    # don't allow I/G bit to be set, most of the time it breaks things, see:
+    # https://pve.proxmox.com/pipermail/pve-devel/2019-March/035998.html
+    if ($mac_addr !~ m/^[a-f0-9][02468ace](?::[a-f0-9]{2}){5}$/i) {
+       return undef if $noerr;
+       die "value does not look like a valid unicast MAC address\n";
+    }
+    return $mac_addr;
+
+}
+register_standard_option('mac-addr', {
+    type => 'string',
+    description => 'Unicast MAC address.',
+    verbose_description => 'A common MAC address with the I/G (Individual/Group) bit not set.',
+    format_description => "XX:XX:XX:XX:XX:XX",
+    optional => 1,
+    format => 'mac-addr',
+});
+
 register_format('ipv4', \&pve_verify_ipv4);
 sub pve_verify_ipv4 {
     my ($ipv4, $noerr) = @_;
@@ -213,7 +270,21 @@ sub pve_verify_ip {
     return $ip;
 }
 
+PVE::JSONSchema::register_format('ldap-simple-attr', \&verify_ldap_simple_attr);
+sub verify_ldap_simple_attr {
+    my ($attr, $noerr) = @_;
+
+    if ($attr =~ m/^[a-zA-Z0-9]+$/) {
+       return $attr;
+    }
+
+    die "value '$attr' does not look like a simple ldap attribute name\n" if !$noerr;
+
+    return undef;
+}
+
 my $ipv4_mask_hash = {
+    '0.0.0.0' => 0,
     '128.0.0.0' => 1,
     '192.0.0.0' => 2,
     '224.0.0.0' => 3,
@@ -248,6 +319,11 @@ my $ipv4_mask_hash = {
     '255.255.255.255' => 32,
 };
 
+sub get_netmask_bits {
+    my ($mask) = @_;
+    return $ipv4_mask_hash->{$mask};
+}
+
 register_format('ipv4mask', \&pve_verify_ipv4mask);
 sub pve_verify_ipv4mask {
     my ($mask, $noerr) = @_;
@@ -321,8 +397,7 @@ register_format('email', \&pve_verify_email);
 sub pve_verify_email {
     my ($email, $noerr) = @_;
 
-    # we use same regex as in Utils.js
-    if ($email !~ /^(\w+)([\-+.][\w]+)*@(\w[\-\w]*\.){1,5}([A-Za-z]){2,63}$/) {
+    if ($email !~ /^[\w\+\-\~]+(\.[\w\+\-\~]+)*@[a-zA-Z0-9\-]+(\.[a-zA-Z0-9\-]+)*$/) {
           return undef if $noerr;
           die "value does not look like a valid email address\n";
     }
@@ -346,10 +421,10 @@ sub pve_verify_dns_name {
 register_format('pve-iface', \&pve_verify_iface);
 sub pve_verify_iface {
     my ($id, $noerr) = @_;
+
     if ($id !~ m/^[a-z][a-z0-9_]{1,20}([:\.]\d+)?$/i) {
        return undef if $noerr;
-       die "invalid network interface name '$id'\n"; 
+       die "invalid network interface name '$id'\n";
     }
     return $id;
 }
@@ -379,9 +454,9 @@ sub pve_verify_disk_size {
 }
 
 register_standard_option('spice-proxy', {
-    description => "SPICE proxy server. This can be used by the client to specify the proxy server. All nodes in a cluster runs 'spiceproxy', so it is up to the client to choose one. By default, we return the node where the VM is currently running. As resonable setting is to use same node you use to connect to the API (This is window.location.hostname for the JS GUI).",
+    description => "SPICE proxy server. This can be used by the client to specify the proxy server. All nodes in a cluster runs 'spiceproxy', so it is up to the client to choose one. By default, we return the node where the VM is currently running. As reasonable setting is to use same node you use to connect to the API (This is window.location.hostname for the JS GUI).",
     type => 'string', format => 'address',
-}); 
+});
 
 register_standard_option('remote-viewer-config', {
     description => "Returned values can be directly passed to the 'remote-viewer' application.",
@@ -415,23 +490,23 @@ my %bwlimit_opt = (
 my $bwlimit_format = {
        default => {
            %bwlimit_opt,
-           description => 'default bandwidth limit in MiB/s',
+           description => 'default bandwidth limit in KiB/s',
        },
        restore => {
            %bwlimit_opt,
-           description => 'bandwidth limit in MiB/s for restoring guests from backups',
+           description => 'bandwidth limit in KiB/s for restoring guests from backups',
        },
        migration => {
            %bwlimit_opt,
-           description => 'bandwidth limit in MiB/s for migrating guests',
+           description => 'bandwidth limit in KiB/s for migrating guests (including moving local disks)',
        },
        clone => {
            %bwlimit_opt,
-           description => 'bandwidth limit in MiB/s for cloning disks',
+           description => 'bandwidth limit in KiB/s for cloning disks',
        },
        move => {
            %bwlimit_opt,
-           description => 'bandwidth limit in MiB/s for moving disks',
+           description => 'bandwidth limit in KiB/s for moving disks',
        },
 };
 register_format('bwlimit', $bwlimit_format);
@@ -442,6 +517,18 @@ register_standard_option('bwlimit', {
     format => $bwlimit_format,
 });
 
+# used for pve-tag-list in e.g., guest configs
+register_format('pve-tag', \&pve_verify_tag);
+sub pve_verify_tag {
+    my ($value, $noerr) = @_;
+
+    return $value if $value =~ m/^[a-z0-9_][a-z0-9_\-\+\.]*$/i;
+
+    return undef if $noerr;
+
+    die "invalid characters in tag\n";
+}
+
 sub pve_parse_startup_order {
     my ($value) = @_;
 
@@ -473,6 +560,25 @@ PVE::JSONSchema::register_standard_option('pve-startup-order', {
     typetext => '[[order=]\d+] [,up=\d+] [,down=\d+] ',
 });
 
+register_format('pve-tfa-secret', \&pve_verify_tfa_secret);
+sub pve_verify_tfa_secret {
+    my ($key, $noerr) = @_;
+
+    # The old format used 16 base32 chars or 40 hex digits. Since they have a common subset it's
+    # hard to distinguish them without the our previous length constraints, so add a 'v2' of the
+    # format to support arbitrary lengths properly:
+    if ($key =~ /^v2-0x[0-9a-fA-F]{16,128}$/ || # hex
+        $key =~ /^v2-[A-Z2-7=]{16,128}$/ ||     # base32
+        $key =~ /^(?:[A-Z2-7=]{16}|[A-Fa-f0-9]{40})$/) # and the old pattern copy&pasted
+    {
+       return $key;
+    }
+
+    return undef if $noerr;
+
+    die "unable to decode TFA secret\n";
+}
+
 sub check_format {
     my ($format, $value, $path) = @_;
 
@@ -480,7 +586,7 @@ sub check_format {
     return if $format eq 'regex';
 
     if ($format =~ m/^(.*)-a?list$/) {
-       
+
        my $code = $format_list->{$1};
 
        die "undefined format '$format'\n" if !$code;
@@ -509,7 +615,7 @@ sub check_format {
        return parse_property_string($code, $value, $path) if ref($code) eq 'HASH';
        &$code($value);
     }
-} 
+}
 
 sub parse_size {
     my ($value) = @_;
@@ -629,7 +735,7 @@ sub add_error {
     my ($errors, $path, $msg) = @_;
 
     $path = '_root' if !$path;
-    
+
     if ($errors->{$path}) {
        $errors->{$path} = join ('\n', $errors->{$path}, $msg);
     } else {
@@ -641,7 +747,7 @@ sub is_number {
     my $value = shift;
 
     # see 'man perlretut'
-    return $value =~ /^[+-]?(\d+\.\d+|\d+\.|\.\d+|\d+)([eE][+-]?\d+)?$/; 
+    return $value =~ /^[+-]?(\d+\.\d+|\d+\.|\.\d+|\d+)([eE][+-]?\d+)?$/;
 }
 
 sub is_integer {
@@ -657,7 +763,7 @@ sub check_type {
 
     if (!defined($value)) {
        return 1 if $type eq 'null';
-       die "internal error" 
+       die "internal error"
     }
 
     if (my $tt = ref($type)) {
@@ -665,16 +771,16 @@ sub check_type {
            foreach my $t (@$type) {
                my $tmperr = {};
                check_type($path, $t, $value, $tmperr);
-               return 1 if !scalar(%$tmperr); 
+               return 1 if !scalar(%$tmperr);
            }
            my $ttext = join ('|', @$type);
-           add_error($errors, $path, "type check ('$ttext') failed"); 
+           add_error($errors, $path, "type check ('$ttext') failed");
            return undef;
        } elsif ($tt eq 'HASH') {
            my $tmperr = {};
            check_prop($value, $type, $path, $tmperr);
-           return 1 if !scalar(%$tmperr); 
-           add_error($errors, $path, "type check failed");         
+           return 1 if !scalar(%$tmperr);
+           add_error($errors, $path, "type check failed");
            return undef;
        } else {
            die "internal error - got reference type '$tt'";
@@ -750,7 +856,7 @@ sub check_type {
                }
            }
        }
-    }  
+    }
 
     return undef;
 }
@@ -786,7 +892,7 @@ sub check_object {
                    #print "TEST: " . Dumper($value) . "\n", Dumper($requires) ;
                    check_prop($value, $requires, $path, $errors);
                } elsif (!defined($value->{$requires})) {
-                   add_error($errors, $path ? "$path.$requires" : $requires, 
+                   add_error($errors, $path ? "$path.$requires" : $requires,
                              "missing property - '$newpath' requires this property");
                }
            }
@@ -870,7 +976,7 @@ sub check_prop {
                    }
                }
            }
-           return; 
+           return;
        } elsif ($schema->{properties} || $schema->{additionalProperties}) {
            check_object($path, defined($schema->{properties}) ? $schema->{properties} : {},
                         $value, $schema->{additionalProperties}, $errors);
@@ -907,17 +1013,17 @@ sub check_prop {
                return;
            }
        }
-       
+
        if (is_number($value)) {
            if (defined (my $max = $schema->{maximum})) {
-               if ($value > $max) { 
+               if ($value > $max) {
                    add_error($errors, $path, "value must have a maximum value of $max");
                    return;
                }
            }
 
            if (defined (my $min = $schema->{minimum})) {
-               if ($value < $min) { 
+               if ($value < $min) {
                    add_error($errors, $path, "value must have a minimum value of $min");
                    return;
                }
@@ -957,7 +1063,7 @@ sub validate {
     } elsif ($schema) {
        check_prop($instance, $schema, '', $errors);
     }
-    
+
     if (scalar(%$errors)) {
        raise $errmsg, code => HTTP_BAD_REQUEST, errors => $errors;
     }
@@ -1022,7 +1128,7 @@ my $default_schema_noref = {
            optional => 1,
            minimum => 0,
            default => 0,
-       },      
+       },
        maxLength => {
            type => "integer",
            description => "When the instance value is a string, this indicates maximum length of the string.",
@@ -1065,6 +1171,11 @@ my $default_schema_noref = {
            optional => 1,
            description => "This provides the title of the property",
        },
+       renderer => {
+           type => "string",
+           optional => 1,
+           description => "This is used to provide rendering hints to format cli command output.",
+       },
        requires => {
            type => [ "string", "object" ],
            optional => 1,
@@ -1139,7 +1250,12 @@ my $default_schema_noref = {
                },
            },
        },
-    }  
+       print_width => {
+           type => "integer",
+           description => "For CLI context, this defines the maximal width to print before truncating",
+           optional => 1,
+       },
+    }
 };
 
 my $default_schema = Storable::dclone($default_schema_noref);
@@ -1182,7 +1298,7 @@ my $method_schema = {
                     path => {},
                     parameters => {},
                     returns => {},
-                }             
+                }
             },
        },
        method => {
@@ -1193,9 +1309,15 @@ my $method_schema = {
        },
         protected => {
             type => 'boolean',
-           description => "Method needs special privileges - only pvedaemon can execute it",            
+           description => "Method needs special privileges - only pvedaemon can execute it",
            optional => 1,
         },
+       allowtoken => {
+           type => 'boolean',
+           description => "Method is available for clients authenticated using an API token.",
+           optional => 1,
+           default => 1,
+       },
         download => {
             type => 'boolean',
            description => "Method downloads the file content (filename is the return value of the method).",
@@ -1208,7 +1330,7 @@ my $method_schema = {
        },
        proxyto_callback => {
            type =>  'coderef',
-           description => "A function which is called to resolve the proxyto attribute. The default implementaion returns the value of the 'proxyto' parameter.",
+           description => "A function which is called to resolve the proxyto attribute. The default implementation returns the value of the 'proxyto' parameter.",
            optional => 1,
        },
         permissions => {
@@ -1222,15 +1344,15 @@ my $method_schema = {
                     optional => 1,
                },
                 user => {
-                    description => "A simply way to allow access for 'all' authenticated users. Value 'world' is used to allow access without credentials.", 
-                    type => 'string', 
+                    description => "A simply way to allow access for 'all' authenticated users. Value 'world' is used to allow access without credentials.",
+                    type => 'string',
                     enum => ['all', 'world'],
                     optional => 1,
                 },
                 check => {
                     description => "Array of permission checks (prefix notation).",
-                    type => 'array', 
-                    optional => 1 
+                    type => 'array',
+                    optional => 1
                 },
             },
         },
@@ -1248,7 +1370,7 @@ my $method_schema = {
        },
         fragmentDelimiter => {
             type => 'string',
-           description => "A ways to override the default fragment delimiter '/'. This onyl works on a whole sub-class. You can set this to the empty string to match the whole rest of the URI.",            
+           description => "A way to override the default fragment delimiter '/'. This only works on a whole sub-class. You can set this to the empty string to match the whole rest of the URI.",
            optional => 1,
         },
        parameters => {
@@ -1263,7 +1385,7 @@ my $method_schema = {
        },
         code => {
            type => 'coderef',
-           description => "method implementaion (code reference)",
+           description => "method implementation (code reference)",
            optional => 1,
         },
        subclass => {
@@ -1278,15 +1400,15 @@ my $method_schema = {
                     match_name => {},
                     match_re => {},
                     fragmentDelimiter => { optional => 1 }
-                }             
+                }
             },
-       }, 
+       },
     },
 
 };
 
 sub validate_schema {
-    my ($schema) = @_; 
+    my ($schema) = @_;
 
     my $errmsg = "internal error - unable to verify schema\n";
     validate($schema, $default_schema, $errmsg);
@@ -1297,13 +1419,13 @@ sub validate_method_info {
 
     my $errmsg = "internal error - unable to verify method info\n";
     validate($info, $method_schema, $errmsg);
+
     validate_schema($info->{parameters}) if $info->{parameters};
     validate_schema($info->{returns}) if $info->{returns};
 }
 
 # run a self test on load
-# make sure we can verify the default schema 
+# make sure we can verify the default schema
 validate_schema($default_schema_noref);
 validate_schema($method_schema);
 
@@ -1330,10 +1452,10 @@ sub method_get_child_link {
     return $found;
 }
 
-# a way to parse command line parameters, using a 
+# a way to parse command line parameters, using a
 # schema to configure Getopt::Long
 sub get_options {
-    my ($schema, $args, $arg_param, $fixed_param, $pwcallback, $param_mapping_hash) = @_;
+    my ($schema, $args, $arg_param, $fixed_param, $param_mapping_hash) = @_;
 
     if (!$schema || !$schema->{properties}) {
        raise("too many arguments\n", code => HTTP_BAD_REQUEST)
@@ -1362,11 +1484,6 @@ sub get_options {
            # optional and call the mapping function afterwards.
            push @getopt, "$prop:s";
            push @interactive, [$prop, $mapping->{func}];
-       } elsif ($prop eq 'password' && $pwcallback) {
-           # we do not accept plain password on input line, instead
-           # we turn this into a boolean option and ask for password below
-           # using $pwcallback() (for security reasons).
-           push @getopt, "$prop";
        } elsif ($pd->{type} eq 'boolean') {
            push @getopt, "$prop:s";
        } else {
@@ -1418,14 +1535,6 @@ sub get_options {
        }
     }
 
-    if (my $pd = $schema->{properties}->{password}) {
-       if ($pd->{type} ne 'boolean' && $pwcallback) {
-           if ($opts->{password} || !$pd->{optional}) {
-               $opts->{password} = &$pwcallback(); 
-           }
-       }
-    }
-
     foreach my $entry (@interactive) {
        my ($opt, $func) = @$entry;
        my $pd = $schema->{properties}->{$opt};
@@ -1480,7 +1589,7 @@ sub get_options {
                    }
                }
            }
-       }       
+       }
     }
 
     foreach my $p (keys %$fixed_param) {
@@ -1495,7 +1604,7 @@ sub parse_config {
     my ($schema, $filename, $raw) = @_;
 
     # do fast check (avoid validate_schema($schema))
-    die "got strange schema" if !$schema->{type} || 
+    die "got strange schema" if !$schema->{type} ||
        !$schema->{properties} || $schema->{type} ne 'object';
 
     my $cfg = {};
@@ -1508,7 +1617,7 @@ sub parse_config {
        if ($line =~ m/^(\S+?):\s*(.*)$/) {
            my $key = $1;
            my $value = $2;
-           if ($schema->{properties}->{$key} && 
+           if ($schema->{properties}->{$key} &&
                $schema->{properties}->{$key}->{type} eq 'boolean') {
 
                $value = parse_boolean($value) // $value;
@@ -1525,7 +1634,7 @@ sub parse_config {
     foreach my $k (keys %$errors) {
        warn "parse error in '$filename' - '$k': $errors->{$k}\n";
        delete $cfg->{$k};
-    } 
+    }
 
     return $cfg;
 }
@@ -1535,14 +1644,14 @@ sub dump_config {
     my ($schema, $filename, $cfg) = @_;
 
     # do fast check (avoid validate_schema($schema))
-    die "got strange schema" if !$schema->{type} || 
+    die "got strange schema" if !$schema->{type} ||
        !$schema->{properties} || $schema->{type} ne 'object';
 
     validate($cfg, $schema, "validation error in '$filename'\n");
 
     my $data = '';
 
-    foreach my $k (keys %$cfg) {
+    foreach my $k (sort keys %$cfg) {
        $data .= "$k: $cfg->{$k}\n";
     }