update files from pve-common
authorDietmar Maurer <dietmar@proxmox.com>
Tue, 18 Sep 2018 05:17:52 +0000 (07:17 +0200)
committerDietmar Maurer <dietmar@proxmox.com>
Tue, 18 Sep 2018 05:17:52 +0000 (07:17 +0200)
PVE/APIClient/CLIFormatter.pm
PVE/APIClient/CLIHandler.pm
PVE/APIClient/JSONSchema.pm
PVE/APIClient/RESTHandler.pm
PVE/APIClient/Tools.pm

index 50977fc..1e77e73 100644 (file)
@@ -4,6 +4,7 @@ use strict;
 use warnings;
 use I18N::Langinfo;
 use POSIX qw(strftime);
+use CPAN::Meta::YAML; # comes with perl-modules
 
 use PVE::APIClient::JSONSchema;
 use PVE::APIClient::PTY;
@@ -75,12 +76,23 @@ sub render_bytes {
         $max_unit = int(log($value)/log(1024));
         $value /= 1024**($max_unit);
     }
-
-    return sprintf "%.2f $units[$max_unit]", $value;
+    my $unit = $units[$max_unit];
+    return sprintf "%.2f $unit", $value;
 }
 
 PVE::APIClient::JSONSchema::register_renderer('bytes', \&render_bytes);
 
+sub render_yaml {
+    my ($value) = @_;
+
+    my $data = CPAN::Meta::YAML::Dump($value);
+    $data =~ s/^---[\n\s]//; # remove yaml marker
+
+    return $data;
+}
+
+PVE::APIClient::JSONSchema::register_renderer('yaml', \&render_yaml);
+
 sub query_terminal_options {
     my ($options) = @_;
 
@@ -98,10 +110,12 @@ sub query_terminal_options {
 }
 
 sub data_to_text {
-    my ($data, $propdef, $options) = @_;
+    my ($data, $propdef, $options, $terminal_opts) = @_;
 
     return '' if !defined($data);
 
+    $terminal_opts //= {};
+
     my $human_readable = $options->{'human-readable'} // 1;
 
      if ($human_readable && defined($propdef)) {
@@ -116,12 +130,13 @@ sub data_to_text {
        if (defined(my $renderer = $propdef->{renderer})) {
            my $code = PVE::APIClient::JSONSchema::get_renderer($renderer);
            die "internal error: unknown renderer '$renderer'" if !$code;
-           return $code->($data, $options);
+           return $code->($data, $options, $terminal_opts);
        }
     }
 
     if (my $class = ref($data)) {
-       return to_json($data, { canonical => 1 });
+       # JSON::PP::Boolean requires allow_nonref
+       return to_json($data, { allow_nonref => 1, canonical => 1 });
     } else {
        return "$data";
     }
@@ -132,7 +147,7 @@ sub data_to_text {
 # $returnprops -json schema property description
 # $props_to_print - ordered list of properties to print
 # $options
-# - sort_key: can be used to sort after a column, if it isn't set we sort
+# - sort_key: can be used to sort after a specific column, if it isn't set we sort
 #   after the leftmost column (with no undef value in $data) this can be
 #   turned off by passing 0 as sort_key
 # - noborder: print without asciiart border
@@ -141,20 +156,21 @@ sub data_to_text {
 # - utf8: use utf8 characters for table delimiters
 
 sub print_text_table {
-    my ($data, $returnprops, $props_to_print, $options) = @_;
+    my ($data, $returnprops, $props_to_print, $options, $terminal_opts) = @_;
+
+    $terminal_opts //= query_terminal_options({});
 
     my $sort_key = $options->{sort_key};
     my $border = !$options->{noborder};
     my $header = !$options->{noheader};
-    my $columns = $options->{columns};
-    my $utf8 = $options->{utf8};
-    my $encoding = $options->{encoding} // 'UTF-8';
 
-    if (!defined($sort_key) || $sort_key eq 0) {
-       $sort_key = $props_to_print->[0];
-    }
+    my $columns = $terminal_opts->{columns};
+    my $utf8 = $terminal_opts->{utf8};
+    my $encoding = $terminal_opts->{encoding} // 'UTF-8';
 
-    if (defined($sort_key)) {
+    $sort_key //= $props_to_print->[0];
+
+    if (defined($sort_key) && $sort_key ne 0) {
        my $type = $returnprops->{$sort_key}->{type} // 'string';
        if ($type eq 'integer' || $type eq 'number') {
            @$data = sort { $a->{$sort_key} <=> $b->{$sort_key} } @$data;
@@ -183,7 +199,7 @@ sub print_text_table {
            my $prop = $props_to_print->[$i];
            my $propinfo = $returnprops->{$prop} // {};
 
-           my $text = data_to_text($entry->{$prop}, $propinfo, $options);
+           my $text = data_to_text($entry->{$prop}, $propinfo, $options, $terminal_opts);
            my $lines = [ split(/\n/, $text) ];
            my $linecount = scalar(@$lines);
            $height = $linecount if $linecount > $height;
@@ -194,6 +210,8 @@ sub print_text_table {
                $width = $len if $len > $width;
            }
 
+           $width = ($width =~ m/^(\d+)$/) ? int($1) : 0; # untaint int
+
            $rowdata->{$prop} = {
                lines => $lines,
                width => $width,
@@ -209,6 +227,8 @@ sub print_text_table {
     for (my $i = 0; $i < $column_count; $i++) {
        my $prop = $props_to_print->[$i];
        my $propinfo = $returnprops->{$prop} // {};
+       my $type = $propinfo->{type} // 'string';
+       my $alignstr = ($type eq 'integer' || $type eq 'number') ? '' : '-';
 
        my $title = $propinfo->{title} // $prop;
        my $cutoff = $propinfo->{print_width} // $propinfo->{maxLength};
@@ -231,48 +251,48 @@ sub print_text_table {
        if ($border) {
            if ($i == 0 && ($column_count == 1)) {
                if ($utf8) {
-                   $formatstring .= "│ %-${cutoff}s │";
+                   $formatstring .= "│ %$alignstr${cutoff}s │";
                    $borderstring_t .= "┌─" . ('─' x $cutoff) . "─┐";
                    $borderstring_m .= "├─" . ('─' x $cutoff) . "─┤";
                    $borderstring_b .= "└─" . ('─' x $cutoff) . "─┘";
                } else {
-                   $formatstring .= "| %-${cutoff}s |";
+                   $formatstring .= "| %$alignstr${cutoff}s |";
                    $borderstring_m .= "+-" . ('-' x $cutoff) . "-+";
                }
            } elsif ($i == 0) {
                if ($utf8) {
-                   $formatstring .= "│ %-${cutoff}s ";
+                   $formatstring .= "│ %$alignstr${cutoff}s ";
                    $borderstring_t .= "┌─" . ('─' x $cutoff) . '─';
                    $borderstring_m .= "├─" . ('─' x $cutoff) . '─';
                    $borderstring_b .= "└─" . ('─' x $cutoff) . '─';
                } else {
-                   $formatstring .= "| %-${cutoff}s ";
+                   $formatstring .= "| %$alignstr${cutoff}s ";
                    $borderstring_m .= "+-" . ('-' x $cutoff) . '-';
                }
            } elsif ($i == ($column_count - 1)) {
                if ($utf8) {
-                   $formatstring .= "│ %-${cutoff}s │";
+                   $formatstring .= "│ %$alignstr${cutoff}s │";
                    $borderstring_t .= "┬─" . ('─' x $cutoff) . "─┐";
                    $borderstring_m .= "┼─" . ('─' x $cutoff) . "─┤";
                    $borderstring_b .= "┴─" . ('─' x $cutoff) . "─┘";
                } else {
-                   $formatstring .= "| %-${cutoff}s |";
+                   $formatstring .= "| %$alignstr${cutoff}s |";
                    $borderstring_m .= "+-" . ('-' x $cutoff) . "-+";
                }
            } else {
                if ($utf8) {
-                   $formatstring .= "│ %-${cutoff}s ";
+                   $formatstring .= "│ %$alignstr${cutoff}s ";
                    $borderstring_t .= "┬─" . ('─' x $cutoff) . '─';
                    $borderstring_m .= "┼─" . ('─' x $cutoff) . '─';
                    $borderstring_b .= "┴─" . ('─' x $cutoff) . '─';
                } else {
-                   $formatstring .= "| %-${cutoff}s ";
+                   $formatstring .= "| %$alignstr${cutoff}s ";
                    $borderstring_m .= "+-" . ('-' x $cutoff) . '-';
                }
            }
        } else {
            # skip alignment and cutoff on last column
-           $formatstring .= ($i == ($column_count - 1)) ? "%s" : "%-${cutoff}s ";
+           $formatstring .= ($i == ($column_count - 1)) ? "%s" : "%$alignstr${cutoff}s ";
        }
     }
 
@@ -338,7 +358,7 @@ sub extract_properties_to_print {
 # takes all fields of the results property, with a fallback
 # to all fields occuring in items of $data.
 sub print_api_list {
-    my ($data, $result_schema, $props_to_print, $options) = @_;
+    my ($data, $result_schema, $props_to_print, $options, $terminal_opts) = @_;
 
     die "can only print object lists\n"
        if !($result_schema->{type} eq 'array' && $result_schema->{items}->{type} eq 'object');
@@ -360,25 +380,46 @@ sub print_api_list {
 
     die "unable to detect list properties\n" if !scalar(@$props_to_print);
 
-    print_text_table($data, $returnprops, $props_to_print, $options);
+    print_text_table($data, $returnprops, $props_to_print, $options, $terminal_opts);
 }
 
-sub print_api_result {
-    my ($data, $result_schema, $props_to_print, $options) = @_;
+my $guess_type = sub {
+    my $data = shift;
 
-    return if $options->{quiet};
+    return 'null' if !defined($data);
+
+    my $class = ref($data);
+    return 'string' if !$class;
 
-    if (!defined($options)) {
-       $options = query_terminal_options({});
+    if ($class eq 'HASH') {
+       return 'object';
+    } elsif ($class eq 'ARRAY') {
+       return 'array';
     } else {
-       $options = { %$options }; # copy
+       return 'string'; # better than nothing
     }
+};
+
+sub print_api_result {
+    my ($data, $result_schema, $props_to_print, $options, $terminal_opts) = @_;
+
+    return if $options->{quiet};
+
+    $terminal_opts //= query_terminal_options({});
 
     my $format = $options->{'output-format'} // 'text';
 
-    return if $result_schema->{type} eq 'null';
+    if ($result_schema && defined($result_schema->{type})) {
+       return if $result_schema->{type} eq 'null';
+    } else {
+       my $type = $guess_type->($data);
+       $result_schema = { type => $type };
+       $result_schema->{items} = { type => $guess_type->($data->[0]) } if $type eq 'array';
+    }
 
-    if ($format eq 'json') {
+    if ($format eq 'yaml') {
+       print encode('UTF-8', CPAN::Meta::YAML::Dump($data));
+    } elsif ($format eq 'json') {
        # Note: we always use utf8 encoding for json format
        print to_json($data, {utf8 => 1, allow_nonref => 1, canonical => 1 }) . "\n";
     } elsif ($format eq 'json-pretty') {
@@ -394,23 +435,22 @@ sub print_api_result {
            my $kvstore = [];
            foreach my $key (@$props_to_print) {
                next if !defined($data->{$key});
-               push @$kvstore, { key => $key, value => data_to_text($data->{$key}, $result_schema->{properties}->{$key}, $options) };
+               push @$kvstore, { key => $key, value => data_to_text($data->{$key}, $result_schema->{properties}->{$key}, $options, $terminal_opts) };
            }
            my $schema = { type => 'array', items => { type => 'object' }};
-           print_api_list($kvstore, $schema, ['key', 'value'], $options);
+           print_api_list($kvstore, $schema, ['key', 'value'], $options, $terminal_opts);
        } elsif ($type eq 'array') {
            return if !scalar(@$data);
            my $item_type = $result_schema->{items}->{type};
            if ($item_type eq 'object') {
-               print_api_list($data, $result_schema, $props_to_print, $options);
+               print_api_list($data, $result_schema, $props_to_print, $options, $terminal_opts);
            } else {
                my $kvstore = [];
                foreach my $value (@$data) {
                    push @$kvstore, { value => $value };
                }
                my $schema = { type => 'array', items => { type => 'object', properties => { value => $result_schema->{items} }}};
-               $options->{noheader} = 1;
-               print_api_list($kvstore, $schema, ['value'], $options);
+               print_api_list($kvstore, $schema, ['value'], { %$options, noheader => 1 },  $terminal_opts);
            }
        } else {
            print encode($encoding, "$data\n");
@@ -420,4 +460,16 @@ sub print_api_result {
     }
 }
 
+sub print_api_result_plain {
+    my ($data, $result_schema, $props_to_print, $options) = @_;
+
+    # avoid borders and header, ignore terminal width
+    $options = $options ? { %$options } : {}; # copy
+
+    $options->{noheader} //= 1;
+    $options->{noborder} //= 1;
+
+    print_api_result($data, $result_schema, $props_to_print, $options, {});
+}
+
 1;
index 16b5b75..36e8d29 100644 (file)
@@ -217,7 +217,7 @@ sub generate_usage_str {
                } else {
                    next if $def->{$cmd}->{alias};
 
-                   my $substr = $generate->($indent, $separator, $def->{$cmd}, "$prefix $cmd");
+                   my $substr = $generate->($indent, '', $def->{$cmd}, "$prefix $cmd");
                    if ($substr) {
                        $substr .= $separator if $substr !~ /\Q$separator\E{2}/;
                        $str .= $substr;
@@ -335,9 +335,9 @@ sub print_usage_short {
     $assert_initialized->();
 
     print $fd "ERROR: $msg\n" if $msg;
-    print $fd "USAGE: $exename <COMMAND> [ARGS] [OPTIONS]\n";
+    print $fd "USAGE: $exename <COMMAND> [ARGS] [OPTIONS]\n\n";
 
-    print {$fd} generate_usage_str('short', $cmd, ' ' x 7, "\n", sub {
+    print {$fd} generate_usage_str('short', $cmd, ' ' x 7, $cmd ? '' : "\n", sub {
        my ($h) = @_;
        return sort {
            if (ref($h->{$a}) eq 'ARRAY' && ref($h->{$b}) eq 'ARRAY') {
index a7942f7..f05d7f1 100644 (file)
@@ -108,7 +108,7 @@ register_standard_option('fingerprint-sha256', {
 register_standard_option('pve-output-format', {
     type => 'string',
     description => 'Output format.',
-    enum => [ 'text', 'json', 'json-pretty' ],
+    enum => [ 'text', 'json', 'json-pretty', 'yaml' ],
     optional => 1,
     default => 'text',
 });
index c5959b5..03a38bc 100644 (file)
@@ -17,8 +17,35 @@ my $method_path_lookup = {};
 
 our $AUTOLOAD;  # it's a package global
 
+our $standard_output_options = {
+    'output-format' => PVE::APIClient::JSONSchema::get_standard_option('pve-output-format'),
+    noheader => {
+       description => "Do not show column headers (for 'text' format).",
+       type => 'boolean',
+       optional => 1,
+       default => 1,
+    },
+    noborder => {
+       description => "Do not draw borders (for 'text' format).",
+       type => 'boolean',
+       optional => 1,
+       default => 1,
+    },
+    quiet => {
+        description => "Suppress printing results.",
+        type => 'boolean',
+        optional => 1,
+    },
+    'human-readable' => {
+        description => "Call output rendering functions to produce human readable text.",
+        type => 'boolean',
+        optional => 1,
+       default => 1,
+    }
+};
+
 sub api_clone_schema {
-    my ($schema) = @_;
+    my ($schema, $no_typetext) = @_;
 
     my $res = {};
     my $ref = ref($schema);
@@ -44,7 +71,7 @@ sub api_clone_schema {
            my $tmp = ref($pd) ? clone($pd) : $pd;
            # NOTE: add typetext property for more complex types, to
            # make the web api viewer code simpler
-           if (!(defined($tmp->{enum}) || defined($tmp->{pattern}))) {
+           if (!$no_typetext && !(defined($tmp->{enum}) || defined($tmp->{pattern}))) {
                my $typetext = PVE::APIClient::JSONSchema::schema_get_type_text($tmp);
                if ($tmp->{type} && ($tmp->{type} ne $typetext)) {
                    $tmp->{typetext} = $typetext;
@@ -116,6 +143,8 @@ sub api_dump_full {
                    } else {
                        if ($k eq 'parameters') {
                            $data->{$k} = api_clone_schema($d);
+                       } elsif ($k eq 'returns') {
+                           $data->{$k} = api_clone_schema($d, 1);
                        } else {
                            $data->{$k} = ref($d) ? clone($d) : $d;
                        }
@@ -586,7 +615,26 @@ sub getopt_usage {
     my $schema = $info->{parameters};
     my $name = $info->{name};
     my $prop = { %{$schema->{properties}} }; # copy
-    $prop = { %$prop, %$formatter_properties } if $formatter_properties;
+
+    my $has_output_format_option = $formatter_properties->{'output-format'} ? 1 : 0;
+
+    if ($formatter_properties) {
+       foreach my $key (keys %$formatter_properties) {
+           if (!$standard_output_options->{$key}) {
+               $prop->{$key} = $formatter_properties->{$key};
+           }
+       }
+    }
+
+    # also remove $standard_output_options from $prop (pvesh, pveclient)
+    if ($prop->{'output-format'}) {
+       $has_output_format_option = 1;
+       foreach my $key (keys %$prop) {
+           if ($standard_output_options->{$key}) {
+               delete $prop->{$key};
+           }
+       }
+    }
 
     my $out = '';
 
@@ -655,11 +703,15 @@ sub getopt_usage {
     if ($format eq 'asciidoc') {
        $out .= "*${prefix}*";
        $out .= " `$args`" if $args;
-       $out .= $opts ? " `[OPTIONS]`\n" : "\n";
+       $out .= " `[OPTIONS]`" if $opts;
+       $out .= " `[FORMAT_OPTIONS]`" if $has_output_format_option;
+       $out .= "\n";
     } else {
        $out .= "USAGE: " if $format ne 'short';
        $out .= "$prefix $args";
-       $out .= $opts ? " [OPTIONS]\n" : "\n";
+       $out .= " [OPTIONS]" if $opts;
+       $out .= " [FORMAT_OPTIONS]" if $has_output_format_option;
+       $out .= "\n";
     }
 
     return $out if $format eq 'short';
@@ -747,33 +799,6 @@ my $replace_file_names_with_contents = sub {
     return $param;
 };
 
-our $standard_output_options = {
-    'output-format' => PVE::APIClient::JSONSchema::get_standard_option('pve-output-format'),
-    noheader => {
-       description => "Do not show column headers (for 'text' format).",
-       type => 'boolean',
-       optional => 1,
-       default => 1,
-    },
-    noborder => {
-       description => "Do not draw borders (for 'text' format).",
-       type => 'boolean',
-       optional => 1,
-       default => 1,
-    },
-    quiet => {
-        description => "Suppress printing results.",
-        type => 'boolean',
-        optional => 1,
-    },
-    'human-readable' => {
-        description => "Call output rendering functions to produce human readable text.",
-        type => 'boolean',
-        optional => 1,
-       default => 1,
-    }
-};
-
 sub add_standard_output_properties {
     my ($propdef, $list) = @_;
 
index 622ed6c..f0a9a8c 100644 (file)
@@ -922,7 +922,6 @@ sub run_fork_with_timeout {
 
     # avoid leaving a zombie if the parent gets interrupted
     my $sig_received;
-    local $SIG{INT} = sub { $sig_received++; };
 
     my $child = fork();
     if (!defined($child)) {
@@ -946,11 +945,17 @@ sub run_fork_with_timeout {
        POSIX::_exit(0);
     }
 
+    local $SIG{INT} = sub { $sig_received++; };
+    local $SIG{TERM} = sub {
+       $error //= "interrupted by unexpected signal\n";
+       kill('TERM', $child);
+    };
+
     $pipe_out->reader();
 
     my $readvalues = sub {
        local $/ = undef;
-       my $child_res = decode_json(scalar<$pipe_out>);
+       my $child_res = decode_json(readline_nointr($pipe_out));
        $res = $child_res->{result};
        $error = $child_res->{error};
     };
@@ -1596,4 +1601,16 @@ sub convert_size {
     return int($value);
 }
 
+# uninterruptible readline
+# retries on EINTR
+sub readline_nointr {
+    my ($fh) = @_;
+    my $line;
+    while (1) {
+       $line = <$fh>;
+       last if defined($line) || ($! != EINTR);
+    }
+    return $line;
+}
+
 1;