cli: print_text_table: correctly handle sort_key 0

PVE::CLIHandler - allow to define additional parameters for output formatter

Best shown with a example:

my $test_formatter = sub {
    my ($res, $result_schema, $fmt_param) = @_;
    PVE::CLIFormatter::print_api_result($res, $result_schema, undef, $fmt_param);
};

$cmddef = [ __PACKAGE__, 'test', [], undef, $test_formatter, $PVE::RESTHandler::standard_output_options],

cli: remove all output formatter magic from CLIHandler

- and rename format to 'output-format'

- provide a method to add properties to schema:
PVE::RESTHandler::add_standard_output_properties

- provide methods to extract output properties:
PVE::RESTHandler::extract_standard_output_properties()

PVE::ACME - untaint saved account data

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

api dump: do not skip indexed params with only one index

We transform indexed parameters (like scsi0 scsi1 ...) to a single
scsi[n]. The check if we should transform did not handle the case
where a parameter was indexed but (currently) only index 0 existed.
Such definitions where simply skipped and seemed then to miss from
places using the API dump, like the api-viewer.

We now only skip those parameters with an index > 0 where the same
parameter with index 0 is defined.

This fixes a missing efidisk0 entry in an API dump[0].

[0]: https://forum.proxmox.com/threads/efidisk0-creation-missing-from-api.45624/

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 5.0-37

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fixup: parameters vs properties typo

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

cli_handler: make standard options opt-in

The new standard options overwrite some already existing options in
already existing CLI tools, which is surely no good, e.g. vzdump
already has an quiet option which now gets overwritten, thus any
backup triggered by CRON always sents out an (additional) email.

Further, they may even only have an effect if the respective CLI
command uses an CLIFormatter print* method to output things.

And for some commands, like 'pvecm status' they may even never make
sense, as they exec an external program which doesn't honors nor gets
those std options...
Also some internal commands, like 'qm mtunnel' will never use it, as
probably even "normal" commands, as it may simply not make sense for
every command..

So make it opt-in for now, any CLI command can set std-output-opts to
get them.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 5.0-36

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

print_api_result: skip undefined object values

We use objects to return VM configurations, so we uónly want to display
defined values.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

output format options: remove 'plain', add 'json-pretty'

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIFormatter::print_api_result - remove parameter $format

Instead, we pass it within $options.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli_handler: pass common output options as separate parameter

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIFormatter - implement new output options

quiet: dont print anything
noheader: supres headers
noborder: no borders
human-readable: use renderers
Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

tests: test newly added interfaces individually

And add eth2/3 to /proc/net/dev, that way we don't need to
create them "virtually" (which we shouldn't, for physical
interfaces).

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fixup: don't use exists boolean

The previous condition didn't fail tests because it was
always false. The 'exists' property is not actually usable
when writing the interface file. It is merely a hint that
the interface existed in /proc/net/dev while parsing the
interfaces file and is otherwise actually unused here.

Simply check for the existence of the interface in $ifaces.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fixup: compare MTUs numerically

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

whitespace fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

cleanup: whitespace and error message consistency

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Inotify : add mtu option

also check if mtu value is lower than parent interface

fixme: vxlan interface should be 50bytes lower than outgoing interface
       we need to find which interface is used (unicast/multicast/frr)

Inotify : add check vlan

verify than parent interface exist
verify than parent interface type is eth,bond,bridge
verify than parent bridge is vlan aware if type bridge

Inotify : add check_bond

verify than bond slaves exist && type is eth

Inotify : add bridge ports options

Inotify : add vxlan interface support

PVE::RESTHandler::generate_usage_str - new static method to generate usage from $info

This is useful to generate usage information with pveclient, where we do not have
handler classes at all.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIFormatter::print_api_result - use print_api_list to print arrays

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

CLIFormatter - implement renderer for timestamps using GMT

PVE::CLIFormatter::data_to_text - add parameter $options

Also pass $options to renderer functions.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

CLIFormatter - implement renderer for timestamps

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIHandler - allow to set LOG ID with $ENV{PVE_LOG_ID}

We use this with 'pvesh'.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

JSONSchema: register new standard option 'pve-output-format'

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIFormatter::extract_properties_to_print - new helper

This improves sort order. We now priorize required values, and list
them before optional values.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

CLIFormatter: define some commonly useful rendering functions

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

JSONSchema: define 'renderer' property

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: print_text_table: restore autoformat behavior

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cli: print_text_table: support multiline data

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: data_to_text: never render undefined values

To make it visible when the API return undefined values.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIFormatter::query_terminal_options - new helper

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: print_api_result: add/use new encoding option

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

CLIFormatter: implement tables with utf8 borders

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

CLIFormatter: pass options as hash

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: print_text_table: allow to limit output width

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: data_to_text: pass property info

So that we can display defaults, render boolean nicely, or call arbitrary render
functions ...

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::JSONSchema::register_renderer - allow to register renderers by name

We want to use those renderer to format CLI output nicely.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: print_api_result: use print_api_list to print objects

In order to draw the new asciiart border ...

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: print_text_table: allow to draw ascii art borders

format can now be:

plain => what we had with 'text' before
text => print with borders (default)
json

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

trivial: fixup: no double semicolons

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

foolowup: improve/add comments and spacing

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix #1819: fork_worker: ensure sync'ed workers control terminal

Use setpgid + tcsetpgrp instead of setsid if $sync (invocation via
cli), thus keeping /dev/tty - ssh-copy-id/ssh need it to read the
password, and putting the child in the forground. Further, ignore
SIGTTOU in child process (otherwise it gets stopped upon tcsetpgrp)

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

PVE/CLIFormatter.pm - new class to generate/format CLI output

Moved code from CLIHandler.pm into this file.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

bump version to 5.0-35

d/control: break pve-manager < 5.2-5 and pmg-api < 5.0-74

rest/cli: rename param mapping related variable to shorter versions

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

remove read_password_func from cli handler

we have a param_mapping now, with which we can impement that

e.g. instead of using:

sub read_password {
    # read password
}

we can do:

sub param_mapping {
    my ($name) = @_;

    my $password_map = ['password', sub{
# read password
    }, '<password', 1];

    my $mapping = {
'apicall1' => [$password_map],
'apicall2' => [$password_map],
...
    };

    return $mapping->{$name};
}

this has the advantage that we can use different subs for different
api calls (e.g. pveum passwd vs pveum ticket)

if a CLIHandler implemenation still has a read_password sub and no
param_mapping, we generate one for them with read_password as the
sub for the standard mapping 'pve-password'

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

cli: print_text_table: another fix for poperties without schema

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: print_text_table: die if no property info not needed anymore

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cli: print_text_table: fix for poperties without schema

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: print_text_table: followup code cleanup

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cli: print_text_table: default to autosort on

we more often want to sort by the leftmost valid column than not.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cli: print_api_result: simplify props_to_print code

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

PVE::CLIHandler::print_text_table - cleanup, directly use json schema data

This way we can access all type information and can use that to sort
numeric columns correctly.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIHandler::print_text_table - add option $sort_key

Now, we do not change the ordering by default.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIHandler::data_to_text: return '' for undef

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

PVE::CLIHandler::print_api_result - add $props_to_print parameter

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIHandler::print_api_list: update comment

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

PVE::CLIHandler::print_api_list - use all occuring properties

print_api_list falls back to the union of all properties occuring in data, if
none are provided explicitly, and the API method contains no returns property.

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

PVE::CLIHandler::print_text_table - fix sorting

Sort only if at least one column contains no undefined values.
Sort according to the left-most such column.

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

cleanup: rename $returninfo to $result_schema

PVE::CLIHandler::print_api_list - improve format check

We can only print lists of objects.

PVE::CLIHandler::print_api_list - reorder arguments

Move optional argument to the end.

PVE::CLIHandler::print_api_list - allow to pass empty $props_to_print

PVE::CLIHandler - new helper print_api_result

Allow to print complex object/array by simply converting them to JSON.

Note: Our API almost always return simply values.

cli: print table: remove only-once-used default variable

cli: print_text_table: ensure default is not undefined

Default to printing '', if no default is provided for a column.

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

INotify: write network: don't duplicate bridge-vids

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Inotify : write network config : remove allow- ovs with ifupdown2

Inotify : write network config : add bridge-vids

default is 2-4094 if user don't have specified.

mandatory for ifupdown2 and compatible with
current promox ifupdown bridgevlanport script

Inotify : write network config : use modern syntax for options

-replace options with '_'  with '-'
-use 'bond-slaves' instead 'slaves'

Inotify : read network config : allow alternative options names

fixup: don't standard mapping code in mid of cmd helpers

as it teared code which belongs together apart

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

CLIHandler: add standard mapping for password parameter

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

CLIHandler: add standard_mappings

so we can reuse often used parameter mappings

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add the possibility to use a hash for parameter mapping

instead of writing:
['name', sub {...}, 'description', 1]

one can now use:
{
    name => 'name',
    func => sub { ... },
    desc => 'desc',
    interactive => 1,
}

which makes it more obvious what is what
(and allows later patches to easily override some things)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

print_api_list: we only handle API results of type 'array'

...for now at least

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

improve and fix some whitespace errors

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

reword print_text_table and print_api_list documentation

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add print_api_list, adapt handle_cmd

print_api_list takes an array of columns to print, the data, and the returns
definitions of the API, and prints the data by using print_text_table.

handle_cmd and handle_simple_cmd call the output sub with the returns definitons.

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

add print_text_table, print_entry to CLIHandler

These two function could serve as a generic output sub for various CLI
utilities
 * print_text_table prints an array of objects in a tabular fashion,
   the formating is passed as an array containg hashes with titles, maximal
   lengths and default values. This way we can stay extensible, by adding other
   keys to the formatting options
 * print_entry prints out a single entry, handling array-refs as properties

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

add print_width property to JSONSchema definition

used to define the maximal width of the respective column in the CLI

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

buildsys: depend on check target instead of manual calling it

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: refactor distclean and clean target

remove the cleanup of the not produced ${PACKAGE}-*.tar.gz file.
This is here since the import from SVN, but is not needed since quite
a time.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: introduce BUILDDIR variable

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: remove useless variable definitions

the used ones are in src/Makefile, so remove those left over, else
one could get confused why there on two places and why changes here
had no effect.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 5.0-34

d/control: record that we now break qemu-server << 5.0-29

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

rename splitted out systemd module to 'Systemd'

see:
https://www.freedesktop.org/wiki/Software/systemd/#spelling

We keep the initial upercase 'S' as it's standard for perl module
and perl critic complains otherwise.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add PVE::SystemD module

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Perl::Cricit fixups

- fix variable declared in conditional statement
- add newlines to die/warn statements

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 5.0-33

fix regex quoting in $print_bash_completion

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>