api_dump_full: use api_clone_schema() for 'returns' schema

This  convert indexed parameters like -net\d+ to -net[n], so resulting dump
is smaller.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

INotify: add tests for non-defined vlan bridge ports

This tests the case covered by the previous commit

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Inotify: check bridgeport: fix vlan interface not defined

We can add to a bridge a non defined vlan interface.
We only need to check that physical interface exist

example:
    auto eno1
    iface eno1 inet manual

    auto vmbr0
    iface vmbr0 inet manual
        bridge_ports eno1.1

[w.bumiller@proxmox.com: style & commit message fixup]
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Inotify: fix mtu check

- special check for bond, set parent mtu from slaves mtu if no defined.

- error if parent mtu is lower than child mtu (not bigger)

- return if child mtu is not defined

- fix vlan check (parent/child was inverted)

README.dev: enhance installing build-dependcy section

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

README.dev: note that one can start from a PVE installation

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Rework of the installation documentation

run_fork_with_timeout: handle SIGTERM

when stopping a worker while doing a run_fork_with_timeout,
we want to handle that there and send the child the SIGTERM
so that it can clean up

for this we have to use readline_nointr,
because the read from the pipe gets interrupted by the signal

this partially fixes #1874
as we now correctly clean up the new disk, except if it is
on lvm/lvmthin (possibly other storages as well), and use the old disk
in the config

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add readline_nointr to Tools

this is a wrapper to have an uninterruptible readline
so that we can read e.g. from a pipe even if interrupted by
a signal

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

render_bytes: avoid untaint by simply change the sprintf call

There is no need to untaint if we do it this way (no idea why).

render_bytes: check format, untaint before calling sprintf

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

print_usage_short: do not group subcommands

For examply, do not group 'qm guest' usage.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

generate_usage_str: do not group sub-commands

Usually, sub commands already form a logical group, so further grouping
just adds confusion (see 'qm' as example)

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

print_api_result: fix test for undefined $result_schema

print_api_result: allow to pass undefined schema

This is useful if we do not have a fixed schema, for example to
print results from qemu agent commands.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

print_api_result_plain: new helper

Usefull to print result without borders an headers.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

print_text_table: align numbers to the right side

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

print_text_table: untaint $width

The value of $width depends on possible untainted $data (for example
task logs read from external files).

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

bump version to 5.0-38

getopt_usage: always remove $standard_output_options

Tools like pvesh and pveclient pass them as normal arguments. We use
a simply heuristic to test if there is an 'output_format' parameter.
If so, we remove all $standard_output_options and display [FORMAT_OPTIONS]
instead.

getopt_usage: do not display $standard_output_options

Instead, simply add [FORMAT_OPTIONS] to the usage string.

introcude new output format 'yaml'

PVE::CLIFormatter - pass terminal option as separate parameter

This simplifies usage, because we can simple omit the $terminal_opts
parameter in most cases (automatically call query_terminal_option) while
still setting $options.

PVE::Certificate - set renderers for unix epoch and 'san'

PVE::CLIFormatter - new 'yaml' renderer

Generates nice and readable output for list of string and simple objects.

cli: print_text_table: correctly handle sort_key 0

PVE::CLIHandler - allow to define additional parameters for output formatter

Best shown with a example:

my $test_formatter = sub {
    my ($res, $result_schema, $fmt_param) = @_;
    PVE::CLIFormatter::print_api_result($res, $result_schema, undef, $fmt_param);
};

$cmddef = [ __PACKAGE__, 'test', [], undef, $test_formatter, $PVE::RESTHandler::standard_output_options],

cli: remove all output formatter magic from CLIHandler

- and rename format to 'output-format'

- provide a method to add properties to schema:
PVE::RESTHandler::add_standard_output_properties

- provide methods to extract output properties:
PVE::RESTHandler::extract_standard_output_properties()

PVE::ACME - untaint saved account data

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

api dump: do not skip indexed params with only one index

We transform indexed parameters (like scsi0 scsi1 ...) to a single
scsi[n]. The check if we should transform did not handle the case
where a parameter was indexed but (currently) only index 0 existed.
Such definitions where simply skipped and seemed then to miss from
places using the API dump, like the api-viewer.

We now only skip those parameters with an index > 0 where the same
parameter with index 0 is defined.

This fixes a missing efidisk0 entry in an API dump[0].

[0]: https://forum.proxmox.com/threads/efidisk0-creation-missing-from-api.45624/

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 5.0-37

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fixup: parameters vs properties typo

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

cli_handler: make standard options opt-in

The new standard options overwrite some already existing options in
already existing CLI tools, which is surely no good, e.g. vzdump
already has an quiet option which now gets overwritten, thus any
backup triggered by CRON always sents out an (additional) email.

Further, they may even only have an effect if the respective CLI
command uses an CLIFormatter print* method to output things.

And for some commands, like 'pvecm status' they may even never make
sense, as they exec an external program which doesn't honors nor gets
those std options...
Also some internal commands, like 'qm mtunnel' will never use it, as
probably even "normal" commands, as it may simply not make sense for
every command..

So make it opt-in for now, any CLI command can set std-output-opts to
get them.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 5.0-36

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

print_api_result: skip undefined object values

We use objects to return VM configurations, so we uónly want to display
defined values.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

output format options: remove 'plain', add 'json-pretty'

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIFormatter::print_api_result - remove parameter $format

Instead, we pass it within $options.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli_handler: pass common output options as separate parameter

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIFormatter - implement new output options

quiet: dont print anything
noheader: supres headers
noborder: no borders
human-readable: use renderers
Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

tests: test newly added interfaces individually

And add eth2/3 to /proc/net/dev, that way we don't need to
create them "virtually" (which we shouldn't, for physical
interfaces).

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fixup: don't use exists boolean

The previous condition didn't fail tests because it was
always false. The 'exists' property is not actually usable
when writing the interface file. It is merely a hint that
the interface existed in /proc/net/dev while parsing the
interfaces file and is otherwise actually unused here.

Simply check for the existence of the interface in $ifaces.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fixup: compare MTUs numerically

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

whitespace fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

cleanup: whitespace and error message consistency

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Inotify : add mtu option

also check if mtu value is lower than parent interface

fixme: vxlan interface should be 50bytes lower than outgoing interface
       we need to find which interface is used (unicast/multicast/frr)

Inotify : add check vlan

verify than parent interface exist
verify than parent interface type is eth,bond,bridge
verify than parent bridge is vlan aware if type bridge

Inotify : add check_bond

verify than bond slaves exist && type is eth

Inotify : add bridge ports options

Inotify : add vxlan interface support

PVE::RESTHandler::generate_usage_str - new static method to generate usage from $info

This is useful to generate usage information with pveclient, where we do not have
handler classes at all.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIFormatter::print_api_result - use print_api_list to print arrays

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

CLIFormatter - implement renderer for timestamps using GMT

PVE::CLIFormatter::data_to_text - add parameter $options

Also pass $options to renderer functions.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

CLIFormatter - implement renderer for timestamps

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIHandler - allow to set LOG ID with $ENV{PVE_LOG_ID}

We use this with 'pvesh'.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

JSONSchema: register new standard option 'pve-output-format'

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIFormatter::extract_properties_to_print - new helper

This improves sort order. We now priorize required values, and list
them before optional values.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

CLIFormatter: define some commonly useful rendering functions

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

JSONSchema: define 'renderer' property

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: print_text_table: restore autoformat behavior

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cli: print_text_table: support multiline data

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: data_to_text: never render undefined values

To make it visible when the API return undefined values.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIFormatter::query_terminal_options - new helper

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: print_api_result: add/use new encoding option

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

CLIFormatter: implement tables with utf8 borders

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

CLIFormatter: pass options as hash

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: print_text_table: allow to limit output width

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: data_to_text: pass property info

So that we can display defaults, render boolean nicely, or call arbitrary render
functions ...

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::JSONSchema::register_renderer - allow to register renderers by name

We want to use those renderer to format CLI output nicely.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: print_api_result: use print_api_list to print objects

In order to draw the new asciiart border ...

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: print_text_table: allow to draw ascii art borders

format can now be:

plain => what we had with 'text' before
text => print with borders (default)
json

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

trivial: fixup: no double semicolons

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

foolowup: improve/add comments and spacing

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix #1819: fork_worker: ensure sync'ed workers control terminal

Use setpgid + tcsetpgrp instead of setsid if $sync (invocation via
cli), thus keeping /dev/tty - ssh-copy-id/ssh need it to read the
password, and putting the child in the forground. Further, ignore
SIGTTOU in child process (otherwise it gets stopped upon tcsetpgrp)

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

PVE/CLIFormatter.pm - new class to generate/format CLI output

Moved code from CLIHandler.pm into this file.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

bump version to 5.0-35

d/control: break pve-manager < 5.2-5 and pmg-api < 5.0-74

rest/cli: rename param mapping related variable to shorter versions

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

remove read_password_func from cli handler

we have a param_mapping now, with which we can impement that

e.g. instead of using:

sub read_password {
    # read password
}

we can do:

sub param_mapping {
    my ($name) = @_;

    my $password_map = ['password', sub{
# read password
    }, '<password', 1];

    my $mapping = {
'apicall1' => [$password_map],
'apicall2' => [$password_map],
...
    };

    return $mapping->{$name};
}

this has the advantage that we can use different subs for different
api calls (e.g. pveum passwd vs pveum ticket)

if a CLIHandler implemenation still has a read_password sub and no
param_mapping, we generate one for them with read_password as the
sub for the standard mapping 'pve-password'

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

cli: print_text_table: another fix for poperties without schema

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: print_text_table: die if no property info not needed anymore

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cli: print_text_table: fix for poperties without schema

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cli: print_text_table: followup code cleanup

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cli: print_text_table: default to autosort on

we more often want to sort by the leftmost valid column than not.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cli: print_api_result: simplify props_to_print code

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

PVE::CLIHandler::print_text_table - cleanup, directly use json schema data

This way we can access all type information and can use that to sort
numeric columns correctly.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIHandler::print_text_table - add option $sort_key

Now, we do not change the ordering by default.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIHandler::data_to_text: return '' for undef

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

PVE::CLIHandler::print_api_result - add $props_to_print parameter

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

PVE::CLIHandler::print_api_list: update comment

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

PVE::CLIHandler::print_api_list - use all occuring properties

print_api_list falls back to the union of all properties occuring in data, if
none are provided explicitly, and the API method contains no returns property.

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

PVE::CLIHandler::print_text_table - fix sorting

Sort only if at least one column contains no undefined values.
Sort according to the left-most such column.

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

cleanup: rename $returninfo to $result_schema

PVE::CLIHandler::print_api_list - improve format check

We can only print lists of objects.

PVE::CLIHandler::print_api_list - reorder arguments

Move optional argument to the end.

PVE::CLIHandler::print_api_list - allow to pass empty $props_to_print

PVE::CLIHandler - new helper print_api_result

Allow to print complex object/array by simply converting them to JSON.

Note: Our API almost always return simply values.

cli: print table: remove only-once-used default variable

cli: print_text_table: ensure default is not undefined

Default to printing '', if no default is provided for a column.

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

INotify: write network: don't duplicate bridge-vids

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>