re-enable run_cli, which is still in use

print_property_string: correctly implement skip parameter

fix keyAlias test

bump version to 4.0-61

JSONSchema fix property sort order

order: default_key, required options, other

remove PodParser.pm, implement keyAlias feature

The keyAlias feature replaces the previous 'group_ feature.

schema_get_type_text: return format_description if available

update changelog

When starting in debug mode, starts the daemon without going through systemctl

This fixes the problem that debug options for daemons were ignored and sets
the following behaviour for the daemons when -debug 1 is given
 * start on foreground with debug ouput on the console
 * do not start a sytemd unit

Starting the systemd unit in debug mode makes less sense because:
 * systemd will put the daemon in the background
 * systemd ignores environment variables so the only way to start
 the daemon with options would be through reading a config file

tested with pveproxy, pve-ha-lrm, pve-ha-crm

set RELEASE=4.2

bump version to 4.0-60

Use run_command instead of system

and explicitly note that those calls are allowed to fail and
are wrapped in eval {} on purpose.

SectionConfig: sort values return by lookup_types

They are use to generate type enums in the API.

sort keymap array

SectionConfig.pm: sort type enum

So that we can better detect API changes.

fix coding style

Fix indexed parameter conversion in documentation

this would previously convert properties that matched
'^([a-z]+)(\d+)$' even if they were not part of an indexed
properties series (which always start with 0).

This fixes previously wrongly converted properties:
-smbios1
-server2

Fix indexed parameter conversion in API dump

this would previously skip (i.e., ignore) properties that
matched '^([a-z]+)(\d+)$' even if they were not part of an
indexed properties series (which always start with 0).

This fixes previously missing API dump occurrences of:
-smbios1
-comments6
-netmask6
-gateway6
-address6
-dns1
-dns2
-dns3
-server1
-server2

bump version to 4.0-59

Fix #908: cleanup OVS ports in tap_unplug

tap_unplug() is only called in hotplugging functions which
perform a tap_plug() afterwards, and and in qemu-server's
bridge-down script.
The OVS port cleanup for non-firewall ports was done only in
tap_plug(), which means that in the case when qemu exits and
the tap device disappears, the OVS port for it stays.

With this patch the cleanup happens in both tap_unplug() and
tap_plug() to avoid problems with upgrades on systems
where there have already been ports leaked.

another fix for $get_property_description() - remove format 'pod'

Instead, use the same enum as in usage_str().

add pve-docs to README.dev

pass correct format to $get_property_description()

Fix uninitialized subroutine error

update changelog

Add validate_ssh_public_keys

validate format of SSH public keys using ssh-keygen -l and
temp files.

update changelog

Replace 'string' with 'filepath' for mapped params

For the CLI man pages and documentation, mapped parameters
('content' strings in API2 which are loaded from file paths
in CLI) get special treatment and are displayed with the
type 'filepath'.

Handle string parameter to file content replacement

This is modelled after the way read_password() is used to
wrap -password parameters on the command line. If a mapping
for a certain API method and parameter is defined in the
sub class of CLIHandler.pm, the parameter is interpreted as
a file path on the command line and the parameter is
filled with the string contents of the referenced file.

This allows us to use the same API schema once in API2, but
overwrite the behaviour for individual parameters in the CLI
tools when desired.

bump version to 4.0-58

sendmail: minor cleanups

Tools: add sendmail

can be used to send multipart (HTML, plain) mails to one or more
recipients at once.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Tools: tempfile and tempfile_contents

fix O_PATH value

generate_typetext: avoid warning with aliases

update changelog

generate_typetext: handle enums and booleans automatically

property strings: introduce key grouping feature

Use case: networks for kvm use a <model>=<macaddr> scheme
where the model represents the network card. The schema
previously could not represent this, so we now introduce a
'group' key which works similar to an alias with the
difference that the data structure also gets an entry named
after the group filled with the name of the key that was
used to fill it.

Usage:
{
    virtio => { group => 'model' },
    e1000 => { group => 'model' },
    model => {
        type => 'string',
        pattern => ... # pattern for mac address
        ...
    }
}

Now the string 'virtio=aa:bb:cc:dd:ee:ff' gets parsed into:
{
    model => 'virtio',
    virtio => 'aa:bb:cc:dd:ee:ff'
}

Error examples:
  With bad value:
    virtio: value does not match the regex pattern
  Missing group:
    model: property is missing and it is not optional

parse_net() however used the 'macaddr' key for the mac
address, which can be achieved by aliasing 'model' to
'macaddr':
{
    virtio => { group => 'model' },
    e1000 => { group => 'model' },
    model => { alias => 'macaddr' },
    macaddr => {
        type => 'string',
        pattern => ... # pattern for mac address
        ...
    }
}

Then the above string will be parsed into:
{
    model => 'virtio',
    macaddr => 'aa:bb:cc:dd:ee:ff'
}

The error output now always shows the 'macaddr' key:
Error examples:
  With bad value:
    macaddr: value does not match the regex pattern
  Missing group:
    macaddr: property is missing and it is not optional

In order to support specifying no mac address we can now set
model.default_key = 1 and macaddr.optional = 1.
That way `virtio,bridge=vmbr2` gets parsed correctly into
just a model with no macaddr. This works because default
keys as aliases have previously not been supported and would
not have been aliased accordingly. This case is now also
taken into account when printing default keys, which is now
skipped if it is also an alias.

bump version to 4.0-57

fix #923: uninitalized value in remove_lock

get_property_description: introduce new $style parameter

config => colon separated config files
arg => command line argument
fixed => fixed command line argument (see usage_str())

cleanup: whitespace and than/then typo

get_property_description: add new 'text' format

get_property_description: use correct base name opt[n]

new PVE::RESTHandler::dump_properties

The plan is to replace code in PodParser.

fix spelling errors

bump version to 4.0-56

add the 'urlencoded' string format

cleanup: full path package references to self

This started happening when moving the 'pve-storage-id'
option from pve-storage and curously kept on going since
then...

cleanup: newlines in die/warn

property strings: check for commas in values

bump version to 4.0-55

add missing check for undef in is_mounted

bump version to 4.0-54

net: don't die in get_active_interfaces() and try both address families

cleanup: regex match group reference

Don't refer to the regex match group via $1 after running
other code.

net: improve ingress tc filter

Instead of doing a dummy "0 == 0" comparison with the u32
filter just use the 'basic' filter.

bump version to 4.0-53

net: tap_plug() needs to apply rate limiting

Any action we take in tap_plug() when using OVS will undo
our rate limiting, which means any hotplug change must
restore the previous rate setting.
Since this means tap_plug() would always be followed by a
tap_rate_limit() call anyway we just include the rate
parameter here and let the caller decide whether the full
tap_plug() is required or the simple tap_rate_limit()
suffices.

network: tap_rate_limit: fix uninitialized value

pod: skip aliases in generate_property_text

These are special and have no other properties to access.

bump version to 4.0-52

Decide whether volume is added as unused in subclass

since we need the volume ID of the volume/drive/mp, which is
only available after parsing, this needs to be done in the
subclasses.

__snapshot_delete_vol_snapshot() gets a new parameter, and
pushes the volid to this array if it should be added as
unused.

Introduce __snapshot_create_vol_snapshots_hook

This hook runs before and after creating volume snapshots,
as well as after unfreezing. Only needed for Qemu right now,
so the base case in PVE::AbstractConfig is a noop.

bump version to 4.0-51

Add AbstractConfig base class

This class contains common code formerly duplicated in
PVE::LXC and PVE::QemuServer, as well as abstract methods
that must be implemented for LXC and Qemu seperately.

Currently implemented in PVE::LXC::Config, Qemu refactoring
will follow.

bump version to 4.0-50

Add since and until parameter to dump_journal

journalctl can check their validness itself

pod: generate property string documentation

Generate the more detailed documentation with the
'description' property provided in the property-string
format schema for the '*.conf'(5) manpages.

bump version to 4.0-49

schema: error on missing keys without default keys

limit vmid with JSON format

if we do not do this, vmids < 100 (not really bad) and
vmids > 999999999 are possible, which can lead to vms which you can
only get rid of, if you delete the config files manually

also this makes the api consistent with the webgui for vmids

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

network: get rid of ioctl.ph

schema: disable additional properties in property strings

Changed the default additional_properties parameter when
verifying them from undefined (which defaults to 1) to 0.

parse_property_strings() now takes an optional
additional_properties parameter, too.

bump version to 4.0-48

added syncfs syscall and sync_mountpoint helper

update changelog

Fix #882: active state of interfaces depends on ipv6

read_etc_network_interfaces used the content of
/proc/net/if_inet6 to decide whether an interface's state is
"active", which means an interface is only active when it
has an ipv6 address, thus using net.ipv6.conf.*.disable_ipv6
on an interface will cause it to show as inactive in the web
interface.

We now filter the interfaces found in /proc/dev/net by their
IFF_UP flag read via an SIOCGIFFLAGS ioctl().

bump version to 4.0-47

Implement refcounting for flocks

This was already implemented in PVE::LXC::lock_aquire() and
lock_release(). Enabling refcounting in the general
PVE::Tools::lock_file() and lock_file_full() methods allows
us to use one code base for flocking.

Furthermore, we could get rid of various xx_no_lock methods
that were required because the old non-refcounting version
did not support nested flocks (the inner most flock would
close the file handle and thus release the flock).

CLIHandler: add missing use PVE::INotify

It uses PVE::INotify::inotify_init() in run_cli_handler().

bump version to 4.0-46

add upid_wait method

Waits for a process identified by a UPID to end by busy waiting
and is intended for long running workers.

waitfunc gets called every wait cycle after min $sleep_interval
seconds and can be used for outputting/logging something or timing
out the wait.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

SectionConfig: disable duplicate plugin registration

Tools: add setns system call

bump version to 4.0-45

network: fix uninitialized value error

bump version to 4.0-44

network : add trunks support

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 4.0-43

Fix #861: use safer sprintf formatting

improve asciidoc markup

add experimental 'asciidoc' generator

useful to generate manual pages using asciidoc.

bump version to 4.0-42

Output also lockname if it cannot be acquired

If we can't acquire the lock in lock_file_full and get interrupted
by a signal inqeual to EINTR (e.g. SIGTERM), output also it's name
in the error message to allow better debugging.

Also fix a typo.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

allow fall back to default completion

This allows a fall back to the default completion, which completes
possible paths/files, if nothing can be generated from the PVE
completion handler ($print_bash_completion) or if the user starts
to entry a path.
This is especially useful for restore or create commands which can
take an archive file as argument.

The bash-completions get generated at each package build through the
respective Makefile, so to let this change come in effect the package
needs to be rebuild and installed (and the respective file from
/usr/share/bash-completion/completions/<pve cli tool> needs to be
sourced again (or simply open a new terminal))

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 4.0-41

Daemon: don't clear CLOEXEC on daemon sockets

They were leaking into processes blocking full restarts of
the daemons.

Note that perl's fcntl doesn't work on numeric
filedescriptors (neither does POSIX::fcntl, which even stays
silent about it and returns EBADF without ever trying to
actually perform the fcntl syscall), so the socket handles
need to be stored ($daemon_sockets).
The flag is added back when the socket gets reopened.

bump version to 4.0-40

run_command: return exit code and add noerr

Allow to return the exit code of the executed command.
And as we do not reach the return of the exit code if it was not 0,
a noerr parameter is also needed so we can suppress the 'command
failed' die in case of an exit code unequal to 0.

This is required as some programs return another value than 0 when
they succeed, For example `systemctl list-jobs` returns  a value
>= 0 on a successful execution, normally 1.
Without this patch a run_command call to `systemctl list-jobs` gets
marked as failed although it was successful.

This does not break current behaviour in any way as setting the
noerr parameter is required to return something other than 0 or
undef, which are equal in a boolean comparison.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>