generate_typetext: avoid warning with aliases

update changelog

generate_typetext: handle enums and booleans automatically

property strings: introduce key grouping feature

Use case: networks for kvm use a <model>=<macaddr> scheme
where the model represents the network card. The schema
previously could not represent this, so we now introduce a
'group' key which works similar to an alias with the
difference that the data structure also gets an entry named
after the group filled with the name of the key that was
used to fill it.

Usage:
{
    virtio => { group => 'model' },
    e1000 => { group => 'model' },
    model => {
        type => 'string',
        pattern => ... # pattern for mac address
        ...
    }
}

Now the string 'virtio=aa:bb:cc:dd:ee:ff' gets parsed into:
{
    model => 'virtio',
    virtio => 'aa:bb:cc:dd:ee:ff'
}

Error examples:
  With bad value:
    virtio: value does not match the regex pattern
  Missing group:
    model: property is missing and it is not optional

parse_net() however used the 'macaddr' key for the mac
address, which can be achieved by aliasing 'model' to
'macaddr':
{
    virtio => { group => 'model' },
    e1000 => { group => 'model' },
    model => { alias => 'macaddr' },
    macaddr => {
        type => 'string',
        pattern => ... # pattern for mac address
        ...
    }
}

Then the above string will be parsed into:
{
    model => 'virtio',
    macaddr => 'aa:bb:cc:dd:ee:ff'
}

The error output now always shows the 'macaddr' key:
Error examples:
  With bad value:
    macaddr: value does not match the regex pattern
  Missing group:
    macaddr: property is missing and it is not optional

In order to support specifying no mac address we can now set
model.default_key = 1 and macaddr.optional = 1.
That way `virtio,bridge=vmbr2` gets parsed correctly into
just a model with no macaddr. This works because default
keys as aliases have previously not been supported and would
not have been aliased accordingly. This case is now also
taken into account when printing default keys, which is now
skipped if it is also an alias.

bump version to 4.0-57

fix #923: uninitalized value in remove_lock

get_property_description: introduce new $style parameter

config => colon separated config files
arg => command line argument
fixed => fixed command line argument (see usage_str())

cleanup: whitespace and than/then typo

get_property_description: add new 'text' format

get_property_description: use correct base name opt[n]

new PVE::RESTHandler::dump_properties

The plan is to replace code in PodParser.

fix spelling errors

bump version to 4.0-56

add the 'urlencoded' string format

cleanup: full path package references to self

This started happening when moving the 'pve-storage-id'
option from pve-storage and curously kept on going since
then...

cleanup: newlines in die/warn

property strings: check for commas in values

bump version to 4.0-55

add missing check for undef in is_mounted

bump version to 4.0-54

net: don't die in get_active_interfaces() and try both address families

cleanup: regex match group reference

Don't refer to the regex match group via $1 after running
other code.

net: improve ingress tc filter

Instead of doing a dummy "0 == 0" comparison with the u32
filter just use the 'basic' filter.

bump version to 4.0-53

net: tap_plug() needs to apply rate limiting

Any action we take in tap_plug() when using OVS will undo
our rate limiting, which means any hotplug change must
restore the previous rate setting.
Since this means tap_plug() would always be followed by a
tap_rate_limit() call anyway we just include the rate
parameter here and let the caller decide whether the full
tap_plug() is required or the simple tap_rate_limit()
suffices.

network: tap_rate_limit: fix uninitialized value

pod: skip aliases in generate_property_text

These are special and have no other properties to access.

bump version to 4.0-52

Decide whether volume is added as unused in subclass

since we need the volume ID of the volume/drive/mp, which is
only available after parsing, this needs to be done in the
subclasses.

__snapshot_delete_vol_snapshot() gets a new parameter, and
pushes the volid to this array if it should be added as
unused.

Introduce __snapshot_create_vol_snapshots_hook

This hook runs before and after creating volume snapshots,
as well as after unfreezing. Only needed for Qemu right now,
so the base case in PVE::AbstractConfig is a noop.

bump version to 4.0-51

Add AbstractConfig base class

This class contains common code formerly duplicated in
PVE::LXC and PVE::QemuServer, as well as abstract methods
that must be implemented for LXC and Qemu seperately.

Currently implemented in PVE::LXC::Config, Qemu refactoring
will follow.

bump version to 4.0-50

Add since and until parameter to dump_journal

journalctl can check their validness itself

pod: generate property string documentation

Generate the more detailed documentation with the
'description' property provided in the property-string
format schema for the '*.conf'(5) manpages.

bump version to 4.0-49

schema: error on missing keys without default keys

limit vmid with JSON format

if we do not do this, vmids < 100 (not really bad) and
vmids > 999999999 are possible, which can lead to vms which you can
only get rid of, if you delete the config files manually

also this makes the api consistent with the webgui for vmids

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

network: get rid of ioctl.ph

schema: disable additional properties in property strings

Changed the default additional_properties parameter when
verifying them from undefined (which defaults to 1) to 0.

parse_property_strings() now takes an optional
additional_properties parameter, too.

bump version to 4.0-48

added syncfs syscall and sync_mountpoint helper

update changelog

Fix #882: active state of interfaces depends on ipv6

read_etc_network_interfaces used the content of
/proc/net/if_inet6 to decide whether an interface's state is
"active", which means an interface is only active when it
has an ipv6 address, thus using net.ipv6.conf.*.disable_ipv6
on an interface will cause it to show as inactive in the web
interface.

We now filter the interfaces found in /proc/dev/net by their
IFF_UP flag read via an SIOCGIFFLAGS ioctl().

bump version to 4.0-47

Implement refcounting for flocks

This was already implemented in PVE::LXC::lock_aquire() and
lock_release(). Enabling refcounting in the general
PVE::Tools::lock_file() and lock_file_full() methods allows
us to use one code base for flocking.

Furthermore, we could get rid of various xx_no_lock methods
that were required because the old non-refcounting version
did not support nested flocks (the inner most flock would
close the file handle and thus release the flock).

CLIHandler: add missing use PVE::INotify

It uses PVE::INotify::inotify_init() in run_cli_handler().

bump version to 4.0-46

add upid_wait method

Waits for a process identified by a UPID to end by busy waiting
and is intended for long running workers.

waitfunc gets called every wait cycle after min $sleep_interval
seconds and can be used for outputting/logging something or timing
out the wait.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

SectionConfig: disable duplicate plugin registration

Tools: add setns system call

bump version to 4.0-45

network: fix uninitialized value error

bump version to 4.0-44

network : add trunks support

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 4.0-43

Fix #861: use safer sprintf formatting

improve asciidoc markup

add experimental 'asciidoc' generator

useful to generate manual pages using asciidoc.

bump version to 4.0-42

Output also lockname if it cannot be acquired

If we can't acquire the lock in lock_file_full and get interrupted
by a signal inqeual to EINTR (e.g. SIGTERM), output also it's name
in the error message to allow better debugging.

Also fix a typo.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

allow fall back to default completion

This allows a fall back to the default completion, which completes
possible paths/files, if nothing can be generated from the PVE
completion handler ($print_bash_completion) or if the user starts
to entry a path.
This is especially useful for restore or create commands which can
take an archive file as argument.

The bash-completions get generated at each package build through the
respective Makefile, so to let this change come in effect the package
needs to be rebuild and installed (and the respective file from
/usr/share/bash-completion/completions/<pve cli tool> needs to be
sourced again (or simply open a new terminal))

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 4.0-41

Daemon: don't clear CLOEXEC on daemon sockets

They were leaking into processes blocking full restarts of
the daemons.

Note that perl's fcntl doesn't work on numeric
filedescriptors (neither does POSIX::fcntl, which even stays
silent about it and returns EBADF without ever trying to
actually perform the fcntl syscall), so the socket handles
need to be stored ($daemon_sockets).
The flag is added back when the socket gets reopened.

bump version to 4.0-40

run_command: return exit code and add noerr

Allow to return the exit code of the executed command.
And as we do not reach the return of the exit code if it was not 0,
a noerr parameter is also needed so we can suppress the 'command
failed' die in case of an exit code unequal to 0.

This is required as some programs return another value than 0 when
they succeed, For example `systemctl list-jobs` returns  a value
>= 0 on a successful execution, normally 1.
Without this patch a run_command call to `systemctl list-jobs` gets
marked as failed although it was successful.

This does not break current behaviour in any way as setting the
noerr parameter is required to return something other than 0 or
undef, which are equal in a boolean comparison.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

print_property_string: skip keys early

Keys in the skip-list don't need to be valid schema keys.
This was overly strict before which makes it harder to
include temporary internal keys in a such an object.

bump version to 4.0-39

add function file_copy

to have a save copy.

bump version to 4.0-38

avoid access to undefinded var $tag

bump version to 4.0-37

ProcFSTools: implement conforming parse_mounts

There are a few places where we grep over /proc/mounts
without taking the encoding into acount.
ProcFSTools::parse_mounts parses mount data and decodes all
the special character the kernel might encode into it.

Shortcut: parse_proc_mounts to do
parse_mounts(read_proc_mounts()).
is_mounted() updated to parse mounts correctly.

update changelog

fix CLONE constant declaration

Tools: make unshare behave like other perl syscalls

Most syscall wrappers in perl return 1 on success and our
current use of Tools::unshare isn't using the return value
(yet), so let's fix this while we can.

Also it seems to make sense to use prototyping on syscalls
to add some compile-time argument checking.

bump version to 4.0-36

print_property_string: skip undefined values

Tools::df: fork and use Filesys::Df

Instead of depending on the 'df' commandline tool do a
fork() to create a killable process and run Filesys::Df,
returning the data over a pipe.

bump version to 4.0-35

read_prox_net_ipv6_route fixup

- read_v6addr used the wrong $_
- All values in the file are hex and possibly prefixed with
zeroes so we need to make sure they don't get interpreted as
octal.

bump version to 4.0-34

half-revert: remove autostart property from bridge ports

In commit 21d32c95cd autostart was removed from all bridge
ports but should have only been removed from ovs bridge ports.

network: IP_from_cidr and is_ip_in_cidr helpers

bump version to 4.0-33

allow /32 ipv4 cidrs

support aliases in property strings

In qemu the 'volume' key maps to 'file', both can be used,
so to support this case in the comma-separated property
list parser we need a way to alias keys to one another.
This allows declaring a key like:

  volume => {
      alias => 'file'
  }
  file => {
      type => 'string',
      format => 'pve-volume-id',
      default_key => 1,
      format_description => 'volume'
  }

With this the following property strings are equivalent and
result in the same datastructure being returned from
parse_property_string:

  local:disk.raw
  file=local:disk.raw
  volume=local:disk.raw

bump version tio 4.0-32

print_property_string: disk-size is a format, not a type

random_ether_addr: code cleanups

Shorter implementation of random_ether_addr().

bump version to 4.0-31

parse_property_string: add newline to error strings

to prevent perl from adding 'at line xxx'

don't reorder unknown interface types

Giving unknown interfaces an order-id of 0 caused them to
always be on top of the interfaces file. This is often
undesired. Instead we now only take type-ordering into
account when both interfaces which are being compared have a
known type, and otherwise only use the priority attribute.
This should result in a more stable modification of
interfaces.

Fixes #747

bump version to 4.0-30

api_clone_schema: use Clone::clone instead of Storable::dclone

This works with CODE refs like 'completion' helpers.

depend on libclone-perl

bump version to 4.0-29

Tools::IPV4OCTET: move longer alternatives forward

In an alternation /a|b|c/ the first match matches, so while
'1.1.1.121' matches /^$IPV4RE$/ (note the ^ and $ anchors),
parsing a line like /nameserver ($IPV4RE)/ would only
extract '1.1.1.12', ignoring the last '1' due to the /[1-9]/
alternative matching before the /1[0-9]/ one.

INotify::read_etc_resolv_conf: ipv6 support