bump version to 7.3-4

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix #4615: REST environment: improve AnyEvent detectíon in child cleanup

I assumed that the 'priv' and 'pub' RESTEnvironment types always
contained an AnyEvent eventloop, but this is actually not the case in
pvestatd and pvescheduler.

But it depended on the used model that AnyEvent used (and auto
detected) if this wrong assumption worked or not. With the
AnyEvent::Impl::Perl there weren't any problems and it seemingly
worked by accident, but when using AnyEvent::Impl::EV (which is
autodetected and used when libev-perl is installed) it interfered
with our SIG_CHLD handlers and only ever called them once. (Not clear
why this happens, maybe because AnyEvent is not setup correctly).

This patch uses $AnyEvent::MODEL as a detection instead since this is
`undef` until the first AnyEvent watcher is created, which should be
only the case where we really use AnyEvent, such as pveproxy and
pvedaemon.

Fixes: 6870afa ("RESTEnvironment: better SIGCHLD handling in AnyEvent event loop")
Link: https://lists.proxmox.com/pipermail/pve-devel/2023-March/056057.html
Suggested-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 7.3-3

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cli formatter: check data ref when printing array

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

certificate: actually print openssl errors

print_errs (which is also called internally by die_now) will only
'warn' the collected error stack if the log level is set to tracing.
otherwise, it will just return the error message(s) corresponding to
the error stack as string.

while they are not always the most user-friendly ones, they do
provide additional context that might help to find out what is
actually causing a particular failure. both helpers here actually
provide a meaninful user friendly context (via $msg) as final line.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
 [ T: resolve merge conflict due to dropped warn helper ]
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

section config: add helper for deleting keys from a entry

This is a pattern that can be found often in Proxmox VE's API stack,
so implement it centrally here for re-use.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

RESTEnvironment: better SIGCHLD handling in AnyEvent event loop

when we're in an API server that uses AnyEvent, we must postpone
the worker_reaper, since it calls 'active_workers' which might already
be called and then we're inside the lock twice (flocks are per process
for us, see PVE::Tools::lock_file)

This resulted in an error like this:
close (rename) atomic file '/var/log/pve/tasks/active' failed: No such file or directory

We use the fact that only 'pub' and 'priv' RESTEnvironment types are an
api server with anyevent. For other types we call it like before.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

cert: avoid module-wide variable used only once

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cert: check_pem: code reduction/cleanup

mainly by avoiding the useless intermediate variables

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cert info: minimal code reduction

shorter and avoids variable are longer in scope than they're used too

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cert: csr: sensible param default for warn helper, avoid early line breaks

If one sets a param hard-coded to the same vallue in all but one case
it often is a nicer to negate it and but it at the end.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cert: drop single-use warn helper

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cert: move trailing newline into die helper

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cert: make die helper a private sub and fix code style on use

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

certificate: add check_ prefix to cert/key match helper

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

certificate: fix formatting and whitespace

Signed-off-by: Max Carrara <m.carrara@proxmox.com>

certificate: add subroutine that checks if cert and key match

This is done here in order to allow other packages to make use of
this subroutine.

Signed-off-by: Max Carrara <m.carrara@proxmox.com>

fix #4547: set MTU on dynamically created vlan bridges

Otherwise the created vlan bridge has the default MTU, which is
unexpected when the original bridge has some other MTU configured.

We already do this for the firewall bridges, so we should do so too for
the vlan bridges.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 7.3-2

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: Add callback based filtering for logfile dump

This patch introduces callback based filtering functionality for logfile dumps.
Further, the `dump_logfile` function is split into a reusable part for dumps
generated based on a filehandle. The state parameter can be used to keep the
state for multiple consecutive function invocations.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

fix #4299: network : disable_ipv6: fix path checking

It's possible to have a
/proc/sys/net/ipv6/ directory

but no
/proc/sys/net/ipv6/conf/$iface/disable_ipv6

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix typo

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

build: add missing build-dependencies

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 7.3-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

dump logfile: avoid boolean ternary if already boolean value

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

dump logfile: return whole log file if limit is 0

The dump_logfile now returns the whole log file if the limit
parameter is set to 0. This must be done explicitly though, as in the
case of 'limit' being undefined, the default as before, 50 will be
used.

Signed-off-by: Daniel Tschlatscher <d.tschlatscher@proxmox.com>

network: add|del_fdb: fix learning check

ovs port don't have sysfs path
"/sys/class/net/$iface/brport/learning"

We need to check if the value is undef too

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

bump version to 7.2-8

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

network: support adding fdb directly in tap_plug

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

network: fix whitespace error

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

PBSClient: file_restore_list: add extraParams and use timeout

under some conditions, like when calling it in the api where we have
a 30s pveproxy limit, we want to make use of the '--timeout' parameter
of the file-restore binary, but we may want to call it in the future
where we don't want add timeout.

To achieve that, add an extendable 'extra_params' hash parameter to
'file_restore_list' and use the timeout from there.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

cache: allow importing nodename method

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 7.2-7

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: record breaks for older qemu-server/pve-container

as we now auto-detect if the 'bridge-disable-mac-learning' is set in
the Network::tap_plug method and disable learning if so, we need to
ensure that the qemu-server and pve-container can cope with that by
manually registering the guests MAC into the FDB.

So this certainly isn't a hard break, but as network is dead for the
guest on update, if that option is set and the new qemu-server and/or
pve-container packages ain't yet updated, it seems still worthy of a
break.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

network: tap plug: auto-disable learning if bridge-disable-mac-learning is set

avoids that we need to repeat the same code hunk two times each for
CT and VM call sites.

If required it can be simply overridden by setting it explicitly on
call.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

procfs tools: modernize write_proc_entry

that unless stuff is just hard to read and against our code style.

note that there's also basically the same helper in SysFSTools, and
neither is really dependent on sysfs or procfs semantics, so both
probably should go away..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tests: section config: comment need for warn on debugging

as often only warn really makes it out of perl/our pit of std out/err
handling (e.g., I had a case where neither print STDERR nor syslog
worked, but warn did)

also, the tests are rather brittle w.r.t their expect_fail variant,
as the actual expected error should be enforced.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

job registry: avoid injecting the section id unconditionally in configs

this can result in a broken config due to it getting written out on
write_config serialization, and if a plugin did not declare `id` as
an option it understood (none do currently), it would then fail the
next parse, far from ideal...

As the section ID is available already anyway we should probably just
drop this, but for now avoid rushed changes and just make it
conforming to section config semantics and check if the option is
actually understood by the respective section type we're working on.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

job registry: drop unused get_job skeleton

didn't do anything anyway

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 7.2-6

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

inotify: whitespace fix

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

move Job base config & registry over from manager as PVE::Job::Registry

It was PVE::Jobs::Plugin in pve-manager so we don't have any clash
potential, so no Breaks record required in d/control.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: avoid phony 'install' target by setting actual pre-requisites

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: actually drop Subscription.pm from sources to install list

Fixes: e94cd57 ("remove PVE::Subscription and friends")
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: sort list of module sources alphabetically

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add section config tests

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

support unknown types in section config

This adds an opt-in flag to `parse_config` and
`write_config` to allow for unknown section types.

This will simply be left unverified.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

sysfs tools: add comment w.r.t. mdev uuid to pci_cleanup_mdev_device

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 7.2-5

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: record breaks for qemu-server (<< 7.0-192-6)

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cgroup: add note w.r.t. adding new params to change_cpu_shares

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

change cpu shares: drop unused $cgroupv1_default parameter

The only expression it appears in short-circuits, because the line
before ensures that $shares is guaranteed to be set.

Signed-off-by: Fiona Ebner <f.ebner@proxmox.com>

schema: take over 'pve-targetstorage' option

from qemu-server, for re-use in pve-container.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
Reviewed-by: Fiona Ebner <f.ebner@proxmox.com>

bump version to 7.2-4

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pbs client: backup fs tree: drop namespace parameter

Instead, use the one from the initial configuration. The only current
caller is in PMG and the namespace parameter set there agrees with
the one from the initial configuration, so this is not actually a
breaking change.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

pbs client: deprecate namespaced parameters

All existing callers for functions with namespaced parameters just
re-use the one that's passed in via the initial configuration already,
so there is no need for namespaced parameters currently.

If the need for one PBS client to handle multiple namespaces arises, a
set_namespace() function could be added, or the relevant functions
could take an additional parameter, either for just the namespace or
like $cmd_opts in restore_pxar().

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

pbs client: default to configured namespace for non-namespaced parameters

For get_snapshots(), also set the default when no namespaced parameter
is present at all.

This would break any callers that have a namespace in the initial
config and explicitly don't set it for a later call, but the only
such caller is restore_pxar() in PMG, which /should/ be using the
namespace!

In other words, this implicitly fixes the restore_pxar() call in PMG
and avoids the need to extract the namespace from the configuration
(which already is present in the client) on the call site for all
functions that currently take a namespaced parameter.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

pbs client: forget snapshot: suppress output

Otherwise, there will be
Result: {
      "data": null
}
when calling via a CLI tool for example. This also makes it consistent
with PVE in preparation to switch to using PBSClient there.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

pbs client: delete password: return success for non-existent file

It's currently possible to add a remote in PMG without password (via
API), but deletion of such a remote would fail here.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

cgroup: move get_cpuunits helper from qemu-server as clamp_cpu_shares

Based on a patch from Fiona[0] that proposed to move it to
guest-common, rather go for common where the CGroup module resides to
avoid having to touch multiple sites if this changes another time
(hopefully not)

[0]: https://lists.proxmox.com/pipermail/pve-devel/2022-October/054225.html

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 7.2-3

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cgroup: get mode by checking /sys/fs/cgroup mount point

Since even in pure unified layouts there may be a `name=systemd` v1
cgroup mounted additionally (manually or potentially via
systemd-nspawn apparently), we should check what's actually mounted
at `/sys/fs/cgroup` rather than whether v1 cgroups exist.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

cgroup: make get_v1_controllers private

we have no external users left

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

remove PVE::Subscription and friends

this has been taken over by Proxmox::RS::Subscription, which is now used
by pve-manager and pmg-api.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

JSONSchema: refactor tag regex

we'll use that elsewhere too

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

netowrk: general perlcritic/style fixes

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

network: followup style fixes

biggest one is to avoid using a conditional capture group

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

network: tap_plug: fix mtu

- ovsint port mtu need to be set with ""ovs-vsctl set mtu-request"
- update mtu on already existing interfaces (fwbr,fwln,tap,veth)
  if existing tap|veth interface is replugged on a different mtu bridge

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

SysFSTools: get name from mediated device types

Some vendors also provide a 'name' file here for the type, which, in case of
NVIDIA, is the official name for the vGPU type in their documentation,
so extract and return it too (if it exists).

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

proc fs tools: handle proc/stat without guest values

PMG is often run as a container, and in certain environments (like
Virtuozzo 7), the last two values (guest and guest_nice) might not be
present. This led to a division by zero, because the total value was
never updated.

Reported in the community forum:
https://forum.proxmox.com/threads/106896/

Acked-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

bump version to 7.2-2

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tools: use int() on all integer syscall parameters

this should fix an issue where users with custom id mappings
get bad ownership on intermediate directories caused by the
rootuid/gid being the string "100000" in perl instead of the
number 100000...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add fixme comment for waiting on uninterruptible processes

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

rest env: cleanup active_worker code style

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 7.2-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

pbs-client: namespace support

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 7.1-6

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

REST handler: get property description: escape curly braces for asciidoc

Text enclosed in unescaped curly braces will be interpreted as an
attribute reference breaking and e.g. lead to the description not
showing up at all a generated man page further down the line.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

sysfs: rename fixup_missing_domain to normalize_pci_id and make normal sub

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

SysFSTools: factor out the domain fixup and domain regex

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

formatter: render duration: support autolimiting accurarcy

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

json schema: allow to export print_property_string

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 7.1-5

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

network: fix default of new bridge learning flag

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 7.1-4

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

switch to using Proxmox::RS::CalendarEvent

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

schema: parse_config: optionally collect comments

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

SysFSTools: allow longer pci domains

by default, there is only one pci domain ('0000'), but there are systems
where there are more, and they don't need to be exactly 4 characters
long (see [0]), so extend that regex to allow domains 4 characters or
longer

0: https://forum.proxmox.com/threads/problem-with-gpu-passthrough-in-a-virtual-machine.105720/

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

network: avoid module on imported run_command

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

network: tap plug: switch to opts hash to avoid expanding long params

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Inotify: add bridge-disable-mac-learning option to bridges.

This is an internal option, only used by proxmox, and not ifupdown1/2

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

network: add support for disabling bridge learning on tap|veth|fwln ports

Currently, if bridge receive an unknown dest mac (network bug/attack/..),
we are flooding packets to all bridge ports.

This can waste cpu time, even more with firewall enabled.
Also, if firewall is used with reject action, the src mac of RST
packet is the original unknown dest mac.
(This can block the server at Hetzner for example)

So, we can disable learning && unicast_flood on tap|veth|fwln port interface.
Then mac address need to be add statically in bridge fdb.

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

RESTenv: fork worker: fallback to 'root@pam' for task log user-id

The fallback had a "typo" in the realm and used 'root@pve' (pve vs.
pam) since initial import from SVN, but off-list talks with Dietmar
suggest that 'root@pam' was always the intended fallback value.

Call sites without a defined user parameter (found only push_file and
pull_file from pve-container) were logging the task-owner user as
'root@pve' which isn't a default one, so it wouldn't exist in most
setups.

For clarity, add a comment that this is only used for the task logs.

Signed-off-by: Oguz Bektas <o.bektas@proxmox.com>
[ T: Reword/add to commit message slightly ]
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

REST environment: add static log_warn function

which avoids the need for the caller to check whether the environment
was initialized or not.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

REST environment: allow export of log_warn

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

readme: update instructions for bullseye

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 7.1-3

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add 'map_id' helper for ID maps

currently these are used by qemu-server for mapping source and target
storages, but this mechanism will be extended to network bridge maps and
re-used in pve-container as well, so let's put it next to the schema
definitions/helpers.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 7.1-2

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: hack: drop libpve-rs-perl dependency for now

not available on PMG and other places we use this lib (infra stuff)..

the perlmod stuff needs to be either more conditionally included, the
perlmod move to a more generic library (proxmox-rs?) or duplicated to
at least pmg-rs (albeit that wouldn't solve the infra pain points)

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>