update to proxmox-subscription 0.3

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

update proxmox-router to 1.3.0

no real change for PBS usage - the ApiHandler enum is marked
non_exhaustive now because it has extra values if the new (enabled by
default) "server" feature is enabled.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

update to proxmox-http 0.7

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

backup-client: mount: fix read of larger files

fuse_lowlevel.h says about read:

 Read should send exactly the number of bytes requested except
 on EOF or error, otherwise the rest of the data will be
 substituted with zeroes.

but we simply forwarded the bytes we got from 'read_at'. The result was
that files were corrupt as soon as read_at returned not the exact number
of bytes requested. such short reads are easy to trigger with large
files (where reading a file has to cross many chunk boundaries).

To fix that, loop over 'read_at' until our buffer is full, or we read
0 bytes, indicating EOF.

reported in the forum:
https://forum.proxmox.com/threads/proxmox-backup-client-mounting-a-pxar-archive-gives-truncated-files.114447/

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Added comment, reworded slightly

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

build: more missing features

these would cause failures when building the sub-crates directly from
their sub-directory.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

pbs-config: add missing proxmox-sys/timer feature

else building pbs-config directly (not from the workspace root with `-p
pbs-config`) fails (and so do similar dep chains that don't pull in the
feature via another way, like `cd proxmox-backup-client; cargo build`).

Reported-by: Dominiki Csapak <d.csapak@proxmox.com>
Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

use short assign-bit-or (clippy fix)

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

update to nom 7

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

rustfmt

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

proxmox-backup-client: added ignore-acls/xattrs/ownership/permissions & overwrite parameters

If ignore-acls/ignore-xattrs/ignore-ownership/ignore-permissions is
set, the corresponding flag gets removed.

overwrite is saved as an PxarExtractOption like allow-existing-dirs.

Signed-off-by: Markus Frank <m.frank@proxmox.com>

pbs-client: added options to skip acls/xattrs/ownership/permissions

Also added WITH_OWNER and WITH_PERMISSION to Default-Flags,
because otherwise it would be needed to activly set these flags and most
filesystems that support XATTR and ACL also support
POSIX-Permissions & Ownership.

Signed-off-by: Markus Frank <m.frank@proxmox.com>

pbs-client: added overwrite parameter to PxarExtractOptions.

If overwrite is true, O_TRUNC is set (to clean the leftovers)
instead of O_EXCL and therefore overwrites the files and
does not error out.

Signed-off-by: Markus Frank <m.frank@proxmox.com>

more stable clippy fixups

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

properly scope clippy allow

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump d/control

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump proxmox-sys dep to 0.4

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: drop unused proxmox-borrow dependency

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

allow too_many_arguments in tape restore code

Some of them could easily be grouped in a kind of
RestoreWorker struct, but that'll still leave one bigger
function that's more annoying to change.
Let's just allow it for now.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

lower PullParameters to pub(crate), allow too_many_parameters

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy: deal with some internal type complexity

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy auto-deref fixes

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy fixups for Default impls

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

ticket: box TfaChallenge, it's large

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

more low hanging clippy fruits

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy: deal with let bindings

In the auth code we rather #[allow] the binding, because in
this case we explicitly want to assert the type.

In fact, it would make more sense for clippy to not warn
about a unit type if the unit type is explicitly spelled
out.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

more simpler clippy fixes

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

file-restore: clippy fixes

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tape: trivial clippy fixes

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tape: 'comparison_chain' clippy fixes

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

client: clippy fixes

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

datastore: clippy fixes

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

config: clippy fixes

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: allow type_complexity on purely internal field

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

rest-server: clippy fixups

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

rrd: Entry type and clippy fixes

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api-types: clippy fixes

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

more clippy fixes and annotations

the remaining ones are:
- type complexity
- fns with many arguments
- new() without default()
- false positives for redundant closures (where closure returns a static
  value)
- expected vs actual length check without match/cmp

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

clippy fixes

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump d/control

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tfa: allow modifying 'allow-subdomains'

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump d/control

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

cargo fmt

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

adapt to proxmox-subscription changes

key location is now in a single place, missing key and no signature is
not fatal anymore.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

adapt to proxmox-apt change

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

www: add Signed info to subscription panel

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

manager: add 'subscription set-offline-key' command

and disallow updating offline subscription keys via the regular
check/update code path.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

extract proxmox-subscription crate

and add support for signed subscription keys.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump proxmox-http dep to 0.6.4

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 2.2.5-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api daemons: periodically unpark a tokio thread to ensure progress

The underlying issue seems to be the case when the thread that runs
the IO driver is polling its own tasks, while that happens the IO
driver/poller won't run and thus work stealing won't happen, meaning
that idle and parked threads will keep being parked even if there's
pending work they could do.

A promising solution for tokio is proposed in its issue tracker [0],
but it wasn't yet implemented. So, as stop gap spawn a separate
thread that periodically spawns a no-op ready future in the runtime
which would unpark a worker in the aforementioned case and thus
should break the bogus idleness. Choose a 3s period for that without
any overly elaborate reasons, our main goal is to ensure we accept
incoming connections and 3s is well below a HTTP timeout and leaves
some room for high network latencies while not invoking to much
additional wakeups for systems that are really idling.

[0]: https://github.com/tokio-rs/tokio/issues/4730#issuecomment-1147975074

Link: https://github.com/tokio-rs/tokio/issues/4730
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix #4157: docs: fix copy-paste error in repo examples

refer to actually used host/datastore from the example

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 2.2.4-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

proxy: scheduler: only do a single round of time alignment and drop counter

not much value in waiting an extra minute, that doesn't really
guarantees better scheduling (as in, less impact on startup).

Dropping that also allows easily to drop the counter by just moving
the sleep to the beginning of the loop.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

proxy: scheduler: code cleanup/bloat reduction

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

proxy: scheduler: move fallback inside next_minute fn, drops result from return

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: buildsys: use wild card target for generating config synopsis

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: buildsys: use wild card target for generating synopsis

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: replace copyright years statement with single source of truth from conf

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: conf: update copyright years

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: epilog: add version dynamically and drop unused AUTHOR replacement

now that the man pages are generated from sphinx, not rst2man, they
got access to the conf.py and things like its rst_epilog variable.

Use that to set the correct version in there dynamically

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: let sphinx build man pages for better integration and less cruft

rst2man is only good for use in projects that don't use sphinx
already, as there it can help to avoid bringing in the full sphinx
dependencies and be easier to manage (as long as it stay small).

But we already use sphinx, so there's no point in managing the manual
pages in a separate, semi-related way that is quite restricted as we
have no access to sphinx infrastructure like conf.py defined
variables and helpers for things like the current version.

Besides that, we're rather big, so the complexity of sphinx can
shine, e.g., see the diffstat report from switching out rst2man for
sphinx:

22 files changed, 74 insertions(+), 347 deletions(-)

so 273 lines less in total is rather nice.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix: api2: make tasks endpoint work with new prune job worker type

when prune jobs were refactored, their worker type was changed from
"prune" to "prunejob" this broke `check_job_store` and
`check_job_privs`

as reported in the forum: https://forum.proxmox.com/threads/problem-with-apirequest-on-pbs-2-2-3.112131/#post-483835

Signed-off-by: Stefan Sterz <s.sterz@proxmox.com>

api2: optimize filtered snapshot listing

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

datastore: add BackupGroup::exists helper

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

datastore: factor type out of ListGroups into ListGroupsType

In the API we want to iterate over all backup groups
belonging to a particular type at least once, and iterating
through *everything* and simply "skipping" over every single
entry from another type makes no sense given that the groups
are organized into subdirectories based on their type.

Let's have an `.iter_backup_type()` method which returns an
iterator over all the groups of a specific type named
ListGroupsType and factorize the type level iterator out of
ListGroups for reuse.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

datastore: simplify iter_backup_groups_ok

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api-types: make BackupType::iter an actual iterator

Otherwise we have to use BackupType::iter().iter() whenever
we're not using a `for _ in iter()` construct.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api: wrap get_snapshots_count in spawn_blocking

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api: wrap set_backup_owner in spawn_blocking

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api: wrap set_protection in spawn_blocking

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api: wrap catalog in spawn_blocking

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api: wrap delete_snapshot in spawn_blocking

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api: wrap list_snapshot_files in spawn_blocking

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api: wrap delete_group in spawn_blocking

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api: move 'list_snapshots' to a blocking thread

This is a stop-gap measure to prevent snapshot listing from
blocking the main async worker threads as it can potentially
do a *lot* of I/O.

Ideally we'll move to a proper streaming API, but this will
be an API break.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

wrap fs_info calls in spawn_blocking

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tape: include used tapes in tape notification e-mails

by saving them in the pool-writer, and setting them in the
TapeBackupJobSummary

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

move json_object_to_query to proxmox-http+http-helpers

it's used by the subscription code that will be extracted next.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

move to/write_canonical_json to proxmox-serde

as preparation for extracting subscription-related code into its own
crate.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

cruft: remove tools::http

it's not used by anything.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

rustfmt

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api: tape/backup: improve behaviour for vanishing snapshots

when snapshots vanish during tape backup, we skip them. Until now,
we also warned with the error and failed the task at the end.

Since deleting snapshots during tape backup does not really interfere
with it, don't fail the whole task, and only add a log line that it
was skipped.

To differentiate from different errors (e.g. permission problems),
introduce a 'SnapshotBackupResult' which is returned by 'backup_snapshot'.

Also remove the 'pub' there since we don't want to leak the
SnapshotBackupResult type and it's not used anywhere outside this file.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

file-restore: fix a hyperlink in docs

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api-types: doc: add crate to `Display` trait in comments

when creating the documentation (e.g. `cargo doc --open`), it would
warn that `Display` is not in scope.

Signed-off-by: Stefan Sterz <s.sterz@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tape reader: improve error for unknown magic number

ancient LTO version can cause this too (got some forum reports)

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

partially fix #2915: 'stat' in case ReadDirEntry does not contain type

readdir/getdents may return 'DT_UNKNOWN' for the file type
(which corresponds to 'None' in nix::dir::Entry), so stat the file and
check the type

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump proxmox-sys dep to 0.3.1

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

d/control cleanup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump d/control

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

restore-daemon: make file listing 'streaming'

this prevents an oom kill when listing large directories.
Without this, i'd get an oom kill in the restore vm when
i tried to list a directory with ~60000 entries, but with this,
i'd get the response for even 250000 entries

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fixed_index: remove unused 'print_info' function

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

docs: add note for setting verbosity level

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

replace print with log macro

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

proxmox-rest-server: replace print with log macro

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

proxmox-file-restore: replace print with log macro

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

proxmox-backup-client: replace print with log macro

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pbs-fuse+pbs-tape: replace print with log macro

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pbs-datastore: replace print with log macro

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pbs-client: replace print with log macro

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bins: init cli logger

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>