]> git.proxmox.com Git - proxmox-backup.git/log
proxmox-backup.git
5 months agorun cargo fmt
Fabian Grünbichler [Fri, 7 Jun 2024 12:00:33 +0000 (14:00 +0200)]
run cargo fmt

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
5 months agoapi: catalog/file-restore: use archive-name schema
Fabian Grünbichler [Fri, 7 Jun 2024 12:00:15 +0000 (14:00 +0200)]
api: catalog/file-restore: use archive-name schema

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
5 months agoclient: backup: conditionally write catalog for file level backups
Christian Ebner [Fri, 7 Jun 2024 11:37:52 +0000 (13:37 +0200)]
client: backup: conditionally write catalog for file level backups

Only write the catalog when using the regular backup mode, do not write
it when using the split archive mode.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agowww: content: lookup via metadata archive instead of catalog
Christian Ebner [Fri, 7 Jun 2024 11:37:51 +0000 (13:37 +0200)]
www: content: lookup via metadata archive instead of catalog

In case of pxar archives with split metadata and payload data, the
metadata archive has to be used to lookup entries for navigation
before performing a single file restore.

Decide based on the archive filename extension whether to use the
`catalog` or the `pxar-lookup` api endpoint.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agofile-restore: fallback to mpxar if catalog not present
Christian Ebner [Fri, 7 Jun 2024 11:37:50 +0000 (13:37 +0200)]
file-restore: fallback to mpxar if catalog not present

The `proxmox-file-restore list` command will uses the provided path to
lookup and list directory entries via the catalog. Fallback to using
the metadata archive if the catalog is not present for fast lookups in
a backup snapshot.

This is in preparation for dropping encoding of the catalog for
snapshots using split archive encoding. Proxmox VE's storage plugin
uses this to allow single file restore for LXCs.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agofile-restore: never list ppxar as archive
Christian Ebner [Fri, 7 Jun 2024 11:37:49 +0000 (13:37 +0200)]
file-restore: never list ppxar as archive

Payload data archives cannot be used to navigate the content, so
exclude them from the archive listing, as this is used by
Proxmox VE to list in the file browser.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoapi: datastore: add optional archive-name to file-restore
Christian Ebner [Fri, 7 Jun 2024 11:37:48 +0000 (13:37 +0200)]
api: datastore: add optional archive-name to file-restore

Allow to pass the archive name as optional api call parameter instead
of having it as prefix to the path.
If this parameter is given, instead of splitting of the archive name
from the path, the parameter itself is used, leaving the path
untouched.

This allows to restore single files from the archive, without having
to artificially construct the path in case of file restores for split
pxar archives, where the response path of the listing does not
include the archive, as opposed to the response provided by lookup
via the catalog.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoapi: datastore: conditional lookup for catalog endpoint
Christian Ebner [Fri, 7 Jun 2024 11:37:47 +0000 (13:37 +0200)]
api: datastore: conditional lookup for catalog endpoint

Add an optional `archive-name` parameter, indicating the metadata
archive to be used for directory content lookups instead of the
catalog. If provided, instead of the catalog reader, a pxar Accessor
instance is created to perform the lookup.

This is in preparation for dropping catalog encoding for snapshots
with split pxar archive encoding.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: tools: add helper to lookup `ArchiveEntry`s via pxar
Christian Ebner [Fri, 7 Jun 2024 11:37:46 +0000 (13:37 +0200)]
client: tools: add helper to lookup `ArchiveEntry`s via pxar

In preparation to lookup entries via the pxar metadata archive
instead of the catalog, in order to drop encoding the catalog
for snapshots using split pxar archives altogehter.

This helper allows to lookup the directory entries via the provided
accessor instance and formats them to be compatible with the output
as produced by lookups via the catalog.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoapi: datastore: move reusable code out of thread
Christian Ebner [Fri, 7 Jun 2024 11:37:45 +0000 (13:37 +0200)]
api: datastore: move reusable code out of thread

Move code that can be reused when having to  perform a lookup via the
pxar metadata archive instead of the catalog out of the thread.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoapi: datastore: factor out path decoding for catalog
Christian Ebner [Fri, 7 Jun 2024 11:37:44 +0000 (13:37 +0200)]
api: datastore: factor out path decoding for catalog

The file path passed to the catalog is base64 encoded, with an exception
for the root.
Factor this check and decoding step out into a helper function to make
it reusable when doing the same for lookups via the metadata archive
instead of the catalog.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: helper: fix minor formatting issue
Christian Ebner [Thu, 6 Jun 2024 17:28:13 +0000 (19:28 +0200)]
client: helper: fix minor formatting issue

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: fix minor formatting issue
Christian Ebner [Thu, 6 Jun 2024 17:28:12 +0000 (19:28 +0200)]
client: pxar: fix minor formatting issue

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: conditionally skip metadata reference test
Christian Ebner [Thu, 6 Jun 2024 08:17:11 +0000 (10:17 +0200)]
client: pxar: conditionally skip metadata reference test

The test will fail for all users not having euid/egid set to
1000/1000, as the reference test folder structure cannot be created
with the expected ownership.
Therefore, skip over the test if either euid or egid do not match
this condition.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: do not attempt to set uid/gid in test
Christian Ebner [Thu, 6 Jun 2024 08:17:10 +0000 (10:17 +0200)]
client: pxar: do not attempt to set uid/gid in test

Setting the uid/gid for the files and folders of the test directory
structure will not work when lacking the permissions.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agobump pxar build-dep to 0.11
Fabian Grünbichler [Wed, 5 Jun 2024 14:04:12 +0000 (16:04 +0200)]
bump pxar build-dep to 0.11

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
5 months agodocs: add section describing change detection mode
Christian Ebner [Tue, 26 Mar 2024 09:57:13 +0000 (10:57 +0100)]
docs: add section describing change detection mode

Describe the motivation and basic principle of the clients change
detection mode and show an example invocation.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agodocs: file formats: describe split pxar archive file layout
Christian Ebner [Thu, 14 Mar 2024 10:25:38 +0000 (11:25 +0100)]
docs: file formats: describe split pxar archive file layout

Describes the pxar metadata archive and the corresponding pxar payload
file-format layout.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: set cache limit based on nofile rlimit
Christian Ebner [Tue, 7 May 2024 13:16:03 +0000 (15:16 +0200)]
client: pxar: set cache limit based on nofile rlimit

The lookahead cache size requires the resource limit for open file
handles to be high in order to allow for efficient reuse of unchanged
file payloads.

Increase the nofile soft limit to the hard limit and dynamically adapt
the cache size to the new soft limit minus the half of the previous
soft limit.

The `PxarCreateOptions` and the `Archiver` are therefore extended by
an additional field to store the maximum cache size, with fallback to
a default size of 512 entries.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: tools: add helper to raise nofile rlimit
Christian Ebner [Tue, 7 May 2024 13:04:03 +0000 (15:04 +0200)]
client: tools: add helper to raise nofile rlimit

The default soft limit for open file handles is rather low, as some
apis (e.g. the POSIX `select(2)` syscall) do not work [0].

The lookahead cache use during the backup clients metadata comparison
to reuse unchanged files however requires much higher limits to work
effectively.

This helper function allows to raise the soft limit to the hard
limit, as provided by the `getrlimit(2)` syscall.

[0] https://0pointer.net/blog/file-descriptor-limits.html

Suggested-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: add archive creation with reference test
Christian Ebner [Mon, 6 May 2024 09:35:01 +0000 (11:35 +0200)]
client: pxar: add archive creation with reference test

Add a basic regression test for archive creation with reference
metadata archive and index.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: chunk stream: switch payload stream chunker
Christian Ebner [Fri, 19 Apr 2024 15:14:12 +0000 (17:14 +0200)]
client: chunk stream: switch payload stream chunker

Use the dedicated chunker with boundary suggestions for the payload
stream, by attaching the channel sender to the archiver and the
channel receiver to the payload stream chunker.

The archiver sends the file boundaries for the chunker to consume.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agochunk stream: tests: add regression tests for payload chunker
Christian Ebner [Tue, 14 May 2024 09:57:47 +0000 (11:57 +0200)]
chunk stream: tests: add regression tests for payload chunker

Regression tests to cover suggested and forced boundaries as well as
chunk injection.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agochunker: tests: add regression tests for payload chunker
Christian Ebner [Mon, 13 May 2024 12:39:54 +0000 (14:39 +0200)]
chunker: tests: add regression tests for payload chunker

Test chunking of a payload stream with suggested chunk boundaries.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agodatastore: chunker: implement chunker for payload stream
Christian Ebner [Fri, 19 Apr 2024 13:47:11 +0000 (15:47 +0200)]
datastore: chunker: implement chunker for payload stream

Implement the Chunker trait for a dedicated payload stream chunker,
which extends the regular chunker by the option to suggest boundaries
to be used over the hast based boundaries whenever possible.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agodatastore: chunker: add Chunker trait
Christian Ebner [Fri, 19 Apr 2024 13:34:54 +0000 (15:34 +0200)]
datastore: chunker: add Chunker trait

Add the Chunker trait and move the current Chunker to ChunkerImpl to
implement the trait instead. This allows to use different chunker
implementations by dynamic dispatch and is in preparation for
implementing a dedicated payload chunker.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agopxar: add optional payload input to mount archive
Christian Ebner [Mon, 3 Jun 2024 14:46:07 +0000 (16:46 +0200)]
pxar: add optional payload input to mount archive

Allow to pass an optional input path to mount a split pxar archive
with dedicated payload data file.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agopxar: bin: support creation of split pxar archives via cli
Christian Ebner [Mon, 3 Jun 2024 14:37:16 +0000 (16:37 +0200)]
pxar: bin: support creation of split pxar archives via cli

Add support to create split pxar archives by redirecting the payload
output to a dedicated file.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agopxar: bin: test `pxar list` with payload-input
Christian Ebner [Mon, 3 Jun 2024 10:45:03 +0000 (12:45 +0200)]
pxar: bin: test `pxar list` with payload-input

Add a unit test to check for correct listing of pxar archives with
split payload input.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agopxar: bin: ignore version and prelude entries in listing
Christian Ebner [Mon, 27 May 2024 12:07:36 +0000 (14:07 +0200)]
pxar: bin: ignore version and prelude entries in listing

Do not list the pxar format version and the prelude entries in the
output of pxar list, these are not regular entries. Do include them
however when dumping with the debug environmet variable set.
Since the prelude is arbitrary in size, only show the content size.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agopxar: bin: show padding in debug output on archive list
Christian Ebner [Mon, 25 Mar 2024 13:15:11 +0000 (14:15 +0100)]
pxar: bin: show padding in debug output on archive list

In addition to the entries, also show the padding encountered in-between
referenced payloads.

Example invocation: `PXAR_LOG=debug pxar list archive.mpxar`

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: allow to restore prelude to optional path
Christian Ebner [Thu, 2 May 2024 09:26:57 +0000 (11:26 +0200)]
client: pxar: allow to restore prelude to optional path

Pxar archives allow to store additional information in a prelude
entry since pxar format version 2.

Add an optional parameter to `pxar` and `proxmox-backup-client` to
specify the path to restore the prelude to and pass this to the
archive extraction by extending the `PxarExtractOptions` by a
corresponding field. If none is given, the prelude is simply skipped
during restore.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: opt encode cli exclude patterns as Prelude
Christian Ebner [Fri, 22 Mar 2024 14:27:59 +0000 (15:27 +0100)]
client: pxar: opt encode cli exclude patterns as Prelude

Instead of encoding the pxar cli exclude patterns as regular file
within the root directory of an archive, store this information
directly after the pxar format version entry in the entry of kind
Prelude.

This behavior is however currently exclusive to the archives written
with format version 2 in a split metadata and payload case.

This is a breaking change for the encoding of new cli exclude
parameters. Any new exclude parameter will not be added to an already
present .pxar-cliexclude file, and it will not be created if not
present.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: add helper to handle optional preludes
Christian Ebner [Thu, 4 Apr 2024 10:49:42 +0000 (12:49 +0200)]
client: pxar: add helper to handle optional preludes

Pxar archives with format version 2 allows to store optional
information file format version and prelude entries.

Cover the case for these entries, the file format version entry being
introduced to distinguish between different file formats used for
encoding as well as the prelude entry used to store optional metadata
such as the pxar cli exlude parameters.

Add the logic to accept and decode these prelude entries when
accessing the archive via a decoder instance.

For now simply ignore them.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: backup writer: make backup info output more concise
Christian Ebner [Mon, 3 Jun 2024 08:24:48 +0000 (10:24 +0200)]
client: backup writer: make backup info output more concise

With the additional output in case of split pxar archives, the upload
statistics logged by the backup writer following a backup are crowded
and hard to read.

Make the output more concise by merging the currenlty 2 lines per
upload stream, shown as e.g.:

```
data.ppxar: had to backup 4 MiB of 10.943 GiB (compressed 159 B) in 49.30s
data.ppxar: average backup speed: 83.09 KiB/s
```

into a single line, shown as e.g.:

```
data.ppxar: had to back up 4 MiB of 10.943 GiB (159 B compressed) in 49.30 s (average 83.09 KiB/s)
```

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agopxar: create: show chunk injection stats info output
Christian Ebner [Thu, 21 Mar 2024 14:18:00 +0000 (15:18 +0100)]
pxar: create: show chunk injection stats info output

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agopxar: create: keep track of reused chunks and files
Christian Ebner [Tue, 23 Apr 2024 13:50:07 +0000 (15:50 +0200)]
pxar: create: keep track of reused chunks and files

Track and log reused or reencoded files as well as the reused chunks
and their paddings.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: backup writer: add injected chunk count to stats
Christian Ebner [Thu, 21 Mar 2024 09:08:23 +0000 (10:08 +0100)]
client: backup writer: add injected chunk count to stats

Track the number of injected chunks and show them in the debug output

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agofix #3174: client: pxar: enable caching and meta comparison
Christian Ebner [Fri, 24 May 2024 16:31:39 +0000 (18:31 +0200)]
fix #3174: client: pxar: enable caching and meta comparison

When walking the file system tree, check for each entry if it is
reusable, meaning that the metadata did not change and the payload
chunks can be reindexed instead of reencoding the whole data.

If the metadata matched, the range of the dynamic index entries for
that file are looked up in the previous payload data index.
Use the range and possible padding introduced by partial reuse of
chunks to decide whether to reuse the dynamic entries and encode
the file payloads as payload reference right away or cache the entry
for now and keep looking ahead.

If however a non-reusable (because changed) entry is encountered
before the padding threshold is reached, the entries on the cache are
flushed to the archive by reencoding them, resetting the cached state.

Reusable chunk digests and size as well as reference offsets to the
start of regular files payloads within the payload stream are injected
into the backup stream by sending them to the chunker via a dedicated
channel, forcing a chunk boundary and inserting the chunks.

If the threshold value for reuse is reached, the chunks are injected
in the payload stream and the references with the corresponding
offsets encoded in the metadata stream.

Since multiple files might be contained within a single chunk, it is
assured that the deduplication of chunks is performed, by keeping back
the last chunk, so following files might as well reuse that same
chunk without double indexing it.  It is assured that this chunk is
injected in the stream also in case that the following lookups lead to
a cache clear and reencoding.

Directory boundaries are cached as well, and written as part of the
encoding when flushing.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: refactor catalog encoding for directories
Christian Ebner [Fri, 24 May 2024 17:11:10 +0000 (19:11 +0200)]
client: pxar: refactor catalog encoding for directories

Move the catalog directory start and end encoding from `add_entry`
to the `add_directory`, the latter being called by the previous.

By this, the `add_entry` method can be reused to walk the filesystem
tree in the context of an enabled lookahead cache without encoding
anything.

No functional change intended.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agopxar: caching: add look-ahead cache
Christian Ebner [Tue, 23 Apr 2024 13:16:26 +0000 (15:16 +0200)]
pxar: caching: add look-ahead cache

Add a lookahead cache and the neccessary types to store the required
data and keep track of directory boundaries while traversing the
filesystem tree, in order to postpone a decision if to reuse or
reencode a given regular file with unchanged metadata.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: add method for metadata comparison
Christian Ebner [Wed, 21 Feb 2024 13:50:40 +0000 (14:50 +0100)]
client: pxar: add method for metadata comparison

Add method to compare metadata of current file entry against metadata
of the entry looked up in the previous backup snapshot. If the
metadata matched, the start offset pointing to the files payload
header in the payload steam is returned.

This is in preparation for reusing payload chunks for unchanged files.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: implement prepare reference method
Christian Ebner [Wed, 21 Feb 2024 12:06:46 +0000 (13:06 +0100)]
client: implement prepare reference method

Implement a method that prepares the decoder instance to access a
previous snapshots metadata index and payload index in order to
pass it to the pxar archiver. The archiver than can utilize these
to compare the metadata for files to the previous state and gather
reusable chunks.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agospecs: add backup detection mode specification
Christian Ebner [Tue, 26 Sep 2023 09:28:55 +0000 (11:28 +0200)]
specs: add backup detection mode specification

Adds the specification for switching the detection mode used to
identify regular files which changed since a reference backup run.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: streams: add channels for dynamic entry injection
Christian Ebner [Wed, 21 Feb 2024 10:58:14 +0000 (11:58 +0100)]
client: streams: add channels for dynamic entry injection

To reuse dynamic entries of a previous backup run and index them for
the new snapshot. Adds a non-blocking channel between the pxar
archiver and the chunk stream, as well as the chunk stream and the
backup writer.

The archiver sends forced boundary positions and the dynamic
entries to inject into the chunk stream following this boundary.

The chunk stream consumes this channel inputs as receiver whenever a
new chunk is requested by the upload stream, forcing a non-regular
chunk boundary in the pxar stream at the requested positions.

The dynamic entries to inject and the boundary are then send via the
second asynchronous channel to the backup writer's upload stream,
indexing them by inserting the dynamic entries as known chunks into
the upload stream.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agochunker: add method to reset chunker state
Christian Ebner [Mon, 13 May 2024 12:37:23 +0000 (14:37 +0200)]
chunker: add method to reset chunker state

When forcing a boundary, the internal chunker state is not in sync
with the chunk stream anymore. The reset method therefore allows
to reset the internal state.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: chunk stream: add struct to hold injection state
Christian Ebner [Tue, 19 Mar 2024 09:23:08 +0000 (10:23 +0100)]
client: chunk stream: add struct to hold injection state

Adds a dedicated structure to hold the optional sender and receiver
instances and state for injection of reused dynamic entries in the
payload stream for split stream pxar archives.

The asynchronous channels must only be attached to the payload
archive, leaving the current behavior for the metadata archive and
current default encoding without reusing payload chunks of previous
snapshots.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoupload stream: implement reused chunk injector
Christian Ebner [Thu, 21 Sep 2023 12:46:56 +0000 (14:46 +0200)]
upload stream: implement reused chunk injector

In order to be included in the backups index file, reused payload
chunks have to be injected into the payload upload stream at a
forced boundary. The chunker forces a chunk boundary and sends the
list of reusable dynamic entries to be uploaded.

This implements the logic to receive these dynamic entries via the
corresponding communication channel from the chunker and inject the
entries into the backup upload stream by looking for the matching
chunk boundary, already forced by the chunker.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: helper for lookup of reusable dynamic entries
Christian Ebner [Thu, 14 Mar 2024 14:07:03 +0000 (15:07 +0100)]
client: pxar: helper for lookup of reusable dynamic entries

The helper method allows to lookup the entries of a dynamic index
which fully cover a given offset range. Further, the helper returns
the start padding from the start offset of the dynamic index entry
to the start offset of the given range and the end padding.

This will be used to lookup size and digest for chunks covering the
payload range of a regular file in order to re-use found chunks by
indexing them in the archives index file instead of re-encoding the
payload.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: include payload offset in entry listing
Christian Ebner [Fri, 15 Mar 2024 08:46:06 +0000 (09:46 +0100)]
client: pxar: include payload offset in entry listing

Also display the payload offset as listing output when the regular file
entry had a payload reference rather than the payload encoded in the
archive. This allows for debugging by inspecting the raw payload data
file at given offset.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agopxar: bin: add more context to extraction error
Christian Ebner [Mon, 25 Mar 2024 11:53:48 +0000 (12:53 +0100)]
pxar: bin: add more context to extraction error

Show more of the extraction error context provided by the pxar decoder.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agopxar: bin: cover listing for split archives
Christian Ebner [Mon, 27 May 2024 11:57:44 +0000 (13:57 +0200)]
pxar: bin: cover listing for split archives

Allows to list entries of split pxar archives. As the decoder skips
over the file payloads, the corresponding payload file has to be
provided. Otherwise the decoder would skip inside the metadata
archive, leading to incorrect decoding.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agopxar: bin: add optional payload input for archive restore
Christian Ebner [Mon, 25 Mar 2024 10:59:46 +0000 (11:59 +0100)]
pxar: bin: add optional payload input for archive restore

Allows to pass the optional payload input to restore for cases where the
regular file payloads are stored in the split archive.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agofile restore: show more error context when extraction fails
Christian Ebner [Wed, 24 Apr 2024 10:02:14 +0000 (12:02 +0200)]
file restore: show more error context when extraction fails

Otherwise the context swallows the actual, underlying error message.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agofile restore: cover split metadata and payload archives
Christian Ebner [Tue, 23 Apr 2024 17:25:55 +0000 (19:25 +0200)]
file restore: cover split metadata and payload archives

Attach the payload data archive as input stream to the decoder
and accessor instances for split archives.
Allows to restore contents from split archives via the
`proxmox-file-restore extract` command, by passing the metadata
archive name.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agofile restore: factor out getting pxar reader
Christian Ebner [Tue, 23 Apr 2024 17:19:16 +0000 (19:19 +0200)]
file restore: factor out getting pxar reader

Factor out the logic to get the pxar reader into a dedicated function
so it can be reused to get the payload data archive reader instance.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agofile restore: cover extension for split pxar archives
Christian Ebner [Mon, 19 Feb 2024 13:40:49 +0000 (14:40 +0100)]
file restore: cover extension for split pxar archives

Cover the additional `.mpxar` for metadata archive and `.ppxar` for
the payload data for pxar archives written as split archive.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agowww: cover metadata extension for pxar archives
Christian Ebner [Mon, 19 Feb 2024 13:45:49 +0000 (14:45 +0100)]
www: cover metadata extension for pxar archives

Allows to access the pxar metadata archives for navigation and
download via the Proxmox Backup Server web ui.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agocatalog: shell: make split pxar archives accessible
Christian Ebner [Wed, 21 Feb 2024 19:39:48 +0000 (20:39 +0100)]
catalog: shell: make split pxar archives accessible

Cover the cases where the pxar archive was uploaded as split payload
data and metadata streams. Instantiate the required reader and
decoder instances to access the metadata and payload data archives,
using the corresponding helper methods.
Allows to restore split metadata and payload stream pxar archives via
the catalog shell.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoapi: datastore: attach split archive payload chunk reader
Christian Ebner [Tue, 20 Feb 2024 14:49:18 +0000 (15:49 +0100)]
api: datastore: attach split archive payload chunk reader

Attach the payload chunk reader for pxar archives which have been
uploaded using split streams for metadata and payload data.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: mount: make split pxar archives mountable
Christian Ebner [Thu, 15 Feb 2024 11:47:32 +0000 (12:47 +0100)]
client: mount: make split pxar archives mountable

Cover the cases where the pxar archive was uploaded as split payload
data and metadata streams. Instantiate the required reader and
decoder instances to access the metadata and payload data archives.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: tools: cover extension for split pxar archives
Christian Ebner [Mon, 19 Feb 2024 13:50:28 +0000 (14:50 +0100)]
client: tools: cover extension for split pxar archives

Cover the additional `.mpxar` for metadata archive and `.ppxar` for
the payload data file in the cli parameter completion callback.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: restore: read payload from dedicated index
Christian Ebner [Wed, 21 Feb 2024 10:51:52 +0000 (11:51 +0100)]
client: restore: read payload from dedicated index

Whenever a split pxar archive is encountered, instantiate and attach
the required dedicated reader instance to the decoder instance on
restore.

Piping the output to stdout is not possible for these, as this would
require a decoder instance which can decode the input stream, while
maintaining the pxar stream format as output.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: tools: helper to check pxar filename extensions
Christian Ebner [Tue, 21 May 2024 15:18:38 +0000 (17:18 +0200)]
client: tools: helper to check pxar filename extensions

With the introduction of split pxar archives, the allowed extensions
are now `.pxar`, `.mpxar` and `.ppxar`. Add a helper function to
allow to check for all valid variants, including the optional
additional `.didx` in case of a server archive name.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: helper: add method for split archive name mapping
Christian Ebner [Tue, 19 Mar 2024 08:43:22 +0000 (09:43 +0100)]
client: helper: add method for split archive name mapping

Helper method that takes an archive name as input and checks if the
given archive is present in the manifest, by also taking possible
split archive extensions into account.
Returns the pxar archive name if found or the split archive names if
the split archive variant is present in the manifest.

If neither is matched, an error is returned signaling that nothing
matched entries in the manifest.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: helper: add helpers for creating reader instances
Christian Ebner [Wed, 13 Mar 2024 13:44:20 +0000 (14:44 +0100)]
client: helper: add helpers for creating reader instances

Add module to place helper methods which need to be used in different
submodules of the client.

Add `get_pxar_fuse_reader`, `get_buffered_pxar_reader` and
`get_pxar_fuse_accessor` to create reader instances to access pxar
archives.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: optionally split metadata and payload streams
Christian Ebner [Mon, 22 Apr 2024 15:39:00 +0000 (17:39 +0200)]
client: pxar: optionally split metadata and payload streams

... and attach the split payload writer variant to the pxar archive
creation. By this, metadata and payload data will create different
dynamic indexes, allowing to lookup and reuse payload chunks without
the additional overhead of the pxar archive's metadata.

For now this functionality remains disabled and will be enabled in a
later patch once the logic for reusing the payload chunks is in
place.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: combine writers into struct
Christian Ebner [Mon, 22 Apr 2024 14:23:40 +0000 (16:23 +0200)]
client: pxar: combine writers into struct

Introduce a `PxarWriters` struct to bundle all writer instances
required for the pxar archive creation into a single object to limit
the number of function call parameters.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: pxar: switch to stack based encoder state
Christian Ebner [Tue, 20 Feb 2024 16:07:08 +0000 (17:07 +0100)]
client: pxar: switch to stack based encoder state

... and adapt to the new reader/writer variant for encoder or
decoder/accessor to attach a dedicated payload input/output for split
pxar archives.

In preparation for look-ahead caching, where a passing around of
per-directory level encoder instances with internal references is
not feasible.

Previously, for each directory level a new encoder instance has been
generated, restricting possible implementation errors. These encoder
instances have been internally linked by references to keep track of
the state changes in a parent child relationship.

This is however not feasible when the encoder has to be passed by
mutable reference, as required by the look-ahead cache
implementation. The encoder has therefore been adapted to use a
single instance implementation with an internal stack keeping track
of the state.

Depends on the bumped pxar library version, including the patches to
attach the corresponding variant for the pxar reader/writer
instantiation.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agobump version to 3.2.4-1
Fabian Grünbichler [Wed, 5 Jun 2024 14:24:36 +0000 (16:24 +0200)]
bump version to 3.2.4-1

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
5 months agodatastore: dynamic index: add method to get digest
Christian Ebner [Tue, 28 May 2024 09:42:33 +0000 (11:42 +0200)]
datastore: dynamic index: add method to get digest

In preparation for injecting reused payload chunks in payload streams
for regular files with unchanged metaddata. Allows to get the digest
of a dynamic index entry to construct a reusable dynamic entry from
it.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoapi: datastore: refactor getting local chunk reader
Christian Ebner [Tue, 28 May 2024 09:42:11 +0000 (11:42 +0200)]
api: datastore: refactor getting local chunk reader

Move the code to get the local chunk reader to a dedicated function
to make it reusable. The same code is required to get the local chunk
reader for the payload stream for split stream archives.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoclient: backup: factor out extension from backup target
Christian Ebner [Tue, 28 May 2024 09:42:10 +0000 (11:42 +0200)]
client: backup: factor out extension from backup target

Instead of composing the backup target name and pushing it to the
backup list, push the archive name and extension separately, only
constructing it while iterating the list later.

By this it remains possible to additionally prefix the extension, as
required with the separate pxar metadata and payload indexes.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
5 months agoauth: add locking to `PbsAuthenticator` to avoid race conditions
Shannon Sterz [Thu, 23 May 2024 11:25:59 +0000 (13:25 +0200)]
auth: add locking to `PbsAuthenticator` to avoid race conditions

currently we don't lock the shadow file when removing or storing a
password. by adding locking here we avoid a situation where storing
and/or removing a password concurrently could lead to a race
condition. in this scenario it is possible that a password isn't
persisted or a password isn't removed. we already do this for
the "token.shadow" file, so just use the same mechanism here.

Signed-off-by: Shannon Sterz <s.sterz@proxmox.com>
5 months agofix #5503: d/control: bump dependency for proxmox-widget-toolkit
Fiona Ebner [Fri, 31 May 2024 14:09:21 +0000 (16:09 +0200)]
fix #5503: d/control: bump dependency for proxmox-widget-toolkit

With proxmox-widget-toolkit < 4.1.4, loading the UI will fail with
a JavaScript error:

> Uncaught TypeError: Proxmox.Utils.overrideNotificationFieldName is not a function

Signed-off-by: Fiona Ebner <f.ebner@proxmox.com>
5 months agofix: api: permission using wrong pathname
Gabriel Goller [Wed, 29 May 2024 12:54:58 +0000 (14:54 +0200)]
fix: api: permission using wrong pathname

The read_interface endpoint uses the wrong path identifier. It has been
renamed to 'iface' some time ago but hasn't been changed here.

When a user has a permission on '/' with 'Admin', he wasn't able to
show the config of a single interface, as the non-existent path didn't
match.

Reported-by: https://forum.proxmox.com/threads/permissons-not-working-for-network-settings.147899/
Signed-off-by: Gabriel Goller <g.goller@proxmox.com>
5 months agofixup build with new acme crate
Wolfgang Bumiller [Mon, 27 May 2024 08:53:46 +0000 (10:53 +0200)]
fixup build with new acme crate

We missed an API break in the acme crate versioning...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
6 months agotrivial clippy fixes
Fabian Grünbichler [Fri, 24 May 2024 10:49:04 +0000 (12:49 +0200)]
trivial clippy fixes

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
6 months agorun `cargo fmt`
Fabian Grünbichler [Fri, 24 May 2024 10:49:21 +0000 (12:49 +0200)]
run `cargo fmt`

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
6 months agobump version to 3.2.3-1
Thomas Lamprecht [Wed, 22 May 2024 17:31:39 +0000 (19:31 +0200)]
bump version to 3.2.3-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
6 months agotape: rework setting MAM Host type attributes
Thomas Lamprecht [Wed, 22 May 2024 17:03:05 +0000 (19:03 +0200)]
tape: rework setting MAM Host type attributes

The product name is Proxmox Backup Server, not just Backup Server,
that makes no sense on its own and it really cannot be expected by
tools extracting any Medium Auxiliary Memory (MAM) info to render it
as `${app_vendor} ${app_name}`.

Drop the comment about ignoring errors, that's pretty clear with
the only-log-error construct.

Instead, add some comments about what the hex numbers refers too and
what their respective length (limit) is. The names where taken from
Table 315 "MAM Host type attributes" in the "IBM LTO SCSI Reference"
for LTO 9.

Slightly off-topic: The tape code really is a mess with sprinkling
those hex numbers hard coded all over the place, often with some
unchecked coupling in other places (like here, the list of set MAM
attrs and the one that get cleared can easily get out of sync..), but
that's for another time to clean-up (I need to cut a release).

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
6 months agobuild config: add constant for full cargo crate version
Thomas Lamprecht [Wed, 22 May 2024 16:58:41 +0000 (18:58 +0200)]
build config: add constant for full cargo crate version

and a todo comment to document some cleanup potential

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
6 months agoacme: explicitly ask for custom directory URI
Fabian Grünbichler [Wed, 15 May 2024 11:21:42 +0000 (13:21 +0200)]
acme: explicitly ask for custom directory URI

instead of blocking on input without telling the user what's going on.

Reported on the forum: https://forum.proxmox.com/threads/147058/

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
6 months agoui: datastore options: link to 'notification-mode' section
Lukas Wagner [Fri, 26 Apr 2024 11:23:35 +0000 (13:23 +0200)]
ui: datastore options: link to 'notification-mode' section

Signed-off-by: Lukas Wagner <l.wagner@proxmox.com>
6 months agodocs: notifications: rewrite overview for more clarity
Lukas Wagner [Fri, 26 Apr 2024 11:23:34 +0000 (13:23 +0200)]
docs: notifications: rewrite overview for more clarity

Also link to the following subsections where applicable.

Signed-off-by: Lukas Wagner <l.wagner@proxmox.com>
6 months agodocs: document notification-mode and merge old notification section
Lukas Wagner [Fri, 26 Apr 2024 11:23:33 +0000 (13:23 +0200)]
docs: document notification-mode and merge old notification section

This new section describes how the notification-mode parameter works.
The section also contains also parts of the old notification section
from the maintenance chapter, reusing the description of the
`notify` and `notify-user` parameters.

Signed-off-by: Lukas Wagner <l.wagner@proxmox.com>
Reviewed-by: Gabriel Goller <g.goller@proxmox.com>
6 months agonotifications: fix legacy sync notifications
Gabriel Goller [Wed, 15 May 2024 09:58:45 +0000 (11:58 +0200)]
notifications: fix legacy sync notifications

When using the legacy notifications the sync mode would pick up the
settings from the prune-job, which default to Error. This completely
disables notifications for successful sync-jobs when using the legacy
system.

Reported in the forum: https://forum.proxmox.com/threads/147018/

Signed-off-by: Gabriel Goller <g.goller@proxmox.com>
Tested-by: Max Carrara <m.carrara@proxmox.com>
Reviewed-by: Lukas Wagner <l.wagner@proxmox.com>
6 months agobump d/control
Wolfgang Bumiller [Wed, 22 May 2024 14:05:53 +0000 (16:05 +0200)]
bump d/control

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
6 months agobump proxmox-auth-api to 0.4
Wolfgang Bumiller [Wed, 22 May 2024 14:05:49 +0000 (16:05 +0200)]
bump proxmox-auth-api to 0.4

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
6 months agoauth: use auth-api when generating keys and generate ec keys
Stefan Sterz [Wed, 6 Mar 2024 12:36:09 +0000 (13:36 +0100)]
auth: use auth-api when generating keys and generate ec keys

this commit switches pbs over to generating ed25519 keys when
generating new auth api keys. this also removes the last direct
usages of openssl here and further unifies key handling in the auth
api.

Signed-off-by: Stefan Sterz <s.sterz@proxmox.com>
6 months agoauth: move to auth-api's private and public keys when loading keys
Stefan Sterz [Wed, 6 Mar 2024 12:36:08 +0000 (13:36 +0100)]
auth: move to auth-api's private and public keys when loading keys

this commit moves away from using openssl's `PKey` and uses the
wrappers from proxmox-auth-api. this allows us to handle keys in a
more flexible way and enables as to move to ec based crypto for the
authkey in the future.

Signed-off-by: Stefan Sterz <s.sterz@proxmox.com>
6 months agoauth: upgrade hashes on user log in
Stefan Sterz [Wed, 6 Mar 2024 12:36:07 +0000 (13:36 +0100)]
auth: upgrade hashes on user log in

if a users password is not hashed with the latest password hashing
function, re-hash the password with the newest hashing function. we
can only do this on login and after the password has been validated,
as this is the only point at which we have access to the plain text
password and also know that it matched the original password.

Signed-off-by: Stefan Sterz <s.sterz@proxmox.com>
6 months agoauth: move to hmac keys for csrf tokens
Stefan Sterz [Wed, 6 Mar 2024 12:36:06 +0000 (13:36 +0100)]
auth: move to hmac keys for csrf tokens

previously we used a self-rolled implementation for csrf tokens. while
it's unlikely to cause issues in reality, as csrf tokens are only
valid for a given tickets lifetime, there are still theoretical
attacks on our implementation. so move all of this code into the
proxmox-auth-api crate and use hmac instead.

this change should not impact existing installations for now, as this
falls back to the old implementation if a key is already present. hmac
keys will only be used for new installations and if users manually
remove the old key and

Signed-off-by: Stefan Sterz <s.sterz@proxmox.com>
6 months agoui: garbage-collection: use different state-id for global and per-datastore view
Thomas Lamprecht [Tue, 21 May 2024 09:30:07 +0000 (11:30 +0200)]
ui: garbage-collection: use different state-id for global and per-datastore view

For one these different views have different columns shown, and more
importantly: with the state being shared one could change sorting in
the global view and then have that applied in the per-datastore view
too, even if one cannot sort that view explicitly otherwise as there's
just one row anyway. This small glitch might lead to a bit of
confusion in the worst case and looks unpolished in any way.

Note that I explicitly decided against encoding the datastore in the
state-id for the per-datastore views for now, as most users will want
to adapt layout (like column width) for all per-datastores views.

Having to re-do that for every datastore separately can be quite a
nuisance while the same user wanting different layout for each
datastore in their per-datastore view seems rather to be an edge case.
And we can always change this, so starting out with the slightly more
restricted design that has less browser local data to be saved seems
better w.r.t. maintainability.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
6 months agofix #5422: ui: garbage-collection: make columns in global view sortable
Gabriel Goller [Thu, 16 May 2024 09:18:41 +0000 (11:18 +0200)]
fix #5422: ui: garbage-collection: make columns in global view sortable

Make columns sortable in the global 'Prune & GC Jobs' view. In the
per-datastore view the columns will not be sortable as there can only be
one job.

Fixes: db3fd213 ("fix #3217: ui: global prune and gc job view")
Co-authored-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
Signed-off-by: Gabriel Goller <g.goller@proxmox.com>
Tested-by: Max Carrara <m.carrara@proxmox.com>
6 months agorestore daemon: search disk also with truncated serial
Dominik Csapak [Wed, 15 May 2024 09:55:13 +0000 (11:55 +0200)]
restore daemon: search disk also with truncated serial

the disk serial given to virtio disks only can be 20 characters, so
looking for a disk with a longer serial will always fail (like
'drive-tpmstate0-backup'). If the serial is longer, also try with the
truncated one. Leave the first try in place in case the limit changes.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
6 months agorestore daemon: log some errors for dir traversal
Dominik Csapak [Wed, 15 May 2024 09:55:12 +0000 (11:55 +0200)]
restore daemon: log some errors for dir traversal

in case we cannot stat a file in the restore vm, log the path and reason
why. This should normally not happen, but when it does, the path and
error might help us find the issue.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
6 months agofix #5465: restore daemon: mount ntfs with utf8 charset
Dominik Csapak [Wed, 15 May 2024 09:55:11 +0000 (11:55 +0200)]
fix #5465: restore daemon: mount ntfs with utf8 charset

since the change in our restore image to ntfs3, non iso8859-1 filenames
were broken. Fix that by adding the 'iocharset' option to ntfs3.

Leave the ntfs option in place, so that if the image gets booted
with an older kernel for some reason, this still works.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
6 months agoui: update online help info
Thomas Lamprecht [Wed, 15 May 2024 12:14:51 +0000 (14:14 +0200)]
ui: update online help info

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
6 months agoapi: syslog: fix api macro to return array instead of object.
Dietmar Maurer [Wed, 15 May 2024 10:17:03 +0000 (12:17 +0200)]
api: syslog: fix api macro to return array instead of object.

The implementation already returns Vec, so this change is to generate
correct api documentation.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>