src/bin/proxmox-backup-client.rs: implement login/logout

pxar: add command 'mount' to cli of pxar

Allows to mount an archive to a specified mountpoint via the cli.
Once the archive is mounted, the process is send to the background.
By passing the --verbose flag, the process is kept in foreground and
debug output is provided.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: add fuse module and expose its pub functionality.

pxar: add basic code for FUSE implementation.

This adds the basic code in order to create a fuse session and mount an archive.
It adds libfuse3-3 as runtime dependency and libfuse3-dev as build dependency.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/backup/data_blob.rs: define const MAX_BLOB_SIZE

src/bin/proxmox-backup-client.rs: implement catalog command

src/bin/proxmox-backup-client.rs: add archive filename to catalog

src/backup/data_blob.rs: allow largert blob sizes (128MB)

Need this for catalog files.

src/bin/proxmox-backup-client.rs: avoid compiler warning

src/bin/proxmox-backup-client.rs: new completion helper for snapshots

src/pxar/encoder.rs: use BackupCatalogWriter

src/pxar/catalog.rs: new catalog helper

src/bin/proxmox-backup-client.rs: avoid doubled file extensions (.blob.blob) in index.json

api: always use complete file names (including add exctensions)

src/api2/admin/datastore.rs - list_snapshot_files: list all files

Add files that are not mentioned in index.json.

src/api2/backup/environment.rs - add_blob: always verify blob crc

src/backup/data_blob.rs - encode: always compute crc

src/backup/backup_info.rs: add BackupInfo::new constructor

src/bin/proxmox-backup-client.rs: fix remote filename completion

src/client/http_client.rs: compute checksums for chunk streams

src/client/http_client.rs: minor code cleanup

src/backup/data_blob.rs: always compute crc

src/client/http_client.rs: compute file checksums

src/api2/admin/datastore.rs: extract backup size from index.json

pxar: add initial docs for MatchPattern

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: add error handling for MatchPattern::matches_filename()

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/admin/datastore.rs - files: return data from index.json

tests/worker-task-abort.rs: use proxmox::tools::try_block

use new proxmox::tools::nodename

remove src/tools/common_regex.rs, use proxmox::tools::common_regex instead

remove src/tools/procfs.rs, use proxmox::sys::linux::procfs instead

src/tools/vec.rs: remove unused file

We already moved that to proxmox::tools

update to nix 0.14, use code from proxmox:tools

use new proxmox::sys::linux::magic

pxar: remove flag to change digest algorithm

The flag CA_FORMAT_SHA512_256 is used to switch between sha512 and sha256 to
calculate digest in casync.

As we use sha256, we can get rid of this flag for now.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: cleanup: refactor and rename exclude pattern

The original name PxarExcludePattern makes no sense anymore as the patterns are
also used to match filenames during restore of the archive.

Therefore, exclude_pattern.rs is moved to match_pattern.rs and PxarExcludePattern
rename to MatchPattern.
Further, since it makes more sense the MatchTypes are now declared as None,
Positive, Negative, PartialPositive or PartialNegative, as this makes more sense
and seems more readable.
Positive matches are those without '!' prefix, Negatives with '!' prefix.

This makes also the filename matching in the encoder/decoder more intuitive and
the logic was adapted accordingly.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: cleanup: s/PxarDirBuf/PxarDirStack/g and move dir_buffer.rs to dir_stack.rs

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: change uid and gid to u32 instead of u64

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: cleanup: s/CA_FORMAT/PXAR/g and s/CaFormat/Pxar/g

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: cleanup: move feature flags to src/pxar/flags.rs and omit CA_FORMAT prefix on all of them

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: cleanup: move filesystem related magic numbers to tools/fs/magic.rs

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/proxmox-backup-client.rs: sign index.json

src/backup/data_blob.rs: implement signed blobs

src/backup/crypt_config.rs: new compute_auth_tag helper

src/backup/crypt_config.rs: fix typo

pxar: implement feature flag support for device nodes, fifos and sockets

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: remove some unused feature flags from format definition

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: remove of obsolete function dir_mkdirat

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequentail_decoder.rs: fix issue when restoring with glob pattern.

Partial extraction of an archive with a glob pattern, e.g. '**/*.conf' lead to
the unexpected behaviour of restoring all partially matched directories (in this
example all of them).

This patch fixes this unexpected behaviour by only restoring those directories
were the directory or one of its sub-items fully matched the pattern and should
therefore be restored.

To achive this behavoiur, directory metadata is pushed onto a stack and restored
on demand.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/exclude_pattern.rs: add Clone and Copy trait to MatchType

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: add PxarDir and PxarDirBuf to buffer directory metadata

In order to restore only directories when some of their content fully matched
a match pattern on partial restores, these directories and their metadata are
pushed onto this buffer and only restored successivley on demand.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/format_definition.rs - PxarAttributes: derive Default

And remove unnecessary impl new().

src/pxar/sequential_decoder.rs: split read and restore of attributes into separate functions

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/format_definition.rs: add struct PxarAttributes

This structure contains all the attributes allowing to easily store those within
a e.g. dir buffer.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: avoid taking ownership of xattrs, fcaps and quota_projid on corresponding restore functions.

By borrowing these objects we preserve the functionality but make sure
that ownership doesn't change, avoiding problems when contained within other
structs such as e.g. a buffer storing these attributes.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/proxmox-backup-client.rs: upload backup index.json

The plan is to use this file to verify the backup content.

src/tools.rs - file_set_contents_full: only call fchmod when we pass permissions

So that we can use it to write into /etc/pve/ (which does not support chmod).

src/bin/proxmox-backup-client.rs - files: allow --repository parameter

src/bin/proxmox-backup-client.rs: implement files command

src/bin/proxmox-backup-client.rs: supress useless output from prune command

pxar: add support for storing/restoring the quota project id on ZFS

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: implement allow_existing_dirs for pxar decoder

By default, restoring an archive will fail if files with the same filename
already exist in the target directory.

By setting the allow_existing_dirs flag, the restore will not fail if an
existing directory is encountered.
The metadata (permissions, acls, ...) of the existing directory will be set
to the ones from the archive.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/proxmox-backup-client.rs: add restore flag --allow-existing-dirs

Not jet implemented ...

src/bin/proxmox-backup-client.rs: fixup - correctly pass prune parameters

src/api2/admin/datastore.rs: pass backup type/id (group) to prune

IMHO, prune over all backup groups is a bit dangerous, considering
that more than one user might use a datastore.

src/bin/proxmox-backup-client.rs: correctly compute duration

And format time with SecondsFormat::Secs

src/api2/backup.rs: cleanup schema definitions

src/api2/backup.rs: new required backup-time parameter

The client should pass the time as parameter.

src/api2/admin/datastore.rs: backup logs may not be written twice

src/api2/admin/datastore.rs: use correct .blob extension for log

src/bin/proxmox-backup-client.rs: implement upload-log

src/client/http_client.rs: allow upload with parameters

src/api2/admin/datastore.rs: add api to upload backup client log file

src/bin/proxmox-backup-client.rs: allow to uploag .log files (as binary blobs)

src/pxar/encoder.rs: add new skip_lost_and_found parameter

pxar_backup_stream.rs: limit lock scope to avoid blocking forever

remove debug output

src/client/pxar_backup_stream.rs: correctly pass errors to stream

src/pxar/encoder.rs: allow to pass list of devices

For better mount point include control...

Revert previous, commit, use UTC RFC3339 without timezone (Z)

We now have human readable data/time, and names are still sortable.

src/backup/backup_info.rs: use unix epoch timestamps instead of RFC3339

RFC3339 contains additional timezone information, but IMHO this just adds
more confusion. The API also uses timestamps.

src/pxar/sequential_decoder.rs: Call callback only on restored paths.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/pxar.rs - extract: print archive name with --verbose flag

src/bin/pxar.rs: remove wrong debug message

src/bin/pxar.rs: allow to pass paths and match patterns as args to pxar extract

To improve usability it is now possible to directly pass paths or match patterns
as arguments to pxar extract to partially restore an archive.
The patterns provided via CLI are appended to the ones read from file by the
--files-from option in order to have priority over those.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/proxmox-backup-client.rs: code cleanup

src/bin/proxmox-backup-client.rs - status: only print result[data]

src/api2/admin/datastore.rs: allow to list all snapshots

src/cli/command.rs: set exit status on error

src/bin/pxar.rs: add --files-from parameter to pxar extract

Allows to pass a list of match pattern to the pxar extract call by reading them
from file.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: Adapt SequentialDecoder::restore() calls to pass empty match pattern for full restore

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: adapt code for partial restore by match pattern

Allows to partially restore an archive by passing match patterns to the restore
function.
The whole restore is performed in sequential, therefore the whole archive has to
be read.
By wrapping the RawFd into an Option it can be controlled if the corresponding
part is restored (in case of Some(fd)) or if the Reader reads over it
without restore (in case of None).

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: implement match_filename to match include pattern for partial restores

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: Also check for nul bytes when reading the filename

Check if the filename does not contain invalid nul byes when reading it from the
archive.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

tests/pxar.rs: Change rsync options to --archive

By this the pxar integrity test checks for even more attributes such as a e.g.
correctly restored timestamp. See `man rsync` for details.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: remove old comments and refactoring

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: refactoring of match_exclude_pattern()

match_exclude_pattern() does not need a '&mut self' reference to the encoder,
move it therefore out of the impl.
Further, this patch contains some naming and formatting cosmetics.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: remove unneeded dir_count

dir_count was used to track the number of directory entries to store in the
archive and bail if the maximum is exceeded.
As the number of entries is equally obtained from the list of the filenames to
include, use that one instead.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/exclude_pattern.rs: do not return partial matches for files

Partial matches make only sense for directories, files are always leafs of the
tree. Take this into account in order to avoid restoring of files which only
matched the front of a match pattern.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/pxar.rs: Make pxar extract target optional

In order to improve usablity, the target on archive extraction will be the
current working directory by default.
A different target can be provided via the optional --target <PATH> parameter.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>