remove proxmox-protocol subcrate

AFAICT we have no use for it anymore, its api entry points
are gone. If we do end up needing something from it, it's
still in the git history anyway. (And about two thirds of it
can be made much less awkward by utilizing async-await
anyway, so no love lost there...)

Moved the chunker back into src/backup/chunker.rs

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

more formatting & use statement fixups

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

import rustfmt.toml

This just sets edition to 2018.
Unfortunately pretty much all other configuration options
are considered unstable for now ...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/pxar/encoder.rs: style fixups by rustfmt

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

(pxar: replace deprecated std::mem::uninitialized()

... and use std::mem::MaybeUninit or proxmox::tools::vec::uninitialized() instead.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

{dynamic,fixed}_index: replace mem::uninitialized

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/backup/index: style fixup & unsafe copy removal

We can use the safe .copy_from_slice alternative in this
case.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/backup/index: replace mem::uninitialized

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api2/node/time: replace mem::uninitialized

and fixup use statements

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: tty: replace mem::uninitialized and style fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: timer: style fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

timer: replace mem::uninitialized

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: style & use statement fixups

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/config: more style fixups

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/config: style fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/config: use statement cleanup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

/var/run -> /run

/var/run is considered deprecated and for instance in
systemd unit files lintian complains...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

disable offensive test

Tests we run with `make test` should not require root
privileges or write to system paths! This one does both!

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

buildsys: defer some variable expansions

So that local.mak needs to only contain a PREFIX.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

switch from create_dir_chown to create_path

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

update to nix 0.15

The proxmox crate now needs it.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

.gitignore: add local.mak

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar/decoder: avoid failing on hardlinks and return corresponding target file entry

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
[Fixup: remove unnecessary 'mut']
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/pxar/decoder.rs: get correct stats for root directory

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/pxar/decoder.rs: move GOODBYE_ITEM_SIZE from function to module scope.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

use statement cleanup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/backup/catalog_blob.rs: moved catalog impl. from pxar

And avoid loading catalog into memory.

avoid lifetimes in blob reader/writer

src/backup/data_blob_reader.rs: fix compiler warning

src/pxar/fuse.rs: fix compiler warnings

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/proxmox-backup-client.rs: avoid loading catalog into memory

We can use the new DataBlobReader instead.

src/backup/data_blob_reader.rs: impl for Read instead of BufRead

improve docs

src/backup/data_blob.rs: move parts into single files

src/backup/data_blob.rs: avoid excessive stack usage

src/backup/file_formats.rs: moved header_size

src/pxar/fuse.rs: enable libfuse debug output in verbose mode

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: cleanup callback interface and store decoder within session context

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: decoder: take ownership of underlying reader

By taking ownership it is easier to move the decoder into another struct,
e.g. into a session context in fuse.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: cleanup s/CaDirectoryEntry/DirectoryEntry

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

tests/blob_writer.rs: avoid stack overflow, simplify tests

src/backup/data_blob.rs - CryptReader/CryptWriter: fix buffer size handling

src/backup/data_blob.rs - DataBlobReader: impl compressed, encrypted blobs

src/backup/data_blob.rs - DataBlobReader: implement reader for encrtypted blobs

d/control: depend on libfuse3-dev

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

whitespace fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/backup/data_blob.rs - DataBlobReader: impl compressed, signed blobs

src/backup/data_blob.rs - DataBlobReader: impl. reader for signed blobs

src/backup/data_blob.rs - DataBlobReader: start serious impl.

tests/blob_writer.rs: test DataBlobWriter

src/backup/data_blob.rs - DataBlobWriter: fix decryption

src/backup/data_blob.rs - compute_crc: start after blob header

src/backup/file_formats.rs; use const instzead of static

src/backup/data_blob.rs - DataBlobWriter: fix magic number for uncompressed blobs

src/backup/data_blob.rs - DataBlobWriter: impl. compressed encrypted blobs

src/backup/data_blob.rs - DataBlobWriter: impl. encrypted blobs

src/backup/crypt_config.rs: new helper data_crypter to get openssl Crypter

src/backup/data_blob.rs - DataBlobWriter: impl. compressed signed blobs

src/backup/data_blob.rs: impl. ChecksumWriter

To correctly compute crc,hmac of final data.

src/backup/data_blob.rs: impl. DataBlobWriter for authenticated blobs

src/backup/crypt_config.rs: new method to get hmac signer

src/backup/data_blob.rs: make DataBlobWriter more generic

Allow to write compressed and uncompressed blobs.

src/backup/data_blob.rs: impl. simple reader/writer

To avoid loading blob into memory.

src/bin/proxmox-backup-client.rs: implement login/logout

pxar: add command 'mount' to cli of pxar

Allows to mount an archive to a specified mountpoint via the cli.
Once the archive is mounted, the process is send to the background.
By passing the --verbose flag, the process is kept in foreground and
debug output is provided.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: add fuse module and expose its pub functionality.

pxar: add basic code for FUSE implementation.

This adds the basic code in order to create a fuse session and mount an archive.
It adds libfuse3-3 as runtime dependency and libfuse3-dev as build dependency.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/backup/data_blob.rs: define const MAX_BLOB_SIZE

src/bin/proxmox-backup-client.rs: implement catalog command

src/bin/proxmox-backup-client.rs: add archive filename to catalog

src/backup/data_blob.rs: allow largert blob sizes (128MB)

Need this for catalog files.

src/bin/proxmox-backup-client.rs: avoid compiler warning

src/bin/proxmox-backup-client.rs: new completion helper for snapshots

src/pxar/encoder.rs: use BackupCatalogWriter

src/pxar/catalog.rs: new catalog helper

src/bin/proxmox-backup-client.rs: avoid doubled file extensions (.blob.blob) in index.json

api: always use complete file names (including add exctensions)

src/api2/admin/datastore.rs - list_snapshot_files: list all files

Add files that are not mentioned in index.json.

src/api2/backup/environment.rs - add_blob: always verify blob crc

src/backup/data_blob.rs - encode: always compute crc

src/backup/backup_info.rs: add BackupInfo::new constructor

src/bin/proxmox-backup-client.rs: fix remote filename completion

src/client/http_client.rs: compute checksums for chunk streams

src/client/http_client.rs: minor code cleanup

src/backup/data_blob.rs: always compute crc

src/client/http_client.rs: compute file checksums

src/api2/admin/datastore.rs: extract backup size from index.json

pxar: add initial docs for MatchPattern

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: add error handling for MatchPattern::matches_filename()

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/admin/datastore.rs - files: return data from index.json

tests/worker-task-abort.rs: use proxmox::tools::try_block

use new proxmox::tools::nodename

remove src/tools/common_regex.rs, use proxmox::tools::common_regex instead

remove src/tools/procfs.rs, use proxmox::sys::linux::procfs instead

src/tools/vec.rs: remove unused file

We already moved that to proxmox::tools

update to nix 0.14, use code from proxmox:tools

use new proxmox::sys::linux::magic

pxar: remove flag to change digest algorithm

The flag CA_FORMAT_SHA512_256 is used to switch between sha512 and sha256 to
calculate digest in casync.

As we use sha256, we can get rid of this flag for now.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: cleanup: refactor and rename exclude pattern

The original name PxarExcludePattern makes no sense anymore as the patterns are
also used to match filenames during restore of the archive.

Therefore, exclude_pattern.rs is moved to match_pattern.rs and PxarExcludePattern
rename to MatchPattern.
Further, since it makes more sense the MatchTypes are now declared as None,
Positive, Negative, PartialPositive or PartialNegative, as this makes more sense
and seems more readable.
Positive matches are those without '!' prefix, Negatives with '!' prefix.

This makes also the filename matching in the encoder/decoder more intuitive and
the logic was adapted accordingly.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: cleanup: s/PxarDirBuf/PxarDirStack/g and move dir_buffer.rs to dir_stack.rs

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>