debian packages: split package into client/server

src/backup/catalog.rs: clenup - use single impl block

src/backup/catalog.rs: remove unused code

src/backup/catalog.rs: write MAGIC at start of file

src/backup/catalog.rs: new parse() helper

src/backup/catalog.rs - dump_dir: make sure we parsed the whole data block

src/backup/catalog.rs: store u64 compressed

This way catalogs get about 1/3 smaller.

src/client/backup_reader.rs: factor out download_blob() helper

src/client/backup_reader.rs: factor out download_fixed_index() helper

src/client/backup_reader.rs: factor out download_dynamic_index() helper

update toolchain to stable

renamed: src/backup/catalog_blob.rs -> src/backup/catalog.rs

change catalog format, use dynamic index to store catalog.

In order to remove size restriction of a single blob.

src/client/backup_writer.rs: rename force_close to cancel

And do not consume self.

do no restrict index names too much

src/pxar/decoder.rs: impl lookup for `Decoder`

Allows to lookup an entry in a directory based on the provided `DirectoryEntry`.
This is needed to navigate the filesystem based on `DirectoryEntry`s and similar
to the find_goodbye_entry() function in src/pxar/fuse.rs

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: fix wrong filename check for Decoder::restore()

As it turns out the original implementation was correct and the start in
`DirectoryEntry` points to the `PxarEntry` and not as wrongly stated to the
filename.
This reverts the incorrect code and adds comments to the fields clarifying this.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: allow to pass match pattern to restore

In order to partially restore the archive starting from the directory provided as
parameter.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: fix issue with restore

`Decoder::restore()` calls the `SequentialDecoder::restore()` which expects to
encounter a `PxarEntry` at first. But the start of `DirectoryEntry` points to the
filename (except for the root dir), so skip over it.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: refactor Iterator: use find() instead of position()

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

catalog: store current writer position in CatalogBlobWriter

Counts the bytes written by the CatalogBlobWriter in order to obtain the
stream position, needed to get offset to reference catalog items.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

avoid some clippy warnings

avoid some clippy warnings

src/pxar/binary_search_tree.rs: allow(clippy::many_single_char_names)

avoid some clippy warnings

allow(clippy::cast_ptr_alignment)

src/backup/dynamic_index.rs: use write_all()

pxar: decoder: cleanup un-needed Decoder::get_dir()

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: fuse: optimize fuse readdir callback

The expensive call to Decoder::read_directory_entry() can be omitted as
Decoder::attributes() returns all the information the fuse response needs.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: avoid duplicate check for MAX_DIRECTORY_ENTRIES

Simply by reordering code.

pxar: add functionality to pass exclude MatchPatterns on create

This exposes the option to pass a list of exclude MatchPattern via the
'--exclude' option.
The list is encoded as file '.pxarexclude-cli' in the archives root directory.
If such a file is present in the filesystem, it is skipped and not included in
the archive in order to avoid conflicting information.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: encoder: add encode_pxar_exclude_cli() function.

This provides the functionality needed to encode MatchPatterns passed on the cli
in the root directory.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: simplify MatchPattern::to_bytes

pxar: Implement to_bytes() for MatchPattern in order to write them to file.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/proxmox-backup-client.rs: fix parameters for get_encryption_key_password

src/pxar/encoder.rs: include .pxarexclude files into the catalog

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: fuse: include nsec information in stat

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

load_and_decrtypt_key: allow function closures to readf passphrase

src/backup/manifest.rs: fix property names (use '-' instead of '_')

src/backup/data_blob.rs: define create_zero_chunk as member function

and rename it to build_zero_chunk()

src/backup/data_blob.rs: add create_zero_chunk() helper

src/backup/manifest.rs: add verify_file

cleanup

src/backup/manifest.rs: improve parser (try_from)

src/backup/manifest.rs: new class to generate/parse index.json

rename INDEX_BLOB_NAME to MANIFEST_BLOB_NAME

src/client/backup_reader.rs: add download_manifest

Also add crypt_config as member variable.

set toolchain to beta

src/client/backup_writer.rs: move BackupClient code into extra file

And rename it to BackupWriter.

src/client/backup_reader.rs: add documentation

src/client/backup_reader.rs: split BackupReader code into separate file

src/bin/proxmox-backup-client.rs: pass verbose flag to dump_image

And print some useful status to stderr.

fix typo in error message

src/api2/reader.rs: use tokio::fs::read() to read file async

src/backup/data_blob.rs: avoid Arc<CryptConfig>

use simple reference instead.

remove DataChunk file format - use DataBlob instead

cleanup: remove dead code

src/bin/proxmox-backup-client.rs: cleanup restore

- write directly to /dev/stdout (instead of using stdout line writer)
- avoid BufferedFixedReader

src/client/remote_chunk_reader.rs: pass reference to download_chunk

Make sure we do not move data around.

src/api2/reader.rs - download_chunk: use blocking io

Turns out to be twice as fast as tokio async io...

src/client/http_client.rs: store raw data/blob size in index.json

src/client/http_client.rs: new helper send_upload_request()

src/backup/fixed_index.rs: do not use offset for checksum

backup writer api: verify checksum inside close

src/client/http_client.rs - H2Client::upload: fix parameter order

src/client/http_client.rs: add method parameter to H2 upload

src/client/http_client.rs: add content type parameter to H2 upload/requets_builder

src/client/http_client.rs: cleanup (rename parameter)

remove trailing whitespace

src/bin/proxmox-backup-client.rs: add functionality to mount pxar archive.

This adds the basic functionality to mount an archive stored in a repository
locally via fuse.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/pxar.rs: adapt to new deamonize flag

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: make verbose flag independent from deamonize by adding this as new flag

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: refactor Session::new()

and add Session::from_decoder() in order to be able to create a fuse session
with a `Decoder` given as argument.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: introduce `Context` in order to add caching.

This patch introduces `Context` to hold the decoder, ino_offset and caches for
the attributes and the goodbye table.
By caching, certain callbacks can be handled without the need to read additional
data via the decoder, which improves performance.
The searching of the goodbye table is refactored as well, avoiding recursive
function calls in case of a hash collision.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: fix bug in decoder read

`offset` points to the `PXAR_FILENAME`, therefore read the filename before
the `PXAR_ENTRY`.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/backup/data_chunk.rs: add into_raw()

BackupClient: add upload() function

make download_chunk_list() public

src/client/http_client.rs: add password parameter to HttpClient::new()

pxar: fuse: avoid possible hash collision in lookup by additional checking against filename

The hash of the filename in the goodbye table items allows to quickly compare to
a hashed filename.
Unfortunately, a matching hash is no garantee for matching filenames as hash
collisions are possible.
This patch fixes such possible collisions by further checking the filenames once
a matching hash has been found.
This introduces no significant extra cost (except for the filename comparison)
for cases with matching hashes, as the lookup call has to seek and read the file
attributes (including the filename) anyway.
In cases with hash collision, the next matching item is read and treaded
analogously (what means we need at least one extra seek).
As collisions should be not that frequent, this should be an acceptable penalty.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

clippy: fix access to unaligned buffer in dynamic reader

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup: cleanup unused imports

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy: fix access to unaligned buffer

via the newly introduced ReadExt::read_host_value_boxed()
from proxmox::tools::io.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup: use static assertion in fixed index reader

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy: don't use clone a double reference

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

buildsys: add 'make lint'

for now we only activate lints for code that is "outright
wrong"

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy: collapse identical if branches

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fixup variable naming

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy: use write_all in file logger

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy: fix pointer to temporary value

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy: remove a loop{} which never actually loops

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

more clippy fixups

mostly indentation changes, view with `-w`

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

some clippy fixups

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

remove Cargo.lock

we currently have no git dependencies we need to lock into
specific revisions anymore

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/pxar/fuse.rs: s/Buf/ReplyBuf/ and s/BufState/ReplyBufState/

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: refactor stat and fix i-node mapping

The functionality of stat is split into smaller sub-functions, which allows
to reuse them more flexible, as the code flow is similar but not always the same.
By this, the ugly and incorrect re-setting of the i-node in the lookup callback
function is avoided.
The correct i-node is now calculated beforehand and stat simply creates a
`libc::stat` struct from the provided parameters.
Also, this fixes incorrect i-node assignments in the readdir callback function.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: impl readdir callback for fuse

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: impl readlink callback for fuse

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: read_link has to read filename before entry.

The offset points to the start of the item, which is the filename

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: impl opendir callback for fuse

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>