src/bin/proxmox-backup-client.rs: backup_image() - pass correct chunk size

src/bin/proxmox-backup-client.rs: remove unused code

src/bin/proxmox-backup-client.rs: implement image/block-device upload

src/bin/proxmox-backup-client.rs: use std lib instead of nix

src/bin/proxmox-backup-client.rs: fix file type test

src/api2/admin/datastore/backup/environment.rs: log upload statistics

src/api2/admin/datastore/backup.rs: use separate api entry points for chunk upload

So that we can provide better statistics (patches follows).

typo fix and doc improvement

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

doc fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add Cancellable, start a futures submodule

To make a future cancellable, use:
let (future, canceller) =
    crate::tools::futures::cancellable(future);

Proceed with using `future` as usual, `canceller` is
clonable and can cancel the future via the `.cancel()`
method.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add AsyncMutex::new_locked

Allows creating a pre-locked mutex, returning the mutex and
a guard.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/api2/admin/datastore/backup/environment.rs: do not allow empty backups (no files)

src/api2/admin/datastore/backup.rs: improve debug logging

src/api_schema/router.rs: disable debug println

src/api2/admin/datastore/backup.rs: add debug flag

src/backup/dynamic_index.rs: split class DynamicIndexWriter

src/backup/fixed_index.rs: remove ChunkStat from struct

src/backup/fixed_index.rs: improve consistency checks

pxar: change logic and impl all command line flags for xattrs/fcaps/acls

Allows to individually set the flags for storing/dumping/restoring of
xattrs/fcaps/acls in the cli of pxar.
Changes logic so that each of them can be threated individually.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/admin/datastore/backup.rs: log sucessful finish call

src/bin/proxmox-backup-client.rs: use new BackupClient to upload data

src/tools.rs: implement image_size helper

src/api2/admin/datastore/backup/environment.rs: add more consistency checks

src/client/http_client.rs: use start of chunk as offset

src/client/http_client.rs: code cleanup

src/backup/fixed_index.rs: improve bound checks inside add_digest

src/backup/fixed_index.rs: store index_length to avoid code duplication

src/api2/admin/datastore/backup.rs: fix typo

src/bin/pxar.rs: set archive permissions to 0o640

As the archive can contain potentially sensitive data such as key files, it makes
sense to restrict the permissions.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: Refactor file stat

Introduce helper functions to check file stats

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: Don't bail if endpoint does not support xattrs.

The encoder bailed if a endpoint which did not support xattrs was encountered.
Instead of bailing, we ignore these errors and simply do not store xattrs for
such endpoints.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/admin/datastore/backup.rs: implement fixed sized chunk upload api

src/backup/fixed_index.rs: make chunk_size public

src/client/http_client.rs: correctly parse error response in download_chunk_list

src/api2/admin/datastore/backup/upload_chunk.rs: rename upload_dynamic_chunk into upload_chunk

src/api2/admin/datastore/backup.rs: use smaller window sizes

src/client/http_client.rs: fix request pipelining

src/client/merge_known_chunks.rs: use MergedChunkInfo as input

src/client/http_client.rs: append chunks in correct order

We need to wait for response from upload_chunk. After that we can
add the chunk to the index file.

src/api2/admin/datastore/backup.rs: verify chunk offset

This clearly shows that the current approach does not work - seems we get
chunks out of order.

src/server/rest.rs: correctly verify json parameters

src/client/http_client.rs: encode parameters inside body

To avoid problems with long uris.

src/client/merge_known_chunks.rs: reduce RAM usage

There is no need to store chunk data for known chunks.

src/client/merge_known_chunks.rs: avoid VecDequeu - a single buffer is enough

src/pxar/sequential_decoder.rs: impl support to dump/restore ACLs from pxar archives

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: impl support to store ACLs in pxar achives

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/format_definition.rs: define types and structs needed to impl ACL support in pxar

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: pass feature_flags to encoder/decoder instead of individual flags

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/tools/xattr.rs: add test for is_valid_xattr_name()

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

Minor refactoring of pxars xattr encoder/decoder, mostly reformatting and renaming.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

doc-test fixup

cargo test by default compiles and runs all code snippets
found in the documentation...

oops...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

RFC: schema: make enums static

I don't see a reason to allow these to be dynamically
modifiable.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/client/merge_known_chunks.rs: merge known chunks

To decrease the number of api calls required...

src/client/http_client.rs: use ChunkInfo streams

This will make out of order uploads possible...

tree-wide: use the new vec/io tools modules

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

buildsys: make valgrind=1 to enable valgrind support

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add helpful vector and read operations

After importing the I/O ops trait via:
    use crate::tools::io::ops::*;

Instead of:
    let mut buffer = vec![0u8; 65536];
    file.read_exact(&mut buffer)?;
use:
    let buffer = file.read_exact_allocated(65536)?;

After importing the vector helpers via:
    use crate::tools::vec::{self, ops::*};

For a buffer which *could* be uninitialized but you prefer
zero-initialization anyway for security reasons, instead of:
    let mut buffer = vec![0u8; len];
use:
    let mut buffer = vec::undefined(len);
which zero-initializes, but, if the `valgrind` feature flag
is enabled, marks the vector as having undefined contents,
so reading from it will cause valgrind errors.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/api2/admin/datastore/backup.rs: verify file size and chunk count on close

src/server/rest.rs: improve error handling

src/api2/admin/datastore/backup/service.rs: improve error logging

src/bin/upload-speed.rs: code cleanup

tests/catar.rs: Pass dummy xattr/fcaps feature_flags to encoder.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/pxar.rs: impl CLI flags to disable archiving/restoring of xattrs and fcaps.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/client/: pass dummy flags for xattrs and fcaps to pxar encoder/decoder.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: pass flags for xattrs and fcaps to decoder.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: Conditional restore xattrs and fcaps if feature_flags is set

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/format_definitions.rs: do not store the feature_flags in pxar archive.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder: Use encoder feature_flags, do not store them within the archive.

Instead of testing and storing the feature_flags in the pxar archive, set and use
the feature flags within the encoder.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

tests/pxar.rs: Make sure the correct pxar binary is run in the tests.

If compiled in debug mode, the debug binary should be tested, in release mode
the release binary has to be invoked.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

Makefile: make the tests folder available in the build folder on 'make deb'

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/client/http_client.rs: re-order code - public functions first

src/client/http_client.rs: move low level H2 code into separate class

src/client/http_client.rs: code cleanup

src/client/http_client.rs: cleanup h2 backup client

src/api2/admin/datastore/backup.rs: suse POST for finish() api

src/bin/h2test.rs: removed

This test does no work anymore.

src/api2/admin/datastore/backup.rs: remove test callbacks

Makefile: Allow to pass parameter tests=pattern to make test

`make test tests=pattern` will only run the subset of tests containing pattern,
therefore allowing to specify which subset of tests to run.
If the parameter is not specified, all tests are run.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/tools/xattr.rs: impl unit tests for fsetattr and fgetattr

As git does not preserve xattrs they have to be set before they can be read.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/client/http_client.rs: implement download_chunk_list

src/backup/chunk_stream.rs: use BytesMut in ChunkStream

src/backup/chunk_stream.rs: use more generics

src/backup/chunk_stream.rs: optimize FixedChunkStream (use BytesMut)

src/backup/chunk_stream.rs: fix behaviour for large input buffers

src/backup/chunk_stream.rs: assemble data with correct order

src/api2/admin/datastore/backup.rs: improve error message

src/tools.rs: fix hex_to_digest

src/backup/index.rs: rename ChunkListReader into DigestListEncoder

src/backup/index.rs: implement DigestListDecoder

src/api2/admin/datastore/backup.rs: ignore error after finish, register known_chunks

src/backup/dynamic_index.rs: add chunk_info method

tests/pxar.rs: Integrity test for pxar

Test the integrity of the restored folder content of data previously archived with pxar

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: impl functionality to restore xattrs/fcaps from pxar achives

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: impl functionality to encode xattrs/fcaps in pxar

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/tools/xattr.rs: add functions name_store and security_capability

These functions allow to check if the name for xattrs/fcaps are valid.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/admin/datastore/backup/environment.rs: register/lookup known chunks

src/client/pxar_backup_stream.rs: fix docu

src/client/http_client.rs: implement upload_stream

src/client/pxar_backup_stream.rs: close pipe inside drop

src/tools.rs: implement hex_to_digest