pxar: pass feature_flags to encoder/decoder instead of individual flags

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/tools/xattr.rs: add test for is_valid_xattr_name()

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

Minor refactoring of pxars xattr encoder/decoder, mostly reformatting and renaming.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

doc-test fixup

cargo test by default compiles and runs all code snippets
found in the documentation...

oops...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

RFC: schema: make enums static

I don't see a reason to allow these to be dynamically
modifiable.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/client/merge_known_chunks.rs: merge known chunks

To decrease the number of api calls required...

src/client/http_client.rs: use ChunkInfo streams

This will make out of order uploads possible...

tree-wide: use the new vec/io tools modules

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

buildsys: make valgrind=1 to enable valgrind support

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add helpful vector and read operations

After importing the I/O ops trait via:
    use crate::tools::io::ops::*;

Instead of:
    let mut buffer = vec![0u8; 65536];
    file.read_exact(&mut buffer)?;
use:
    let buffer = file.read_exact_allocated(65536)?;

After importing the vector helpers via:
    use crate::tools::vec::{self, ops::*};

For a buffer which *could* be uninitialized but you prefer
zero-initialization anyway for security reasons, instead of:
    let mut buffer = vec![0u8; len];
use:
    let mut buffer = vec::undefined(len);
which zero-initializes, but, if the `valgrind` feature flag
is enabled, marks the vector as having undefined contents,
so reading from it will cause valgrind errors.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/api2/admin/datastore/backup.rs: verify file size and chunk count on close

src/server/rest.rs: improve error handling

src/api2/admin/datastore/backup/service.rs: improve error logging

src/bin/upload-speed.rs: code cleanup

tests/catar.rs: Pass dummy xattr/fcaps feature_flags to encoder.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/pxar.rs: impl CLI flags to disable archiving/restoring of xattrs and fcaps.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/client/: pass dummy flags for xattrs and fcaps to pxar encoder/decoder.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: pass flags for xattrs and fcaps to decoder.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: Conditional restore xattrs and fcaps if feature_flags is set

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/format_definitions.rs: do not store the feature_flags in pxar archive.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder: Use encoder feature_flags, do not store them within the archive.

Instead of testing and storing the feature_flags in the pxar archive, set and use
the feature flags within the encoder.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

tests/pxar.rs: Make sure the correct pxar binary is run in the tests.

If compiled in debug mode, the debug binary should be tested, in release mode
the release binary has to be invoked.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

Makefile: make the tests folder available in the build folder on 'make deb'

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/client/http_client.rs: re-order code - public functions first

src/client/http_client.rs: move low level H2 code into separate class

src/client/http_client.rs: code cleanup

src/client/http_client.rs: cleanup h2 backup client

src/api2/admin/datastore/backup.rs: suse POST for finish() api

src/bin/h2test.rs: removed

This test does no work anymore.

src/api2/admin/datastore/backup.rs: remove test callbacks

Makefile: Allow to pass parameter tests=pattern to make test

`make test tests=pattern` will only run the subset of tests containing pattern,
therefore allowing to specify which subset of tests to run.
If the parameter is not specified, all tests are run.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/tools/xattr.rs: impl unit tests for fsetattr and fgetattr

As git does not preserve xattrs they have to be set before they can be read.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/client/http_client.rs: implement download_chunk_list

src/backup/chunk_stream.rs: use BytesMut in ChunkStream

src/backup/chunk_stream.rs: use more generics

src/backup/chunk_stream.rs: optimize FixedChunkStream (use BytesMut)

src/backup/chunk_stream.rs: fix behaviour for large input buffers

src/backup/chunk_stream.rs: assemble data with correct order

src/api2/admin/datastore/backup.rs: improve error message

src/tools.rs: fix hex_to_digest

src/backup/index.rs: rename ChunkListReader into DigestListEncoder

src/backup/index.rs: implement DigestListDecoder

src/api2/admin/datastore/backup.rs: ignore error after finish, register known_chunks

src/backup/dynamic_index.rs: add chunk_info method

tests/pxar.rs: Integrity test for pxar

Test the integrity of the restored folder content of data previously archived with pxar

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: impl functionality to restore xattrs/fcaps from pxar achives

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: impl functionality to encode xattrs/fcaps in pxar

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/tools/xattr.rs: add functions name_store and security_capability

These functions allow to check if the name for xattrs/fcaps are valid.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/admin/datastore/backup/environment.rs: register/lookup known chunks

src/client/pxar_backup_stream.rs: fix docu

src/client/http_client.rs: implement upload_stream

src/client/pxar_backup_stream.rs: close pipe inside drop

src/tools.rs: implement hex_to_digest

src/bin/test_chunk_speed2.rs: test max chunk size

Revert "src/backup/chunk_stream.rs: simplify code"

This reverts commit e058744d8f4dc1d87fe2a28cd79bc385e934f563.
The optimization was wrong, and produces wrong chunk boundaries.

src/api_schema/schema.rs: improve error messages

src/client/pxar_backup_stream.rs: use WrappedStreamReader

to make it fully async ...

src/client/pxar_backup_stream.rs: use 1M pipe buffer size

src/bin/test_chunk_speed2.rs: test chunker speed with real data

src/backup/chunk_stream.rs: simplify code

src/backup/chunk_stream.rs: implement fixed size chunk stream

src/client/http_client.rs: improve speed test

pipeline responses to a separate async channel ...

add qemu-io crate, AioContext reactor helper

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/tools/xattrs.rs: impl libc wrapper functions to get/set xattrs and fcaps

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/format_definitions.rs: add format definitions for xattrs and fcaps

In addition to the format definition, the traits needed for sorting of xattr
entries by name are derived.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/tools/acl.rs: impl add_entry_full for ACL and set_permissions for ACLEntry

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/admin/datastore/backup.rs: add speedtest api, improve upload speed

We need to disable tcp Nagle algorythm (set_nodelay), and use larger window size for http2

src/api2/admin/datastore/backup.rs: implement finish_backup

src/api2/admin/datastore/backup.rs: improve logging

src/client/pipe_to_stream.rs: add missing file

src/api2/admin/datastore/backup.rs: implement close for dynamic writers

src/api2/types.rs: add schema/format for file names

src/client/http_client.rs: add flow control for h2 upload

src/client/http_client.rs: implement h2 upload

without flow control so far ...

src/backup/chunk_stream.rs: async chunk stream

src/client/http_client.rs: derive Clone for H2Client

src/tools.rs: add mod acl to tools

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/tools/acl.rs: impl POSIX access control list (ACL) manipulation tools

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/server/rest.rs: do not log 1xx status codes as errors

src/client/http_client.rs: directly return H2Client on upgrade

src/client/http_client.rs: cleanup, remove debug println

src/client/http_client.rs: implement http2 client wrapper

src/client/http_client.rs: allow to pass parameters (encode them as query string)

src/api2/admin/datastore/backup.rs: ignore errors from last_backup

src/api2/admin/datastore/backup.rs: implement chunk index download from previous backup

src/backup/index.rs: new ChunkListReader

src/api2/admin/datastore/backup.rs: add missing 'archive-name' parameter to schema

src/api2/admin/datastore/backup/environment.rs: do not store path

src/backup/datastore.rs: move last_backup to BackupInfo

src/backup/datastore.rs: impl last_backup helper

src/backup/backup_info.rs: implement list_backup for BackupGroup, cleanups

backup-api: allow to create DynamicIndexWriter and add chunks to to

src/backup/backup_info.rs: Derive Clone

upload_chunk.rs: add comment about possible unnecessary code

cleanup: remove unused code

handle_async_api_request: put rpcenv into a Box

So that we can pass rpcenv into futures.

src/api2/admin/datastore/backup/upload_chunk.rs: fix maximal chunk size

src/server/formatter.rs: further cleanups and renaming ...

src/server/formatter.rs: rename format_result to format_data

To avoid confusions with Rust Result type.

src/api2/admin/datastore/backup.rs: implement upload chunk