backup: Add support for client side encryption

first try ...

src/backup/data_chunk.rs - decode: make crypt_config optional

src/backup/crypt_setup.rs: add comment for possible improvements

src/backup/data_chunk.rs: Moved ChunkInfo from merge_known_chunks.rs

src/api2/types.rs: define CHUNK_DIGEST_SCHEMA

src/backup/data_chunk.rs: Data Chunk builder

Make handling encoded chunks easier.

use ssh+git for the proxmox repository

This works for me, note the `ssh://` protocol, and using `/`
to separate the path instead of `:`.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/backup/crypt_setup.rs: fix encoder for uncompressed chunks

src/backup/crypt_setup.rs: allow compressed and uncompressed chunks

src/backup/crypt_setup.rs: remove unused CryptData struct

src/backup/crypt_setup.rs: avoid useless allocations

src/backup.rs: define magic numbers for chunk store file format

src/backup/crypt_setup.rs: crypto helpers

depend on ../proxmox/proxmox

I was unable to use a git url ...

use nightly for now

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tree-wide: use 'dyn' for all trait objects

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: introduce fs_feature_flags obtained from filesystem magic in Encoder

Not all filesystems support features such as xattrs,acl,... and trying to get
them is rather expensive.
By getting the supported features based on the filesystem magic and masking the
user set feature flags, unsupported features are excluded rather inexpensively
while encoding the archive.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: refactoring: use ioctl calls from src/tools/fs.rs instead of local

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: minor refactoring

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: check if ioctl supported by filesystem

Reading the quota project id relies on a ioctl call to get fsxattr.
On FUSE filesystems, ioctl calls might not be supported and will fail with
an errno indicating no support.
For these cases, the error is ignored and the default project id is used
(indicated by returning Ok(None)).

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/admin/datastore.rs: remove test-upload api

src/api2/admin/datastore/upload.rs: remove unused upload api

src/client/http_client.rs: automatically close connection in finish

make h2 client connection cancellable

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump zstd-sys version

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/backup.rs; use a macro to define PROXMOX_BACKUP_PROTOCOL_ID_V1

So that we can include it in static doc strings.

src/backup.rs: define const PROXMOX_BACKUP_PROTOCOL_ID_V1

src/tools/xattr.rs: fix test when run as root

src/api2.rs: move backup api to /backup

src/bin/proxmox-backup-proxy.rs: fix typo in pkcs12 error message

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: style fix

pxar: impl storing/dumping/restoring of quota project ids

Allows to store/dump/restore the quota project id associated with an inode in
order to correctly restore project quotas.
The project id is obtained/set via ioctl calls getting/setting the fsxattr
associated with the given file descriptor.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/format_definition.rs: add CA_FORMAT_QUOTA_PROJID and CaFormatQuotaProjID

Defines the types needed to store/restore quota project ids in pxar

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/tools/fs.rs: impl ioctl calls to get/set fsxattr

This implements fs_ioc_fsgetxattr/fs_ioc_fssetxattr calls in order to read or
write fsxattr for a given file descriptor.
This is needed in order to read or write the quota project id for filesystems
which support project quotas (EXT4/XFS/FUSE).

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

docs/backup-protocol.rst: add backup protocol docs

src/bin/dump-backup-api.rs: helper to generate backup API docs

src/api_schema/format.rs: depend on textwrap, new wrap_text helper

src/cli/command.rs: move doc generator code to src/api_schema/format.rs

src/client/http_client.rs - upload_config: improve error message

src/bin/proxmox-backup-client.rs: implement upload_config

src/api2/admin/datastore/backup.rs: implement config file upload

avoid compiler warnings

src/backup/chunk_stream.rs: add optional chunk_size parameter

src/bin/proxmox-backup-client.rs: backup_image() - pass correct chunk size

src/bin/proxmox-backup-client.rs: remove unused code

src/bin/proxmox-backup-client.rs: implement image/block-device upload

src/bin/proxmox-backup-client.rs: use std lib instead of nix

src/bin/proxmox-backup-client.rs: fix file type test

src/api2/admin/datastore/backup/environment.rs: log upload statistics

src/api2/admin/datastore/backup.rs: use separate api entry points for chunk upload

So that we can provide better statistics (patches follows).

typo fix and doc improvement

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

doc fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add Cancellable, start a futures submodule

To make a future cancellable, use:
let (future, canceller) =
    crate::tools::futures::cancellable(future);

Proceed with using `future` as usual, `canceller` is
clonable and can cancel the future via the `.cancel()`
method.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add AsyncMutex::new_locked

Allows creating a pre-locked mutex, returning the mutex and
a guard.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/api2/admin/datastore/backup/environment.rs: do not allow empty backups (no files)

src/api2/admin/datastore/backup.rs: improve debug logging

src/api_schema/router.rs: disable debug println

src/api2/admin/datastore/backup.rs: add debug flag

src/backup/dynamic_index.rs: split class DynamicIndexWriter

src/backup/fixed_index.rs: remove ChunkStat from struct

src/backup/fixed_index.rs: improve consistency checks

pxar: change logic and impl all command line flags for xattrs/fcaps/acls

Allows to individually set the flags for storing/dumping/restoring of
xattrs/fcaps/acls in the cli of pxar.
Changes logic so that each of them can be threated individually.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/admin/datastore/backup.rs: log sucessful finish call

src/bin/proxmox-backup-client.rs: use new BackupClient to upload data

src/tools.rs: implement image_size helper

src/api2/admin/datastore/backup/environment.rs: add more consistency checks

src/client/http_client.rs: use start of chunk as offset

src/client/http_client.rs: code cleanup

src/backup/fixed_index.rs: improve bound checks inside add_digest

src/backup/fixed_index.rs: store index_length to avoid code duplication

src/api2/admin/datastore/backup.rs: fix typo

src/bin/pxar.rs: set archive permissions to 0o640

As the archive can contain potentially sensitive data such as key files, it makes
sense to restrict the permissions.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: Refactor file stat

Introduce helper functions to check file stats

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: Don't bail if endpoint does not support xattrs.

The encoder bailed if a endpoint which did not support xattrs was encountered.
Instead of bailing, we ignore these errors and simply do not store xattrs for
such endpoints.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/admin/datastore/backup.rs: implement fixed sized chunk upload api

src/backup/fixed_index.rs: make chunk_size public

src/client/http_client.rs: correctly parse error response in download_chunk_list

src/api2/admin/datastore/backup/upload_chunk.rs: rename upload_dynamic_chunk into upload_chunk

src/api2/admin/datastore/backup.rs: use smaller window sizes

src/client/http_client.rs: fix request pipelining

src/client/merge_known_chunks.rs: use MergedChunkInfo as input

src/client/http_client.rs: append chunks in correct order

We need to wait for response from upload_chunk. After that we can
add the chunk to the index file.

src/api2/admin/datastore/backup.rs: verify chunk offset

This clearly shows that the current approach does not work - seems we get
chunks out of order.

src/server/rest.rs: correctly verify json parameters

src/client/http_client.rs: encode parameters inside body

To avoid problems with long uris.

src/client/merge_known_chunks.rs: reduce RAM usage

There is no need to store chunk data for known chunks.

src/client/merge_known_chunks.rs: avoid VecDequeu - a single buffer is enough

src/pxar/sequential_decoder.rs: impl support to dump/restore ACLs from pxar archives

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: impl support to store ACLs in pxar achives

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/format_definition.rs: define types and structs needed to impl ACL support in pxar

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: pass feature_flags to encoder/decoder instead of individual flags

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/tools/xattr.rs: add test for is_valid_xattr_name()

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

Minor refactoring of pxars xattr encoder/decoder, mostly reformatting and renaming.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

doc-test fixup

cargo test by default compiles and runs all code snippets
found in the documentation...

oops...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

RFC: schema: make enums static

I don't see a reason to allow these to be dynamically
modifiable.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/client/merge_known_chunks.rs: merge known chunks

To decrease the number of api calls required...

src/client/http_client.rs: use ChunkInfo streams

This will make out of order uploads possible...

tree-wide: use the new vec/io tools modules

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

buildsys: make valgrind=1 to enable valgrind support

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add helpful vector and read operations

After importing the I/O ops trait via:
    use crate::tools::io::ops::*;

Instead of:
    let mut buffer = vec![0u8; 65536];
    file.read_exact(&mut buffer)?;
use:
    let buffer = file.read_exact_allocated(65536)?;

After importing the vector helpers via:
    use crate::tools::vec::{self, ops::*};

For a buffer which *could* be uninitialized but you prefer
zero-initialization anyway for security reasons, instead of:
    let mut buffer = vec![0u8; len];
use:
    let mut buffer = vec::undefined(len);
which zero-initializes, but, if the `valgrind` feature flag
is enabled, marks the vector as having undefined contents,
so reading from it will cause valgrind errors.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>