file download: avoid unnecessary copy

src/client/http_client.rs - h2 download: implement flow control

debian/control: add clang build dependency

src/api2/reader.rs: implement backup reader protocol

src/server/h2service.rs: implement generic h2 service

src/client/http_client.rs: split out code to start new h2 connections

src/backup/data_{chunk,blob}.rs: add verify_crc method

src/bin/proxmox-backup-client.rs: decode blobs on download

No more need for that clumsy blob cli (removed).

src/client/http_client.rs - download: use generic Write type, return writer.

Make it possible to write int Vec<u8>.

src/backup/crypt_config.rs -  generate_rsa_encoded_key: store as json

Use the KeyConfig serialization with kdf = None.

src/bin/proxmox-backup-client.rs: remove stale download file, start blob cli

src/api2/admin/datastore.rs: use correct path for download

src/client/http_client.rs - download: fix error handling

src/bin/proxmox-backup-client.rs: implement download command

src/api2/admin/datastore.rs: implement generic download method

We simply allow to download raw binary data.

src/api2/admin/datastore/pxar.rs: remove pxar upload api

Upload needs to be done using the backup protocol.

src/api2/admin/datastore.rs: use a worker log log prune actions

src/bin/proxmox-backup-client.rs: strip .blob extension

src/backup/backup_info.rs: also list .blob files

src/bin/proxmox-backup-client.rs: change key name to rsa-encrypted.key

src/cli/command.rs: fix ReST output format

src/bin/proxmox-backup-client.rs: upload rsa encoded key after backup

pxar: impl .pxarexclude parsing and exclude matching

.pxarexclude files allow to exclude or include parts of a subtree by matching
with a glob pattern. The globs are used according to the matches of fnmatch.
In addition '**' can be used to match multiple directories within the path.

Order of the entries matter, as later ones win over previous ones.
As the .pxarexclude files can be placed at any node of the directory hirarchy,
this implies that matching child entries win over parent entries.
The only exception to this behaviour is, when a parent entry already fully
matched the path, thereby excluding the child entries which would match
otherwise.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/backup/environment.rs: new helper add_blob()

src/api2/backup.rs: replace upload_config with upload_blob

src/backup/data_blob.rs: implement from_raw()

src/api2/backup/upload_chunk.rs: compute crc on upload

try to use use proxmox::tools::io::ops::ReadExtOps

src/backup/file_formats.rs: improve docs

src/backup/crypt_config.rs: simplify decode interface

src/backup/crypt_config.rs: remove encode_chunk, use encrypt_to instead

src/backup/crypt_config.rs: implement encrypt_to (output to writer)

src/backup/file_formats.rs: split out file format data

add crc field for binary blobs formats

depend on crc32fast

We can use this to compute fast checksums to test file integrity (not crypto safe).

src/backup/data_blob.rs: new file format for binary blobs

src/backup/crypt_config.rs: make code more flexible

Allow to pass magic numbers as parameters.

renamed: src/backup/crypt_setup.rs -> src/backup/crypt_config.rs

src/bin/proxmox-backup-client.rs: add import-master-pubkey command

src/bin/proxmox-backup-client.rs: helper to generate RSA master key

src/backup/key_derivation.rs: add modified field to key file

src/bin/proxmox-backup-client.rs: add keyfile parameter for backup

src/bin/proxmox-backup-client.rs - key API: pass kdf parameter

Allow to store keys without password.

src/bin/proxmox-backup-client.rs: use file system path to reference keys

src/bin/proxmox-backup-client.rs - create_key: always read password from tty

src/backup/key_derivation.rs: move kdf code into separate file

Cargo.toml: use serde feature derive

src/bin/proxmox-backup-client.rs: implement "key change-passphrase"

src/bin/proxmox-backup-client.rs: start key management

src/backup/*_index.rs: used generated magic numbers

src/tools.rs: move hex_to_digest and digest_to_hex to proxmox::tools

src/api2/backup/environment.rs: log index checksums

src/backup/fixed_index.rs: compute checksum over the index

src/backup/dynamic_index.rs: compute checksum over the index

src/api2/backup/environment.rs: log duplicate chunks

src/api2/backup/upload_chunk.rs: verify chunk data if possible

src/bin/cipherbench.rs: add test for zstd compression

src/bin/cipherbench.rs: cipher speed test with large blocks

src/backup/data_chunk.rs: fix typo

src/backup/data_chunk.rs: only use compressed data if it is shorter than uncompressed

src/backup/crypt_setup.rs: only use compressed data if it is shorter than uncompressed

backup: Add support for client side encryption

first try ...

src/backup/data_chunk.rs - decode: make crypt_config optional

src/backup/crypt_setup.rs: add comment for possible improvements

src/backup/data_chunk.rs: Moved ChunkInfo from merge_known_chunks.rs

src/api2/types.rs: define CHUNK_DIGEST_SCHEMA

src/backup/data_chunk.rs: Data Chunk builder

Make handling encoded chunks easier.

use ssh+git for the proxmox repository

This works for me, note the `ssh://` protocol, and using `/`
to separate the path instead of `:`.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/backup/crypt_setup.rs: fix encoder for uncompressed chunks

src/backup/crypt_setup.rs: allow compressed and uncompressed chunks

src/backup/crypt_setup.rs: remove unused CryptData struct

src/backup/crypt_setup.rs: avoid useless allocations

src/backup.rs: define magic numbers for chunk store file format

src/backup/crypt_setup.rs: crypto helpers

depend on ../proxmox/proxmox

I was unable to use a git url ...

use nightly for now

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tree-wide: use 'dyn' for all trait objects

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: introduce fs_feature_flags obtained from filesystem magic in Encoder

Not all filesystems support features such as xattrs,acl,... and trying to get
them is rather expensive.
By getting the supported features based on the filesystem magic and masking the
user set feature flags, unsupported features are excluded rather inexpensively
while encoding the archive.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: refactoring: use ioctl calls from src/tools/fs.rs instead of local

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: minor refactoring

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: check if ioctl supported by filesystem

Reading the quota project id relies on a ioctl call to get fsxattr.
On FUSE filesystems, ioctl calls might not be supported and will fail with
an errno indicating no support.
For these cases, the error is ignored and the default project id is used
(indicated by returning Ok(None)).

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/admin/datastore.rs: remove test-upload api

src/api2/admin/datastore/upload.rs: remove unused upload api

src/client/http_client.rs: automatically close connection in finish

make h2 client connection cancellable

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump zstd-sys version

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/backup.rs; use a macro to define PROXMOX_BACKUP_PROTOCOL_ID_V1

So that we can include it in static doc strings.

src/backup.rs: define const PROXMOX_BACKUP_PROTOCOL_ID_V1

src/tools/xattr.rs: fix test when run as root

src/api2.rs: move backup api to /backup

src/bin/proxmox-backup-proxy.rs: fix typo in pkcs12 error message

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: style fix

pxar: impl storing/dumping/restoring of quota project ids

Allows to store/dump/restore the quota project id associated with an inode in
order to correctly restore project quotas.
The project id is obtained/set via ioctl calls getting/setting the fsxattr
associated with the given file descriptor.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/format_definition.rs: add CA_FORMAT_QUOTA_PROJID and CaFormatQuotaProjID

Defines the types needed to store/restore quota project ids in pxar

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/tools/fs.rs: impl ioctl calls to get/set fsxattr

This implements fs_ioc_fsgetxattr/fs_ioc_fssetxattr calls in order to read or
write fsxattr for a given file descriptor.
This is needed in order to read or write the quota project id for filesystems
which support project quotas (EXT4/XFS/FUSE).

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

docs/backup-protocol.rst: add backup protocol docs

src/bin/dump-backup-api.rs: helper to generate backup API docs

src/api_schema/format.rs: depend on textwrap, new wrap_text helper

src/cli/command.rs: move doc generator code to src/api_schema/format.rs

src/client/http_client.rs - upload_config: improve error message