src/backup/read_chunk.rs: move read chunk trait into extra file

And implement LocalChunkReader.

use latest hyper master branch to include socket buffer size fix

replace tools::vec with proxmox::tools::vec

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: remove io module

now completely replaced by proxmox::tools::io.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

update remaining users of tools::io::ops

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: remove read/write

now completely replaced by
proxmox::tools::io::{ReadExt, WriteExt}

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

daemon: remove last use of tools::read/write

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup: use new proxmox::tools::io traits

This replaces all `write_value` calls with `write_le_value`
calls!

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/h2s-client.rs: increase tokio tcp stream read buffer size

This improves download speed by factor 10.

src/bin/h2s-client.rs: avoid hyper, use h2 directly

But performance is still bad.

src/bin/h2s-server.rs: test to reproduce slow h2 download

Simplified code, use with h2s-client.rs.

src/bin/download-speed.rs: h2 download speedtest for our server

I get about 30MB/s (much too slow)

src/client/http_client.rs: use maximal h2 window sizes

src/bin/h2client.rs: tune h2 client parameters to get reasonable speed

We now get about 2.5GB/s (not really good, but better)

src/client.rs: make module put_to_stream public

add code to test H2 speed

I currently get about 1MB/s, which is ways too slow (must be a bug)?

src/backup/dynamic_index.rs: introduce ReadChunk trait

src/api2/reader.rs: add download chunk api

src/client/http_client.rs: increase h2 window size, set tcp nodelay option

To increase h2 download speed.

src/backup/chunk_store.rs: new method chunk_path()

Returns the absolute path.

file download: avoid unnecessary copy

src/client/http_client.rs - h2 download: implement flow control

debian/control: add clang build dependency

src/api2/reader.rs: implement backup reader protocol

src/server/h2service.rs: implement generic h2 service

src/client/http_client.rs: split out code to start new h2 connections

src/backup/data_{chunk,blob}.rs: add verify_crc method

src/bin/proxmox-backup-client.rs: decode blobs on download

No more need for that clumsy blob cli (removed).

src/client/http_client.rs - download: use generic Write type, return writer.

Make it possible to write int Vec<u8>.

src/backup/crypt_config.rs -  generate_rsa_encoded_key: store as json

Use the KeyConfig serialization with kdf = None.

src/bin/proxmox-backup-client.rs: remove stale download file, start blob cli

src/api2/admin/datastore.rs: use correct path for download

src/client/http_client.rs - download: fix error handling

src/bin/proxmox-backup-client.rs: implement download command

src/api2/admin/datastore.rs: implement generic download method

We simply allow to download raw binary data.

src/api2/admin/datastore/pxar.rs: remove pxar upload api

Upload needs to be done using the backup protocol.

src/api2/admin/datastore.rs: use a worker log log prune actions

src/bin/proxmox-backup-client.rs: strip .blob extension

src/backup/backup_info.rs: also list .blob files

src/bin/proxmox-backup-client.rs: change key name to rsa-encrypted.key

src/cli/command.rs: fix ReST output format

src/bin/proxmox-backup-client.rs: upload rsa encoded key after backup

pxar: impl .pxarexclude parsing and exclude matching

.pxarexclude files allow to exclude or include parts of a subtree by matching
with a glob pattern. The globs are used according to the matches of fnmatch.
In addition '**' can be used to match multiple directories within the path.

Order of the entries matter, as later ones win over previous ones.
As the .pxarexclude files can be placed at any node of the directory hirarchy,
this implies that matching child entries win over parent entries.
The only exception to this behaviour is, when a parent entry already fully
matched the path, thereby excluding the child entries which would match
otherwise.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/backup/environment.rs: new helper add_blob()

src/api2/backup.rs: replace upload_config with upload_blob

src/backup/data_blob.rs: implement from_raw()

src/api2/backup/upload_chunk.rs: compute crc on upload

try to use use proxmox::tools::io::ops::ReadExtOps

src/backup/file_formats.rs: improve docs

src/backup/crypt_config.rs: simplify decode interface

src/backup/crypt_config.rs: remove encode_chunk, use encrypt_to instead

src/backup/crypt_config.rs: implement encrypt_to (output to writer)

src/backup/file_formats.rs: split out file format data

add crc field for binary blobs formats

depend on crc32fast

We can use this to compute fast checksums to test file integrity (not crypto safe).

src/backup/data_blob.rs: new file format for binary blobs

src/backup/crypt_config.rs: make code more flexible

Allow to pass magic numbers as parameters.

renamed: src/backup/crypt_setup.rs -> src/backup/crypt_config.rs

src/bin/proxmox-backup-client.rs: add import-master-pubkey command

src/bin/proxmox-backup-client.rs: helper to generate RSA master key

src/backup/key_derivation.rs: add modified field to key file

src/bin/proxmox-backup-client.rs: add keyfile parameter for backup

src/bin/proxmox-backup-client.rs - key API: pass kdf parameter

Allow to store keys without password.

src/bin/proxmox-backup-client.rs: use file system path to reference keys

src/bin/proxmox-backup-client.rs - create_key: always read password from tty

src/backup/key_derivation.rs: move kdf code into separate file

Cargo.toml: use serde feature derive

src/bin/proxmox-backup-client.rs: implement "key change-passphrase"

src/bin/proxmox-backup-client.rs: start key management

src/backup/*_index.rs: used generated magic numbers

src/tools.rs: move hex_to_digest and digest_to_hex to proxmox::tools

src/api2/backup/environment.rs: log index checksums

src/backup/fixed_index.rs: compute checksum over the index

src/backup/dynamic_index.rs: compute checksum over the index

src/api2/backup/environment.rs: log duplicate chunks

src/api2/backup/upload_chunk.rs: verify chunk data if possible

src/bin/cipherbench.rs: add test for zstd compression

src/bin/cipherbench.rs: cipher speed test with large blocks

src/backup/data_chunk.rs: fix typo

src/backup/data_chunk.rs: only use compressed data if it is shorter than uncompressed

src/backup/crypt_setup.rs: only use compressed data if it is shorter than uncompressed

backup: Add support for client side encryption

first try ...

src/backup/data_chunk.rs - decode: make crypt_config optional

src/backup/crypt_setup.rs: add comment for possible improvements

src/backup/data_chunk.rs: Moved ChunkInfo from merge_known_chunks.rs

src/api2/types.rs: define CHUNK_DIGEST_SCHEMA

src/backup/data_chunk.rs: Data Chunk builder

Make handling encoded chunks easier.

use ssh+git for the proxmox repository

This works for me, note the `ssh://` protocol, and using `/`
to separate the path instead of `:`.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/backup/crypt_setup.rs: fix encoder for uncompressed chunks

src/backup/crypt_setup.rs: allow compressed and uncompressed chunks

src/backup/crypt_setup.rs: remove unused CryptData struct

src/backup/crypt_setup.rs: avoid useless allocations

src/backup.rs: define magic numbers for chunk store file format

src/backup/crypt_setup.rs: crypto helpers

depend on ../proxmox/proxmox

I was unable to use a git url ...

use nightly for now

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tree-wide: use 'dyn' for all trait objects

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: introduce fs_feature_flags obtained from filesystem magic in Encoder

Not all filesystems support features such as xattrs,acl,... and trying to get
them is rather expensive.
By getting the supported features based on the filesystem magic and masking the
user set feature flags, unsupported features are excluded rather inexpensively
while encoding the archive.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: refactoring: use ioctl calls from src/tools/fs.rs instead of local

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: minor refactoring

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>