src/api2/admin/datastore.rs: add status api call

src/cli/command.rs: add helpers/schema to format output

src/bin/pxar.rs: only print archive name in verbose mode

src/bin/pxar.rs: add --verbose parameter to list (replace dump)

src/bin/proxmox-backup-client.rs: make repository parameter optional

And allow to read it from $ENV{PBS_REPOSITORY}

Cargo.toml: update to latest hyper version

Which already includes our path.

src/pxar/format_definition.rs: fix typo

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/pxar.rs - extract: allow to read from stdin

src/bin/pxar.rs - dump: allow to read from stdin

src/bin/proxmox-backup-client.rs - restore: allow to pipe output to stdout

src/bin/proxmox-backup-client.rs: remove download cli, do everything in restore

src/client/remote_chunk_reader.rs: implement simple caching

src/backup/fixed_index.rs: implement BufferedFixedReader

src/pxar/sequential_decoder.rs: major refactoring of restore_sequential()

This splits the functionality of restore_sequential() into several smaller
functions in order to allow to reuse them when restoring by seeking based on
the goodbye table offsets.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: fix bug with incorrect offset stored in goodbye table

Commit cd7dc87903a3c45e3d1521c3e7c1ea1500617a23 introduced the special treatment
for .pxarexclude files when stored in the archive.
The incorrect placement of a code snipplet from this path leads to an incorrect
offset and size stored in the goodbye table.
This fix places the start to the correct position, restoring the previously
correct behaviour.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: Refactor SequentialDecoder to store the callback function within the struct

Reduces the number of arguments for the function calls within the decoder.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/backup/fixed_index.rs: use correct size

We need to consider that the last chunk may have smaller size.

src/client/http_client.rs - finish: hold reference to avoid early connection close

src/api2/backup/environment.rs: improve chunk alignment/size checks

src/backup/chunk_store.rs: coding style fixes

src/backup/chunk_store.rs: additionally log chunk count

src/backup/chunk_store.rs: improve error reporting

backup/chunk_store: rework chunk iterator

We can now use iter::from_fn() which makes for a much nicer
logic. The only thing better is going to be when we can use
generators with `yield`.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/client/http_client.rs: s/set_recv_buf_size/set_recv_buffer_size/

src/tools/fs.rs - read_dir: return nix::Result

src/backup/chunk_store.rs - get_chunk_iterator: return percentage inside iterator item

src/backup/dynamic_index.rs: lock file inside new, code cleanup

src/backup/fixed_index.rs - FixedIndexReader: remove reference to chunk store

src/backup/datastore.rs: generic index_mark_used_chunks implementation, improve GC stats

src/bin/proxmox-backup-client.rs: implement restore using BackupReader

src/client/remote_chunk_reader.rs: remove dead code

src/client/remote_chunk_reader.rs: implement remote chunk reader

src/client/http_client.rs: avoid compiler warning

src/client/http_client.rs: return Arc<Self>

Avoid to call canceller for each clone on drop ...

src/backup/read_chunk.rs: use &mut self

src/pxar/encoder.rs: refactor simple match statements to map_err()

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: refactoring of simple match statements to map_err()

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: Cleanup and fix incorrect error message

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/server/rest.rs: avoid unwrap

src/server/rest.rs: log peer address, use hyper MakeService

use hyper/tokio-openssl instead of hyper/tokio-tls

This exposes the complete SSL setup. And download is much faster
now (600MB/s instead of 130MB/s)!

src/bin/proxmox-backup-proxy.rs: set socket options for max. performance

src/bin/h2s-client.rs: avoid compiler warnings

src/backup/{fixed, dynamic}_index.rs: improve error messages

src/backup/read_chunk.rs: use Arc for DataStore

src/backup/read_chunk.rs: move read chunk trait into extra file

And implement LocalChunkReader.

use latest hyper master branch to include socket buffer size fix

replace tools::vec with proxmox::tools::vec

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: remove io module

now completely replaced by proxmox::tools::io.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

update remaining users of tools::io::ops

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: remove read/write

now completely replaced by
proxmox::tools::io::{ReadExt, WriteExt}

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

daemon: remove last use of tools::read/write

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup: use new proxmox::tools::io traits

This replaces all `write_value` calls with `write_le_value`
calls!

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/h2s-client.rs: increase tokio tcp stream read buffer size

This improves download speed by factor 10.

src/bin/h2s-client.rs: avoid hyper, use h2 directly

But performance is still bad.

src/bin/h2s-server.rs: test to reproduce slow h2 download

Simplified code, use with h2s-client.rs.

src/bin/download-speed.rs: h2 download speedtest for our server

I get about 30MB/s (much too slow)

src/client/http_client.rs: use maximal h2 window sizes

src/bin/h2client.rs: tune h2 client parameters to get reasonable speed

We now get about 2.5GB/s (not really good, but better)

src/client.rs: make module put_to_stream public

add code to test H2 speed

I currently get about 1MB/s, which is ways too slow (must be a bug)?

src/backup/dynamic_index.rs: introduce ReadChunk trait

src/api2/reader.rs: add download chunk api

src/client/http_client.rs: increase h2 window size, set tcp nodelay option

To increase h2 download speed.

src/backup/chunk_store.rs: new method chunk_path()

Returns the absolute path.

file download: avoid unnecessary copy

src/client/http_client.rs - h2 download: implement flow control

debian/control: add clang build dependency

src/api2/reader.rs: implement backup reader protocol

src/server/h2service.rs: implement generic h2 service

src/client/http_client.rs: split out code to start new h2 connections

src/backup/data_{chunk,blob}.rs: add verify_crc method

src/bin/proxmox-backup-client.rs: decode blobs on download

No more need for that clumsy blob cli (removed).

src/client/http_client.rs - download: use generic Write type, return writer.

Make it possible to write int Vec<u8>.

src/backup/crypt_config.rs -  generate_rsa_encoded_key: store as json

Use the KeyConfig serialization with kdf = None.

src/bin/proxmox-backup-client.rs: remove stale download file, start blob cli

src/api2/admin/datastore.rs: use correct path for download

src/client/http_client.rs - download: fix error handling

src/bin/proxmox-backup-client.rs: implement download command

src/api2/admin/datastore.rs: implement generic download method

We simply allow to download raw binary data.

src/api2/admin/datastore/pxar.rs: remove pxar upload api

Upload needs to be done using the backup protocol.

src/api2/admin/datastore.rs: use a worker log log prune actions

src/bin/proxmox-backup-client.rs: strip .blob extension

src/backup/backup_info.rs: also list .blob files

src/bin/proxmox-backup-client.rs: change key name to rsa-encrypted.key

src/cli/command.rs: fix ReST output format

src/bin/proxmox-backup-client.rs: upload rsa encoded key after backup

pxar: impl .pxarexclude parsing and exclude matching

.pxarexclude files allow to exclude or include parts of a subtree by matching
with a glob pattern. The globs are used according to the matches of fnmatch.
In addition '**' can be used to match multiple directories within the path.

Order of the entries matter, as later ones win over previous ones.
As the .pxarexclude files can be placed at any node of the directory hirarchy,
this implies that matching child entries win over parent entries.
The only exception to this behaviour is, when a parent entry already fully
matched the path, thereby excluding the child entries which would match
otherwise.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/backup/environment.rs: new helper add_blob()

src/api2/backup.rs: replace upload_config with upload_blob

src/backup/data_blob.rs: implement from_raw()

src/api2/backup/upload_chunk.rs: compute crc on upload

try to use use proxmox::tools::io::ops::ReadExtOps

src/backup/file_formats.rs: improve docs

src/backup/crypt_config.rs: simplify decode interface

src/backup/crypt_config.rs: remove encode_chunk, use encrypt_to instead

src/backup/crypt_config.rs: implement encrypt_to (output to writer)

src/backup/file_formats.rs: split out file format data

add crc field for binary blobs formats

depend on crc32fast

We can use this to compute fast checksums to test file integrity (not crypto safe).