src/bin/proxmox-backup-client.rs: allow to uploag .log files (as binary blobs)

src/pxar/encoder.rs: add new skip_lost_and_found parameter

pxar_backup_stream.rs: limit lock scope to avoid blocking forever

remove debug output

src/client/pxar_backup_stream.rs: correctly pass errors to stream

src/pxar/encoder.rs: allow to pass list of devices

For better mount point include control...

Revert previous, commit, use UTC RFC3339 without timezone (Z)

We now have human readable data/time, and names are still sortable.

src/backup/backup_info.rs: use unix epoch timestamps instead of RFC3339

RFC3339 contains additional timezone information, but IMHO this just adds
more confusion. The API also uses timestamps.

src/pxar/sequential_decoder.rs: Call callback only on restored paths.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/pxar.rs - extract: print archive name with --verbose flag

src/bin/pxar.rs: remove wrong debug message

src/bin/pxar.rs: allow to pass paths and match patterns as args to pxar extract

To improve usability it is now possible to directly pass paths or match patterns
as arguments to pxar extract to partially restore an archive.
The patterns provided via CLI are appended to the ones read from file by the
--files-from option in order to have priority over those.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/proxmox-backup-client.rs: code cleanup

src/bin/proxmox-backup-client.rs - status: only print result[data]

src/api2/admin/datastore.rs: allow to list all snapshots

src/cli/command.rs: set exit status on error

src/bin/pxar.rs: add --files-from parameter to pxar extract

Allows to pass a list of match pattern to the pxar extract call by reading them
from file.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: Adapt SequentialDecoder::restore() calls to pass empty match pattern for full restore

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: adapt code for partial restore by match pattern

Allows to partially restore an archive by passing match patterns to the restore
function.
The whole restore is performed in sequential, therefore the whole archive has to
be read.
By wrapping the RawFd into an Option it can be controlled if the corresponding
part is restored (in case of Some(fd)) or if the Reader reads over it
without restore (in case of None).

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: implement match_filename to match include pattern for partial restores

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: Also check for nul bytes when reading the filename

Check if the filename does not contain invalid nul byes when reading it from the
archive.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

tests/pxar.rs: Change rsync options to --archive

By this the pxar integrity test checks for even more attributes such as a e.g.
correctly restored timestamp. See `man rsync` for details.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: remove old comments and refactoring

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: refactoring of match_exclude_pattern()

match_exclude_pattern() does not need a '&mut self' reference to the encoder,
move it therefore out of the impl.
Further, this patch contains some naming and formatting cosmetics.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: remove unneeded dir_count

dir_count was used to track the number of directory entries to store in the
archive and bail if the maximum is exceeded.
As the number of entries is equally obtained from the list of the filenames to
include, use that one instead.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/exclude_pattern.rs: do not return partial matches for files

Partial matches make only sense for directories, files are always leafs of the
tree. Take this into account in order to avoid restoring of files which only
matched the front of a match pattern.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/pxar.rs: Make pxar extract target optional

In order to improve usablity, the target on archive extraction will be the
current working directory by default.
A different target can be provided via the optional --target <PATH> parameter.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/proxmox-backup-client.rs: add output-fromat options, implement status api

src/api2/admin/datastore.rs: add status api call

src/cli/command.rs: add helpers/schema to format output

src/bin/pxar.rs: only print archive name in verbose mode

src/bin/pxar.rs: add --verbose parameter to list (replace dump)

src/bin/proxmox-backup-client.rs: make repository parameter optional

And allow to read it from $ENV{PBS_REPOSITORY}

Cargo.toml: update to latest hyper version

Which already includes our path.

src/pxar/format_definition.rs: fix typo

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/pxar.rs - extract: allow to read from stdin

src/bin/pxar.rs - dump: allow to read from stdin

src/bin/proxmox-backup-client.rs - restore: allow to pipe output to stdout

src/bin/proxmox-backup-client.rs: remove download cli, do everything in restore

src/client/remote_chunk_reader.rs: implement simple caching

src/backup/fixed_index.rs: implement BufferedFixedReader

src/pxar/sequential_decoder.rs: major refactoring of restore_sequential()

This splits the functionality of restore_sequential() into several smaller
functions in order to allow to reuse them when restoring by seeking based on
the goodbye table offsets.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: fix bug with incorrect offset stored in goodbye table

Commit cd7dc87903a3c45e3d1521c3e7c1ea1500617a23 introduced the special treatment
for .pxarexclude files when stored in the archive.
The incorrect placement of a code snipplet from this path leads to an incorrect
offset and size stored in the goodbye table.
This fix places the start to the correct position, restoring the previously
correct behaviour.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: Refactor SequentialDecoder to store the callback function within the struct

Reduces the number of arguments for the function calls within the decoder.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/backup/fixed_index.rs: use correct size

We need to consider that the last chunk may have smaller size.

src/client/http_client.rs - finish: hold reference to avoid early connection close

src/api2/backup/environment.rs: improve chunk alignment/size checks

src/backup/chunk_store.rs: coding style fixes

src/backup/chunk_store.rs: additionally log chunk count

src/backup/chunk_store.rs: improve error reporting

backup/chunk_store: rework chunk iterator

We can now use iter::from_fn() which makes for a much nicer
logic. The only thing better is going to be when we can use
generators with `yield`.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/client/http_client.rs: s/set_recv_buf_size/set_recv_buffer_size/

src/tools/fs.rs - read_dir: return nix::Result

src/backup/chunk_store.rs - get_chunk_iterator: return percentage inside iterator item

src/backup/dynamic_index.rs: lock file inside new, code cleanup

src/backup/fixed_index.rs - FixedIndexReader: remove reference to chunk store

src/backup/datastore.rs: generic index_mark_used_chunks implementation, improve GC stats

src/bin/proxmox-backup-client.rs: implement restore using BackupReader

src/client/remote_chunk_reader.rs: remove dead code

src/client/remote_chunk_reader.rs: implement remote chunk reader

src/client/http_client.rs: avoid compiler warning

src/client/http_client.rs: return Arc<Self>

Avoid to call canceller for each clone on drop ...

src/backup/read_chunk.rs: use &mut self

src/pxar/encoder.rs: refactor simple match statements to map_err()

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: refactoring of simple match statements to map_err()

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/sequential_decoder.rs: Cleanup and fix incorrect error message

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/server/rest.rs: avoid unwrap

src/server/rest.rs: log peer address, use hyper MakeService

use hyper/tokio-openssl instead of hyper/tokio-tls

This exposes the complete SSL setup. And download is much faster
now (600MB/s instead of 130MB/s)!

src/bin/proxmox-backup-proxy.rs: set socket options for max. performance

src/bin/h2s-client.rs: avoid compiler warnings

src/backup/{fixed, dynamic}_index.rs: improve error messages

src/backup/read_chunk.rs: use Arc for DataStore

src/backup/read_chunk.rs: move read chunk trait into extra file

And implement LocalChunkReader.

use latest hyper master branch to include socket buffer size fix

replace tools::vec with proxmox::tools::vec

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: remove io module

now completely replaced by proxmox::tools::io.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

update remaining users of tools::io::ops

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: remove read/write

now completely replaced by
proxmox::tools::io::{ReadExt, WriteExt}

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

daemon: remove last use of tools::read/write

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup: use new proxmox::tools::io traits

This replaces all `write_value` calls with `write_le_value`
calls!

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/h2s-client.rs: increase tokio tcp stream read buffer size

This improves download speed by factor 10.

src/bin/h2s-client.rs: avoid hyper, use h2 directly

But performance is still bad.

src/bin/h2s-server.rs: test to reproduce slow h2 download

Simplified code, use with h2s-client.rs.

src/bin/download-speed.rs: h2 download speedtest for our server

I get about 30MB/s (much too slow)

src/client/http_client.rs: use maximal h2 window sizes

src/bin/h2client.rs: tune h2 client parameters to get reasonable speed

We now get about 2.5GB/s (not really good, but better)

src/client.rs: make module put_to_stream public

add code to test H2 speed

I currently get about 1MB/s, which is ways too slow (must be a bug)?

src/backup/dynamic_index.rs: introduce ReadChunk trait

src/api2/reader.rs: add download chunk api

src/client/http_client.rs: increase h2 window size, set tcp nodelay option

To increase h2 download speed.

src/backup/chunk_store.rs: new method chunk_path()

Returns the absolute path.

file download: avoid unnecessary copy

src/client/http_client.rs - h2 download: implement flow control

debian/control: add clang build dependency

src/api2/reader.rs: implement backup reader protocol

src/server/h2service.rs: implement generic h2 service

src/client/http_client.rs: split out code to start new h2 connections

src/backup/data_{chunk,blob}.rs: add verify_crc method