src/client/backup_writer.rs: move BackupClient code into extra file

And rename it to BackupWriter.

src/client/backup_reader.rs: add documentation

src/client/backup_reader.rs: split BackupReader code into separate file

src/bin/proxmox-backup-client.rs: pass verbose flag to dump_image

And print some useful status to stderr.

fix typo in error message

src/api2/reader.rs: use tokio::fs::read() to read file async

src/backup/data_blob.rs: avoid Arc<CryptConfig>

use simple reference instead.

remove DataChunk file format - use DataBlob instead

cleanup: remove dead code

src/bin/proxmox-backup-client.rs: cleanup restore

- write directly to /dev/stdout (instead of using stdout line writer)
- avoid BufferedFixedReader

src/client/remote_chunk_reader.rs: pass reference to download_chunk

Make sure we do not move data around.

src/api2/reader.rs - download_chunk: use blocking io

Turns out to be twice as fast as tokio async io...

src/client/http_client.rs: store raw data/blob size in index.json

src/client/http_client.rs: new helper send_upload_request()

src/backup/fixed_index.rs: do not use offset for checksum

backup writer api: verify checksum inside close

src/client/http_client.rs - H2Client::upload: fix parameter order

src/client/http_client.rs: add method parameter to H2 upload

src/client/http_client.rs: add content type parameter to H2 upload/requets_builder

src/client/http_client.rs: cleanup (rename parameter)

remove trailing whitespace

src/bin/proxmox-backup-client.rs: add functionality to mount pxar archive.

This adds the basic functionality to mount an archive stored in a repository
locally via fuse.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/pxar.rs: adapt to new deamonize flag

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: make verbose flag independent from deamonize by adding this as new flag

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: refactor Session::new()

and add Session::from_decoder() in order to be able to create a fuse session
with a `Decoder` given as argument.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: introduce `Context` in order to add caching.

This patch introduces `Context` to hold the decoder, ino_offset and caches for
the attributes and the goodbye table.
By caching, certain callbacks can be handled without the need to read additional
data via the decoder, which improves performance.
The searching of the goodbye table is refactored as well, avoiding recursive
function calls in case of a hash collision.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: fix bug in decoder read

`offset` points to the `PXAR_FILENAME`, therefore read the filename before
the `PXAR_ENTRY`.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/backup/data_chunk.rs: add into_raw()

BackupClient: add upload() function

make download_chunk_list() public

src/client/http_client.rs: add password parameter to HttpClient::new()

pxar: fuse: avoid possible hash collision in lookup by additional checking against filename

The hash of the filename in the goodbye table items allows to quickly compare to
a hashed filename.
Unfortunately, a matching hash is no garantee for matching filenames as hash
collisions are possible.
This patch fixes such possible collisions by further checking the filenames once
a matching hash has been found.
This introduces no significant extra cost (except for the filename comparison)
for cases with matching hashes, as the lookup call has to seek and read the file
attributes (including the filename) anyway.
In cases with hash collision, the next matching item is read and treaded
analogously (what means we need at least one extra seek).
As collisions should be not that frequent, this should be an acceptable penalty.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

clippy: fix access to unaligned buffer in dynamic reader

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup: cleanup unused imports

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy: fix access to unaligned buffer

via the newly introduced ReadExt::read_host_value_boxed()
from proxmox::tools::io.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup: use static assertion in fixed index reader

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy: don't use clone a double reference

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

buildsys: add 'make lint'

for now we only activate lints for code that is "outright
wrong"

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy: collapse identical if branches

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fixup variable naming

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy: use write_all in file logger

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy: fix pointer to temporary value

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

clippy: remove a loop{} which never actually loops

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

more clippy fixups

mostly indentation changes, view with `-w`

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

some clippy fixups

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

remove Cargo.lock

we currently have no git dependencies we need to lock into
specific revisions anymore

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/pxar/fuse.rs: s/Buf/ReplyBuf/ and s/BufState/ReplyBufState/

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: refactor stat and fix i-node mapping

The functionality of stat is split into smaller sub-functions, which allows
to reuse them more flexible, as the code flow is similar but not always the same.
By this, the ugly and incorrect re-setting of the i-node in the lookup callback
function is avoided.
The correct i-node is now calculated beforehand and stat simply creates a
`libc::stat` struct from the provided parameters.
Also, this fixes incorrect i-node assignments in the readdir callback function.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: impl readdir callback for fuse

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: impl readlink callback for fuse

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: read_link has to read filename before entry.

The offset points to the start of the item, which is the filename

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: impl opendir callback for fuse

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: impl read callback for fuse

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: impl open callback for fuse

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: impl lookup callback for fuse

The lookup call checks if the given filename is found in the directory referenced
by the i-node by calclulating the filenames hash and looking it up in the
directories goodbye table.
If found, the entries parameters are returned.
In order to be able to lookup the parent offset by a given file offset in the
readdir callback, this also stores the corresponding values in a HashMap.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: correctly handle hardlinks in `Decoder`s attribute function

If the attributes are then returned by seeking to the new offset.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: split functionality of list_dir into list_dir and goodbye_table

In order to read the contents of the goodbye table while keeping the
functionality of list_dir in place as is.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: make read_directory_entry usable by fuse

... and thereby allow it to read a single directory entry based on the
start and end archive offsets.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: remove `DirectoryEntry` start_offset and end_offset functions

... as they are not needed with the latest iteration of the fuse callback
function impl (which never made it into the repos).

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: correctly read, check and skip filename

The previous implementation simply skipped over `size` bytes, which is not
correct as size includes also the header.
By relying on `SequentailDecoder`s read_filename function, this is correctly
taken care of plus some more integrity checks.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

avoid injecting ENV vars from Makefile

So that we can run "cargo build" without setting vars manually.

src/pxar/fuse.rs: impl getattr callback for fuse

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: Refactor run_in_context and remove inode_to_offset and offset_to_inode

as their functionality is used only once so it makes more sense to keep them
inline.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: Improve comments, add rustfmt skip tag and reafctor

Also, removes an unused println statement in the decoder callback function and
fixes a typo.
Further, use ABI compatible Option<&T> for FFI to avoid use of raw pointers.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

update hyper & h2 to alpha releases on crates.io

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/client/http_client.rs: use async for upload_speedtest()

src/pxar/decoder.rs: impl functionality needed for fuse implementation

Implements functions attributes, open, read, read_link and get_dir
to be used by the fuse implementation which uses file offsets within the archive
as inodes to reference the archives items.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: Add comment for unsolved issue and refactor if statement.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/client/http_client.rs: simplify send_request

src/client/http_client.rs: use async for h2api_response()

src/client/http_client.rs - download_chunk_list: simplify async code

src/client/http_client.rs - H2Client: fix error message in download()

src/client/http_client.rs: use async for download_chunk_list

src/client/http_client.rs - BackupClient: use async

src/client/http_client.rs - BackupClient: use async

src/client/http_client.rs - BackupReader: use async

src/backup/catalog_blob.rs: use write_all() instead of write()

To correctly handle interrupted system calls.

src/client/http_client.rs: use async for more functions

src/client/http_client.rs: use async for login()

src/client/http_client.rs: use async for credentials

src/bin/proxmox-backup-client.rs: verify blob/catlog checksums

src/pxar/sequential_decoder.rs: make functions needed in non-sequential decoder accessible from within crate

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/format_definitions.rs: move header type in PxarHeader and hash in PxarGoodbyeItem to top of struct

By this it is possible to read and check just the first u64 of the corresponding
structs in order to identify the items.
This is needed for the fuse implementation in order to get entries based on the
archive offset, used as inode.
Directories are referenced by the offset to the goodbye tail while other items
are referenced by the offset of the filename followed by the entry.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: add function to map offset to inode and vice versa

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: add getter functions to obtain start/end offsets for directories

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: rustfmt fixups

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/proxmox-backup-client.rs: refactoring of match statement

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/proxmox-backup-client.rs: code cleanup - factor out some functions

src/backup.rs: define INDEX_BLOB_NAME here

src/bin/proxmox-backup-client.rs - restore: verify checksums

src/backup/fixed_index.rs: new helper to compute checksum and file size

src/backup/dynamic_index.rs: new helper to compute checksum and file size

src/client/http_client.rs: fix dynamic index checksum

comment fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add tokio::main() replacement

to deal with block_on() not allowing blocking()

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add WrappedReaderStream test

Mostly to just document the rt.block_on() issue with
blocking().

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Makefile: fixup: remove references to proxmox-protocol

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

merge fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add Cargo.lock

because we're currently using alpha releases...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

update to tokio 0.2.0-alpha.4

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>