api/compat: drop more compat imports from api_schema.rs

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api/compat: drop api_handler submodule

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api/comapt: drop schema submodule

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api: BoxFut -> ApiFuture

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move api schema into proxmox::api crate

And leave some compat imports in api_schema.rs to get it to
build with minimal changes.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

sort all property lookup tables

Required, because we use binary sreach to find items.

use const api definitions

add pxar.1 manual page

docs/administration-guide.rs: add 'Backup Content' section.

docs/administration-guide.rst: add section termonology

docs/administration-guide.rs: move sysadmin.rst to the end

docs/introduction.rst: improve section Architecture

docs/introduction.rst: add todo items

docs: improve introduction.rst

docs: enable sphinx todo items

docs: add sysadmin.rst, cleanups

docs: rename deployment-guide.rst -> administration-guide.rst

and join with admin-guide.rst

docs/conf.py: add exclude_pattern package-repositories.rst

The file is inlcuded with 'include' directive. Exclude it to avoid
avoid warning about duplicate label definition.

drop unused mio crate

we still depend on it through other crates, but we don't use
it directly

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

drop md5 crate dependency

we already depend on openssl which also provides md5

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

drop uuid crate dependency

proxmox::tools now has a Uuid module using the native
libuuid.

Adds build dependency: libuuid1 (which is a Pre-Depends of
util-linux, so always installed anyway).

Drops uuid + 16 more crate dependencies.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

docs: add more ...

catalog: fix issue with DirEntry start

start has to be the parent start - offset

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/backup/catalog.rs: add some docs

src/backup/catalog.rs - CatalogReader: verify magic number

src/backup/catalog.rs -  CatalogReader::dump(): use root()

src/backup/catalog.rs - Direntry::parse: abort if callback return false

src/backup/catalog.rs: impl read_dir() and lookup(), refactor common code

src/backup/catalog.rs: move CatalogEntryType from src/pxar/catalog.rs

src/backup/catalog.rs - DirEntry: factor out name attribute

And avoid allocations inside parse().

catalog: impl std::fmt::Display trait for CatalogEntryType

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

debian/control: build-depend on latexmk

add license for docs (GFDL)

docs/introduction.rst: Add License Section (AGPL3)

docs/introduction.rst: add feature Encryption, replace LZ4 with Zstandard

introduction.rst: Add short Architecture section

package-repositories.rst: new file

add manual page for proxmox-backup-manager

debian packages: split package into client/server

src/backup/catalog.rs: clenup - use single impl block

src/backup/catalog.rs: remove unused code

src/backup/catalog.rs: write MAGIC at start of file

src/backup/catalog.rs: new parse() helper

src/backup/catalog.rs - dump_dir: make sure we parsed the whole data block

src/backup/catalog.rs: store u64 compressed

This way catalogs get about 1/3 smaller.

src/client/backup_reader.rs: factor out download_blob() helper

src/client/backup_reader.rs: factor out download_fixed_index() helper

src/client/backup_reader.rs: factor out download_dynamic_index() helper

update toolchain to stable

renamed: src/backup/catalog_blob.rs -> src/backup/catalog.rs

change catalog format, use dynamic index to store catalog.

In order to remove size restriction of a single blob.

src/client/backup_writer.rs: rename force_close to cancel

And do not consume self.

do no restrict index names too much

src/pxar/decoder.rs: impl lookup for `Decoder`

Allows to lookup an entry in a directory based on the provided `DirectoryEntry`.
This is needed to navigate the filesystem based on `DirectoryEntry`s and similar
to the find_goodbye_entry() function in src/pxar/fuse.rs

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: fix wrong filename check for Decoder::restore()

As it turns out the original implementation was correct and the start in
`DirectoryEntry` points to the `PxarEntry` and not as wrongly stated to the
filename.
This reverts the incorrect code and adds comments to the fields clarifying this.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: allow to pass match pattern to restore

In order to partially restore the archive starting from the directory provided as
parameter.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/decoder.rs: fix issue with restore

`Decoder::restore()` calls the `SequentialDecoder::restore()` which expects to
encounter a `PxarEntry` at first. But the start of `DirectoryEntry` points to the
filename (except for the root dir), so skip over it.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/fuse.rs: refactor Iterator: use find() instead of position()

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

catalog: store current writer position in CatalogBlobWriter

Counts the bytes written by the CatalogBlobWriter in order to obtain the
stream position, needed to get offset to reference catalog items.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

avoid some clippy warnings

avoid some clippy warnings

src/pxar/binary_search_tree.rs: allow(clippy::many_single_char_names)

avoid some clippy warnings

allow(clippy::cast_ptr_alignment)

src/backup/dynamic_index.rs: use write_all()

pxar: decoder: cleanup un-needed Decoder::get_dir()

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: fuse: optimize fuse readdir callback

The expensive call to Decoder::read_directory_entry() can be omitted as
Decoder::attributes() returns all the information the fuse response needs.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: avoid duplicate check for MAX_DIRECTORY_ENTRIES

Simply by reordering code.

pxar: add functionality to pass exclude MatchPatterns on create

This exposes the option to pass a list of exclude MatchPattern via the
'--exclude' option.
The list is encoded as file '.pxarexclude-cli' in the archives root directory.
If such a file is present in the filesystem, it is skipped and not included in
the archive in order to avoid conflicting information.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: encoder: add encode_pxar_exclude_cli() function.

This provides the functionality needed to encode MatchPatterns passed on the cli
in the root directory.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: simplify MatchPattern::to_bytes

pxar: Implement to_bytes() for MatchPattern in order to write them to file.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/proxmox-backup-client.rs: fix parameters for get_encryption_key_password

src/pxar/encoder.rs: include .pxarexclude files into the catalog

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: fuse: include nsec information in stat

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

load_and_decrtypt_key: allow function closures to readf passphrase

src/backup/manifest.rs: fix property names (use '-' instead of '_')

src/backup/data_blob.rs: define create_zero_chunk as member function

and rename it to build_zero_chunk()

src/backup/data_blob.rs: add create_zero_chunk() helper

src/backup/manifest.rs: add verify_file

cleanup

src/backup/manifest.rs: improve parser (try_from)

src/backup/manifest.rs: new class to generate/parse index.json

rename INDEX_BLOB_NAME to MANIFEST_BLOB_NAME

src/client/backup_reader.rs: add download_manifest

Also add crypt_config as member variable.

set toolchain to beta

src/client/backup_writer.rs: move BackupClient code into extra file

And rename it to BackupWriter.

src/client/backup_reader.rs: add documentation

src/client/backup_reader.rs: split BackupReader code into separate file

src/bin/proxmox-backup-client.rs: pass verbose flag to dump_image

And print some useful status to stderr.

fix typo in error message

src/api2/reader.rs: use tokio::fs::read() to read file async

src/backup/data_blob.rs: avoid Arc<CryptConfig>

use simple reference instead.

remove DataChunk file format - use DataBlob instead

cleanup: remove dead code

src/bin/proxmox-backup-client.rs: cleanup restore

- write directly to /dev/stdout (instead of using stdout line writer)
- avoid BufferedFixedReader

src/client/remote_chunk_reader.rs: pass reference to download_chunk

Make sure we do not move data around.

src/api2/reader.rs - download_chunk: use blocking io

Turns out to be twice as fast as tokio async io...

src/client/http_client.rs: store raw data/blob size in index.json

src/client/http_client.rs: new helper send_upload_request()