src/client/http_client.rs: new prefix options

src/client/http_client.rs: implement fingerprint cache

src/client/http_client.rs: new struct HttpClientOptions

src/config/remote.rs: add fingerprint

src/api2/types.rs: add CERT_FINGERPRINT_SHA256_SCHEMA

src/bin/proxmox-backup-client.rs: fix another typo in property description

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: fix typo in property description

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump proxmox crate version requirement

it contained an important api macro bugfix

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add access method to LruCache

This will return a mutable reference just like get_mut, but on a cache miss
it will get and insert the missing value via the fetch method provided via the
Cacher trait.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/api2/admin/datastore.rs - download_file: use BACKUP_ARCHIVE_NAME_SCHEMA for file-name

src/api2/types.rs: define and use api type GarbageCollectionStatus

src/api2/admin/datastore.rs: use api macro for start_garbage_collection

src/api2/types.rs: define and use struct StorageStatus

src/api2/types.rs: define struct BackupContent, and use it with list_snapshot_files

src/backup/manifest.rs: check if manifest contains files

src/api2/admin/datastore.rs: use api macro for delete_snapshot

src/backup/datastore.rs: remove_backup_(group/dir) - return Error instead of io::Error

src/api2/pull.rs: delete fanished snapshots

src/backup/datastore.rs: improve error messages

src/api2/pull.rs: use new Datastore::last_successful_backup helper

Do not fail if local group does not exists.

src/backup/datastore.rs: new helpers

last_successful_backup: Returns the time of the last successful backup
group_path: Returns the absolute path for a backup_group
snapshot_path: Returns the absolute path for a backup_dir

followup: commit all changes

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api/datastore: do not allow updating path for now

It's a bit dangerous as it points to all the saved backups, so they
would be seemingly lost after updating the path.
Follow our logic from other products, e.g. in PVE we do not allow to
update the backing path/location of a storage either for similar
reasons.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tools: LRU cache to use for pxar FUSE implementation.

Implements a cache with least recently used cache replacement policy.
Internally the state is tracked by a HashMap (for fast access) and a doubly
linked list (for the access order).

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/proxmox-backup-client.rs: use a std channel to write the catalog

src/client/pxar_backup_stream.rs: use a channel instead of a pipe

src/tools/std_channel_writer.rs: new StdChannelWriter helper class

fixup tests for the new proxmox crate layout

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump proxmox crate to 0.1.7

The -sys, -tools and -api crate have now been merged into
the proxmx crate directly. Only macro crates are separate
(but still reexported by the proxmox crate in their
designated locations).

When we need to depend on "parts" of the crate later on
we'll just have to use features.

The reason is mostly that these modules had
inter-dependencies which really make them not independent
enough to be their own crates.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

switch to debcargo for generating d/control

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

use proxmox_backup::tools::runtime::main to run async run_cli_command

runtime: actually park on Pending...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

runtime: custom block_on implementation

futures::executor::block_on does not allow nesting, but we
need that...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

runtime: drop now not required Send and static restrictions

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

introduce new runtime tokio helpers

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar::fuse: remove open, opendir and releasedir callbacks

They are not needed as there is no internal state which needs to be tracked.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: Include symlink target in DirectoryEntry

This allows to read the target path of a symbolic link in the
Decoder::read_directory_entry() function and stores it in the DirectoryEntry.
By this the Decoder::read_link() function becomes obsolete and is therefore
removed.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/client/pxar_backup_stream.rs: use std::thread::Builder to name the thread

To make debugging easier.

todo: remove done suggestion

we now ask for the password twice when creating keys or changing
passphrases.

Signed-off-by: Oguz Bektas <o.bektas@proxmox.com>

src/api2/pull.rs: implement delete flag for vanished groups

src/backup/backup_info.rs: new list_groups helper

src/api2/types.rs: define and use GroupListItem

pxar: Refactor fuse and remove unused code.

By ambiguously using the Decoder::read_directory_entry() the code is simplified
and reading of the DirectoryEntry is concentrated into Context::run_in_context().

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar::fuse: Always use start offset of entries as inode.

Previously it was disciminated based on the entry mode.
For directories, the inode was the offset of the corresponding
goodbye tail mark while for all others it was the offset of the filename.

By simply using the start offset as calculated from the corresponding
goodbye table entry (which yields the archive offset of the filename),
the code is simplified and the more ambiguous read_directory_entry()
function can be used.
The disatvantage of this approach is the need to keep track of the
start and end offsets for each entry, as the end offset is needed in
order to access the goodbye table of directory entries.
The root node still has to be treated special, as it's inode is 1 as per fuse
definition and it has no filename as per the pxar file format definition.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar::decoder: refactor Decoder::lookup()

Use Decoder::read_directory_entry() instead of Decoder::attributes() as this
already returns the needed DirectoryEntry.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

renamed: src/config/remotes.rs -> src/config/remote.rs

And use 'remote' instead of 'remotes' everywhere.

src/backup/catalog.rs - SenderWriter: use tokio::task::block_in_place

Make sure we do not block the executor.

src/api2/pull.rs: use reference to remote configuration

src/client/remote_chunk_reader.rs: use tokio::task::block_in_place to avoid blocking

Else we block the current executor.

update tokio to 0.2.9

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump proxmox crate version

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

remove the rust-toolchain file

set toolchain to system

debian: bump dependency versions

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fix use of deprecated items

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

import ordering cleanup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar::fuse: remove readdir implementation

By not implementing readdir but only readdirplus, the FUSE_CAP_READDIRPLUS flag
is set while the FUSE_CAP_READDIRPLUS_AUTO flag is not set.
Thereby the kernel will issue only readdirplus calls.
Documentation at:
https://libfuse.github.io/doxygen/fuse-3_88_80_2include_2fuse__common_8h.html#a9b90333ad08d0e1c2ed0134d9305ee87

As the expensive part for accessing and reading the attributes is seeking and
decoding each directory entry, it is usefull to force readdirplus calls.
By this a struct `EntryParam` is returned for each entry, therebye avoiding a
subsequent lookup call.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/proxmox-backup-manager.rs: add completion function for update commands

src/api2/config: check digest

src/api2/config: correctly lock files

services: fix indentation

Signed-off-by: Oguz Bektas <o.bektas@proxmox.com>

tools: add read_and_verify_password helper

add a helper to perform some basic checks on password prompts.
- verification (asks for a 2nd time)
- check length

also use the new helper where password input in tty is taken to reduce
duplicate code.

this helper should be used when creating keys, changing passphrases etc.

note: this helper can be extended later on to provide better checks for
password strength.

Signed-off-by: Oguz Bektas <o.bektas@proxmox.com>

pxar::fuse: Avoid macro to generate filler function, use closure instead.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/config: improve api schema by adding return type

src/bin/proxmox-backup-manager.rs: add datastore update cli

src/api2/config/datastore.rs: improve api, implement update and read

src/api2/config/remotes.rs: improve api, implement update and read

src/section_config.rs: add lookup_json() helper

src/api2/config/remotes.rs: fix variable name -> s/remote/id/

src/section_config.rs - convert_to_array: optionally add digest

datastore::config() -> also return digest
remotes::config() -> also return digest

src/section_config.rs - write: improve error message

src/section_config.rs: do not allow control characters

src/api2/types.rs: also define PASSWORD_FORMAT and use it correctly

src/api2/types.rs: define and use PASSWORD_REGEX

src/api2/types.rs: add regression test for PROXMOX_USER_ID_SCHEMA

src/api2/types.rs: fix regex patterns

src/api2/types.rs: define PROXMOX_AUTH_REALM_SCHEMA and PROXMOX_USER_ID_SCHEMA

And try to use nbew schemas with config api...

src/api2/types.rs: define HOSTNAME_FORMAT, DNS_NAME_FORMAT and DNS_NAME_OR_IP_FORMAT

src/config/*:  add #[serde(skip_serializing_if="Option::is_none")] to optinal comment

src/api2/types.rs: define SINGLE_LINE_COMMENT_SCHEMA

src/api2/types.rs: define REMOTE_ID_SCHEMA here

pxar::fuse: impl readdirplus callback

readdirplus returns the entries together with their `EntryParam`, so subsequent
lookups for each of the entries are avoided.
In order to reduce code duplication, the code for filling the reply buffer is
moved into a macro.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar::fuse: Get rid of broken cacheing

Remove the current caching of attrs and goodbye tables as it is broken anyway.
This will be replaced with a LRU cache.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

fix typo for function name load_and_decrypt_key

Signed-off-by: Oguz Bektas <o.bektas@proxmox.com>

src/section_config.rs: make set_data generic

cleanup config api, add remotes config cli interface

src/config/datastore.rs: define DataStoreConfig using api macro

src/api2/config/remotes.rs: cleanup - avoid compiler warnings

pxar::fuse: refactor HashMap to store child parent inode relation.

By moving the HashMap into `Context`, the use of lazy_static as well as the
additional Mutex can be avoided (`Context` is already guarded by a Mutex).

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar::decoder::Decoder: include xattrs and payload size in `DirectoryEntry`.

By reading and including xattrs and payload size in struct `DirectoryEntry`,
the tuple of return types is avoided and the code is simpler.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: encoder: limit number of max entries held at once in memory during archive creation.

Limit the total number of entries and therefore the approximate memory
consumption instead of doing this on a per directory basis as it was previously.
This makes more sense as it limits not only the width but also the depth of the
directory tree.

Further, instead of hardcoding this value, allow to pass this information as
additional optional parameter 'entires-max'.
By this, creation of the archive with directories containing a large number of
entries is possible.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/config/remotes.rs: new API to configure remotes

src/bin/proxmox-backup-manager.rs: implement shell completion for remote datastore name

rename src/api2/sync.rs -> src/api2/pull.rs

Use "pull" instead of "sync", because this also indicates a
direction (like "sync from").

src/section_config.rs: implement generic lookup

src/bin/proxmox-backup-manager.rs: implement cli sync command

src/config/remotes.rs: implement SectionConfig for remote hosts

pxar: encoder: warn on lacking read permissions instead of fail.

If during creation of the archive, files/dirs with lacking read permissions are
encountered, the user is displayed a warning and the archive is created without
including the file/dir.
Previously this resulted in an error and the archive creation failed.

In order to implement this also for the .pxarexclude files, the Error type of
MatchPattern::from_file() and MatchPattern::from_line() was adopted accordingly.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: encoder: fix incorrect goodbye table entries and update displayed path.

If nodes are excluded by feature flags, they must not appear in the goodbye table.
This is fixed by continuing with the next entry in the for loop.

Further the relative path buffer is now poped in order to correctly display the path.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/pxar/encoder.rs: avoid use of macro and initialize Vec with known capacity.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>