src/bin/proxmox-backup-client.rs - status: use format_and_print_result_full

src/bin/proxmox-backup-manager.rs: use crate::tools::runtime::block_on()

src/tools/runtime.rs: call OPENSSL_thread_stop to avoid race with openssl cleanup handlers

src/client/backup_writer.rs: also print archive size

cleanup unused module

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

docs: add documentation for pxar

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: Change text of warning for files matched by exclude patterns.

In addition to the .pxarexclude files, glob match patterns can be passed to pxar
also via cli parameters.
Therefore the warning is rephrased to be more ambiguous.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/client/backup_writer.rs: prefix upload stats with archive name

src/client/backup_writer.rs: implement verbose options

src/client/backup_writer.rs: reduce verbosity

docs: fix typo

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

docs: Add documentation for .pxarexclude files

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/backup/backup_info.rs: fix SNAPSHOT_PATH_REGEX and GROUP_PATH_REGEX

runtime: fix blocking strategy:

- do not "double"-block_in_place() (it may not be nested)
- do not call block_in_place() in non-worker threads

is_in_tokio() isn't sufficient, we need to actually know
that we're in a worker-thread, so we do this by remembering
that we're blocking.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

runtime: remove IN_TOKIO thread local variable

tokio now has Handle::try_current() allowing us to
generally check for a tokio runtime even if spawned by
someone else

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

administration-guide.rst: documnet new PBS_FINGERPRINT env var

src/client/http_client.rs: do not store fingerprints passed via options in cache

src/client/http_client.rs: always convert fingerprint to lowercase

src/client/http_client.rs: remove useless password_env

src/bin/proxmox-backup-client.rs: allows to pass fingerprint via env vars

s/pbsbanner/proxmox-backup-banner/ + move to /usr/lib

We want to avoid pbs if possible and also avoid placing internal
binaries, not intended for human direct use, in /bin or /sbin paths.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

pbsbanner: use match and also return error

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add login banner service

Modeled after the one from PVE, but using rust instead of perl for
resolving the nodename and writing to /etc/issue

Behavior differs a bit. We write all non-loopback addresses to this
file, as the gui accepts connections from them all, so limiting it to
the first one is not really sensible.
Further an error to resolve, or only getting loopback addresses won't
write out an empty /etc/issue file, but a note about the error at the
place where the address would be displayed.

Named it "pbsbanner", not "proxmox-backup-banner" as it's rather an
internal tool anyway and mirrors pvebanner, pmgbanner

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

catalog: shell: Allow two or more successive slashes in path.

Two or more successive slashes should be allowed and treated as a single slash.
We also do not treat two successive slashes at the beginning of a path any
different.

Details are found here:
https://pubs.opengroup.org/onlinepubs/000095399/basedefs/xbd_chap04.html#tag_04_11

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar::fuse: cleanup: Remove unused code.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar::fuse: Refactor lookup in order to cache accessed entries.

Context::find_goodbye_entry() is removed and incorporated into the lookup
callback in order to take advantage of the entry_cache and since it is only used
inside this callback.
All entries read on lookup are cached.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: Improve read performance for fuse.

By storing the payload start offset in the `DirectoryEntry` and passing this
information to `Decoder::read()`, the payload can be read directly and a repeated
re-reading of the entry information is avoided.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: do not use api macro for prune

So that we can use add_common_prune_prameters!() macro again.

src/config/remote.rs: do not serialize empty option

src/section_config.rs - write: improve error message

depend on proxmox 0.1.13, use new tty helpers from there

docs: fix typos

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

docs: Add documentation for mounting pxar archives via FUSE.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

proxmox-backup-client: add missing prune options to api definition.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

update proxmox dependency to 0.1.12

src/bin/proxmox-backup-manager.rs: remove stale debug comment

src/bin/proxmox-backup-manager.rs - list remotes: do not use client, call directly

src/bin/proxmox-backup-manager.rs: use new texdt table formatter

src/api2/node/tasks.rs; make list_tasks public

fixup

src/section_config.rs - convert_to_array: add option to skip properties

docs: Extend documentation on interactive restore with catalog shell.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

docs: s/RUST/Rust/

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar::fuse: Do not return fcaps value on listxattr.

listxattr must only return the name list, no extended attribute values.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar::fuse: return ACL names in listxattr if present

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar::fuse: add support to read ACLs.

ACLs are stored separately in the pxar archive. This implements the functionality
needed to read the ACLs and return them as extended attributes in the getxattr
callback.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools::acl: Add helpers to create extended attribute buffer.

This helpers are used to construct the extended attributes values from
the ACLs stored in the pxar archive.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: move acl helper functions to src/tools/acl.rs

They are not only needed by the pxar::sequential_decoder but also for the fuse
xattr impl, so it makes more sense to have them there.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: LruCache: add dropcheck marker

See https://doc.rust-lang.org/nomicon/phantom-data.html

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/api2/types.rs: define and use struct TaskListItem

src/api2/node/tasks.rs: use api macro for list_tasks

pxar::fuse: Introduce LRU caching for goodbye table and directory entries.

The goodbye table of directory entries is cached in a LRU cache to speed up
subsequent accesses.
This is especially important for directories with many entries, as then the
readdirplus callback is called repeatedly because of the limited reply buffer
size.

`DirectoryEntry`s are cached for subsequent access in their own LRU cache,
independent of the goodbye tables.

In order to avoid borrow conflicts, the `Context` provides a fn as_mut_refs
as well as a fn run_with_context_refs.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar::fuse: refactor fn stat

By passing `&DirectoryEntry` to stat, the function interface is simplified.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

use proxmox 0.1.9 with new cli command helpers

src/client/http_client.rs: new password_env option

src/client/http_client.rs: new prefix options

src/client/http_client.rs: implement fingerprint cache

src/client/http_client.rs: new struct HttpClientOptions

src/config/remote.rs: add fingerprint

src/api2/types.rs: add CERT_FINGERPRINT_SHA256_SCHEMA

src/bin/proxmox-backup-client.rs: fix another typo in property description

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: fix typo in property description

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump proxmox crate version requirement

it contained an important api macro bugfix

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add access method to LruCache

This will return a mutable reference just like get_mut, but on a cache miss
it will get and insert the missing value via the fetch method provided via the
Cacher trait.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/api2/admin/datastore.rs - download_file: use BACKUP_ARCHIVE_NAME_SCHEMA for file-name

src/api2/types.rs: define and use api type GarbageCollectionStatus

src/api2/admin/datastore.rs: use api macro for start_garbage_collection

src/api2/types.rs: define and use struct StorageStatus

src/api2/types.rs: define struct BackupContent, and use it with list_snapshot_files

src/backup/manifest.rs: check if manifest contains files

src/api2/admin/datastore.rs: use api macro for delete_snapshot

src/backup/datastore.rs: remove_backup_(group/dir) - return Error instead of io::Error

src/api2/pull.rs: delete fanished snapshots

src/backup/datastore.rs: improve error messages

src/api2/pull.rs: use new Datastore::last_successful_backup helper

Do not fail if local group does not exists.

src/backup/datastore.rs: new helpers

last_successful_backup: Returns the time of the last successful backup
group_path: Returns the absolute path for a backup_group
snapshot_path: Returns the absolute path for a backup_dir

followup: commit all changes

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api/datastore: do not allow updating path for now

It's a bit dangerous as it points to all the saved backups, so they
would be seemingly lost after updating the path.
Follow our logic from other products, e.g. in PVE we do not allow to
update the backing path/location of a storage either for similar
reasons.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tools: LRU cache to use for pxar FUSE implementation.

Implements a cache with least recently used cache replacement policy.
Internally the state is tracked by a HashMap (for fast access) and a doubly
linked list (for the access order).

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/bin/proxmox-backup-client.rs: use a std channel to write the catalog

src/client/pxar_backup_stream.rs: use a channel instead of a pipe

src/tools/std_channel_writer.rs: new StdChannelWriter helper class

fixup tests for the new proxmox crate layout

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump proxmox crate to 0.1.7

The -sys, -tools and -api crate have now been merged into
the proxmx crate directly. Only macro crates are separate
(but still reexported by the proxmox crate in their
designated locations).

When we need to depend on "parts" of the crate later on
we'll just have to use features.

The reason is mostly that these modules had
inter-dependencies which really make them not independent
enough to be their own crates.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

switch to debcargo for generating d/control

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

use proxmox_backup::tools::runtime::main to run async run_cli_command

runtime: actually park on Pending...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

runtime: custom block_on implementation

futures::executor::block_on does not allow nesting, but we
need that...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

runtime: drop now not required Send and static restrictions

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

introduce new runtime tokio helpers

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar::fuse: remove open, opendir and releasedir callbacks

They are not needed as there is no internal state which needs to be tracked.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: Include symlink target in DirectoryEntry

This allows to read the target path of a symbolic link in the
Decoder::read_directory_entry() function and stores it in the DirectoryEntry.
By this the Decoder::read_link() function becomes obsolete and is therefore
removed.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/client/pxar_backup_stream.rs: use std::thread::Builder to name the thread

To make debugging easier.

todo: remove done suggestion

we now ask for the password twice when creating keys or changing
passphrases.

Signed-off-by: Oguz Bektas <o.bektas@proxmox.com>

src/api2/pull.rs: implement delete flag for vanished groups

src/backup/backup_info.rs: new list_groups helper

src/api2/types.rs: define and use GroupListItem

pxar: Refactor fuse and remove unused code.

By ambiguously using the Decoder::read_directory_entry() the code is simplified
and reading of the DirectoryEntry is concentrated into Context::run_in_context().

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar::fuse: Always use start offset of entries as inode.

Previously it was disciminated based on the entry mode.
For directories, the inode was the offset of the corresponding
goodbye tail mark while for all others it was the offset of the filename.

By simply using the start offset as calculated from the corresponding
goodbye table entry (which yields the archive offset of the filename),
the code is simplified and the more ambiguous read_directory_entry()
function can be used.
The disatvantage of this approach is the need to keep track of the
start and end offsets for each entry, as the end offset is needed in
order to access the goodbye table of directory entries.
The root node still has to be treated special, as it's inode is 1 as per fuse
definition and it has no filename as per the pxar file format definition.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar::decoder: refactor Decoder::lookup()

Use Decoder::read_directory_entry() instead of Decoder::attributes() as this
already returns the needed DirectoryEntry.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>