replace file_set_contents with replace_file

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/api2/config/datastore.rs: set protected flags for create/delete API

src/api2/config/datastore.rs: fix api docu

src/config/datastore.rs: change file owner/permissions

owner(root) => read and write
group(backup) => read only

datastore: set correct owner on datastore.cfg

since manager runs as root, we have to specify backup:root owner while
saving config.

Signed-off-by: Oguz Bektas <o.bektas@proxmox.com>

ui: do not log ticket into console

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: fixup renewing ticket success calback

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

chunk_store: create parent directories

'datastore create storename /path/to/dir/that/may/not/exist' should
work.

Signed-off-by: Oguz Bektas <o.bektas@proxmox.com>

binary_search_tree: add additional doctest for search_binary_tree_by()

Make sure a start indexes larger or equal to the array size results in a return
value of `None`.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

binary_search_tree: fix off by one error in search_binary_tree_by()

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

catalog: decoder and shell: fix incorrect logic in find matching

The find matching was incorrectly performed starting from the parent directroy
and not as intended from the entries of the parent directory.

Further, the match pattern passed from the catalog shell contains the absolute
path of the search entry point as prefix, so find() must always start from the
archive root. This is because the match pattern has to be stored in the selected
list for a subsequent restore-selected command in the shell.
All matching paths are shown as absolute paths with all contents in the subdir,
equal to what would be restored by the given pattern.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

ui: show login window if we get a 401 auth exception

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: re-new ticket every 15 minutes

Like we do it in PVE/PMG

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

proxmox-backup-proxy.service: order after proxmox-backup.service

Ensures we've got the authkey available.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

use proxmox-mini-journalreader to display syslog

src/api2/node/syslog.rs: use api macro

ui: main init: set username info

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui login: default to root@pam user and focus password field

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

install ext6-pbs.css

ui: add "Documentation" button to main view

Similar to PVE and PMG, for quick access when one has the basic
webinterface open anyway. Should move to the "proxmoxHelpButton" once
we have an onlineHelp mapping to the docs.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add CSS file for PBS ExtJS6 basic ui

some fitting rules copied over from PVE's ext6-pve.css file.
simply place it in the css subfolder where the proxmox-backup-gui.js
file is hosted and add a "css/" alias for that directory, the
formatter gets use the right content type with that.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

catalog_shell: impl find for catalog shell.

Implements the find command which allows to find and select files for subsequent
restore.
Files selected for restore are now stored in a Vec instead of a HashSet.
This is needed, since instead of the full paths for each file, selected files are
now identified by a list of match pattern, where ordering matters.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

catalog: impl find() for file search by match pattern.

find() iterates over the file tree and matches each node against a list of match
patterns provided at function call.
For each matching node, a callback function with the current directroy stack is
called.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: match_pattern: impl invert() to switch the match type of a MatchPattern.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: match_pattern: impl traits needed for MatchPattern to be comparable.

In order to check if two MatchPattern are identical, which will be used to avoid
duplicates.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: match_pattern: refactor MatchPattern and introduce MatchPatternSlice.

The MatchPattern impl heavily used copies and therefore was inefficient regarding
memory management.
This patch intoduces MatchPatternSlice as struct to avoid copies and perform the
same pattern matching functionality.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

drop Cancellable future in favor of abortable

futures-0.3 has a futures::future::abortable() function
which does the exact same, returns an Abortable future with
an AbortHandle providing an abort() method.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fix broadcast_future test case

We used to await all the futures via the runtime's shutdown
method, which doesn't exist anymore, so await all the join
handles instead.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

generate authkey: public part needs to be readable by backup group

else the API proxy cannot use it and fails to run..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

handle_static_file_download: move from and_then to await

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cipherbench: align/format output nicely

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cipherbench: be conform with rfc7539, use 12 byte nonce

else we get an error from this call, using a 16 byte (128 bit) nonce
is currently only supported by the still in draft
XChaCha20-Poly1305, not the current default specified by RFC 7539[0],
which uses a 12 byte (96 bit) nonce.

Fixes the following error:
> thread 'main' panicked at 'called `Result::unwrap()` on an `Err`
> value: ErrorStack([])', src/libcore/result.rs:1165:5

[0]: https://tools.ietf.org/html/rfc7539

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: services-administration: s/pmg/proxmox-backup/

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/rules: override dwz helper to avoid build-failure

AFAICT, this is the issue from Debian Bug #933541, I implement the
workaround suggested by a maintainer[0].

[0]: https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=933541#10

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Revert "d/control: add llvm-dev to build-dependencies"

llvm-dev was wrong, llvm-config is shipped by llvm package

This reverts commit 2db252aeae236a033e7a0c5b8a613e0eb06126d0.

d/control: add llvm-dev to build-dependencies

Signed-off-by: Oguz Bektas <o.bektas@proxmox.com>
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: make deb: use --lib for first pass build

since it'll rebuild the lib & binaries anyway after the
copy, only build the library (to get the dependencies out of
the way), but dont build the binaries...

saves a couple seconds of build time

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: use #[api] macro

d/control: add rsync to build-dependencies

not directly required for

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: add missing build-dependencies

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

client: use api macro for catalog_shell async fn

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: use ApiHandler::Async for prune and status

src/bin/proxmox-backup-client.rs: use new ApiHandler::Async

src/pxar/decoder.rs: require Send

api2: update for latest proxmox-api changes

- rename ApiFuture into ApiResponseFuture
- impl. ApiHandler::Async

src/api2/admin/datastore.rs - prune: log retention options

src/api2/admin/datastore.rs: fix prune worker id

docs/administration-guide.rst: document garbage collection

generate separate proxmox-backup-docs package

Makefile: add upload target

update tests

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fix cancellable future

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

update to url/percent-encoding to 2.1

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

update a chunk of stuff to the hyper release

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: implement task stop

src/api2/types.rs: use PROXMOX_SAFE_ID_FORMAT instead of FILENAME_FORMAT

src/api2/types.rs: introduce PROXMOX_SAFE_ID_REGEX, use it for DATASTORE_SCHEMA

src/api2/types.rs: factor out DATASTORE_SCHEMA

src/api2/node/tasks.rs: new filter "store" to filter tasks for one store

pxar: match_pattern: refactor match_filename

The match_filename() in sequentail_decoder and encoder are moved to be static
functions of MatchPattern.
This allows to reuse the code also in the catalog find implementation.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/backup/catalog_shell.rs: sort output of list-selected

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/api2/node/tasks.rs: add "running" filter to list only running tasks

src/api2/node/tasks.rs - extract_upid: avoid duplicate error message

src/bin/proxmox-backup-client.rs: add simple task management cli

src/backup/datastore.rs - garbage-collection: fix average chunk size

src/bin/proxmox-backup-client.rs: cleanup - factor out view_task_result()

cli: avoid useless .into()

This needs latest proxmox-api updates.

src/bin/proxmox-backup-client.rs: remove unnecessary .to_owned()

src/bin/proxmox-backup-client.rs - garbage-collection: display task log

src/bin/proxmox-backup-client.rs: impl. and use complete_pxar_archive_name

src/bin/proxmox-backup-client.rs: impl. catalog sub command

catalog dump
catalog shell

src/client/task_log.rs: move display_task_log into extra file

src/api2/admin/datastore.rs: remove test_prune, add dry-run to normal prune

And use display_task_log on the client side.

src/bin/proxmox-backup-client.r - display_task_log: use string range instead of as_bytes

src/bin/proxmox-backup-client.r - display_task_log: add new strip_date parameter

src/bin/proxmox-backup-client.rs: new display task log helper

New helper to display worker task logs. Use it for prune (experimental).

src/server/formatter.rs: impl. new result attribute "active"

src/backup/prune.rs: implement --keep-hourly

docs/administration-guide.rst: add hint about ISO week date

src/backup/prune.rs: prune - correctly use iso_week year

docs/administration-guide.rst: doc prune --dry-run

pxar: fuse: add support for list- and getxattr

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: fuse: cache goodbye table for each directory on opendir and release it on releasedir

Cache not only the goodbye table for the last directory but for each opened
directory.
The opendir fuse callback will fill the cache with the goodbye table and
releasedir will remove it from the cache.
This should reduce the number of chuncks fetched from the server in some cases.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

pxar: fuse: use binary search instead of linear search in goodbye table.

The goodbye table is layed out as binary search tree based on the hash, so use
this to be more efficient when looking up a hash in the table for directories
with a large number of entries.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

docs/command-syntax.rst: include catalog-shell-synopsis.rst

src/bin/proxmox-backup-client.rs: white space cleanup

src/bin/proxmox-backup-client.rs: implement prune --dry-run

src/api2/admin/datastore.rs: add new api test_prune()

src/api2/admin/datastore.rs: cleanup - move schema defininition in front of rust method

src/api2/admin/datastore.rs: remove prune parameters from status call

Not idea why they are added there.

src/backup/prune.rs: add new helper keeps_something()

proxmox-backup-client/man1.rst: include catalog shell commands

src/bin/dump-catalog-shell-cli.rs: generate catalog shell docs

rename catalog_shell_api() into catalog_shell_cli()

src/backup/catalog_shell.rs: factor out catalog_shell_api()

In order to extract documentation ...

debian/control: remove libreadline-dev build dependency

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/backup/readline.rs: removed in favor of new readline impl

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/backup/catalog_shell.rs: adapt to use API Schema definition and rustyline

This major refactoring of the catalog based shell utilizes the new API macro and
the API Schema as well as rustyline instead of the old GNU readline C API.

The code now has these 3 main components:
 * The `Shell` which handles the readline loop via rustyline.
 * The shell functions defined via the API macro.
 * The `Context` which holds catalog and decoder instances.

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/backup/prune.rs: define new struct PruneOptions

src/backup/backup_info.rs: remove old prune code