proxmox-backup-manager: add garbage collection cli

fix bash completion binary names

cleanup crate names

rename backup-client to proxmox-backup-client

rename pbs to proxmox-backup-manager

backup/chunk_store.rs: only use one directory level

move admin API to /admin/ subfolder

backup/archive_index.rs: pass correct size to unmap

backup/image_index.rs: use little endian

cli::command: wrap usage errors in a UsageError

So we can distinguish them and show usage output
conditionally.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

catar/encoder.rs: make sure we write all data with write_all()

chunker.rs: make sure chunk_size_avg is a power of two

improve chunker speed (avoid modulo)

add benchmark for chunker

We get about 300MB/s - so this is still not fast enough

Note: This is quite slow with debug target, so please compile with --release

image_index.rs: verify file size

implement garbage collection for .aidx files

image_index.rs: verify header magic/version

fix typo

disable debug code

archive_index.rs: correctly write .aidx file

image_index.rs: print stats

src/backup/archive_index.rs: use close() instead of flush()

Also pass a reference to the encoder.

src/backup/archive_index.rs: implement flush()

src/backup/archive_index.rs: first try

create backup mod in backup.rs, improve docu

move chunker.rs to backup/

rc/catar/chunker.rs: first try

avoid compiler warnings

add another catart test

add catart test for goodbye table ordering

src/catar/encoder.rs: correctly sort goodbye items by hash key

new catar binary

currently used for debugging

fix doc syntax

catar cleanups ...

binary_search_tree.rs: fix docs

add some integreation tests for catar (compare with casync output)

src/catar/encoder.rs: auto-resize file_copy_buffer, limit number of dirs

improve catar docs

add a comment about posible improvements

src/catar/binary_search_tree.rs: add regression tests and fix one bug

src/catar/binary_search_tree.rs: improve docu

src/catar/encoder.rs: cleanup, factor out write_goodbye_table

src/catar/encoder.rs: correctly sort goodby items

use external crate siphasher

Because std::hash::SipHasher is deprecated.

src/catar/encoder.rs: fix bug in file copy

src/catar/encoder.rs: fix symlinks

getopt: cleanup: add trailing commas

It is customary in rust to always use trailing commas. (also
suggested by rustfmt)

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

getopt: cleanup: don't condense 'if' statements too much

In a language which enforces curly braces this looks weird
and rustfmt doesn't like it.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

getopt: whitespace cleanup

to make rustfmt happy

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/catar/encoder.rs: fix binary format, write goodby table

We still ned to sort the table (BST) ...

getopt: condense nested match to reduce indentation

The `match value` statement is the only thing covering the
entire RawArgument::Option case. `rustfmt` suggests this
more condensed way of writing this case.

See the `git diff -w` of this patch:
|diff --git a/src/getopts.rs b/src/getopts.rs
|index 9755af2..4db4579 100644
|--- a/src/getopts.rs
|+++ b/src/getopts.rs
|@@ -72,8 +72,7 @@ pub fn parse_arguments<T: AsRef<str>>(
|             RawArgument::Separator => {
|                 break;
|             }
|-            RawArgument::Option { name, value } => {
|-                match value {
|+            RawArgument::Option { name, value } => match value {
|                 None => {
|                     let mut want_bool = false;
|                     let mut can_default = false;
|@@ -125,7 +124,6 @@ pub fn parse_arguments<T: AsRef<str>>(
|                     data.push((name, v));
|                 }
|             }
|-            }
|             RawArgument::Argument { value } => {
|                 rest.push(value);
|             }

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

getopt: let parse_arguments() take a slice of AsRef<str>

We don't need the content to be owned strings, and we don't
need the list to be a Vec, since we only care about being
able to iterate through and copy out portions of the strings
we need, so take an &[T] where T: AsRef<str>.

This avoids .iter().map(to_string).collect() before calling
parse_arguments().

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

getopt: remove skip logic

The 'skip' variable was set to indicate that the "rest of
the args" is to be copied into the 'rest' vec. We can do
this directly and avoid the 'if' case in the loop
altogether.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

getopt: indentation reduction

See the `git diff -w` output:
|diff --git a/src/getopts.rs b/src/getopts.rs
|index 6548a01..517cc37 100644
|--- a/src/getopts.rs
|+++ b/src/getopts.rs
|@@ -72,7 +72,10 @@ pub fn parse_arguments(
|     while pos < args.len() {
|         if skip {
|             rest.push(args[pos].clone());
|-        } else {
|+            pos += 1;
|+            continue;
|+        }
|+
|         match parse_argument(&args[pos]) {
|             RawArgument::Separator => {
|                 skip = true;
|@@ -135,7 +138,6 @@ pub fn parse_arguments(
|                 rest.push(value);
|             }
|         }
|-        }
|
|         pos += 1;
|     }

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

parse_arguments: work with utf8 bytes and reduce indentation

We are only caring about '=' and '-' which are single-byte
codepoints, so there's no reason not to work on a byte
slice.

Also, some indentation reduction:

Transform
    if (a) {
        ...
        return A;
    }
    return B;
into
    if (!a)
        return B;
    return A;

and
    if (a)
        if (b)
            foo()
into
    if (a && b)
        return;

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/catar/encoder.rs: write filenames

src/catar/encoder.rs: write file data

src/catar/encoder.rs: write entry and symlink data

make map_struct functions public

catar/encoder.rs: improve error handling

cleanups, avoid compiler warnings

catar/encoder: detect symlink and regular files

catar/encoder.rs: first try

timer: setup_timeout_handler cannot fail

and if it does it panics anyway

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup-client: allow to specify directories (prepare for catar backup)

start implementing catar

new helper map_struct and map_struct_mut

cleanup: reduce compiler warnings

remove outdated comment

touch_chunk: use libc::lutimensat

move lookup_datastore() to backup/datastore.rs

gather usage statistics during garbage collection

open_file_locked: improve error message

sweep_used_chunks: print percentage

use openssl for faster hashing

chunk_store: reduce number of directories

Else, scans everything takes too long ...

src/api3/datastore.rs: new file

use return value (avoid compiler warning)

fix mutability for chunk store

backup-client: add optional chunk-size parameter

backup-client: do not start garbage collection after backup

backup-client: use 1M chunks, make chunk_size configurable

backup-clinet: specify target file name

add test code to access static global state

use proxmox-backup as package name

fix tests

try to improve error messages

cleanups: avoid compiler warnings

cleanup - avoid too much indentation

cleanup

ChunkStore::sweep_used_chunks - use openat to speedup directory walks

use timers with a signal for file locking

* rename lock_file -> open_file_locked,
* add lock_file as a function working on already-opened
  files
* change timeout types to std::time::Duration

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add tools::timer module

This wraps POSIX timers via timer_create(2).

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add rust standard .gitignore file

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move lock_file to tools.rs

impl sweep_used_chunks, first try

move sweep_used_chunks to chunk_store

start impl garbage collection

start implementing DataStore

start implementing ImageIndexReader