src/backup.rs: add documentation about ChunkStore locking

datastore: use new ProcessLocker

To make sure only one process runs garbage collection while having active writers.

src/tools/process_locker.rs: new() - use generic path parameter

src/tools/process_locker.rs: implement inter-process reader-writer locks

tools: style fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Cleanup of if statement with unwraps by a more compact match statement

Signed-off-by: Christian Ebner <c.ebner@proxmox.com>

src/server/rest.rs: correctly extract content type

docs/index.rst: cleanup

daemon: simplify daemon creation

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: daemon: rename some structs

Reloadable resources are now 'Reloadable' instead of
'ReexecContinue'.

The struct handling the reload is a 'Reloader', not a
'ReexecStore'.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add reload support to api daemon

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add reload support to proxy

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: implement ReexecContinue for tokio's TcpListener

This is the only thing we currently need to keep alive for
reloads.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: daemon: add a default signalfd helper

Proxy and daemon for now just want to handle reload via
`SIGHUP`, so provide a helper creating the signalfd stream
doing that - this is simply a filtered stream which passes
the remaining signals through, so it can be used exactly
like the signalfd stream could before to add more signals.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add daemon helpers

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add fd_change_cloexec helper

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

proxy: listener error handling fixup

If the listening socket goes into some error state we'll get
std::io::Errors rather than higher level errors from the
native_tls::TlsAcceptor, those are usually fatal. (Ran into
this after performing a shutdown() on the file descriptor,
after which the future just endlessly loops in accept().)

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/pxar.rs: improve docu

avoid compiler warnings

start file format docu

src/bin/dynamic-files.rs: test case for file shrink during backup

pxar: implement hardlinks

So we are no longer compatible with catar ...

protocol: c-api: add proxmox_backup_finish_backup to .h

this was missing

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

protocol: use Option<fn()> for nullable function

This should have the same memory layoutas a simple `fn()`
with NULL function pointers mapping to None.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

protocol: add C header work in progress and test client

The test client simply (optionally) requests a list of
hashes of an existing file.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

protocol: add C bindings for Connector

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

protocol: C-API improvements

- make Client creation reusable
- add helper to create a CApiSocket for any Read + Write
  streams
- add drop callback (required for the above)

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

protocol: add connector

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/pxar/encoder.rs: detect hardlinks

src/pxar/sequential_decoder.rs: dump_entry - fix FIFO/SOCKET handling

src/pxar/binary_search_tree.rs: fix test

cleanup: remove dead code

src/pxar/decoder.rs: implement seekable decoder

renamed:    src/pxar/decoder.rs -> src/pxar/sequential_decoder.rs

simplify pxar module structure

src/bin/pxar.rs: implement extract

src/pxar/decoder.rs: correctly call callback()

rename PxarBackupWriter into PxarDecodeWriter

src/client/http_client.rs: avoid compiler warning

src/cli/command.rs: fix iterator usage

src/pxar/decoder.rs: improve docu

src/pxar/decoder.rs: avoid compiler warnings

src/bin/pxar.rs: implement dump/list

src/pxar/decoder.rs: implement dump_archive

use this to debug archive problems ...

rename catar into pxar

To avoid confusion with the casync implementation.

rename catar into pxar

Seems impossible to stay compatible with the original catar specification,
so we change the name to avoid confusions.

src/tools.rs: improve file name completion

Use current working directory by default.

src/bin/proxmox-backup-client.rs: complete archive names

protocol: add missing finish_backup to C API

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

protocol: cleanup finish_backup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: implement completion for snapshots

src/bin/proxmox-backup-client.rs: implement chunk-size completion

src/bin/proxmox-backup-client.rs: cleanup

src/bin/proxmox-backup-client.rs: implement completion for backup groups

src/client/backup_repo.rs: implement FromStr trait

src/client/backup_repo.rs: implement Display trait

src/bin/proxmox-backup-client.rs: implement repository completions

src/bin/proxmox-backup-client.rs: fix BACKUPSPEC_REGEX - correctly specify non-capture group

And improve bash completion.

src/cli/command.rs: fix completion - never display argument parameters as option

src/cli/command.rs: pass parsed parameters to completion function

src/cli/getopts.rs: factor out reusable code

src/cli/command.rs: use a HashMap to store fixed param as key/value pairs

src/cli/command.rs: improve completions

signalfd cleanup

- add comment about the boxed file descriptor (and others)
- reexport SigSet and Signal for convenience
- remove Result wrapper (only used once)
- enforce drop order of the PollEvented2 struct with respect
  to the boxed fd

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add missing mio crate for signalfd

This is what actually provides EventedFd used by tokio.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add async signalfd handler

This provides a Stream<Item = siginfo> via nix' signalfd,
by wrapping it in tokio's PollEvented2 struct to allow
polling via tokio's event loop.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/catar/decoder.rs: simplify public restore API

src/bin/proxmox-backup-client.rs: strip .didx file extensions

src/bin/proxmox-backup-client.rs: include file extension in backupspec

src/catar/decoder.rs: cleanup style

src/catar/decoder.rs: dir_mkdirat - add create_new flag

src/catar/decoder.rs: implement real sequential decoder (no Seek)

I copied the old code to src/catar/inspector.rs. Will modify
that later to implement a random access decoder ...

src/bin/proxmox-backup-client.rs: impl option all-file-systems

move chunker into proxmox_protocol

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/catar.rs: implement all-file-systems option

src/catar/encoder.rs: log skipped mount points

src/catar/encoder.rs: remove debug output

src/bin/catar.rs: implement verbose flags

src/catar/encoder.rs: use simply flag "all_file_systems"

protocol: use size_t for c api instead of ulong

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

protocol: expose chunker and digest function

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

protocol: allow explicitly polling for a single packet

When using *blocking* I/O wait_for_* functions need to be
able to not read past their awaited packet.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

protocol: also build a cdylib

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

protocol: remove redundant WouldBlock handling

The packet reading code already translates this to a bool.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Makefile: copy zstd-sys into build

depend on zstd 1.3.8

On debiln  stretch, you need to install that from debian backuports ...

cargo: patch zstd-sys to use system library

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Revert "TEMP: dynamically link against liblz4 for testing"

This reverts commit dc04ce7fe5f61095b6c67addcdd35524baaf274b.

src/cli/command.rs: print_bash_completion - avoid crash

src/backup/chunk_store.rs: use zstd compression insteadf of lz4

Provides better compressionm rate, and is still fast.

src/backup/chunk_store.rs: read_chunk - clear buffer before calling read_to_end

TEMP: dynamically link against liblz4 for testing

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: correctly strip file extension

src/bin/proxmox-backup-client.rs: impl restore

src/api2/admin/datastore.rs: impl list_snapshot_files

src/backup/backup_info.rs: new helper to list files

src/api2/admin/datastore/catar.rs: use archive_name directly

src/client/http_client.rs: impl download

buildsys: copy proxmox-protocol to build/

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add protocol test client

This uses futures for everything which is mostly useful as a
test to see if the protocol crate's non-blocking I/O support
can handle it...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>