src/bin/proxmox-backup-client.rs: impl option all-file-systems

move chunker into proxmox_protocol

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/catar.rs: implement all-file-systems option

src/catar/encoder.rs: log skipped mount points

src/catar/encoder.rs: remove debug output

src/bin/catar.rs: implement verbose flags

src/catar/encoder.rs: use simply flag "all_file_systems"

protocol: use size_t for c api instead of ulong

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

protocol: expose chunker and digest function

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

protocol: allow explicitly polling for a single packet

When using *blocking* I/O wait_for_* functions need to be
able to not read past their awaited packet.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

protocol: also build a cdylib

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

protocol: remove redundant WouldBlock handling

The packet reading code already translates this to a bool.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Makefile: copy zstd-sys into build

depend on zstd 1.3.8

On debiln  stretch, you need to install that from debian backuports ...

cargo: patch zstd-sys to use system library

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Revert "TEMP: dynamically link against liblz4 for testing"

This reverts commit dc04ce7fe5f61095b6c67addcdd35524baaf274b.

src/cli/command.rs: print_bash_completion - avoid crash

src/backup/chunk_store.rs: use zstd compression insteadf of lz4

Provides better compressionm rate, and is still fast.

src/backup/chunk_store.rs: read_chunk - clear buffer before calling read_to_end

TEMP: dynamically link against liblz4 for testing

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: correctly strip file extension

src/bin/proxmox-backup-client.rs: impl restore

src/api2/admin/datastore.rs: impl list_snapshot_files

src/backup/backup_info.rs: new helper to list files

src/api2/admin/datastore/catar.rs: use archive_name directly

src/client/http_client.rs: impl download

buildsys: copy proxmox-protocol to build/

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add protocol test client

This uses futures for everything which is mostly useful as a
test to see if the protocol crate's non-blocking I/O support
can handle it...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api2/admin/datastore: add a backup protocol test api path

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

import proxmox-protocol crate

This is supposed to contain only the parts necessary to
communicate with the server via the proxmox backup protocol.
(Including the chunker, which is currently `include!()`d
from the main crate.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fixed_index: split add_chunk/add_digest

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fixed_index: impl Send for FixedIndexWriter

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup/datastore: expose insert_chunk method

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

router: add upgrade method

This is just an Async GET method, but semantically
different, so it gets its own router method.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: sort list results

src/bin/proxmox-backup-client.rs: allow to set backup-id

src/client/http_client.rs: remove debug statement

docs: remove generated-index.rst and  search-page.rst

This does not work as expected.

docs: add manual page for proxmox-backup-proxy

docs: define author and version inside epilog.rst

src/client/http_client.rs: store/load ticket in xdg runtime dir, depend on crate xdg

src/api2/access.rs: authenticate_user() - add ticket login

src/tools/ticket.rs: define const TICKET_LIFETIME

src/tools.rs: impl file_get_json()

backup_info: BackupDir shortcut

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup_info: use two independent Into<String> types

there's no reason to force them to be the same input type

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: print backup duration

src/backup/backup_info.rs: improve docs

src/backup/backup_info.rs: move code into separate file

Also changed create_backup_dir() parameters - uses &BackupDir now.

src/backup/datastore.rs: add helper to sort backup lists

src/backup/datastore.rs: use unix epoch to create DateTime

To make sure that we have a timestamp without nanosecond.

src/backup/datastore.rs: use new() function to create structs

src/backup/datastore.rs: protect BackupDir fields, impl new()

src/backup/datastore.rs: protect BackupGroup fields, impl new()

src/bin/proxmox-backup-client.rs: simply log to stdout

src/backup/datastore.rs: make sure timestamp does not contains nanoseconds

Because we want simple, readable file names.

src/catar/encoder.rs: add verbose flags

src/catar/encoder.rs: skip RAMFS

unless explicitly selected.

src/bin/proxmox-backup-client.rs: rename create into backup

src/api2/admin/datastore.rs: imp delete_snapshot

avoid compiler warning

catar api: cleanup parameter names

src/bin/proxmox-backup-client.rs: use new json_object_to_query

src/tools.rs: new helper json_object_to_query

docs: add support link

docs: add "What is Proxmox Backup"

docs: improve section "Why Backup"

docs: add more features

parameter name cleanups (use '-' instead of '_')

src/api2/admin/datastore.rs: rename get_group_list to list_groups, cleanups

src/api2/admin/datastore.rs: impl list_snapshots

src/tools.rs: add simply string join

src/api2/admin/datastore.rs: impl list_backup_groups

docs: add epilog.rst to define common things.

src/backup/datastore.rs: use timestamp with zone offset

src/backup/datastore.rs: split BackupDir

src/backup/datastore.rs: split BackupInfo

backup/index: remove IndexIterator

removed the need for it, to avoid copies

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: generate a log file

src/tools/file_logger.rs: class to log into files

src/bin/proxmox-backup-client.rs: use chrono::DateTime

src/bin/proxmox-backup-client.rs: login before starting backup

docs/glossary.rst: add hyperlinks

docs: add glossary.rst

src/backup/datastore.rs: use DateTime<Utc> instead of unix epoch

docs: use exclude_pattern instead of :orphan:

Seems rst2man cannot handle :orphan:

src/cli/command.rs: generate_usage_str() - fix option separator (newline)

src/cli/command.rs: get_schema_type_text() - display min/max

client/backup_repo: allow ip addresses for BackupRepository

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

datastore: add generic open_index

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add IndexFile trait

We want to be able to iterate through digests of index
files, but without always having to distinguish between
dynamic and fixed types, so add a trait we can use as a
trait object.

Unfortunately the iterator needs to yield copies as
iterators cannot yield values with life times when
represented as trait objects (Box<dyn Iterator<Item = ?>>)

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

make FixedIndexReader Send and update comments

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

style: BufferedReader -> BufferedRead

Single-method traits usually use the same name as their
method and aren't usually the 'noun' (which is usually an
implementation of them instead).

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/api2/admin/datastore.rs: implement prune

docs: improve ducument structure

build doc with sphinx

src/api2/admin/datastore.rs: start prune api

just a dummy for now.

debian/control: use python3

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

buildsys: deb: always build locally first

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

rc/server/rest.rs: allow to pass parameters as application/json