src/backup/datastore.rs: use timestamp with zone offset

src/backup/datastore.rs: split BackupDir

src/backup/datastore.rs: split BackupInfo

backup/index: remove IndexIterator

removed the need for it, to avoid copies

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: generate a log file

src/tools/file_logger.rs: class to log into files

src/bin/proxmox-backup-client.rs: use chrono::DateTime

src/bin/proxmox-backup-client.rs: login before starting backup

docs/glossary.rst: add hyperlinks

docs: add glossary.rst

src/backup/datastore.rs: use DateTime<Utc> instead of unix epoch

docs: use exclude_pattern instead of :orphan:

Seems rst2man cannot handle :orphan:

src/cli/command.rs: generate_usage_str() - fix option separator (newline)

src/cli/command.rs: get_schema_type_text() - display min/max

client/backup_repo: allow ip addresses for BackupRepository

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

datastore: add generic open_index

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add IndexFile trait

We want to be able to iterate through digests of index
files, but without always having to distinguish between
dynamic and fixed types, so add a trait we can use as a
trait object.

Unfortunately the iterator needs to yield copies as
iterators cannot yield values with life times when
represented as trait objects (Box<dyn Iterator<Item = ?>>)

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

make FixedIndexReader Send and update comments

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

style: BufferedReader -> BufferedRead

Single-method traits usually use the same name as their
method and aren't usually the 'noun' (which is usually an
implementation of them instead).

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/api2/admin/datastore.rs: implement prune

docs: improve ducument structure

build doc with sphinx

src/api2/admin/datastore.rs: start prune api

just a dummy for now.

debian/control: use python3

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

buildsys: deb: always build locally first

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

rc/server/rest.rs: allow to pass parameters as application/json

src/bin/proxmox-backup-client.rs: fix bash completion

debian/control: rst2man is in python-docutils

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

debian/control: sort dependencies

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

buildsys: copy Cargo.lock to build/

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup/datastore: create_backup_dir: show if path existed

To enable asserting the creation of a new backup rather than
adding to an existing one.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: minor code cleanup

src/cli/command.rs: improve generate_usage_str

correctly format positional array arguments ({<name>}).

src/bin/proxmox-backup-client.rs: allow to upload more that one directory

src/client/http_client.rs: login once, store and reuse ticket/token

src/cli/getopts.rs: cleanup, avoid compiler warning

src/tools.rs: new helper required_array_param()

src/cli/getopts.rs: support positional array arguments

src/cli/command.rs: improve error message

src/api_schema/schema.rs: improve ParameterError display function

backup/dynamic_index: split out add_chunk

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup/chunk_store: split insert_chunk

The protocol handler will receive chunk data plus a hash
pre-calculated by the client. It will verify the hash before
sending it up to the datastore in order to respond to the
client with an error on a mismatch, so there's no need to
recalculate the hash another time.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup/chunk_store: mark ChunkIterator as fused

Ranges are FusedIterators and it can be useful to propagate
that property to users.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup/chunk_store: make percentage output optional

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup/datastore: expose chunk_store.get_chunk_iterator

will be used by the protocol handler to iterate over
existing chunks

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/backup/chunk_stat.rs: log write speed

src/backup/chunk_stat.rs: new struct to track chunk statistics

src/backup/chunk_store.rs: return info about compressed chunk size

So that we can generate better statistics ..

src/backup/chunk_store.rs: use lz4 for compression

And depend on lz4 lib now.

docs/Makefile: fix make dependency

docs/proxmox-backup.rst: start writing docs

start generating manual pages

Depend on docutils-doc

src/cli/command.rs: improve help command completion

src/cli/command.rs: cleanup, avoid array manipulation

src/cli/command.rs: implement bash completion for help

src/cli/command.rs: add help command

src/cli/command.rs::allow to generate ReST docu

src/cli/command.rs: improve usage imformation

src/backup/chunker.rs: simplify break test

To make it a little bit faster ...

src/cli/command.rs: start implementing generate_usage_str()

src/cli/command.rs: simplify cli handler

src/backup/chunker.rs: another try to speedup the chunker

src/cli/getopts.rs: improve docs

cleanup cli library structure

http_client: on a tty, read password if no env var is set

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add tty helper module

with read_password() and stdin_isatty() functions

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: implement garbage-collection sub-command

src/client/http_client.rs: implement post

without parameters for now...

src/backup/datastore.rs: list_backups() - include list of index files

src/bin/test_chunk_size.rs: avoid compilöer warnings, exit after 1GB

src/bin/test_chunk_size.rs: another chunker test - gather some stats

src/backup/chunker.rs: simplify code

src/backup/chunker.rs: change window size back to 48

Using 64 is a bad idea, because it always computes hash 0 for
constant data streams.

src/api2/admin/datastore/catar.rs: allow to configure chunk-size

src/backup/chunker.rs: start() - correctly store hash in self.h

src/backup/chunker.rs: use 64 byte chunker window size

This results in faster code.

src/backup/chunker.rs: simplify buzzhash start code

UploadCaTar: currectly write all data using write_all()

src/backup/chunker.rs: correctly compute window index 'idx'

And add a simple test.

src/client/http_client.rs: send csrf token

cleanup

Error::from is already a function taking 1 parameter,
there's no need to wrap it with `|e| Error::from(e)`.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fix typo: confi{g}dir

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/server/rest.rs: correctly insert NoLogExtension()

src/client/http_client.rs: trim path

src/server/rest.rs: get_index() include username and CSRF token

When we have an valid ticket. Also delay get_index() if called with
an invalid ticket.

src/server/rest.rs: factor our normalize_path()

src/server/rest.rs: improve logs for unauthorized request

src/api_schema/schema.rs: improve docu

src/api_schema/router.rs: add docu for RpcEnvironmentType

api_schema/router.rs: improve doc

improve api_schema module structure

rename src/api to src/api_schema

cleanup auth code, verify CSRF prevention token

www/DataStoreConfig.js - add title

tools/common_regex.rs: add more docu

buildcfg.rs: improve doc

fix configuration dir permission

Carefully set and check permissions ...

config/datastore.rs: remove unused code

config/datastore.rs: return empty config if file does not exist

tools::file_get_contents - improve error message