src/api2/admin/datastore.rs: start prune api

just a dummy for now.

debian/control: use python3

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

buildsys: deb: always build locally first

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

rc/server/rest.rs: allow to pass parameters as application/json

src/bin/proxmox-backup-client.rs: fix bash completion

debian/control: rst2man is in python-docutils

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

debian/control: sort dependencies

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

buildsys: copy Cargo.lock to build/

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup/datastore: create_backup_dir: show if path existed

To enable asserting the creation of a new backup rather than
adding to an existing one.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: minor code cleanup

src/cli/command.rs: improve generate_usage_str

correctly format positional array arguments ({<name>}).

src/bin/proxmox-backup-client.rs: allow to upload more that one directory

src/client/http_client.rs: login once, store and reuse ticket/token

src/cli/getopts.rs: cleanup, avoid compiler warning

src/tools.rs: new helper required_array_param()

src/cli/getopts.rs: support positional array arguments

src/cli/command.rs: improve error message

src/api_schema/schema.rs: improve ParameterError display function

backup/dynamic_index: split out add_chunk

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup/chunk_store: split insert_chunk

The protocol handler will receive chunk data plus a hash
pre-calculated by the client. It will verify the hash before
sending it up to the datastore in order to respond to the
client with an error on a mismatch, so there's no need to
recalculate the hash another time.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup/chunk_store: mark ChunkIterator as fused

Ranges are FusedIterators and it can be useful to propagate
that property to users.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup/chunk_store: make percentage output optional

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup/datastore: expose chunk_store.get_chunk_iterator

will be used by the protocol handler to iterate over
existing chunks

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/backup/chunk_stat.rs: log write speed

src/backup/chunk_stat.rs: new struct to track chunk statistics

src/backup/chunk_store.rs: return info about compressed chunk size

So that we can generate better statistics ..

src/backup/chunk_store.rs: use lz4 for compression

And depend on lz4 lib now.

docs/Makefile: fix make dependency

docs/proxmox-backup.rst: start writing docs

start generating manual pages

Depend on docutils-doc

src/cli/command.rs: improve help command completion

src/cli/command.rs: cleanup, avoid array manipulation

src/cli/command.rs: implement bash completion for help

src/cli/command.rs: add help command

src/cli/command.rs::allow to generate ReST docu

src/cli/command.rs: improve usage imformation

src/backup/chunker.rs: simplify break test

To make it a little bit faster ...

src/cli/command.rs: start implementing generate_usage_str()

src/cli/command.rs: simplify cli handler

src/backup/chunker.rs: another try to speedup the chunker

src/cli/getopts.rs: improve docs

cleanup cli library structure

http_client: on a tty, read password if no env var is set

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add tty helper module

with read_password() and stdin_isatty() functions

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-client.rs: implement garbage-collection sub-command

src/client/http_client.rs: implement post

without parameters for now...

src/backup/datastore.rs: list_backups() - include list of index files

src/bin/test_chunk_size.rs: avoid compilöer warnings, exit after 1GB

src/bin/test_chunk_size.rs: another chunker test - gather some stats

src/backup/chunker.rs: simplify code

src/backup/chunker.rs: change window size back to 48

Using 64 is a bad idea, because it always computes hash 0 for
constant data streams.

src/api2/admin/datastore/catar.rs: allow to configure chunk-size

src/backup/chunker.rs: start() - correctly store hash in self.h

src/backup/chunker.rs: use 64 byte chunker window size

This results in faster code.

src/backup/chunker.rs: simplify buzzhash start code

UploadCaTar: currectly write all data using write_all()

src/backup/chunker.rs: correctly compute window index 'idx'

And add a simple test.

src/client/http_client.rs: send csrf token

cleanup

Error::from is already a function taking 1 parameter,
there's no need to wrap it with `|e| Error::from(e)`.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fix typo: confi{g}dir

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/server/rest.rs: correctly insert NoLogExtension()

src/client/http_client.rs: trim path

src/server/rest.rs: get_index() include username and CSRF token

When we have an valid ticket. Also delay get_index() if called with
an invalid ticket.

src/server/rest.rs: factor our normalize_path()

src/server/rest.rs: improve logs for unauthorized request

src/api_schema/schema.rs: improve docu

src/api_schema/router.rs: add docu for RpcEnvironmentType

api_schema/router.rs: improve doc

improve api_schema module structure

rename src/api to src/api_schema

cleanup auth code, verify CSRF prevention token

www/DataStoreConfig.js - add title

tools/common_regex.rs: add more docu

buildcfg.rs: improve doc

fix configuration dir permission

Carefully set and check permissions ...

config/datastore.rs: remove unused code

config/datastore.rs: return empty config if file does not exist

tools::file_get_contents - improve error message

tools::file_read_firstline - improve error message

change proxy user from www-data to backup

tools.rs: new helper to get uid/gid for the sepcified system user.

Or is there an easier way to get that info?

backup/datastore.rs: improve error reporting

section_config.rs: simplify parser by using new try_block macro

tools.rs: fix doc tests

tools.rs: document try_block macro

tools.rs: new try_block macro

update to pam 0.7 (renamed from pam-auth)

It now supports custom conversation methods, so instead of
new() we ask for a default authenticator taking a password
via with_password(). Since the password is now handled by
the now separate conversation handler, `set_credentials()`
is now called on the handler we get via `.get_handler()`.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

server/rest.rs: add method to log message

api2/admin/datastore/catar.rs: simplify/fix debug message

server/rest.rs: log full error messages

server/rest.rs: use a protocol extension to avoid double log

Instead of modifying the response header itself.

avoid double logging of proxied requests

Revert "backup/datastore: fn open is a private implementation detail"

This reverts commit 3dacd9a660696c5b9571d50e4603ed222ecdc634.

I currently use this in some test ...

src/server/rest.rs: log failed requests

tools/fs: mark ReadDir as Send

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup/chunk_store: verify chunk file names

get_chunk_iterator() should skip over files which aren't an
actual chunk

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup/datastore: fn open is a private implementation detail

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

backup/chunk_store: open base dir in get_chunk_iterator

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/client/backup_repo.rs -  improve docu

src/client.rs: improve library structure and docu