split out proxmox-backup-client binary

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move some API return types to pbs-api-types

they'll be required by the api client

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Cargo.toml: drop features in 'patch' section

the features array does not need to be repeated here

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tape: media_pool: derive and use Updater

drive config cleanup: derive and use Updater

openid cleanup: derive and use Updater

more Updatable -> UpdaterType fixups

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

d/control bump

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump proxmox-openid dependency to 0.7.0

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump proxmox dependency to 0.13.0

and with it:
* bump proxmox-http dependency to 0.4.0
* bump proxmox-apt dependency to 0.7.0

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

use ApiType trait

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

use new api updater features

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 2.0.9-2

rebuild to include openid and to actually have a correct pbs-buildcfg
Cargo.toml version..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 2.0-9-1

tape/pool_writer: fix typo

s/wrinting/writing/

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape backup: mention groups that were empty

otherwise a user might get a task log like this:

-----
...
found 7 groups
TASK OK
-----

which could confuse the users as why there were no snapshots backed up

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

cleanup: simplify next_expired_media()

ui: display next-media-label for tape backup jobs

cli: proxmox-tape backup-job list: use status api and display next-run an d next-media-label

tape: compute next-media-label for each tape backup job

tape: media_pool: implement guess_next_writable_media()

tape: lto: increase default timeout to 10 minutes

it seems that for some actions or in some circumstances, two minutes is
simply too short and the command aborts. Increase the default timeout to
10 minutes.

While it should give most commands enough time to finish, in case of a real
failure the procedure now takes up to 5 times longer, but IMHO thats an
OK tradeoff.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

docs/file-formats: fix typo

Signed-off-by: Lorenz Stechauner <l.stechauner@proxmox.com>

bump version toö 2.0.8-1

bump proxmox-apt to 0.6 in debian/control

Build deps could not be installed

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>

api/ui: allow zstd compression for new zpools

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

cargo: update proxmox-apt to v0.6.0

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api: apt: adapt to further proxmox-apt back-end changes

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

api: apt: adapt to proxmox-apt back-end changes

It's up to the caller to provide the current release for standard
repository detection/addition.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

api2: tape: media: use MediaCatalog::snapshot_list for content listing

this should make the api call much faster, since it is not reading
the whole catalog anymore

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

tape: media_catalog: add snapshot list cache for catalog

For some parts of the ui, we only need the snapshot list from the catalog,
and reading the whole catalog (can be multiple hundred MiB) is not
really necessary.

Instead, we write the list of snapshots into a seperate .index file. This file
is generated on demand and is much smaller and thus faster to read.

tape: lock media_catalog file to to get a consistent view with load_catalog

cleanup: factor out tape catalog path helpers

tape: changer: add tests for decode_element_status_page

a test for a valid status_page, one with excess data
(in the descriptor as well in the page as a whole)
and a test with too little data

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: changer: handle libraries that sends wrong amount of data

if the library sends more data than advertised, simply cut it off,
but if it sends less data, bail out (depending on how much data is
missing, trying to parse it could lead to a panic, so bail out early)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: changer: remove unnecesary inquiry parameter

this is never used, so remove it.
Ok, since they are only non public functions.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2: tape/restore: commit temporary catalog at the end

in 'restore_archive', we reach that 'catalog.commit()' for
* every skipped snapshot (we already call 'commit_if_large' then before)
* every skipped chunk archive (no change in catalog since we do not read
  the chunk archive in that case)
* after reading a catalog (no change in catalog)

in all other cases, we call 'commit_if_large' and return early,
meaning that the 'commit' there was executed too often and
unnecessary, so move it after the loop over the files, before
finishing the temporary database.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

docs: tape: add instructions on how to restore the catalog

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: media_catalog: improve chunk_archive interface

instead of having a public start/end_chunk_archive and register_chunks,
simply expose a 'register_chunk_archive' method since we always have
a list of chunks anywhere we want to add them

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/ChangerStatus: improve layout for large libraries

instead of having the grid be as tall as possible and the containing
panel scroll. limit the grids height to the panel size and scroll the
grid.

this has two advantages:
* if a user has many slots, it is now possible to to navigate the other
  grids to the position wanted
* having the grids scroll, means it can use extjs' buffered renderer,
  which makes the view much more responsive (in case of hundreds of
  slots)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: changer: handle invalid descriptor data from library in status page

We get the descriptor length from the library and use that in
'chunks_exact', which panics on length 0. Catch that case
and bail out, since that makes no sense here anyway.

This could prevent a panic, in case a library sends wrong data.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

datastore config: cleanup code (use flatten attribute)

bump version to 2.0.7-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

restore daemon: rust format

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

file restore: improve some comment

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

restore daemon: log about doing basic system env setup

debugging history showed that its surely nice to have more logs at
when stuff happens (and thus fails)

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

restore daemon: setup backup system user and group

now required as we always enforce lock files to be owned by the
backup user, and the restore code uses such code indirectly as the
REST server module is reused from proxmox-backup-server. Once that is
refactored out we may do away such things, but until then we need to
have a somewhat complete system env.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

restore daemon: add setup_system_env helper

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tape: changer: handle missing dvcid information

the dvcid information is not always available, so skip it if is missing

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: changer: improve error message on wrong counts

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: changer: correctly consume data in decode_element_status_page

instead of 'blindly' trusting the changer to deliver the fields written
in the specification, trust the length data it returns in the header.

we slice the descriptor data into equal sized chunks of the correct
size, then we do not have care bout the len and empty checks anymore

this also makes the code to read the rest of the page obsolete,
since the next descriptor is on the correct offset anyway

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tools: xattr: don't test things beyond our control

whether the kernel allows super-long names or weird
namespace prefixes is not our concern...

also the latter fails under fakeroot

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 2.0.6-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: simplify list of ENV var alternative

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

doc: Document new environment variabless to specify secret values

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

support new ENV vars to get secret values through a file or a command

We want to allow passing a secret not only directly through the
environment value, but also indirectly through a file path, an open
file descriptor or a command that can write it to standard out.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: server administration: repos: add online help

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cargo: update proxmox to 0.12.1

For the FS compat improvement in the atomic create file helper

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

build: unbreak 'nocheck'

to skip test cases for faster builds or in case your local system does
not support running (all) tests..

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tape: changer: sg_pt: fix typo

ok, since its a private struct

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: changer: sg_pt: add SCSI_VOLUME_TAG_LEN const

so that we do have less 'magic' constants without description

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api: types: CHANGER_DRIVENUM_SCHEMA: increase maximum drives per changer

to 255. 8 drives per changer was a rather arbitrary limitation and could
well be reached in practice with big libraries.

Altough 255 is still a arbirtrary limitation, this is much less likely
to be reached in practice.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

move CachedChunkReader to pbs-datastore

this was actually still missing from the previous commit

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move remaining client tools to pbs-tools/datastore

pbs-datastore now ended up depending on tokio after all, but
that's fine for now

for the fuse code I added pbs-fuse-loop (has the old
fuse_loop and its 'loopdev' module)
ultimately only binaries should depend on this to avoid the
library link

the only thins remaining to move out the client binary are
the api method return types, those will need to be moved to
pbs-api-types...

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

client: fix panic message

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fix regression test file permission problems

By simply using the current user/group instead of backup:backup

bump version to 2.0.5-2

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildcfg: fix version

now set here, but we really need to automate this soon, just to easy
to forget.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: run test before compile to avoid clobbering the openid build binaries

dh_auto_test also checks for the build flags used, including any
`--cfg`, so it rebuilds and overwrites our carefully assembled daemon
binaries with openid support as it is run after build and before
install.
So manually ensure the order of first test then build (argh, hackes
of hackes >.<)

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: cargo build target: one binary per line

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 2.0.5-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: record fonts-font-awesome dependency for docs

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: add missing font-awesome link for lto-barcode generator

else it cannot load the icons and does not show them in the action column

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

pbs-tools: fix doctest reference to moved cache modules

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tests: move pxar test to its crate

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: update build dependencies

needs to be done manually for now..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cargo: bump proxmox-http to 0.3.0

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add helpers to write configuration files

use new atomic_open_or_create_file

Factor out open_backup_lockfile() method to acquire locks owned by
user backup with permission 0660.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fixup examples

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move channel/stream helpers to pbs-tools

pbs_tools
  ::blocking: std/async wrapping with block_in_place
  ::stream: stream <-> AsyncRead/AsyncWrite wrapping

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move required_X_param to pbs_tools::json

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move lru cachers to pbs-tools

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move ChunkStream to pbs-client

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

issue banner: avoid depending on proxmox crate for hostname

While this slightly duplicates code we just do not profit from the
central, lazy static variant here, as that is only really useful in
daemons to avoid doing frequent syscalls there.

proxmox just pull in far to much (e.g., tokio) and duplicating that
one line of simple code has no real maintenance cost, so just go for
that and use the nix crate directly.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cleanup unused imports

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Makefile: fix build.rs reference

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move pxar binary to separate crate

and move its few remaining proxmox_backup deps out to
pbs-tools

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

resolve some more client imports

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move some api types to pbs-api-types

and resolve some imports in the client binary

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move build.rs and friends to pbs-buildcfg

with this the main crate won't be re-compiled every time a
*binary* is modified

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

comment on test output paths

cargo should be getting a new env var for this soon

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

doc and tests fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move client to pbs-client subcrate

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move 'wait_for_local_worker' from client to server

this just made no sense in the client

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

d/control: fixup proxmox feature flags

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move more tools for the client into subcrates

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move more helpers to pbs-tools

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add proxmox-backup-banner binary crate

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump proxmox-apt dependency

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>