api2/tape/drive: use 'run_drive_worker' where possible

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/tape/drive: add run_drive_worker wrapper

a wrapper for locking, starting the worker and writing the state

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape/drive: add get/set status functions

simply writes into/reads from a file in /run, we will use this
for writing the upid (or potential other states) per drive

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape/drive: add test_device_path_lock

this makes it possible to detect if the drive was locked in a
non-blocking manner

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

cleanup: use serde(flatten) for VerificationJobStatus, improve code reuse

cleanup: use serde(flatten) for SyncJobStatus, improve code reuse

ui: cleanup - reuse existing code

ui: tape/BackupJobs.js - render task scheduling status

api: list tape backup jobs with scheduling status

add helper to compute job scheduling state

api: add new type JobScheduleStatus

ui: start tape backup job GUI

ui: tape/ChangerStatus.js - avoid update status in list_media

We do not use the media location, so there is no need to update
the online status in the list_media call. Besides, we already update
the online status when we query the changer/status.

ui: tape/ChangerStatus.js - only update status for selected changer

To reduce load/wait time.

tape: media_list API - allow to update online status for a single changer

ui: tape/TapeInventory.js - avoid update changer status

We do not update changer status by default - only when pressing "Reload" button.

ui: tape/TapeInventory: set defaultValue for pool to ''

otherwise the grouping feature of the grid gets confused as it encounters
undefined values

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/ChangerStatus: adapt load/unload to WorkerTask

those are now workertasks (behind a 'POST' request), so show the
progress with the upid

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/ChangerStatus: rename 'slot' column to 'id'

slot is already in the title of the grid, and hide it by default for
drives (the user does not need it there)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/ChangerStatus: add Inventory column to drives/import-export

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: improve task description for loat/unload media

update d/control

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tape: use worker tasks for media load/unload

ui: tape/TapeInventory.js - use grid grouping feature - group by pool

client: extract common functions to proxmox_client_tools module

...including common schemata, connect(), extract_*() and completion
functions.

For later use with proxmox-file-restore binary.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

bump pxar to 0.9.0

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

asyncify pxar create_archive

...to take advantage of the aio::Encoder from the pxar create.

Rather straightforward conversion, but does require getting rid of
references in the Archiver struct, and thus has to be given the Mutex
for the catalog directly. The callback is boxed.

archive_dir_contents can call itself recursively, and thus needs to
return a boxed future.

Users are adjusted, namely PxarBackupStream is converted to use an
Abortable future instead of a thread so it supports async in its handler
function, and the pxar bin create_archive is converted to an async API
function. One test case is made to just use 'block_on'.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar/extract: add extract_sub_dir

to extract some subdirectory of a pxar into a given target
this will be used in the client

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

api2/admin/datastore: refactor create_zip into pxar/extract

we will reuse that code in the client, so we need to move it to
where we can access it from the client

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
[clippy fixes]
Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

api2/admin/datastore: accept "/" as path for root

makes more sense than sending "root'"

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

api2/admin/datastore: refactor list_dir_content in catalog_reader

we will reuse that later in the client, so we need it somewhere
we can use from there

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
[add strongly typed ArchiveEntry and put api code into helpers.rs]
Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

client: add VsockClient to connect to virtio-vsock VMs

Currently useful only for single file restore, but kept generic enough
to use any compatible API endpoint over a virtio-vsock[0,1] interface.

VsockClient is adapted and slimmed down from HttpClient.

A tower-compatible VsockConnector is implemented, using a wrapped
UnixStream as transfer. The UnixStream has to be wrapped in a custom
struct to implement 'Connection', Async{Read,Write} are simply forwarded
directly to the underlying stream.

[0] https://www.man7.org/linux/man-pages/man7/vsock.7.html
[1] https://wiki.qemu.org/Features/VirtioVsock

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

rest: implement tower service for UnixStream

This allows anything that can be represented as a UnixStream to be used
as transport for an API server (e.g. virtio sockets).

A tower service expects an IP address as it's peer, which we can't
reliably provide for unix socket based transports, so just fake one.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

tape: add regression test for compute_media_state

ui: tape/BackupOverview: insert the tapes between media-set and snapshot

but auto-expand them, so no additional click is necessary

this shows the user which tapes are involved for the media sets

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: css: remove vertical align for pbs-tape-icon

and combine the unnecessary duplicate definition

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape: improve tape-erase and add it to library view

refactor erase window, limit drives to changer if given

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: erase_media - automatically load media (with tape libraries).

ui: tape/BackupOverview: show mediaset loading error in msg box instead

if a catalog is missing (or the loading otherwise throws an error), show
the error message in a msg box instead of a mask. this way a user can
still navigate the tree

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/TapeInventory: add erase button

to erase the selected tape

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/tape/drive: add optional label-text to erase

if given, erases the tape only iff the inserted tape contains that label
used to safeguard tape erasing from ui for standalone drives

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: add regression test for alloc_writable_media

ui: tape/TapeManagement: change Text of Backup/Tape Inventory

to 'Content' and 'Inventory' respectively

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/TapeInventory: add 'Add Tape' button

by adapting and reusing the 'LabelMedia' window

shows a short notice about inserting the correct tape in the drive
and now allows to select a drive

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/TapeInventory: change to regular store

listing the media can potentially hang (changer status), so do not
reload in the background, only on activate

also increase the timeout to 5 minutes and add a reload button

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/ChangerStatus: use whole drives grid for masking on unload

instead of just the tableview

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/ChangerStatus: increase timeout for api calls

since tape commands can take a while and we do not want to change
all of those to worker tasks, increase the timeout to 5 minutes

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: ui - avoid changer status query in backup content panel

tape: implement API to run tape backup jobs

cleanup: tape_backup_job.rs - do not use #[allow(non_camel_case_types)]

tape: fix proxmox-tape pool config command

proxmox-backup-proxy: schedule tape backup jobs

tape: add tape-job.cfg manual page

fix api sort order

tape: add tape backup job configuration

docs: update generated OnlineHelpInfo.js

docs/barcode: eslint auto-fixes

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: update benchmark results

fix build: install proxmox-tape man page

Although we do not install the binary.

docs: fix target refs in user-management.rst

docs: conv.py - add man pages to exclude_patterns

To avoid sphinx warnings.

docs: add proxmox-backup service description

docs: add services.rst to section sysadmin

docs: split out output-format.rst

docs: add short descriptions for main binaries.

tape: generate proxmox-tape.1 manual page

tape: add pmt and pmtx command to tape-backup.rst

lto-barcode: fix page offset calibration

Makefile: fix typo (s/madia-pool/media-pool/)

tape: add manual page for tape.cfg

tape: add manual page for media-pool.cfg

tape: erase_media - automatically erase catalog and inventory

ui: tape/BackupOverview: skip tapes without media-set

there is no data on them (yet), even if they belong to a pool

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/TapeInventory: add 'Set Tape Location' button

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/types/tape/media_location: fix deserialization of MediaLocation::Vault

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/tape/media: add 'move' api call

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

proxmox-tape: change lookup_drive_name to extract_drive_name

in most uses, we want to remove the drive from the param afterwards
where we don't, we already overwrite it with the result of this function

this fixes some commands (like 'proxmox-tape read-label --drive foo')
that failed with:

parameter 'drive': duplicate parameter.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

docs: add hint how to edit/modify the datastore.cfg file

proxmox-backup-manger verify-job CLI

Add missing command line interface to manage verification jobs.

docs: use type_text for config::acl::Role

The list of roles is simply too long, so we use type_text to generate
reasonable docs.

docs: add manual page for verification.cfg

docs: add manual page for acl.cfg

docs: add manual page fro sysc.cfg

docs: use new type_text option for calendar events

fix proxmox_backup_manager remote list: s/userid/auth-id/

docs: add manukal page for remote.cfg

depend on proxmox 0.10.5

docs: add user.cfg.5 manual page

docs: add "Configuration Files" appendix

docs: add datastore.cfg.5 man page

docs: add utility binary to generate docs

update debian/control

tfa: derive WebauthnConfigUpdater via api macro

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

depend on proxmox 0.10.4

copyright: adopt year

ui: tape/ChangerStatus: show more inventory info for tapes in slots

do not only show if labeled, but the whole status (full/writeable/etc.)
and to which pool the tape belongs (if any)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/TapeInventory: show expired status

this is saved in a separate property, but show in status like
'proxmox-tape media list'

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/BackupOverview: do not iterate over empty tapes

tapes not belonging to a pool cannot contain data, so skip them

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

pxar: improve error messages

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: skip write_attr_fd if they are equal

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>