tape: remove MediaLabelInfo, use MediaId instead

The additional content_uuid was quite useless...

update pxar dependency to 0.6.2

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tape: improve docu

tape: improve docu

tape: add chunk archive reader/writer

tape: cleanup MediaLocation type for direct use with API

docs: prune-sim: folluwp: add missing semicolon

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tape: add magic number to identify media catalog files

prune sim: correctly keep track of already included backups

This needs to happen in a separate loop, because some time intervals are not
subsets of others, i.e. weeks and months. Previously, with a daily backup
schedule, having:
* a backup on Sun, 06 Dec 2020 kept by keep-daily
* a backup on Sun, 29 Nov 2020 kept by keep-weekly
would lead to the backup on Mon, 30 Nov 2020 to be selected for keep-monthly,
because the iteration did not yet reach the backup on Sun, 29 Nov 2020 that
would mark November as being covered.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

followup: use arrow function for sorting

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

prune sim: fix #3192: by fixing usage of sort()

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

tape: add MediaCatalog implementation

tape: rename DriveLabel to MediaLabel

tape: improve file format docu

tape: minor code cleanup

tape: scan - print more debug info

tape: implement scan command (useful for debug)

tape: implement eod cli command (debug tool)

tape: rename cli 'media media-destroy' toö 'media destroy'

tape: implement destroy_media

tape: add media api

tape: make changer get_status async

tape: split api type definitions for changers into extra file

tape: rename CHANGER_ID_SCHEMA to CHANGER_NAME_SCHEMA

tape: rename DRIVE_ID_SCHEMA to DRIVE_NAME_SCHEMA

tape: correctly call Async handler in proxmox-tape

tape: avoid executor blocking in changer api

tape: avoid executor blocking in drive API

By using tokio::task::spawn_blocking().

bump version to 1.0.6-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

debian: just install whole images directory

fixes build for recently added tape icon (and includes it for real)

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tape: add svg icon

tape: use WorkerTask for erase and rewind

tape: split inventory api

inventory: sync, list labels with uuids,
update_inventory: WorkerTask, updates database

tape: run label commands as WorkerTask (threads)

tape: implement barcode-label-mdedia

tape: implement inventory command

depend on package mt-st

We do not use the mt utility directly, but the package also provides
an udev helper to correctly initialize tape drives (stinit). Also,
the mt utility is helpful for debugging tap issues.

control.in: fix indentation

Signed-off-by: Oguz Bektas <o.bektas@proxmox.com>

fix build: add missing file

tape: implement read-label command

tape: implement label command

tape: add media pool handling

tape: add media pool cli

tape: add media pool config api

tape: correctly sort drive api subdir

tape: implement option changer-drive-id

tape: cli cleanup - avoid api redefinition

tape: implement delete property for drive update command

tape: cleanup load-slot api

tape: cli cleanup - rename scana-for-* into scan

tape: implement load-media command

tape: implement eject

tape: implement rewind

tape: implement erase media

tape: add command line interface proxmox-tape

tape: do not remove changer while still used

tape: add changer property to drive create api

tape: set protected flag for configuration change api methods

client: move connect_to_localhost into client module

tape: add media state database

update control file

remove unused descriptions from api macros

these are now a hard error in the api macro

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tape: expose basic tape/changer functionality at api2/tape/

tape: check digest on config update

tape: add changer configuration API

tape: add tape drive configuration API

tape: add tape device driver

tape: add BlockeReader/BlockedWriter streams

This is the basic format used to write data to tapes.

tape: add BlockHeader impl

tape: add helpers to emulate tape read/write behavior

fix bug #3189: fix change_password permission checks, run protected

depend on mtx (tape changer control)

A very small package with no additional dependencies.

tape: add tape changer support using 'mtx' command

tape: add media invenotry

tape: define useful constants

tape: add media pool config

tape: add tape read trait

tape: add tape write trait

tape: add file format definitions

commit missing file: tape api type definitions

tape support: add drive configuration

start experimental tape management GUI

You need to set the environment TEST_TAPE_GUI=1 to enable this.
The current GUI is only a placeholder.

backup/datastore: move manifest locking to /run

this fixes the issue that on some filesystems, you cannot recursively
remove a directory when you hold a lock on a file inside (e.g. nfs/cifs)

it is not really backwards compatible (so during an upgrade, there
could be two daemons have the lock), but since the locking was
broken before (see previous patch) it should not really matter
(also it seems very unlikely that someone will trigger this)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

backup/datastore: really lock manifest on delete

'lock_manifest' returns a Result<File, Error> so we always got the result,
even when we did not get the lock, but we acted like we had.

bubble the locking error up

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

client/pull: log how many groups to pull were found

if no groups were found, the task log was very confusing as it
contained no real information why nothing was synced, e.g.:

 Starting datastore sync job 'remote:datastore:local-datastore:s-79412799-e6ee'
 Sync datastore 'local-datastore' from 'remote/datastore'
 sync job 'remote:datastore:local-datastore:s-79412799-e6ee' end
 TASK OK

this patch simply logs how many groups were found and are about to be synced:

 Starting datastore sync job 'remote:datastore:local-datastore:s-79412799-e6ee'
 Sync datastore 'local-datastore' from 'remote/datastore'
 found 0 groups to sync
 sync job 'remote:datastore:local-datastore:s-79412799-e6ee' end
 TASK OK

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

docs: add more thoughts about chunk size

doc: add some thoughts about large chunk sizes

cleanup: use extra file for StoreProgress

cleanup: remove unnecessary StoreProgress clone()

verify: use same progress as pull

percentage of verified groups, interpolating based on snapshot count
within the group. in most cases, this will also be closer to 'real'
progress since added snapshots (those which will be verified) in active
backup groups will be roughly evenly distributed, while number of total
snapshots per group will be heavily skewed towards those groups which
have existed the longest, even though most of those old snapshots will
only be re-verified very infrequently.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

progress: add format variants

for iterating over a single group, or iterating just on the group level

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

pull: factor out interpolated progress

and add group/snapshot count info.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

remove BackupGroup::list_groups

BackupInfo::list_backup_groups is identical code-wise, and makes more
sense as entry point for listing groups.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

gc: don't limit index listing to same filesystem

WalkDir does not follow symlinks by default anyway, and this behaviour
is not documented anywhere. e.g., if a sysadmin mounts 'extra storage'
for some backup group or type (not knowing that only metadata is stored
in those directories), GC will ignore all the indices contained within
and happily garbage collect their chunks..

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

gc: remove duplicate variable

list_images already returns absolute paths, we don't need to prepend
anything.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

gc: log index files found outside of expected scheme

for safety reason, GC finds and marks all index files below the
datastore base path. as a result of regular operations, only index files
within the expected scheme of <TYPE>/<ID>/<TIMESTAMP> should exist.

add a small check + warning if the index list contains index files out
side of this expected scheme, so that an admin with shell access can
investigate.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

gc: shorten progress messages

we have messages starting the phases anyway, and limit the number of
progress updates so that context remains available at all times.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

d/control bump

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

file logger: remove test.log after test as well

and a doc formatting fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

derive PartialEq for Userid

the manual implementation is equivalent

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>