tape: cleanup PoolWriter - factor out common code

tape: cleanup - split PoolWriter into several files

tape: make sure we only commit/write valid catalogs

tape: store media_uuid in PoolWriterState

This is mainly a cleanup, avoiding to access the catalog_set to get the uuid.

tape: cleanup - rename CatalogBuilder to CatalogSet

server/email_notifications: do not double html escape

the default escape handler is handlebars::html_escape, but this are
plain text emails and we manually escape them for the html part, so
set the default escape handler to 'no_escape'

this avoids double html escape for the characters: '&"<>' in emails

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

server/email_notifications: do not panic on template registration

instead print an error and continue, the rendering functions will error
out if one of the templates could not be registered

if we `.unwrap()` here, it can lead to problems if the templates are
not correct, i.e. we could panic while holding a lock, if something holds
a mutex while this is called for the first time

add a test to catch registration issues during package build

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tools/systemd/time: implement some Traits for TimeSpan

namely
* From<Duration> (to convert easily from duration to timespan)
* Display (for better formatting)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: backup media catalogs

bump version to 1.0.11-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tape: improve catalog consistency checks

Try to check if we read the correct catalog by verifying uuid, media_set_uuid
and seq_nr.

Note: this changes the catalog format again.

tools/subscription: ignore ENOENT for apt auth config removal

deleting a nonexistant file is hardly an error worth mentioning

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/BackupOverview: insert a datastore level

since we can now backup multiple datastores in the same media-set,
we show the datastores as first level below that

the final tree structucture looks like this:

tapepool A
- media set 1
 - datastore I
  - tape x
   - ct/100
    - ct/100/2020-01-01T00:00:00Z

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/DriveStatus: fix updating pointer+click handler on info widget

we can only do this after it is rendered, the element does not exist
before

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/DriveStatus: add erase button

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: define magic number for catalog archives

tape: improve catalog parser

tape: proxmox-tape media content -  add 'store' attribute

tape: store datastore name in tape archives and media catalog

So that we can store multiple datastores on a single media set.
Deduplication is now per datastore (not per media set).

SnapshotReader: add self.datastore_name() helper

tape: PoolWriter - remove unnecessary move_to_eom

update OnlineHelpInfo.js

docs: technically not everything is in rust/js

I mean the whole distro uses quite some C and the like as base, so
avoid being overly strict here.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: features: mention that there are no client/data limits

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: drop uncommon spelled out GCM

It does not help users if that is spelled out, and its not a common
use of GCM, and especially in the AES 256 context its clear what is
meant. The link to Wikipedia stays, so interested people can still
read up on it and others get a better overview due to the text being
more concise.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: fix linking, avoid over long text in main feature list

The main feature list should provide a short overview of the, well,
main features. While enterprise support *is* a main and important
feature, it's not the place here to describe things like personal
volume/ngo/... offers and the like.

Move parts of it to getting help, which lacked mentioning the
enterprise support too and is a good place to describe the customer
portal.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: mention support subscription plans

and change enterprise repository section to present tense.

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

tools/zip: only add zip64 field when necessary

if neither offset nor size exceeds 32bit, do not add the
zip64 extension field

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/DriveStatus: open task window on click on state

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape: convert slot selection on transfer to combogrid

this is much handier than number field, and the user can instantly
see which one is an import/export slot

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/Restore: let the user choose an owner

so that the tape backup can be restored as any user, given
the current logged in user has the correct permission.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

proxmox-tape: add missing notify-user to 'proxmox-tape restore'

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: use MB/s for backup speed (to match drive speed specification)

tape: speedup backup by doing read/write in parallel

tools/zip: add missing start_disk field for zip64 extension

it is not optional, even though we give the size explicitely

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

backup info: run rustfmt

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

update to pxar 0.10

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fix feature flag logic in pxar create

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tape: write_chunk_archive - do not consume partially written chunk at EOT

So that it is re-written to the next tape.

bump version to 1.0.10-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/postinst: fixup tape permissions if existing with wrong permissions

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/postinst: only check for broken task index on upgrade

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/postinst: tell user that we restart when updating from older version

d/postinst: restart when updating from older version

Else one has quite a terrible UX when installing from 1.0 ISO and
then upgrading to latest release..

commit 0ec79339f7aebf9 for the fix and some other details

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server/worker_task: improve endtime for unknown tasks

instead of always using the starttime, use the last timestamp from the log
this way, one can see when the task was aborted without having to read
the log

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape/send_load_media_email: move to server/email_notifications

and reuse 'send_job_status_mail' there so that we get consistent
formatted mails from pbs (e.g. html part and author)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: improve backup task log

typo fixes all over the place

found and semi-manually replaced by using:
 codespell -L mut -L crate -i 3 -w

Mostly in comments, but also email notification and two occurrences
of misspelled  'reserved' struct member, which where not used and
cargo build did not complain about the change, soo ...

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: fix typo in comment

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: fix typo in options

Signed-off-by: Oguz Bektas <o.bektas@proxmox.com>

d/postinst: fix typo in comment

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tape: fix scsi volume_statistics and cartridge_memory for quantum drives

tape: documentation language fixup

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

ui: tape: increase tapestore interval

from 2 to 60 seconds. To retain the response time of the gui
when adding/editing/removing, trigger a manual reload on these actions

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: NavigationTree: do not modify list while iterating

iterating over a nodeinterfaces children while removing them
will lead to 'child' being undefined

instead collect the children to remove in a separate list
and iterate over them

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: improve backup task log (show percentage)

tape: improve backup task log format

tape: read_tape_mam - pass correct allocation len

tape: cleanup - remove wrong inline comment

api2/tape/backup: continue on vanishing snapshots

when we do a prune during a tape backup, do not cancel the tape backup,
but continue with a warning

the task still fails and prompts the user to check the log

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: lock artificial "__UNASSIGNED__" pool to avoid races

tape: improve MediaPool allocation by sorting tapes by ctime and label_text

bump version to 1.0.9-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: navigation: adapt tape icons also here

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: tape drive icon: invert

Less anti-aliasing to do, so it looks better when small.

Note, I use a mask as else we could not cut out something
transparent, but only over paint it filled with white, which is not
the same and not how font awesome does it.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: tape panel: add/use icons

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: tape: code style: xtype coms first

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: tape/window/Tape{Backup, Restore}: allow empty notify user field

we have to set skipEmptyText on comboGrids

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape/linux_tape: remove debug prints

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape/backup: add success/error notifications

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: remove cartridge memory panel (show window after butten press instead)

ui: fix date rendering in drive status

ui: tape/Drive{Config, Status} move actions to status panel

so that the 'DriveConfig' panel is purely for configuration

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape/DriveStatus: add cartridge memory grid

that the user can load when a tape is inserted

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

docs: fix note about global media pool namespace

docs: alabaster theme: better contrast for background color of topics

The old value just was way to heavy, and notes/warnings/...
admonitions did not stick out anymore.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: add online help to drive/changer status

tape: add docu link targets for online help

tape: clean - fix if cleaning tape is already loaded

tape: test tape alert flags after drive clean

ui: images: simplify tape icon

1. Use same height as width
2. drop the top/bottom "frame" lines
3. instead of two "bearings" side by side, like VHS or music-compact
   tapes have, use a single bearing and an outer circle to denote the
   magnetic tape edge

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

pmt: add tape-alert-flags command

docs: use code-block inside tape-backup.rst

docs: document tape backup jobs

add proxmox-tape bash-completion

api2/tape: add notify_user to backup(-jobs) and restore api calls

so that a user can be given that will be notified for
manual intervention (e.g. inserting a tape)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: tape: add notify-user fields

to backup jobs, backups and restores

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

config/tape_job: add notify-user config to tape jobs

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

tape: avoid Updatable for now

tape: finish api permission checks

acl: use /tape/device instead of /tape/drive and /tape/changer

tape: improve PoolWriter logging

Log reason why we allocate a new media set.

cleanup: rename token_user into auth_id_filter

ui: use shorter datetime format for encryption key creation time

ui: do not show MediaSet Uuid in backup content grid

tape: fix media_expire_time

tfa docs: language fixup

Simplifies the introduction a bit and makes it more readable.
Also some other minor language fixes throughout the section.

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

tape: fix wrong media set expire time

tape: improve media status in list_media

ui: add acl paths for tape permission