src/bin/proxmox_backup_client/mount.rs: split out mount code

ui: consistently spell Datastore without space between words

Not even hard feeling on 'Datastore' vs. 'Data Store' but consistency
is desired in such names.
Talked shortly with Dominik, which also slightly favored the one
without space - so just go for that one.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: disk create: sync and improve 'add-datastore' checkbox label

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

proxmox-backup-client: add benchmark command

This is just a start, We need to add more useful things here...

pxar: fixup 'vanished-file' logic a bit

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: fix missing newlines in warnings

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

DataStoreConfig.js: add verify button

DataStoreContent.js: add verify button

src/api2/admin/datastore.rs: avoid slash in UPID strings

bump version to 0.5.0-1

fix typo

partially revert commit 1f82f9b7b5d231da22a541432d5617cb303c0000

do it backwards compatible. Also, code was wrong because FixedIndexWriter
still computed old style csums...

ui: allow to Forget (delete) backup snapshots.

pxar: deal with files changing size during archiving

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 0.4.0-1

depend on proxmox 0.1.41

ui: add ZFS management

adds a ZFSList and ZFSCreate class, modeled after the one in pve

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix test output

field separator for pools is always a tab when using -H

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/backup/verify.rs: do not stop on server shutdown

This is a read-only task, so there is no need to stop.

WorkerTask: add warnings and count them

so that we have one level more between errors and OK

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: dashboard: remove 'wobbling' of tasks that have the same duration

by sorting them by upid after sorting by duration

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: dashboard: use last value for holes in history graph

it is only designed to be a quick overview, so having holes there
is not really pretty and since we do not even show any date
for the points, we can simply reuse the last value for holes

the 'real' graph with holes is still available on the
DataStoreStatistics panel

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix typo

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

improve 'debug' parameter

instead of checking on '1' or 'true', check that it is there and not
'0' and 'false'. this allows using simply

https://foo:8007/?debug

instead of

https://foo:8007/?debug=1

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: automatically add 'localhost' as nodename for all panels

this will make refactoring easier for panels that are reused from pve
(where we always have a hostname)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: show proper loadMask for DataStoreContent

we have to use the correct store, and we have to manually show the
error (since monStoreErrors only works for Proxmox Proxies)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/backup/index.rs: add compute_csum

And use it for fixed and dynamic index. Please note that this
changes checksums for fixed indexes, so restore older backups
will fails now (not backward compatible).

examples/upload-speed.rs: fix compile error

src/api2/backup.rs: call register_chunk in previous download api

src/backup/index.rs: add chunk_info method

update backup api for incremental backup

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>
Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

allow to abort verify jobs

And improve job description rendering on gui.

ui: file browser: expand child node if only one archive present

Get the first visible node through the Ext.data.NodeInterface defined
"firstChild" element and expand that if there's only one archive
present.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: file browser: adapt height for 4:3 instead of weird 2:1 ratio

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

extract create_download_response API helper

and put it into a new "api2::helpers" module.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

[chore] bump to using pxar 0.2.0

This breaks all previously created pxar archives!

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-manager.rs: implement verify

src/api2/admin/datastore.rs: add verify api

src/backup/backup_info.rs: impl Display for BackupGroup

update to pxar 0.1.9, update ReadAt implementations

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 0.3.0-1

add incremental backup support

To support incremental backups (where not all chunks are sent to the
server), a new parameter "reuse-csum" is introduced on the
"create_fixed_index" API call. When set and equal to last backups'
checksum, the backup writer clones the data from the last index of this
archive file, and only updates chunks it actually receives.

In incremental mode some checks usually done on closing an index cannot
be made, since they would be inaccurate.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

remove debug println

fix overflow panic during upload

if *only* data chunks are registered (high chance during incremental
backup), then chunk_count might be one lower then upload_stat.count
because of the zero chunk being unconditionally uploaded but not used.
Thus when subtracting the two, an overflow would occur.

In general, don't let the client make the server panic, instead just set
duplicates to 0.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

api2/node/disks/zfs: check if default zfs mount path exists

and if it does bail, because otherwise we would get an
error on mounting and have a zpool that is not imported
and disks that are used

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: fix missing deleteEmpty on SyncJobEdit

else we cannot delete those fields

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: add pxar FileBrowser

for unencrypted backups, enables browsing the pxar archives and
downloading single files from it

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/admin/datastore: add pxar-file-download api call

streams a file from a pxar file of an unencrypted backup

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/admin/datastore: add 'catalog' api call

returns the dir listing of the given filepath of the backup snapshot
the filepath has to be base64 encoded or 'root'

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add From<&DirEntryAttribute to CatalogEntryType and make it pub(crate)

we want to get a string representation of the DirEntryAttribute
like 'f' for file, etc. and since we have such a mapping already
in the CatalogEntryType, use that

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

derive Clone for the LocalChunkReader

this will be necessary for accessing local pxar behind didx files

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add LocalDynamicReadAt

mostly copied from BufferedDynamicReadAt from proxmox-backup-client
but the reader is wrapped in an Arc in addition to the Mutex

we will use this for local access to a pxar behind a didx file

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: add BackupFileDownloader

enables to be able to download whole files from the backup (e.g.
the decoded didx/fidx/blobs) for unencrypted backups

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: fix sorting of backup snapshots

we have to sort the treestore not the original store where we get the data

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: fix encrypted column

do not use two different gettexts for groups and single backups
and correct logic for backup groups

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/backup/datastore.rs: add new helpers to load blobs and verify chunks

src/backup/data_blob.rs: cleanup - improve code reuse

src/backup/chunk_store.rs: allow to read name()

This is helpful for logging ...

ui: fix undefined data for iodelay

if ios are 0 and io_ticks are defined, the io_delay is zero

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tests/prune.rs: fix compile error

cleanup: implement FromStr for BackupGroup

cleanup: implement FromStr for BackupDir

src/bin/proxmox_backup_manager/disk.rs: add renderer for wearout

So that we display the same value as the GUI.

remove absolute paths when executing binaries

we set the paths manually, so this is ok

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

remove debug prints

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

remove tokio:main from download-speed example

we use proxmox_backup::tools::runtime::main already

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add AsyncReaderStream

and replace AsyncIndexReader's stream implementation with that

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/tools/daemon.rs: reopen STDOUT/STDERR journald streams to get correct PID in logs

bump pxar dep to 0.1.8

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

debian/postinst: use try-reload-or-restart for both services

tools::daemon: sync with child after MainPid message

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add socketpair helper

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools::daemon: fetch exe name in the beginning

We get the path to our executable via a readlink() on
"/proc/self/exe", which appends a " (deleted)" during
package reloads.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

try to reload proxmox-backup-proxy on package upgrade

avoid compiler warnings

zpool_status.rs - indented_list_to_tree: do not set name property

This is no necessary. We only touch/set 'children' and 'leaf' properties.

src/api2/node/disks/zfs.rs: always set pool name

src/tools/disks/zpool_status.rs: add 'leaf' attribute to root node, rename 'prev' into 'parent'

src/tools/disks/zpool_status.rs: move use clause top of file

fixup for previous commit

 src/tools/disks/zpool_status.rs - cleanup: use struct StackItem instead of tuple

src/tools/disks/zpool_status.rs: remove unnecessary checks

Thos things can never happen, so simply use unwrap().

src/tools/disks/zpool_status.rs: simplify code by using serde_json::to_value

src/tools/disks/zpool_status.rs - add all attributes to the tree

add general indented_list_to_tree implementation

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

lru_cache: restrict and annotate Send impl

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api2/admin/datastore: add download-decoded endpoint

similar to 'download', but streams the decoded file
when it is not encrypted

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

impl Sync for DataBlobReader

this is safe for the reason explained in the comment

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add AsyncIndexReader

implements AsyncRead as well as Stream for an IndexFile and a store
that implements AsyncReadChunk

we can use this to asyncread or stream the content of a FixedIndex or
DynamicIndex

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add Display trait to BackupDir

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

implement AsyncReadChunk for LocalChunkReader

same as the sync ReadChunk but uses tokio::fs::read instead
of file_get_contents

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: add encryption info to snapshot list

show which backups/files are encrypted in the snapshot list

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/admin/datastore/snapshos: show encrypted and size info per file

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add encrypted info to Manifest

we want to save if a file of a backup is encrypted, so that we can
* show that info on the gui
* can later decide if we need to decrypt the backup

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

use the existing async method for read_raw_chunk

does the same, except the manual drop, but thats handled there by
letting the value go out of scope

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/admin/datastore: log stream error during file download

the client cannot get an error during an chunked http transfer, so at
least log it server side

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

remove unsafe copy code

copy_nonoverlapping is basically a memcpy which can also be done
via copy_from_slice which is not unsafe
(copy_from_slice uses copy_nonoverlapping internally)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

parse_zpool_status_field: handle tabs without copying input

parse_zpool_status_vdev: consider tabs as 8 spaces

src/api2/node/disks/zfs.rs: add zpool_details api