tests/prune.rs: fix compile error

cleanup: implement FromStr for BackupGroup

cleanup: implement FromStr for BackupDir

src/bin/proxmox_backup_manager/disk.rs: add renderer for wearout

So that we display the same value as the GUI.

remove absolute paths when executing binaries

we set the paths manually, so this is ok

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

remove debug prints

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

remove tokio:main from download-speed example

we use proxmox_backup::tools::runtime::main already

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add AsyncReaderStream

and replace AsyncIndexReader's stream implementation with that

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/tools/daemon.rs: reopen STDOUT/STDERR journald streams to get correct PID in logs

bump pxar dep to 0.1.8

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

debian/postinst: use try-reload-or-restart for both services

tools::daemon: sync with child after MainPid message

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add socketpair helper

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools::daemon: fetch exe name in the beginning

We get the path to our executable via a readlink() on
"/proc/self/exe", which appends a " (deleted)" during
package reloads.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

try to reload proxmox-backup-proxy on package upgrade

avoid compiler warnings

zpool_status.rs - indented_list_to_tree: do not set name property

This is no necessary. We only touch/set 'children' and 'leaf' properties.

src/api2/node/disks/zfs.rs: always set pool name

src/tools/disks/zpool_status.rs: add 'leaf' attribute to root node, rename 'prev' into 'parent'

src/tools/disks/zpool_status.rs: move use clause top of file

fixup for previous commit

 src/tools/disks/zpool_status.rs - cleanup: use struct StackItem instead of tuple

src/tools/disks/zpool_status.rs: remove unnecessary checks

Thos things can never happen, so simply use unwrap().

src/tools/disks/zpool_status.rs: simplify code by using serde_json::to_value

src/tools/disks/zpool_status.rs - add all attributes to the tree

add general indented_list_to_tree implementation

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

lru_cache: restrict and annotate Send impl

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api2/admin/datastore: add download-decoded endpoint

similar to 'download', but streams the decoded file
when it is not encrypted

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

impl Sync for DataBlobReader

this is safe for the reason explained in the comment

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add AsyncIndexReader

implements AsyncRead as well as Stream for an IndexFile and a store
that implements AsyncReadChunk

we can use this to asyncread or stream the content of a FixedIndex or
DynamicIndex

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add Display trait to BackupDir

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

implement AsyncReadChunk for LocalChunkReader

same as the sync ReadChunk but uses tokio::fs::read instead
of file_get_contents

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: add encryption info to snapshot list

show which backups/files are encrypted in the snapshot list

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/admin/datastore/snapshos: show encrypted and size info per file

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add encrypted info to Manifest

we want to save if a file of a backup is encrypted, so that we can
* show that info on the gui
* can later decide if we need to decrypt the backup

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

use the existing async method for read_raw_chunk

does the same, except the manual drop, but thats handled there by
letting the value go out of scope

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/admin/datastore: log stream error during file download

the client cannot get an error during an chunked http transfer, so at
least log it server side

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

remove unsafe copy code

copy_nonoverlapping is basically a memcpy which can also be done
via copy_from_slice which is not unsafe
(copy_from_slice uses copy_nonoverlapping internally)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

parse_zpool_status_field: handle tabs without copying input

parse_zpool_status_vdev: consider tabs as 8 spaces

src/api2/node/disks/zfs.rs: add zpool_details api

src/tools/disks/zpool_status.rs: improve parser

src/tools/nom.rs: new helper parse_complete_line() for single line parsers

Like parse_complete(), but generates simpler error messages.

src/tools/nom.rs: move nom helpers into separate file

src/tools/disks/zpool_list.rs: split code into separate file

src/tools/disks/zpool_status.rs: parse zpool status output

src/tools/disks/zfs.rs: rename ZFSPoolStatus into ZFSPoolInfo, fix error message

src/api2/node/disks/directory.rs: add early check if disk is unused

src/bin/proxmox_backup_manager/disk.rs: add cli to create mounted disks

avoid compiler warning

src/tools/disks/zfs.rs: cleanup parse_pool_header

src/tools/disks/zfs.rs: add more parser tests

src/tools/disks/zfs.rs: add comment

src/tools/disks/zfs.rs: make zfs list parser private

src/tools/disks/zfs.rs: add regression tests for parse_zfs_list

src/tools/disks/zfs.rs: simplify code

move api dump binaries back to src/bin for package building

they're required for docs

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

ui: add DiskList and DirectoryList

this also contains an adapted CreateDirectory window
for now this is mostly copied, since refactoring was not that
straightforward (changed parameters, etc.)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/api2/node/disks.rs: expose directory api

move test binaries to examples/

These aren't installed and are only used for manual testing,
so there's no reason to force them to be built all the time.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/api2/node/disks/zfs.rs: add zpool api

src/tools/disks/zfs.rs: cleanup (rename usage properties)

And allow to parse zpool list output without -v flag.

src/tools/disks/zfs.rs: parse more infos (dedup, fragmentation, health)

avoid compiler warnings

use new run_command helper

catalog: don't panic on invalid file mtimes

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fix file timestamps in catalog

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: fix missing subdirectories in catalogs

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

reuse some extractor code in catalog shell

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

use O_EXCL when creating files during extraction

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: make extractor state more reusable

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

AsyncReadChunk: require Send

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

require pxar 0.1.7

fixes some hardlink reading issues in random-accessor

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/tools.rs: add setup_safe_path_env()

src/api2/node/disks/directory.rs: implement add-datastore feature

dynamic index: make it hard to mess up endianess

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

remove unnecessary .into

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

ui: Dashboard: implement subscription panel

and make it nicer

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

ui: Dashboard: show LongestTask/RunningTask/TaskSummary

by querying the new /status/task api every 15 seconds

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
[w.bumiller@proxmox.com: fixup from d.csapak@proxmox.com]
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

ui: add Task Panels for dashboard

LongestTasks:
grid that shows tasks sorted by duration in descending order

RunningTasks:
grid that shows all running tasks

TaskSummary:
an overview of backup,prune,gc and sync tasks (error/warning/ok)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

ui: css: improve look of fa icons

with these changes fa icons in actioncolumns,
they have the same layout as <i> elements on the same line
(they were slightly bigger and offset before)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api2/status: add task list endpoint

for now mostly copy/paste from nodes/nodename/tasks
(without the parameters)
but we should replace the 'read_task_list' with a method
that gives us the tasks since some timestamp

so that we can get a longer list of tasks than for the node
(we could of course embed this then in the nodes/node/task api call and
remove this again as long as the api is not stable)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

implement From<TaskListInfo> for TaskListItem

and use it where its convenient

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

use new Mmap helper for dynamic index

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump proxmox dep to 0.1.40

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

some internal combinator-influenced api cleanup

The download methods used to take the destination by value
and return them again, since this was required when using
combinators before we had `async fn`.
But this is just an ugly left-over now.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

client: make dump_image async, use async chunk reader

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add an AsyncReadChunk trait

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

more cleanup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

cleanup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar, acl: cleanup acl helper usage

use NixPath for Acl::set_file to avoid memduping the c
string

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

client: only start catalog upload if we have one

else we start a dynamic writer and never close it, leading to a backup error

this fixes an issue with backing up vm templates
(and possibly vms without disks)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

BackupEnvironment: do not set finished flag prematurely

we check if all dynamic_writers are closed and if the backup contains
any valid files, we can only mark the backup finished after those
checks, else the backup task gets marked as OK, even though it
is not finished and no cleanups run

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: fcaps in fuse

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api2/status: use new rrd::extract_cached_data

and drop the now unused extract_lists function

this also fixes a bug, where we did not add the datastore to the list at
all when there was no rrd data

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

rrd: move creation of serde value into api

there is now a 'extract_cached_data' which just returns
the data of the specified field, and an api function that converts
a list of fields to the correct serde value

this way we do not have to create a serde value in rrd/cache.rs
(makes for a better interface)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

refactor time functions to tools

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: support .pxareclude files, error report updates

Report vanished files (instead of erroring out on them),
also only warn about files inaccessible due to permissions
instead of bailing out.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

downgrade some FIXMEs to TODOs

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

turn pxar::flags into bitflags, pxar::Flags

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>