src/tools.rs: add setup_safe_path_env()

src/api2/node/disks/directory.rs: implement add-datastore feature

dynamic index: make it hard to mess up endianess

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

remove unnecessary .into

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

ui: Dashboard: implement subscription panel

and make it nicer

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

ui: Dashboard: show LongestTask/RunningTask/TaskSummary

by querying the new /status/task api every 15 seconds

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
[w.bumiller@proxmox.com: fixup from d.csapak@proxmox.com]
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

ui: add Task Panels for dashboard

LongestTasks:
grid that shows tasks sorted by duration in descending order

RunningTasks:
grid that shows all running tasks

TaskSummary:
an overview of backup,prune,gc and sync tasks (error/warning/ok)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

ui: css: improve look of fa icons

with these changes fa icons in actioncolumns,
they have the same layout as <i> elements on the same line
(they were slightly bigger and offset before)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api2/status: add task list endpoint

for now mostly copy/paste from nodes/nodename/tasks
(without the parameters)
but we should replace the 'read_task_list' with a method
that gives us the tasks since some timestamp

so that we can get a longer list of tasks than for the node
(we could of course embed this then in the nodes/node/task api call and
remove this again as long as the api is not stable)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

implement From<TaskListInfo> for TaskListItem

and use it where its convenient

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

use new Mmap helper for dynamic index

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump proxmox dep to 0.1.40

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

some internal combinator-influenced api cleanup

The download methods used to take the destination by value
and return them again, since this was required when using
combinators before we had `async fn`.
But this is just an ugly left-over now.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

client: make dump_image async, use async chunk reader

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add an AsyncReadChunk trait

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

more cleanup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

cleanup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar, acl: cleanup acl helper usage

use NixPath for Acl::set_file to avoid memduping the c
string

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

client: only start catalog upload if we have one

else we start a dynamic writer and never close it, leading to a backup error

this fixes an issue with backing up vm templates
(and possibly vms without disks)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

BackupEnvironment: do not set finished flag prematurely

we check if all dynamic_writers are closed and if the backup contains
any valid files, we can only mark the backup finished after those
checks, else the backup task gets marked as OK, even though it
is not finished and no cleanups run

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: fcaps in fuse

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api2/status: use new rrd::extract_cached_data

and drop the now unused extract_lists function

this also fixes a bug, where we did not add the datastore to the list at
all when there was no rrd data

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

rrd: move creation of serde value into api

there is now a 'extract_cached_data' which just returns
the data of the specified field, and an api function that converts
a list of fields to the correct serde value

this way we do not have to create a serde value in rrd/cache.rs
(makes for a better interface)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

refactor time functions to tools

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: support .pxareclude files, error report updates

Report vanished files (instead of erroring out on them),
also only warn about files inaccessible due to permissions
instead of bailing out.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

downgrade some FIXMEs to TODOs

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

turn pxar::flags into bitflags, pxar::Flags

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add api to format disks and create datastores

catalog: remove unused SenderWriter

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/tools/systemd.rs: implement daemon_reload, start_unit, stop_unit and enable_unit

pxar: don't skip list+found by default

This used to be default-off and was accidentally set to
on-by-default with the pxar crate update.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: sort .pxareclude-cli file and fix its mode

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/tools.rs: add new run_command helper

src/tools/systemd/types.rs: add Mount config

statistics: covariance(): avoid allocation

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: create .pxarexclude-cli file

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

ui: add datastore usages to dashboard

shows an overview over the datastores, including a small chart of the
past month and an estimation of when its full

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2: add status/datastore-usages api call

returns a list of the datastores and their usages, a list of usages of
the past month (for the gui) and an estimation of when its full
(using the linear regression)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add statistics module

provides some basic statistics functions (sum, mean, etc.)
and a function to return the parameters of the linear regression of
two variables

implemented using num_traits to be more flexible for the types

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

rrd: add 'extract_lists'

this is an interface to simply get the Vec<Option<f64>> out of rrd
without going through serde values

we return a list of timestamps and a HashMap with the lists we could find
(otherwise it is not in the map)

if no lists could be extracted, the time list is also empty

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: show root disk usage

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

let disk_usage return StorageStatus and use it for datastores/nodes

disk_usage returned the same values as defined in StorageStatus,
so simply use that

with that we can replace the logic of the datastore status with that
function and also use it for root disk usage of the nodes

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/tools/systemd.rs: implement escape_unit and unescape_unit

Cargo.toml: readd commented-out proxmox crate via path for convenience

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move src/pxar.rs -> src/pxar/mod.rs

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/tools/disks.rs: add create_single_linux_partition and create_file_system

cleanup comment

src/tools/disks.rs: add get_fs_uuid helper

src/tools/disks.rs: add helper to list partitions

src/tools/disks.rs: make helpers pub

So that I can use them with my test code.

pxar: split assert_relative_path

the check for a single component is only required in the dir
stack atm

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

switch to external pxar and fuse crates

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Cargo.toml: pathpatterns, pxar, proxmox-fuse

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

xattr: make xattr_name_fcaps public

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add file_get_non_comment_lines

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/tools/disks.rs: cleanup, remove unused DiskUse bitflag type

src/tools/disks.rs: use dev_t to index zfs/lvm device sets

proxmox_backup_manager disk list: display gpt column

src/tools/disks/zfs.rs: allow empty zpool list output

src/tools/disks.rs: new helper to reread partition table

src/api2/node/disks.rs: correctly use disk_by_name insteadf of disk_by_node

src/api2/node/disks.rs: implement initgpt API

src/api2/types.rs: define BLOCKDEVICE_NAME_SCHEMA

src/config/acl.rs: add /system/disks to valid acl paths

src/bin/proxmox-backup-manager.rs: add disk subcommand

src/tools/disks.rs: fix disk size, add completion helper

move disks api to /node/<node>/disks

src/api2/disks.rs: implement smart api

src/tools/disks.rs: new helper disk_by_name()

src/api2/disks.rs - list-disks: add usage-type filter

src/api2/disks.rs: start disks api

src/tools/disks.rs: use api macro so that we can use those types with the api

src/tools/disks.rs - get_disks: query smart status

src/tools/disks/smart.rs: use model.to_string_lossy() to simplify code

src/tools/disks/smart.rs: try to get correct wearout for ATA devices

src/tools/disks/smart.rs - get_smart_data: use &Disk instead of &str

So that we can query other device infos easily (model, vendor, ..)

ui: add gc/prune schedule and options available in the ui

by adding them as columns for the config view,
and as a seperate tab on the edit window (this is done to not show
too many options at once)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: make DataStore configuration editable

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: refactor DataStoreConfig and Edit

split them into two files and put them into the respective directory

refactor the DataStoreConfigPanel to controller/view
and the DataStoreEdit window/inputpanel to simply an editwindow
(there is no need to have a seperate inputpanel) which also
prepares the window for edit (by using pmxDisplayEditFields)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: replace DataStoreStatus with DataStoreConfig

We will show an overall status of the DataStores in the Dashboard, so there
is no need for a seperate DataStores Status.

This means we can move the Config to where the Status was, and remove
the duplicated entry in the NavigationTree, reducing confusion for users

We can still seperate the permissions by simply showing a permission
denied error, or simply leaving the list empty

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/tools/disks/smart.rs: parse output from smartctl

src/tools/disks.rs: implement get_disks (similar to the one in PVE::Diskmanage)

But no ceph support for now. Also no support for old cciss block devices.

src/tools/disks.rs; use correct subdir to check holders

src/tools/disks.rs: fix disk type detection, remove newline from vendor string

depend on proxmox 0.1.39

ui: fix prune button

the remove button did not get the selModel since the xytpe was not
'grid' so give it the correct xtype

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 0.2.3-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

rrd: fix off-by-one in save interval calculation

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix csum calculation of not 'chunk_size' aligned images

the last chunk does not have to be as big as the chunk_size,
just use the already available 'chunk_end' function which does the
correct thing

this fixes restoration of images whose sizes are not a multiple of
'chunk_size' as well

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/tools/disks/lvm.rs: implement get_lvm_devices()

src/tools/disks.rs: add/use get_partition_type_info

improve display of 'next run' for sync jobs

if the last sync job is too far in the past (or there was none at all
for now) we run it at the next iteration, so we want to show that

we now calculate the next_run by using either the real last endtime
as time or 0

then in the frontend, we check if the next_run is < now and show 'pending'
(we do it this way also for replication on pve)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tools/systemd/time: fix compute_next_event for weekdays

two things were wrong here:
* the range (x..y) does not include y, so the range
  (day_num+1..6) goes from (day_num+1) to 5 (but sunday is 6)

* WeekDays.bits() does not return the 'day_num' of that day, but
  the bit value (e.g. 64 for SUNDAY) but was treated as the index of
  the day of the week
  to fix this, we drop the map to WeekDays and use the 'indices'
  directly

this patch makes the test work again

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

systemd/time: add tests for all weekdays

this fails for now

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

verify_file: add missing closing parenthesis in error message

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

src/tools/disks/zfs.rs: add parser for zpool list output

bump version to 0.2.2-1

src/bin/proxmox-backup-client.rs: implement quite flag

client restore: don't add server file ending if already specified

If one executes a client command like
 # proxmox-backup-client files <snapshot> --repository ...
the files shown have already the '.fidx' or '.blob' file ending, so
if a user would just copy paste that one the client would always add
.blob, and the server would not find that file.

So avoid adding file endings if it is already a known OK one.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

client restore: factor out archive/type parsing

will be extended in a next patch.

Also drop a dead else branch, can never get hit as we always add
.blob as fallback

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>