rrd: fix off-by-one in save interval calculation

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix csum calculation of not 'chunk_size' aligned images

the last chunk does not have to be as big as the chunk_size,
just use the already available 'chunk_end' function which does the
correct thing

this fixes restoration of images whose sizes are not a multiple of
'chunk_size' as well

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/tools/disks/lvm.rs: implement get_lvm_devices()

src/tools/disks.rs: add/use get_partition_type_info

improve display of 'next run' for sync jobs

if the last sync job is too far in the past (or there was none at all
for now) we run it at the next iteration, so we want to show that

we now calculate the next_run by using either the real last endtime
as time or 0

then in the frontend, we check if the next_run is < now and show 'pending'
(we do it this way also for replication on pve)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tools/systemd/time: fix compute_next_event for weekdays

two things were wrong here:
* the range (x..y) does not include y, so the range
  (day_num+1..6) goes from (day_num+1) to 5 (but sunday is 6)

* WeekDays.bits() does not return the 'day_num' of that day, but
  the bit value (e.g. 64 for SUNDAY) but was treated as the index of
  the day of the week
  to fix this, we drop the map to WeekDays and use the 'indices'
  directly

this patch makes the test work again

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

systemd/time: add tests for all weekdays

this fails for now

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

verify_file: add missing closing parenthesis in error message

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

src/tools/disks/zfs.rs: add parser for zpool list output

bump version to 0.2.2-1

src/bin/proxmox-backup-client.rs: implement quite flag

client restore: don't add server file ending if already specified

If one executes a client command like
 # proxmox-backup-client files <snapshot> --repository ...
the files shown have already the '.fidx' or '.blob' file ending, so
if a user would just copy paste that one the client would always add
.blob, and the server would not find that file.

So avoid adding file endings if it is already a known OK one.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

client restore: factor out archive/type parsing

will be extended in a next patch.

Also drop a dead else branch, can never get hit as we always add
.blob as fallback

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix typo

client: improve connection/new fingerprint query

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

typo fixes all over the place

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

src/client/pull.rs: also download client.log.blob

avoid compiler warnings

cleanup: define/use const for predefined blob file names.

src/client/backup_specification.rs: split code into extra file

src/client/pull.rs: more verbose logging

ui: use Proxmox.Utils.setAuthData

this uses different parameters which we want to be the same for
all products (e.g. secure cookie)

leave the PBS.Utils.updateLoginData for the case that we want to do
something more here (as in pve for example)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add owner to group and snapshot listings

while touching it, make columns and tbar in DataStoreContent.js
declarative members and remove the (now) unnecessary initComponent

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: add SyncView

shows a nice overview of sync jobs (incl status of last run, estimated
next run, etc.) with options to add/edit/remove and also show the
log of the last run and manually run it now

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: add SyncJobEdit window

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: add RemoteSelector and DataStoreSelector

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2: add admin/sync endpoint

this returns the list of syncjobs with status, as opposed to
config/sync (which is just the config)

also adds an api call where users can run the job manually under
/admin/sync/$ID/run

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

config/sync: add SyncJobStatus Struct/Schema

contains the config + status

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

syncjob: change worker type for sync jobs

'sync' is used for manually pulling a remote datastore
changing it for a scheduled sync to 'syncjob' so that we can
differentiate between both types of syncs

this also adds a seperate task description for it

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/pull: refactor priv checking and creating pull parameters

we want to reuse those in the api call for manually running a sync job

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/config/sync: fix id parameter

'name' is not the correct parameter for get/post

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

create SYNC_SCHEDULE_SCHEMA to adapt description for sync jobs

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: add missing comment field to remote model

when using a diffstore, we have to add all used columns to the model,
else they will not refresh on a load

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/bin/proxmox-backup-proxy.rs: cleanup, move code to src/tools/disks.rs

And simplify find_mounted_device by using stat.st_dev

fix removing of remotes

we have to save the remote config after removing the section

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

rrd: reduce io by saving data only once a minute

src/bin/proxmox-backup-proxy.rs: add test if last prune job is still running

src/bin/proxmox-backup-proxy.rs: test if last sync job is still running

src/server/worker_task.rs: make worker_is_active_local pub

src/tools/systemd/time.rs: add test for "daily" schedule

src/bin/proxmox-backup-proxy.rs: use correct id to lookup sync jobs

remote config gui: add comment field

BACKUP_REPO_URL_REGEX: move to api2::types and allow all valid data store names

The repo URL consists of
* optional userid
* optional host
* datastore name

All three have defined regex or format, but none of that is used, so
for example not all valid datastore names are accepted.

Move definition of the regex over to api2::types where we can access
all required regexes easily.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api2::types: factor out USER_ID regex

allows for better reuse in a next patch

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

www/ServerStatus.js: use term "IO wait" for CPU iowait

Because we already use "IO delay" for the storage statistics.

rrd stats: improve io delay stats

bump version to 0.2.1-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: remotes: fix remote remove buttons base url

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: fix RemoteEdit password change

we have to remove the password from the submitvalues if it did not
change

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/bin/proxmox-backup-proxy.rs: simplify code

and gather all stats for the root disk

src/tools/disks/zfs.rs: use wtime + rtime (wait + run time)

www/DataStoreStatistic.js: add transfer rate

src/bin/proxmox-backup-proxy.rs: gather zpool io stats

src/tools/disks/zfs.rs: helper to read zfs pool io stats

depend on proxmox 0.1.38, use new fs helper functions

use the sync id for the scheduled sync worker task

this way, multiple sync jobs with the same local store, can get scheduled

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix 'remove_vanished' cli arg again

since the target side wants this to be a boolean and
serde interprets a None Value as 'null' we have to only
add this when it is really set via cli

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix inserting of worker tasks

when starting a new task, we do two things to keep track of tasks
(in that order):
* updating the 'active' file with a list of tasks with
  'update_active_workers'
* updating the WORKER_TASK_LIST

the second also updates the status of running tasks in the file by
checking if it is still running by checking the WORKER_TASK_LIST

since those two things are not locked, it can happend that
we update the file, and before updating the WORKER_TASK_LIST,
another thread calls update_active_workers and tries to
get the status from the task log, which won't have any data yet
so the status is 'unknown'

(we do not update that status ever, likely for performance reasons,
so we have to fix this here)

by switching the order of the two operations, we make sure that only
tasks reach the 'active' file which are inserted in the WORKER_TASK_LIST

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/tools.rs - command_output: add parameter to check exit code

src/tools.rs: new helper to handle command_output (std::process::Output)

ui: acl view: only update if component is activated

Avoid triggering non-required background updates during browsing a
datastores content or statistics panels. They're not expensive, but I
do not like such behavior at all (having traveled with trains and
spotty network to often)

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: tasks: add sync description+

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: tasks: render reader with full info

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: factor out render_datetime_utc

will be reused in the next patch

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: task: improve rendering of backup/prune worker entries

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

depend on proxmox 0.1.37

ui: datastore prune: remove debug logging

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: rework datastore content panel controller

Mostly refactoring, but actually fixes an issue where one seldom run
into a undefined dereference due to the store onLoad callback getting
triggered after some of the componet was destroyed - on quick
switching through the datastores.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix cli pull api call

there is no 'delete' parameter, only 'remove-vanished', so fix that

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: add missing monStoreErrors

to actually show api errors on the list call

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: add crud for remotes

listing/adding/editing/removing

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

remotes: save passwords as base64

to avoid having arbitrary characters in the config (e.g. newlines)
note that this breaks existings configs

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/api2/admin/datastore.rs: add rrd api

src/bin/proxmox-backup-proxy.rs: gather block device stats on datastore

src/tools/disks.rs: add helper to read block device stats

src/tools/disks.rs: export read_sys

d/control: proxmox-backup-server: depend on proxmox-backup-docs

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

remote: try to use Struct for api

with a catch: password is in the struct but we do not want it to return
via the api, so we only 'serialize' it when the string is not empty
(this can only happen when the format is not checked by us, iow.
when its returned from the api) and setting it manually to ""
when we return remotes from the api

this way we can still use the type but do not return the password

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: acls: include roleid into id and sort by it

this fixes missing acls on the gui

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/config/remote: remove password from read_remote

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/config/remote: lock and use digest for removal

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/config/remote: use rpcenv for digest for read_remote

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

config/remote: add 'name' to Remote struct

and use it as section id, like with User

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

gui: move system stat RRDs to ServerStatus panel.

re-bump to 0.2.0-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: sync version with the package versions

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: navigation: sort datastores entries

adding a new one after load will append it still at the end, though.
But datastores are not something which get frequently added after
initial setup, so don't care about that for now..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: add some task log description mappings

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

css: fix load mask background image path

We're not using the exact same paths as in PVE/PMG here.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: system config: reorder big panel to bottom

Gives a better look and feel if the flex'd big panel is at the bottom

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

src/bin/proxmox-backup-proxy.rs: simplify code

src/bin/proxmox-backup-proxy.rs: gather datastore usage stats

ui: index: load widget toolkit CSS

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: proxmox-widget-toolkit depend on 2.2-2

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 0.2.0

depend on proxmox 0.1.36

www/DataStoreStatus.js: display loadavg stats

src/bin/proxmox-backup-proxy.rs: gather iowait stats

src/bin/proxmox-backup-proxy.rs: gather loadavg stats

depend on proxmox 0.1.35