prune sim: avoid unnecessary viewmodel formula

we set a reference on the checkbox, so we get this for free

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

prune sim: fix numberfield spinner scroll with firefox

copied over from widget toolkit

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

prune sim: eslint fixes, do not define console

really not required nowadays, and we do not use it anyway here..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

prune sim: improve documentation layout

Better line height, some margin on the edges, and max width to avoid
very long lines on wide displays.

Avoid to much contrast by using black on white, use a very dark grey
instead.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: datastore: backup owner change: fix layout

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: move backup group owner changer into window folder

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: auth-id selector: validity, code-style and layout fixes

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: use AuthidSelector for selecting new owner

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

ui: use AuthidSelector for sync job owner

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

proxmox-backup-proxy: remove unnecessary alias

the basedir is already /usr/share/javascript/proxmox-backup/
so adding a subdir of that as alias is not needed

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: datastore: add option view tab

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: add NotifyOptions edit window

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: maintenance: document notifications

can surely be improved, just to have anything..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: utils: add property format string helpers from PVE

slightly adapted, i.e., the delete_if_default helper always sets the
delete property to an array if not existing.

Also, filtering out undefined values when printing properties.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api: datastore: allow to set "verify-new" option over API

Until now, one could only set this by editing the configuration file
manually.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Remove reference to backup@pam

Add screenshots

For:
- api tokens
- new user management interface
- updatae server administration

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

maintenance: add verification and prune to section

Includes new screen shots of interface

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

Update where to find certain items since GUI update

- Sync jobs in datastore
- "User management" is now section of Access Control

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

datastore: description of new datastore view

- Add screenshots from new datastore view
- Add description of comment field in create datastore window
- Add description of each tab in the datastore panel
- Update instructions to add datastore from GUI

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

backup-client: add section on change-owner command

Add section "Changing the Owner of a Backup Group"

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

installation & gui: Formatting fixup

Fix some minor formatting errors in the docs

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

Vec::new is Vec's default default

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

client: properly complete new-owner

with remote Authids, not local Userids.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

www: add AuthidSelector

similar to TokenSelector, but with different fields / mapping of data.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

tasks: allow access to job tasks

if the user/token could have either configured/manually executed the
task, but it was either executed via the schedule (root@pam) or
another user/token.

without this change, semi-privileged users (that cannot read all tasks
globally, but are DatastoreAdmin) could schedule jobs, but not read
their logs once the schedule executes them. it also makes sense for
multiple such users to see eachothers manually executed jobs, as long as
the privilege level on the datastore (or remote/remote_store/local
store) itself is sufficient.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

verify: allow unprivileged access to admin API

which is the one used by the GUI.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

verify: fix unprivileged verification jobs

since the store is not a path parameter, we need to do manual instead of
schema checks. also dropping Datastore.Backup here

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

ui: improve prune simulator layout

include prune simulator in build

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>
Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

create prune simulator

A stand-alone ExtJS app that allows experimenting with different backup
schedules and prune parameters.

The HTML for the documentation was taken from the PBS docs and adapted to the
context of the simulator.

For performance reasons, the week table does not use
subcomponents, but raw HTML.

Signed-off-by: Fabian Ebner <f.ebner@proxmox.com>

ui: require owner for sync jobs

ui: use pbsUserSelector for BackupGroupChangeOwner

gui: Add button for changing backup group owner

Extension of fix #2847

Adds an action button to the datastore content view,
to change the owner of a backup.

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

get rid of backup@pam

fixup: acutally commit all changes..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: move datastore related files into own folder

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

www: add remote store selector

(hopefully) improved upon NFS export selection in PVE

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

api: refactor remote client and add remote scan

to allow on-demand scanning of remote datastores accessible for the
configured remote user.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

types: extract DataStoreListItem

for reuse in remote scan API call

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

config: make notify a property string

For example "gc=never,verify=always,sync=error".

tools/daemon: fix reload with open connections

instead of await'ing the result of 'create_service' directly,
poll it together with the shutdown_future

if we reached that, fork_restart the new daemon, and await
the open future from 'create_service'

this way the old process still handles open connections until they finish,
while we already start a new process that handles new incoming connections

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: more concise EOF handling

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar/create: handle ErrorKind::Interrupted for file reads

they are not an error and we should retry the read

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar/create: fix endless loop for shrinking files

when a file shrunk during backup, we endlessly looped, reading/copying 0 bytes
we already have code that handles shrunk files, but we forgot to
break from the read loop

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 0.9.6-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: sync jobs: add tooltip for remove vanished

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: sync jobs: reorder fields

group local ones togeteher on the left side, and source + schedule
on the right side.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: sync jobs: fix originalValue of owner and improve label

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: sync jobs: only set default schedule when creating new jobs

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: add shell panel under administration

some users prefer an inline console
we still have the pop-out console in 'Administration'

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

proxy: also rotate auth.log file

no need for triggering re-open here, we always re-open that file.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

proxy: logrotate: do not serialize sending async log-reopen commands

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api: factor out auth logger and use for all API authentication failures

we have information here not available in the access log, especially
if the /api2/extjs formatter is used, which encapsulates errors in a
200 response.

So keep the auth log for now, but extend it use from create ticket
calls to all authentication failures for API calls, this ensures one
can also fail2ban tokens.

Do that logging in a central place, which makes it simple but means
that we do not have the user ID information available to include in
the log.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

worker task: fix passing upid to send command

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

log rotate: only add .zst to new file after second rotation

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: fix task description for log rotate

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

proxy: use new datastore notify settings

config: allow to configure who receives job notify emails

ui: SyncJobEdit: fix sending 'delete' values on SyncJob creation

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

sync: improve log format

proxy: log if there are too many open connections

fix bug #2870: use updated tickets

ui: set default deduplication factor to 1.0

proxy: use env PROXMOX_DEBUG to enable/disable debug output

We only print early connection errors when this env var is set.

cleanup: use Arc to count open connections

fix #3106: correctly queue incoming connections

bump version to 0.9.5-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

report: add more commands/files to check

add all of our configuration files in /etc/proxmox-backup/ further,
call some ZFS tool to get that status.

Also, use the subscription command form manager, as we often require
more info than the status. Also, adapt formatting a bit.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

report: avoid lazy_static for command/files/.. definitions

those are not in a hot code path, and it is not really much work to
build them on the go..

It may not matther much, but it is unnecessary. Rust will probably
inline most of it anyway..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

manager: report: call method directly, avoid HTTPS request

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

manager: add report cli command

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>

report: add webui button for system report

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>

report: add api endpoint and function to generate report

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>

ui: task filter: add button icons

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: task filter: reorder to avoid wasting vertical space

Includes some eslint fixes and label changes as well, was to much
work to split that out in its own commit.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: add panel/Tasks and use it for the node tasks

this is a panel that is heavily inspired from widget-toolkits
node/Tasks panel, but is adapted to use the extended api calls of
pbs (e.g. since/until filter)

has 'filter' panel (like pmgs log tracker gui), but it is collapsible

if we extend the api calls of the other projects, we can merge this
again into the widget-toolkit one and use that

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/node/tasks: add optional until filter

so that users select specific time ranges with 'since' and 'until'
(e.g. a single day)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/status: remove list_task api call

we do not need it anymore, we can do everything with nodes/NODE/tasks
instead

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/node/tasks: add optional since/typefilter/statusfilter

and change all users of the /status/tasks api call to this

with this change we can now delete the /status/tasks api call

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/node/tasks: change limit behaviour when it is 0

instead of returning 0 elements (which does not really make sense anyway),
change it so that there is no limit anymore (besides usize::MAX)

this is technically a breaking change for the api, but i guess
no one is using limit=0 for anything sensible anyway

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

server/worker_task: add tasktype to return the api type of a taskstate

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

cleanup: use const_regex, use BACKUP_ID_REGEX for api too

fix #3039: use the same ID regex for info and api

in the api we use PROXMOX_SAFE_ID_REGEX for backup ids, but here
(where we use it to list them) we use a local regex

since the first is a superset of the one used here, simply extend
the local one

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

docs: extend managing remotes

with information about required privileges and limitations

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

sync: add access check tests

should cover all the current scenarios. remote server-side checks can't
be meaningfully unit-tested, but they are simple enough so should
hopefully never break.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

user.cfg/user info: add test constructors

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

proxy: drop now unused UPID import

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

proxmox-backup-proxy: use only jobstate for garbage_collection schedule

in case the garbage_collection errors out, we never set the in-memory
state, so if it failed, the last 'good' starttime was considered
for the schedule

this could lead to the job running every minute instead of the
correct schedule

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/admin/datastore: start the garbage_collection task with our helper

instead of manually, this has the advantage that we now set
the jobstate correctly and can return with an error if it is
currently running (instead of failing in the task)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

server/gc_job: add 'to_stdout'

we will use this for the manual api call

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

backup/{dynamic, fixed}_index: improve error message for small index files

index files that were smaller than their respective header size,
would fail with

"failed to fill whole buffer"

instead now check explicitely for the size and fail with
"index too small (size)"

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

gc: mark_used_chunks: reduce implementation noise

try do reduce some unecessary lines, make match arms more precise so
one can faster see what's actually happening.

Also, avoid
> return Err(format_err!(...))
stuff, just use bail!()

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

garbage collect: improve index error messages

so that in case of a broken index file, the user knows which it is

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

log rotate task: make task archive limits be binary based

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

log rotate task: adapt internal jobstate ID, set worker one to None for now

as we have only one logrotate task currently..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server: implement access log rotation with re-open via command socket

re-use the future we already have for task log rotation to trigger
it.

Move the FileLogger in ApiConfig into an Arc, so that we can actually
update it and REST using the new one.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server: write main daemon PID to run directory

so that we can easily get the main PID of the last recently launched
daemon. Will be used to get the control socket of that one for access
lgo rotate in a future patch

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

command socket: make create_control_socket private

this is internal for now, use the comanndo socket struct
implementation, and ideally not a new one but the existing ones
created in the proxy and api daemons.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server: use generalized commando socket for worker tasks commands

Allows to extend the use of that socket in the future, e.g., for log
rotate re-open signaling.

To reflect this we use a more general name, and change the commandos
to a more clear namespace.

Both are actually somewhat a breaking change, but the single real
world issue it should be able to cause is, that one won't be able to
stop task from older daemons, which still use the older abstract
socket name format.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>