d/control: bump versioned dependency of proxmox-widget-toolkit

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

src/tools/parallel_handler.rs: remove lifetime hacks, require 'static

In theory, one can do std::mem::forget, and ignore the drop handler. With
the lifetime hack, this could result in a crash.

So we simply require 'static lifetime now (futures also needs that).

d/control: add pve-eslint to build dependencies

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

src/tools/parallel_handler.rs: cleanup check_abort code

rrd: fix integer underflow

Causes a panic if last_update is smaller than RRD_DATA_ENTRIES*reso,
which (I believe) can happen when inserting the first value for a DB.

Clamp the value to 0 in that case.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

ParallelHandler: check for errors during thread join

Fix a potential bug where errors that happen after the SendHandle has
been dropped while doing the thread join might have been ignored.
Requires internal check_abort to be moved out of 'impl SendHandle' since
we only have the Mutex left, not the SendHandle.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

www: do incremental lint for development, full for build

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

eslint fixes

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

datastore: gc: avoid unsafe call into libc, use epoch_i64 helper

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

datastore: gc: comment exclusive process lock

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

assume correct backup, avoid verifying chunk existance

This can slow things down by a lot on setups with (relatively) high
seek time, in the order of doubling the backup times if cache isn't
populated with the last backups chunk inode info.

Effectively there's nothing known this protects us from in the
codebase. The only thing which was theorized about was the case
where a really long running backup job (over 24 hours) is still
running and writing new chunks, not indexed yet anywhere, then an
update (or manual action) triggers a reload of the proxy. There was
some theory that then a GC in the new daemon would not know about the
oldest writer in the old one, and thus use a less strict atime limit
for chunk sweeping - opening up a window for deleting chunks from the
long running backup.
But, this simply cannot happen as we have a per datastore process
wide flock, which is acquired shared by backup jobs and exclusive by
GC. In the same process GC and backup can both get it, as it has a
process locking granularity. If there's an old daemon with a writer,
that also has the lock open shared, and so no GC in the new process
can get exclusive access to it.

So, with that confirmed we have no need for a "half-assed"
verification in the backup finish step. Rather, we plan to add an
opt-in "full verify each backup on finish" option (see #2988)

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

src/api2/reader.rs: fix speedtest description

src/api2/backup.rs: use block_in_place for remove_backup

upload_chunk: use block_in_place

ui: RemoteEdit: remove port field and parse it from host field

use our hostport regexes to parse out a potential port from the host field
and send it individually

this makes for a simpler and cleaner ui

this additionally checks the field for valid input before sending it to
the backend

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: RemoteView: improve host columns

do not show the default (8007) port
and only add brackets [] to ipv6 addresses if there is a port

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/types: fix DNS_NAME Regexes

We forgot to put braces around the DNS_NAME regex, and in
DNS_NAME_OR_IP_REGEX

this is wrong because the regex

 ^foo|bar$

matches 'foo' at the beginning and 'bar' at the end, so either

 foobaz
 bazbar

would match. only

 ^(foo|bar)$

 matches only 'foo' and 'bar'

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix ipv6 handling for remotes/sync jobs

* add square brackets to ipv6 adresses in BackupRepository if they not
already have some (we save them without in the remote config)

* in get_pull_parameters, we now create a BackupRepository first and use
  those values (which does the [] mapping), this also has the advantage
  that we have one place less were we hardcode 8007 as port

* in the ui, add square brackets for ipv6 adresses for remotes

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/client/pull.rs: log progress

www/index.hbs: add nodename to title

ui: improve running task overlay

by setting a maxHeight+scrollable
(i used 500px to be still visible on our 'min screen size' 1280x720)

and by disabling emptyText deferral, which now shows the text instantly

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tasks: improve behaviour on upgrade

when upgrading from a version where we stored all tasks in the 'active' file,
we did not completly account for finished tasks still there

we should update the file when encountering any finished task in
'active' as well as filter them out on the api call (if they get through)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

paperkey: add html output

examples: fix HttpClient::new usage

src/tools.rs: make command_output return Vec<u8>

And add a new helper to return output as string.

ui: add port support for remotes

by adding a field to RemoteEdit and showing it in the grid

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

client/remote: add support to specify port number

this adds the ability to add port numbers in the backup repo spec
as well as remotes, so that user that are behind a
NAT/Firewall/Reverse proxy can still use it

also adds some explanation and examples to the docs to make it clearer
for h2 client i left the localhost:8007 part, since it is not
configurable where we bind to

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api: disks/zfs: check template exsits before enabling zfs-import service

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api2/node/disks/zfs: instantiate import service

When creating a new zpool for a datastore, also instantiate an
import-unit for it. This helps in cases where '/etc/zfs/zool.cache'
get corrupted and thus the pool is not imported upon boot.

This patch needs the corresponding addition of 'zfs-import@.service' in
the zfsonlinux repository.

Suggested-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

ui: add task description for logrotation

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: RemoteEdit: make comment and fingerprint deletable

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

require square brackets for ipv6 addresses

we need this, because we append the port to this to get a target url
e.g. we print

format!("https://{}:8007/", address)

if address is now an ipv6 (e.g. fe80::1) it would become

https://fe80::1:8007/ which is a valid ipv6 on its own

by using square brackets we get:

https://[fe80::1]:8007/ which now connects to the correct ip/port

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

docs: fix wrong user in repository explanation

we use 'root@pam' by default, not 'root'

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

server/worker_task: fix panic on slice range when index is empty

since len() and MAX_INDEX_TASKS are both usize, they underflow
instead of getting negative values

instead check the sizes and set them accordingly

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

proxmox-backup-proxy: add task archive rotation

this starts a task once a day at "00:00" that rotates the task log
archive if it is bigger than 500k

if we want, we can make the schedule/size limit/etc. configurable,
but for now it's ok to set fixed values for that

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

server/worker_task: remove unecessary read_task_list

since there are no users of this anymore and we now have a nicer
TaskListInfoIterator to use, we can drop this function

this also means that 'update_active_workers' does not need to return
a list anymore since we never used that result besides in
read_task_list

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/status: use the TaskListInfoIterator here

this means that limiting with epoch now works correctly
also change the api type to i64, since that is what the starttime is
saved as

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/node/tasks: use TaskListInfoIterator instead of read_task_list

this makes the filtering/limiting much nicer and readable

since we now have potentially an 'infinite' amount of tasks we iterate over,
and cannot now beforehand how many there are, we return the total count
as always 1 higher then requested iff we are not at the end (this is
the case when the amount of entries is smaller than the requested limit)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

server/worker_task: add TaskListInfoIterator

this is an iterator that reads/parses/updates the task list as
necessary and returns the tasks in descending order (newest first)

it does this by using our logrotate iterator and using a vecdeque

we can use this to iterate over all tasks, even if they are in the
archive and even if the archive is logrotated but only read
as much as we need

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

server/worker_task: write older tasks into archive file

instead of removing tasks beyond the 1000 that are in the index
write them into an archive file by appending them at the end
this way we can later still read them

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

server/worker_task: split task list file into two

one for only the active tasks and one for up to 1000 finished tasks

factor out the parsing of a task file (we will later need this again)
and use iterator combinators for easier code

we now sort the tasks ascending (this will become important in a later patch)
but reverse (for now) it to keep compatibility

this code also omits the converting into an intermittent hash
since it cannot really happen that we have duplicate tasks in this list
(since the call is locked by an flock, and it is the only place where we
write into the lists)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

server/worker_task: refactor locking of the task list

also add the functionality of having a 'shared' (read) lock for the list
we will need this later

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tools: add logrotate module

this is a helper to rotate and iterate over log files
there is an iterator for open filehandles as well as
only the filename

also it has the possibilty to rotate them
for compression, zstd is used

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

proxmox_backup_client key: allow to generate paperkey for master key

proxmox_backup_client key: add new paper-key command

parallel_handler: clippy: 'while_let_loop'

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

parallel_handler: explicit Arc::clone

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

parallel_handler: formatting cleanup, doc comment typo fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

depend on proxmox 0.4.2

server/worker_task: factor out task list rendering

we will need this later again

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/node/tasks: move userfilter to function signature

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/tools/parallel_handler.rs: remove unnecessary Sync bound

src/bin/proxmox_backup_client/benchmark.rs: avoid compiler warning

src/backup/verify.rs: use ParallelHandler to verify chunks

src/backup/verify.rs: cleanup use clause

src/client/pull.rs: simplify code

src/tools/parallel_handler.rs: remove static lifetime bound from handler_fn

src/tools/parallel_handler.rs: join all threads in drop handler

src/tools/parallel_handler.rs: remove unnecessary Sync trait bound

ui: some more eslint auto-fixes

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: some more eslint auto-fixes

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: some more eslint auto-fixes

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: some eslint auto-fixes

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 0.8.21-1

debian/control: update

src/client/pull.rs: use new ParallelHandler

src/tools/parallel_handler.rs: execute closure inside a thread pool

depend on crossbeam-channel

docs: html: show "Proxmox Backup" in navi for small devices

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: html: improve css for small displays

fixed-width navi/toc links were not switched in color for small width
displays, and thus they were barely readable as the background
switches to dark for small widths.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: buildsys: add more dependencies to html target

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: conf: fix conf for new alabaster theme version

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: html: adapt custom css

highlighting the current chapter and some other small formatting
improvements

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: index: hide todo list toctree and genindex

I do not found another way to disable inclusion in the sidebar...

The genindex information is alredy provided through glossary

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: html: adapt sidebar in index page

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

use jobstate mechanism for verify/garbage_collection schedules

also changes:
* correct comment about reset (replace 'sync' with 'action')
* check schedule change correctly (only when it is actually changed)

with this changes, we can drop the 'lookup_last_worker' method

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

proxy: fix error handling in prune scheduling

we rely on the jobstate handling to write the error of the worker
into its state file, but we used '?' here in a block which does not
return the error to the block, but to the function/closure instead

so if a prune job failed because of such an '?', we did not write
into the statefile and got a wrong state there

instead use our try_block! macro that wraps the code in a closure

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 0.8.20-1

src/client/pull.rs: decode, verify and write in a separate threads

To maximize throughput.

src/backup/data_blob.rs: add is_encrypted helper

remove DummyCatalogWriter

we're using an `Option` instead now

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

benchmark: use compressable data to get more realistic result

And add a benchmatrk to test chunk verify speed (decompress+sha256).

src/backup/data_blob.rs: improve decompress speed

docs: add onlineHelp to some panels

name sections according to the title or content and add
the respective onlineHelp to the following panels:
- datastore
- user management
- ACL
- backup remote

Signed-off-by: Oguz Bektas <o.bektas@proxmox.com>
Reviewed-By: Dominik Csapak <d.csapak@proxmox.com>
Tested-By: Dominik Csapak <d.csapak@proxmox.com>

bump version to 0.8.19-1

src/api2/reader.rs: use std::fs::read instead of tokio::fs::read

Because it is about 10%& faster this way.

bump version to 0.8.18-1

src/client/pull.rs: avoid duplicate downloads using in memory HashSet

src/client/pull.rs: allow up to 20 concurrent download streams

remote_chunk_reader.rs: use Arc for cache_hint to make clone faster

docs: add version and date to HTML index

Similar to the PDF output or the Proxmox VE docs.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 0.8.17-1

src/client/pull.rs: remove temporary manifest

src/client/pull.rs: open temporary manifest with truncate(true)

To delete any data if the file already exists.

bump proxmox version to 0.4.1

fix #3017: check array boundaries before using

else we panic here

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

debian/control: update

src/backup/chunk_store.rs: disable debug output

src/backup/datastore.rs - open_with_path: use Path instead of str

src/backup/datastore.rs: new method open_with_path

To make testing easier.