depend on crossbeam-channel

docs: html: show "Proxmox Backup" in navi for small devices

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: html: improve css for small displays

fixed-width navi/toc links were not switched in color for small width
displays, and thus they were barely readable as the background
switches to dark for small widths.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: buildsys: add more dependencies to html target

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: conf: fix conf for new alabaster theme version

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: html: adapt custom css

highlighting the current chapter and some other small formatting
improvements

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: index: hide todo list toctree and genindex

I do not found another way to disable inclusion in the sidebar...

The genindex information is alredy provided through glossary

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: html: adapt sidebar in index page

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

use jobstate mechanism for verify/garbage_collection schedules

also changes:
* correct comment about reset (replace 'sync' with 'action')
* check schedule change correctly (only when it is actually changed)

with this changes, we can drop the 'lookup_last_worker' method

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

proxy: fix error handling in prune scheduling

we rely on the jobstate handling to write the error of the worker
into its state file, but we used '?' here in a block which does not
return the error to the block, but to the function/closure instead

so if a prune job failed because of such an '?', we did not write
into the statefile and got a wrong state there

instead use our try_block! macro that wraps the code in a closure

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 0.8.20-1

src/client/pull.rs: decode, verify and write in a separate threads

To maximize throughput.

src/backup/data_blob.rs: add is_encrypted helper

remove DummyCatalogWriter

we're using an `Option` instead now

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

benchmark: use compressable data to get more realistic result

And add a benchmatrk to test chunk verify speed (decompress+sha256).

src/backup/data_blob.rs: improve decompress speed

docs: add onlineHelp to some panels

name sections according to the title or content and add
the respective onlineHelp to the following panels:
- datastore
- user management
- ACL
- backup remote

Signed-off-by: Oguz Bektas <o.bektas@proxmox.com>
Reviewed-By: Dominik Csapak <d.csapak@proxmox.com>
Tested-By: Dominik Csapak <d.csapak@proxmox.com>

bump version to 0.8.19-1

src/api2/reader.rs: use std::fs::read instead of tokio::fs::read

Because it is about 10%& faster this way.

bump version to 0.8.18-1

src/client/pull.rs: avoid duplicate downloads using in memory HashSet

src/client/pull.rs: allow up to 20 concurrent download streams

remote_chunk_reader.rs: use Arc for cache_hint to make clone faster

docs: add version and date to HTML index

Similar to the PDF output or the Proxmox VE docs.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 0.8.17-1

src/client/pull.rs: remove temporary manifest

src/client/pull.rs: open temporary manifest with truncate(true)

To delete any data if the file already exists.

bump proxmox version to 0.4.1

fix #3017: check array boundaries before using

else we panic here

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

debian/control: update

src/backup/chunk_store.rs: disable debug output

src/backup/datastore.rs - open_with_path: use Path instead of str

src/backup/datastore.rs: new method open_with_path

To make testing easier.

depend on proxmox 0.4.0

datastore/prune schedules: use JobState for tracking of schedules

like the sync jobs, so that if an admin configures a schedule it
really starts the next time that time is reached not immediately

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

Admin Guide: Add some more detailed info throughout

- Mention config files for: datastores, users, acl,
  remotes, syncjobs
- Expand a little bit on SMART and smartmontools package
- Explain acl config
- Include line in network stating why a bond would be set up
- Note the use of ifupdown2 for network config, and the potential
  need to install it on other systems
- Add note to PVE integration, specifying where to refer to for VM and
  CT backups

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

Small formatting fix up

- Fix permission image.
- Change alt text for ZFS
- Change note block to match the others

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

fix #3015: allow user self-service

listing, updating or deleting a user is now possible for the user
itself, in addition to higher-privileged users that have appropriate
privileges on '/access/users'.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

role api: fix description

wrongly copy-pasted at some point

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

add verification scheduling to proxmox-backup-proxy

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>

ui: add verify-schedule field to edit datastore form

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>

api2: make verify_schedule deletable

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>

api2: add optional verify-schdule field to create/update datastore endpoint

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>

add verify_schedule field to DataStoreConfig

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>

api2: add VERIFY_SCHEDULE_SCHEMA

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>

fix #3014: allow DataStoreAdmins to list DS config

filtered by those they are privileged enough to read individually. this
allows such users to configure prune/GC schedules via the GUI (the API
already allowed it previously).

permission-wise, a user with this privilege can already:
- list all stores they have access to (returns just name/comment)
- read the config of each store they have access to individually
(returns full config of that datastore + digest of whole config)

but combines them to
- read configs of all datastores they have access to (returns full
config of those datastores + digest of whole config)

user that have AUDIT on just /datastore without propagate can now no
longer read all configurations (but this could be added it back, it just
seems to make little sense to me).

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

depend on pxar 0.6.1

move compute_file_csum to src/tools.rs

depend on proxmox 0.3.9

fix #2942: implement lacp bond mode and bond_xmit_hash_policy

this was not yet implemented, should be compatible with pve and the gui

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/network: add bond-primary parameter

needed for 'active-backup' bond mode

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/pull: make pull worker abortable

by selecting between the pull_future and the abort future

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix #2870: renew tickets in HttpClient

by packing the auth into a RwLock and starting a background
future that renews the ticket every 15 minutes

we still use the BroadcastFuture for the first ticket and only
if that is finished we start the scheduled future

we have to store an abort handle for the renewal future and abort it when
the http client is dropped, so we do not request new tickets forever

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

always allow retrieving (censored) subscription info

like we do for PVE. this is visible on the dashboard, and caused 403 on
each update which bothers me when looking at the dev console.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

fix #2957: allow Sys.Audit access to node RRD

this is the same privilege needed to query the node status.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: fix epilogs fixme comment

restructured text comment syntax, i.e., everything it cannot parse is
a comment, is a real PITA!

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

src/backup/data_blob.rs: expose verify_crc again

SnapshotVerifyState: use enum for state

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

backup: check all referenced chunks actually exist

A client can omit uploading chunks in the "known_chunks" list, those
then also won't be written on the server side. Check all those chunks
mentioned in the index but not uploaded for existance and report an
error if they don't exist instead of marking a potentially broken backup
as "successful".

This is only important if the base snapshot references corrupted chunks,
but has not been negatively verified. Also, it is important to only
verify this at the end, *after* all index writers are closed, since only
then can it be guaranteed that no GC will sweep referenced chunks away.

If a chunk is found missing, also mark the previous backup with a
verification failure, since we know the missing chunk has to referenced
in it (only way it could have been inserted to known_chunks with
checked=false). This has the benefit of automatically doing a
full-upload backup if the user attempts to retry after seeing the new
error, instead of requiring a manual verify or forget.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

backup: check verify state of previous backup before allowing reuse

Do not allow clients to reuse chunks from the previous backup if it has
a failed validation result. This would result in a new "successful"
backup that potentially references broken chunks.

If the previous backup has not been verified, assume it is fine and
continue on.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

rename BackupDir::new_with_group to BackupDir::with_group

src/backup/backup_info.rs: new BackupDir::with_rfc3339

debian/control: update

avoid chrono dependency, depend on proxmox 0.3.8

- remove chrono dependency

- depend on proxmox 0.3.8

- remove epoch_now, epoch_now_u64 and epoch_now_f64

- remove tm_editor (moved to proxmox crate)

- use new helpers from proxmox 0.3.8
  * epoch_i64 and epoch_f64
  * parse_rfc3339
  * epoch_to_rfc3339_utc
  * strftime_local

- BackupDir changes:
  * store epoch and rfc3339 string instead of DateTime
  * backup_time_to_string now return a Result
  * remove unnecessary TryFrom<(BackupGroup, i64)> for BackupDir

- DynamicIndexHeader: change ctime to i64

- FixedIndexHeader: change ctime to i64

www/OnlineHelpInfo.js: update for syncjobs

debian/control: update hyper dependency

bump version to 0.8.16-1

BackupDir: make constructor fallible

since converting from i64 epoch timestamp to DateTime is not always
possible. previously, passing invalid backup-time from client to server
(or vice-versa) panicked the corresponding tokio task. now we get proper
error messages including the invalid timestamp.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

handle invalid mtime when formating entries

otherwise operations like catalog shell panic when viewing pxar archives
containing such entries, e.g. with mtime very far ahead into the future.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

use non-panicky timestamp_opt where appropriate

by either printing the original, out-of-range timestamp as-is, or
bailing with a proper error message instead of panicking.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

don't truncate DateTime nanoseconds

where we don't care about them anyway..

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

catalog dump: preserve original mtime

even if it can't be handled by chrono. silently replacing it with epoch
0 is confusing..

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

ui/docs: add onlineHelp button for syncjobs

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

docs: add section for calendar events

and move the info defined in 'Schedules' there,
the explanation of calendar events is inspired by the systemd.time
manpage and the pve docs (especially the examples are mostly
copied/adapted from there)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: fix calendarevent examples

*/x is valid syntax for us, but not systemd, so to not confuse users
write it like systemd would accept it

also an timespec must at least have hours and minutes

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tools/systemd/parse_time: enable */x syntax for calendar events

we support this in pve, so also support it here to have a more
consistent syntax

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

docs: set html img width limitation through css

avoid hardcoding width in the docs itself, so that other render
outputs can choose another size.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: do not render TODOs in release builts

they are not useful for endusers...

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: set GmbH as copyright holder

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: use alabaster theme

It's not all perfect (yet) but way cleaner and simpler to use than
the sphinx one.

Custom do the scrolling for the fixed side bar and make some other
slight adjustments.

Main issue for now is that the "Developer Appendix" is always shown
in the navigation tree, but we only include that toctree for
devbuilds...

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

faq: fix typo

In note block:
    Proxmox Packup Server -> Proxmox Backup Server

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

benchmark: update TLS reference speed

We are now faster with recent patches.

server: set http2 max frame size

else we get the default of 16k, which is quite low for our use case.
this improves the TLS upload benchmark speed by about 30-40% for me.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: faq: spell out PBS

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Add section "FAQ"

Adds an FAQ to the docs, based on question that have
been appearing on the forum.

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

examples/upload-speed.rs: pass new benchmark parameter

bump version to 0.8.15-1

verify: fix done count

We need to filter out benchmark group earlier

verify: skip benchmark directory

add benchmark flag to backup creation for proper cleanup when running a benchmark

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>
Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

mount: fix mount subcommand

fixes the error, "manifest does not contain
file 'X.pxar'", that occurs when trying to mount
a pxar archive with 'proxmox-backup-client mount':

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

ui: only mark backup encrypted if there are any files

if we have a stale backup without an manifest, we do not count
the remaining files in the backup dir anymore, but this means
we now have to check here if there are really any encrypted

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

improve server->client tcp performance for high latency links

similar to the other fix, if we do not set the buffer size manually,
we get better performance for high latency connections

restore benchmark from f.gruenbicher:

no delay, without patch: ~50MB/s
no delay, with patch: ~50MB/s
25ms delay, without patch: ~11MB/s
25ms delay, with path: ~50MB/s

my own restore benchmark:

no delay, without patch: ~1.5GiB/s
no delay, with patch: ~1.5GiB/s
25ms delay, without patch: 30MiB/s
25ms delay, with patch: ~950MiB/s

for some more details about those benchmarks see
https://lists.proxmox.com/pipermail/pbs-devel/2020-September/000600.html

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix #2983: improve tcp performance

by leaving the buffer sizes on default, we get much better tcp performance
for high latency links

throughput is still impacted by latency, but much less so when
leaving the sizes at default.
the disadvantage is slightly higher memory usage of the server
(details below)

my local benchmarks (proxmox-backup-client benchmark):

pbs client:
PVE Host
Epyc 7351P (16core/32thread)
64GB Memory

pbs server:
VM on Host
1 Socket, 4 Cores (Host CPU type)
4GB Memory

average of 3 runs, rounded to MB/s
                    | no delay |     1ms |     5ms |     10ms |    25ms |
without this patch  |  230MB/s |  55MB/s |  13MB/s |    7MB/s |   3MB/s |
with this patch     |  293MB/s | 293MB/s | 249MB/s |  241MB/s | 104MB/s |

memory usage (resident memory) of proxmox-backup-proxy:

                    | peak during benchmarks | after benchmarks |
without this patch  |                  144MB |            100MB |
with this patch     |                  145MB |            130MB |

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/backup/chunk_store.rs: use ? insteadf of unwrap

clean up .bad file handling in sweep_unused_chunks

Code cleanup, no functional change intended.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

backup: ensure no fixed index writers are left over either

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

buildsys: upload client packages also to PMG repo

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: calendar event: disable matchFieldWidth for picker

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: calendar event: enable more complex examples again

now that they (should) work.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>