src/backup/file_formats.rs: remove signed chunks

We can include signature in the manifest instead (patch will follow).

docs: fix repo paths

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

improve administration guide

fixing some typos and grammar errors.

added example file layout for datastores.

Signed-off-by: Oguz Bektas <o.bektas@proxmox.com>

client: introduce --keyfd parameter

This is a more convenient way to pass along the key when
creating encrypted backups of unprivileged containers in PVE
where the unprivileged user namespace cannot access
`/etc/pve/priv`.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/backup/crypt_config.rs - compute_digest: make it more secure

ui: ds/content: disable some button for in-progress backup

We cannot verify, download, file-browse backups which are currently
in progress.

'Forget' could work but is probably not desirable?

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: ds/content: do not count in-progress backups for last made one

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: ds/content: show spinner for backups in progress

use the fact that they do not have a size property at all

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

more xdg cleanup and encryption parameter improvements

Have a single common function to get the BaseDirectories
instance and a wrapper for `find()` and `place()` which
wrap the error with some context.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

client: xdg usage: place() vs find()

place() is used when creating a file, as it will create
intermediate directories, only use it when actually placing
a new file.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/client/backup_writer.rs - upload_stream: add crypt_mode

client: fix schema to include --crypt-mode parameter

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: less confusing logic

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

DataStore::load_manifest: also return CryptMode

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add DataBlob::crypt_mode

and move use statements up

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

remove CryptMode::sign_only special method

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/backup/manifest.rs: support old encrypted property

Just to avoid confusion.

introduce a CryptMode enum

This also replaces the recently introduced --encryption
parameter on the client with a --crypt-mode parameter.

This can be "none", "encrypt" or "sign-only".

Note that this introduces various changes in the API types
which previously did not take the above distinction into
account properly:

Both `BackupContent` and the manifest's `FileInfo`:
    lose `encryption: Option<bool>`
    gain `crypt_mode: Option<CryptMode>`

Within the backup manifest itself, the "crypt-mode" property
will always be set.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

docs: add getting help section

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: features: minor wording

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: drop initial out of context sentence

the footer mentions sphinx and this feels weird to read as user
(which doesn't really cares what language/format the source of the
docs are in)

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 0.8.0-1

src/tools/runtime.rs: implement  get_runtime_with_builder

bump version to  0.7.0-1

src/client/remote_chunk_reader.rs: implement clone for RemoteChunkReader

docs: move todolist to own document, don't link in release build

It is always build for html, but not linked if the devbuild tag isn't
set. This tag is set in the Makefile if the $(BUILD_MODE) variable
isn't "release".

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

client: add --encryption boolen parameter

This can be used to explicitly disable encryption even if a
default key file exists in ~/.config.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

client: use default encryption key if it is available

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

client: move key management into separate module

and use api macro for methods and Kdf type

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

minor style & whitespace fixups

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

docs: sync up copyright years

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: todo: avoid leaking build details, link only

One can just search for them... If really wanted, we could set it to
true for dev builds (i.e., no DEB_VERSION defined)

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/rules: do not compress .pdf files

as else the docs .pdf is a PITA to use for some endusers..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: do not hardcode version

use the debian package ones, if not defined we're doing a dev build

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: add missing dependencies for lvm, smartmontools and ZFS

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: rework and add a bit to introduction

Contributed-by: Daniela Häsler <daniela@proxmox.com>
[ discussed and edited some parts live with me, Thomas ]
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: fix index title

Contributed-by: Daniela Häsler <daniela@proxmox.com>
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: ZFS create: set name-field minLength to 3 to match backend

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: ZFS create: use correct typeParameter name for disk selector

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api: disks: indentation fixup

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: ZFS list: fix details top-bar button handler

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: buildsys: actually include PBS.window.ZFSCreate component in source

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

src/bin/proxmox_backup_client/catalog.rs: split out catalog code

ui: fix glitch on some zoom steps

if the baseCls is not 'x-plain' the background of the flex
element is white, and on some zoom steps it gets taller
than one pixel and appears as a white line

making it have the plain baseCls, so it does not get any
background color and is always invisible

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add beta text with link to bugtracker

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 0.6.0-1

make ReadChunk not require mutable self.

That way we can reduce lock contentions because we lock for much shorter
times.

ui: increase timeout for snapshot listing

the api call can take a very long time (for now), until we can
improve that, increase the timeout from the default of 30s

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/bin/proxmox_backup_client/task.rs: split out task command

src/bin/proxmox_backup_client/mount.rs: split out mount code

ui: consistently spell Datastore without space between words

Not even hard feeling on 'Datastore' vs. 'Data Store' but consistency
is desired in such names.
Talked shortly with Dominik, which also slightly favored the one
without space - so just go for that one.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: disk create: sync and improve 'add-datastore' checkbox label

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

proxmox-backup-client: add benchmark command

This is just a start, We need to add more useful things here...

pxar: fixup 'vanished-file' logic a bit

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

pxar: fix missing newlines in warnings

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

DataStoreConfig.js: add verify button

DataStoreContent.js: add verify button

src/api2/admin/datastore.rs: avoid slash in UPID strings

bump version to 0.5.0-1

fix typo

partially revert commit 1f82f9b7b5d231da22a541432d5617cb303c0000

do it backwards compatible. Also, code was wrong because FixedIndexWriter
still computed old style csums...

ui: allow to Forget (delete) backup snapshots.

pxar: deal with files changing size during archiving

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 0.4.0-1

depend on proxmox 0.1.41

ui: add ZFS management

adds a ZFSList and ZFSCreate class, modeled after the one in pve

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix test output

field separator for pools is always a tab when using -H

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/backup/verify.rs: do not stop on server shutdown

This is a read-only task, so there is no need to stop.

WorkerTask: add warnings and count them

so that we have one level more between errors and OK

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: dashboard: remove 'wobbling' of tasks that have the same duration

by sorting them by upid after sorting by duration

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: dashboard: use last value for holes in history graph

it is only designed to be a quick overview, so having holes there
is not really pretty and since we do not even show any date
for the points, we can simply reuse the last value for holes

the 'real' graph with holes is still available on the
DataStoreStatistics panel

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix typo

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

improve 'debug' parameter

instead of checking on '1' or 'true', check that it is there and not
'0' and 'false'. this allows using simply

https://foo:8007/?debug

instead of

https://foo:8007/?debug=1

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: automatically add 'localhost' as nodename for all panels

this will make refactoring easier for panels that are reused from pve
(where we always have a hostname)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: show proper loadMask for DataStoreContent

we have to use the correct store, and we have to manually show the
error (since monStoreErrors only works for Proxmox Proxies)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/backup/index.rs: add compute_csum

And use it for fixed and dynamic index. Please note that this
changes checksums for fixed indexes, so restore older backups
will fails now (not backward compatible).

examples/upload-speed.rs: fix compile error

src/api2/backup.rs: call register_chunk in previous download api

src/backup/index.rs: add chunk_info method

update backup api for incremental backup

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>
Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

allow to abort verify jobs

And improve job description rendering on gui.

ui: file browser: expand child node if only one archive present

Get the first visible node through the Ext.data.NodeInterface defined
"firstChild" element and expand that if there's only one archive
present.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ui: file browser: adapt height for 4:3 instead of weird 2:1 ratio

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

extract create_download_response API helper

and put it into a new "api2::helpers" module.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

[chore] bump to using pxar 0.2.0

This breaks all previously created pxar archives!

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/bin/proxmox-backup-manager.rs: implement verify

src/api2/admin/datastore.rs: add verify api

src/backup/backup_info.rs: impl Display for BackupGroup

update to pxar 0.1.9, update ReadAt implementations

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 0.3.0-1

add incremental backup support

To support incremental backups (where not all chunks are sent to the
server), a new parameter "reuse-csum" is introduced on the
"create_fixed_index" API call. When set and equal to last backups'
checksum, the backup writer clones the data from the last index of this
archive file, and only updates chunks it actually receives.

In incremental mode some checks usually done on closing an index cannot
be made, since they would be inaccurate.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

remove debug println

fix overflow panic during upload

if *only* data chunks are registered (high chance during incremental
backup), then chunk_count might be one lower then upload_stat.count
because of the zero chunk being unconditionally uploaded but not used.
Thus when subtracting the two, an overflow would occur.

In general, don't let the client make the server panic, instead just set
duplicates to 0.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

api2/node/disks/zfs: check if default zfs mount path exists

and if it does bail, because otherwise we would get an
error on mounting and have a zpool that is not imported
and disks that are used

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: fix missing deleteEmpty on SyncJobEdit

else we cannot delete those fields

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ui: add pxar FileBrowser

for unencrypted backups, enables browsing the pxar archives and
downloading single files from it

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/admin/datastore: add pxar-file-download api call

streams a file from a pxar file of an unencrypted backup

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/admin/datastore: add 'catalog' api call

returns the dir listing of the given filepath of the backup snapshot
the filepath has to be base64 encoded or 'root'

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add From<&DirEntryAttribute to CatalogEntryType and make it pub(crate)

we want to get a string representation of the DirEntryAttribute
like 'f' for file, etc. and since we have such a mapping already
in the CatalogEntryType, use that

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

derive Clone for the LocalChunkReader

this will be necessary for accessing local pxar behind didx files

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>