completion: ACME plugin type: comment out http type for now, not useful

It may make sense in the future, e.g., if the built-in standalone
type is not enough, e.g., as HTTP**s**, HTTP 2 or even QUIC (HTTP 3)
is wanted in some setups, but for now there's no scenario where one
would profit from adding a new HTTP plugin, especially as it requires
the `data` property to be set, which makes no sense..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

manager: acme plugin: remove ID completion helper from add command

we cannot add a plugin with an existing ID so this completion helper
is rather counterproductive...

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

config: acme: drop now unused foreach_dns_plugin

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

acme: use proxmox-acme-plugins and load schema from there

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api: move AcmeChallengeSchema to acme types module

It will be reused in a later patch in another module which should not
depend on the actual API implementation (ugly and cyclic)

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api: acme: rustfmt

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

acme: fix bad nonce retry counter

Actually return the error on the 3rd try.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

fix #3296: use proxy client to retrieve changelog

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

fix #3296: use proxy for subscriptions

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>

fix 3296: add http_proxy to node config, and provide a cli

Signed-off-by: Dylan Whyte <d.whyte@proxmox.com>
Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

cleanup src/api2/node/config.rs

- add return type
- fix permissions
- fix descriptions

move api related type/regx definition from backup_info.rs to src/api2/types/mod.rs

api2/types: add TAPE_RESTORE_SNAPSHOT_SCHEMA

which is 'store:type/id/time'

needed to refactor SNAPSHOT_PATH_REGEX_STR from backup_info

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/tape/restore: return backup manifest in try_restore_snapshot_archive

we'll use that for partial snapshot restore

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

progress: shorter format

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

progress: add current group to output

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: online help info: surpress warnings during scan

We get lots of warnings due to sphinx complaining about missing
includes for generated synopsis. We do not reference to any of those
for now, so we can ignore that now and supress all standard and
warning output.

Note: Errors are still reported.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix #3331: improve progress for last snapshot in group

especially for the last group, without this the progress would report:

"percentage done: 100.00% (1 of 2 groups, 1 of 1 group snapshots)"

instead of the more logical

"percentage done: 100.00% (2 of 2 groups)"

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

use build.rs to pass REPOID to rustc-env

file-restore: add debug mode with serial access

Set PBS_QEMU_DEBUG=1 on a command that starts a VM and then connect to
the debug root shell via:
  minicom -D \unix#/run/proxmox-backup/file-restore-serial-10.sock
or similar.

Note that this requires 'proxmox-backup-restore-image-debug' to work,
the postinst script is updated to also generate the corresponding image.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

d/control: update for cargo manifest update

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

file-restore: support more drives

A PCI bus can only support up to 32 devices, so excluding built-in
devices that left us with a maximum of about 25 drives. By adding a new
PCI bridge every 32 devices (starting at bridge ID 2 to avoid conflicts
with automatic bridges), we can theoretically support up to 8096 drives.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

file-restore: add more RAM for VMs with many drives or debug

The guest kernel requires more memory depending on how many disks are
attached. 256 seems to be enough for basically any reasonable and
unreasonable amount of disks though.

For debug instance, make it 1G, as these are never started automatically
anyway, and need at least 512MB since the initramfs (especially when
including a debug build of the daemon) is substantially bigger.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

file-restore: try to kill VM when stale

Helps to clean up a VM that has crashed, is not responding to vsock API
calls, but still has a running QEMU instance.

We always check the process commandline to ensure we don't kill a random
process that took over the PID.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

make sure URI paths start with a slash

Otherwise we get an empty error message.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tape: improve inline docs for READ POSITION LONG

tape: use LOCATE(16) SCSI command

Turns out this works on LTO4 and newer.

client: use build_authority in build_uri

so we don't need to also duplicate the IPv6 bracket logic

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

call create_run_dir() at daemon startup

cleanup: split SimpleHttp client into extra file

api2/tape/restore: remove unnecessary params from (try_)restore_snapshot_archive

we do not need them

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

api2/tape/restore: factor out check_datastore_privs

so that we can reuse it

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape/media_catalog: add helpers to look for snapshot/chunk files

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape/drive: add 'move_to_file' to TapeDriver trait

so that we can directly move to a specified file on the tape

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

http proxy: add necessary brackets for IPv6 proxy

proxmox_restore_daemon: mount ntfs with 'utf8' option

otherwise, the kernel driver exposes file names as iso 8859-1,
but we want to have them as utf8.

This mapping should always work, since UTF16 can be cleanly converted
to UTF8.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

client/http_client: add necessary brackets

if we are given a 'naked' ipv6 without square brackets around it,
we need to add them ourselves, since the address is ambigious otherwise
when we add the port.

e.g. giving 'fe80::1' as address we arrive at the url (with the default port)
'https://fe80::1:8007/'

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

use api_string_type macro

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

docs: tape: clarify LTO-4/5 support

some features we need (e.g. READ POSITION long form) are only officially
available with LTO-5, but work on many LTO-4 drives, so move LTO-4 to
'best-effort' support.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape/restore: optimize chunk restore behaviour

by checking the 'checked_chunks' before trying to write to disk
and by doing the existance check in the parallel handler. This way,
we do not have to check the existance of a chunk multiple times
(if multiple source datastores gets restored to the same target
datastore) and also we do not have to wait on the stat before reading
the next chunk.

We have to change the &WorkerTask to an Arc though, otherwise we
cannot log to the worker from the parallel handler

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 1.1.6-2

update debian/control

Revert "temporarily disable broken test"

This reverts commit 888d89e2ddd340413f65c155170f844f78b3649f.

The code this depends on should now be available.

fix permissions set in create_run_dir

This directory needs to be owned by the backup user instead
of root.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 1.1.6-1

move basic ACME types into src/api2/types/acme.rs

And rename AccountName into AcmeAccountName.

tape restore: do not verify restored files

Because this is too slow and causes the tape motor to stop. Instead,
remove the verify_state from the manifest.

tape restore: add restore speed to logs

tape restore: write datastore in separate thread

tape restore: split restore_chunk_archive

Split out a separate function scan_chunk_archive() for catalog restores.

Note: Required, because we need to optimize restore_chunk_archive() to
write datastore in separate threads (else thape drive will stop during restore)

daily-update: check acme certificates

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

ui: add certificate & acme view

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add acme commands to proxmox-backup-manager

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add node/{node}/config api path

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add node/{node}/certificates api call

API like in PVE:

GET    .../info             => current cert information
POST   .../custom           => upload custom certificate
DELETE .../custom           => delete custom certificate
POST   .../acme/certificate => order acme certificate
PUT    .../acme/certificate => renew expiring acme cert

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add config/acme api path

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

node config cleanups

add node config

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

cleanup acme client

add acme client

This is the highlevel part using proxmox-acme-rs to create
requests and our hyper code to issue them to the acme
server.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add acme config

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

docs: user-management: add note about untrusted certificates for webauthn

Since currently it works fine with untrusted certs, but that may change
anytime.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape backup job: fix typo in error message

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bin: use extract_output_format where necessary

else we sometimes forget to remove it from the 'params' variable
and use that further, running into 'invalid parameter' errors

found by giving 'output-format' paramter to proxmox-tape status

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add ctime and size function to IndexFile trait

Signed-off-by: Hannes Laimer <h.laimer@proxmox.com>

ui: tape: handle tapes in changers without barcode

by checking for definedness of the label (tapes without barcode
have the empty string as label-text) and falling back to the
source slot for the load action

Note: Changed the load-slot API from PUT to POST

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

add dns alias schema

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

temporarily disable broken test

this test was added before the used NodeConfig schema was committed,
cannot work...

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.1.5-3

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

file restore: log which filesystems we support

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

file-restore: use 'norecovery' for xfs filesystem

This allows mounting XFS partitons with 'dirty' states, like from a
running VM. Otherwise XFS tries to write recovery information, which
fails on a read-only mount.

Tested-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
Tested-by: Dominik Csapak <d.csapak@proxmox.com>
Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

add 'config file format' to tools::config

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

config::acl: make /system/certificates a valid path

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump d/control

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Cargo.toml: depend on proxmox-acme-rs

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

catalog shell: replace LoopState with ControlFlow

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools: add ControlFlow type

modeled after std::ops::ControlFlow

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

CertInfo: add is_expired_after_epoch

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

CertInfo: add not_{after, before}_unix

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

config: factor out certificate writing

for reuse in the certificate api

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools::fs::scan_subdir: use nix::Error instead of anyhow

allows using SysError trait on it

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

systemd: add reload_unit

via try-reload-or-restart

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools/http: make user agent configurable

tools/http: set USER_AGENT inside request

bump version to 1.1.5-2

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api: add schema for http proxy configuration - HTTP_PROXY_SCHEMA

http: add helper to parse proxy configuration

HttpsConnector: add proxy authorization support

buildsys: add pbs-client repo in upload target

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

file-restore: strip .img.fidx suffix from drive serials

Drive serials have a character limit of 20, longer names like
"drive-virtio0.img.fidx" or "drive-efidisk0.img.fidx" would get cut off.

Fix this by removing the suffix, it is not necessary to uniquely
identify an image.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

bump version to 1.1.5-1

tools/sgutils2: add size workaround for mode_sense

Some drives will always return the number of bytes given in the
allocation_length field, but correctly report the data len in the mode
sense header. Simply ignore the excess data.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

tape: improve inline docs

tape: add read_medium_configuration_page() to detect WORM media

And use it inside format_media().

file-restore: fix package name for kernel/initramfs image

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

tape: remove MediumType struct, which is only valid on IBM drives

HP drives do not return this information.

Note: This breaks format on WORM media, because we have not way
to detect WOREM media (how?).

bump version to 1.1.4-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tools/sgutils2: improve error messages

include the expected and unexpected sizes in the error message,
so that it's easier to debug in case of an error

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

file-restore: use less memory for VM and reboot on panic

With the vsock-pkt-buffer fix in proxmox-backup-restore-image, we can
use way less memory for the VM without risking any crashes. 128 MiB
seems to be the lowest it will go and still be fully reliable.

While at it, add the "panic=1" argument to the kernel command line, so
in case the kernel *does* run out of memory, it will at least restart
automatically.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>

file-restore: exit with code 1 in case streaming fails

This way the task gets marked as "failed" in PVE.

Signed-off-by: Stefan Reiter <s.reiter@proxmox.com>