fix #4259: mirror: add ignore-errors option

to make fetching errors from broken repositories non-fatal.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 0.4.0-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cli: add `mirror snapshot create-all` command

that creates a new snapshot for each configured mirror, collecting the
results and printing a summary at the end. this should be suitable for
usage in a cron job or timer-triggered unit, with no output on stderr
for 100% OK execution runs.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

cli: extract subscription key helper

for re-use in the (not-yet-created) create-all command.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

mirror: add --dry-run parameter

in dry-run mode, creating a snapshot will download (but not persist) the
Release files and any indices referenced within, but not download the
package files themselves. instead, any URLs that would still need to be
fetched are printed, and the statistics about to-be-fetched files and
bytes is updated accordingly.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

cargo: bump proxmox-apt dependency to 0.9.2

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

mirror: handle indices which are only available compressed

there are repositories out there that not only skip serving the
uncompressed version, but not even reference it in their Release
file(s).

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

mirror: use new architecture helper

in order to avoid having a list of arch-specific references on two
places.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

mirror: support acquiring indices by hash

requires proxmox-apt > 0.9.1, since earlier versions misdetect by-hash
support in the release file.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

mirror: skip failed, non Packages references

these contain extra data that is not that important for the main
repository use case - providing deb packages.

if they are not retrievable (e.g., Ubuntu *only* provides some of they
via by-hash, which proxmox-offline-mirror doesn't yet support) a warning
should be enough, instead of failing the whole snapshot creation.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

mirror: use xz multi decoder

Ubuntu's Packages.xz files require it, because they contain multiple
streams.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: expand/structure using medium section

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: clean: remove all $(PACKAGE)-*/ directories

to ensure we also get the old, left over ones on a new version bump

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: add lintian-overrides for shipped javascript libraries

albei we may want to really reuse the system ones..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: fix line length of helper description

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: pass all relevant debs to linitan

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: offline keys: add info about minimum product version that got activation support

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: fix font build-dependencies for docs

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: offline media: fix source text width to 100cc

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: add minimal sample nginx config

if users want to use their offline medium via http in their internal
network.

nginx config is based off the one we use for download.proxmox.com.

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

build: track docs build-dependencies

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: fix too-short title underline

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 0.3.0-1

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: correct CLI titles

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

rename proxmox-apt-repo to proxmox-offline-mirror-helper

and move it into its own package

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

pool sync: improve progress report

print at least once every 30s to avoid no progress at all on small
mirrors that are part of a big pool.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: add snapshot term

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: adapt to pool/mirror changes

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: intro: avoid office@ mail address for sales related questions

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: offline-media: improve read- and understandability

by rephrasing parts to be easier to read or adding more context.

Signed-off-by: Aaron Lauterer <a.lauterer@proxmox.com>

docs: offline-keys: improve read- and understandabilty

By rephasing certain parts and splitting long sentences into smaller
ones.

Also changing "licensing server" to "subscription server".

Signed-off-by: Aaron Lauterer <a.lauterer@proxmox.com>

docs: installation: improve read- and understandabilty

This patch contains the larger changes, such as splitting longer
sentences and rewording some parts.

The headline for "Reuse a Proxmox Repository for Offline Mirror Tool"
has been changed to "Set up the Repository on non Proxmox bases
systems". Sounds a bit nicer and we are in the Proxmox Offline Mirror
docs anyway.

Signed-off-by: Aaron Lauterer <a.lauterer@proxmox.com>

docs: installation: fix typos, and other small changes

switch from `Proxmox projects` to `Proxmox solutions`.
Add missing words, such as `the` and drop `also`s.

And other small changes that don't affect the actual content or meaning.

Signed-off-by: Aaron Lauterer <a.lauterer@proxmox.com>

docs: introduction: rewrite for better readability

splitting long sentences, rephrasing and extending some parts

Signed-off-by: Aaron Lauterer <a.lauterer@proxmox.com>

docs: introduction: fix typos and missing words

adding `the` in a few places, dropping `also`s as they are almost always
just filler words.

Signed-off-by: Aaron Lauterer <a.lauterer@proxmox.com>

add .gitignore

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

pool: remove double quoting

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

rework pool handling

instead of having a .pool directory inside each mirror directory (both
on the mirror and medium side), instead

- specify a base directory for each mirror which can be shared
- create a .pool in this base directory
- create the mirror dir named after the mirror ID in this base directory
- adapt GC, wizard, .. accordingly

to re-use a shared pool on the medium side, hash the source mirror base
dir path to derive the destination pool .pool-XX directory name and
persist the resulting relative path in the medium state file.

pool: allow pool re-use

and improve the naming of the two dirs.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

clippy fix

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

fix typos in command invocation

noted while blindly pasting the output after setting up my first
mirror.

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

buildsys: dinstall target: install doc instead of lib package

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/rules: avoid compressing pdf files

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 0.2.0-1

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/rules: ensure DEB_VERSION and DEB_VERSION_UPSTREAM are available for docs

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: drop non-existing APT ref

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: also upload to pbs-client repo

it has the smallest impact if added to a plain, vanilla Debian
installation (e.g., no newer ifupdown or smartmontools package
getting pulled in automatically)

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: mirror: mention auto-debian-base selection as tip

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: intro: reference config file switch/env variable directly

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: ship config manpage as proxmox-offline-mirror.cfg.5

as `mirror.cfg.5` is rather overly generic

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

setup: clarify that a *new* medium ID is queried

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

setup: avoid duplicated medium ID query loop

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

wizard: query base path

and derive the rest using the ID, and ignore already existing
directories.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

allow overriding config file path via env

by setting PROXMOX_OFFLINE_MIRROR_CONFIG

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: intro: add terminology heading

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: add installation chapter

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: add intro to offline mirrors and media chapters

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: restructur/expand offline key chapter

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

wizard: add option to (de)select all mirrors

else it gets a bit repetitive for the common case.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

wizard: add --config parameter

instead of prompting for the file path.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

cargo fmt

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

wizard: optionally auto-add Debian mirrors

when adding a Proxmox product mirror.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

wizard: extract debian release/variant/.. handling

for re-use when adding a Proxmox product.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

wizard: re-order distros

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

medium: implement `remove .. --remove-data`

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: mirror: fix --dir in command example

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

subscription: use "-" for POM product URL

it isn't displayed anywhere currently anyway, so more future proofing

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

apt repo: offline key: support PMG

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: split out chapters into different files

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

keys: improve refresh behaviour

refresh mirror key(s) before looking for a valid one to use for offline key
refreshing, and disentagle these two parts of "refreshing keys".

also, refreshing is no longer async since dropping hyper, so drop the
async/await-s accordingly.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

add some more comments

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

keys: add 'show' command

to display full info that is available about a given key.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

keys: extend list return value

by decoding the contained subscription info and doing some rough checks.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: extend, reformat and various small fixes

Fix some left overs from copying this over from PBS, note how to
acquire such a key by contacting sales@proxmox.com, add a paragraph
with some description about what this tool(ing) actually does to the
introduction section, ...

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs: fix title case and heading markers

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

docs pdf: avoid extra blank page on section/chapter boundary

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: add break/depends for doc split

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

buildsys: fix d/control in build dir, ensuring docs package build

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: update

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

wizard: remove meaningless actions

adding a medium without any mirrors defined doesn't make sense, and
offering add/remove when there is nothing to add/remove doesn't either.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

wizard: ask for medium ID up front

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

keys: improve output on add/refresh

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

switch to production signing key

shipped by proxmox-archive-keyring

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

packaging: split docs into -docs package

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

cargo fmt

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

mirror: use max_size everywhere

with generous limits for the (In)Release files, and using the reference
sizes from authenticated files from then on to prevent a malicious MITM
from DOSing the mirroring client via memory exhaustion.

update dependencies to get rid of hyper

proxmox-http to 0.7, proxmox-router to 1.3 and proxmox-subscription to
0.3.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 0.1.0-1

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump proxmox-apt to 0.9.1

for more resilient Release file parsing

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

clippy fixes

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

update to proxmox-sys 0.4

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: make help top-level header

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: expand, improve formatting

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

docs: document key handling

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

remove accidentally committed pycache

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

d/rules: drop docgen, add fail-missing

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

add bash completion

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

update d/control

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

add docs

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

add remaining missing renames

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>