add info about bluestore to disklist

this patch adds information about bluestore/db/wal to the disklist,
and we set the journal count only when we have at least one journal on
the disk

also adapt the regression tests

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

pvesm: remove superfluous space after N/A

pvesm status: improve output and its format

Add column names at top of output, this allows easier understanding
of what each column means.

Use leading spaces on the percentage column so that this is lined up.

Switch out the 1/0 from the active column with the actual status
(active, inactive, disabled).

Show N/A if storage is disabled.

Use $res->{total} instead of calculating a sum of used and available.

Remove wrong rounding - if we want to display 2 digits from the
fractional part we would need to add 0.005 not 0.5, this made the
result quite wrong depending on the storage size.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

storage_info: return also disabled storages

in the Storage/Status API call we have a 'enabled' param which had no
effect because storage_info only returned enabled one way or the
other.

This affected also `pvesm status` which uses the Storage/Status API
call.

So push also disabled storages to the info array but only activate
and get their status when thei are enabled.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 5.0-12

fix ceph_version_parser

Ceph change ceph version output.

full output of 'ceph --version'

Luminous 'ceph version 12.1.0 (262617c9f16c55e863693258061c5b25dea5b086) luminous (dev)'
Jewel   'ceph version 10.2.7 (50e863e0f4bc8f4b9e31156de690d765af245185)'

bump version to 5.0-11

Fixes: #1415 do not block pvestatd when nfsd is stopped on the server side
Wrap the -d test with run_or_get_killed sub this test
can make pvestatd hang on I/O wait when a nfsd process is stopped

This might help with other file based storages, for instance
directory storages on unplugged USB devices.

bump version to 5.0-10

PVE::Storage::storage_can_replicate - hew helper

bump version to 5.0-9

import/export: drop the 'subvol/' prefix from 'tar+size'

It was deemed an unnecessary overhead.

Also add a comment about the effect (or lack thereof) of
user namespace uid mappings.

Fix #1424: allow tar.xz templates upload

bump version to 5.0-8

import/export: use our standard tar flags

Custom plugins may reuse
@PVE::Storage::Plugin::COMMON_TAR_FLAGS as well.

storage_migrate: with_snapshots parameter

Since the migration code already has to check snapshots and
we still want to be able to migrate raw disks, we cannot
always pass -with-snapshots 1.

bump version to 5.0-7

re-add changes to PVE/Storage/Plugin.pm (fixup previous commit)

This was removed by accident.

bump version to 5.0-6

migrate: only use import/export

This replaces the path-based and lvm/thin special cases in
storage_migrate with the already generic-enough zfspool
case which is already using import/export and does not
directly depend on zfs anymore.

lvm: import/export: implement raw+size format

import/export: new formats: raw, tar, qcow2, vmdk

All of them have a `+size` prefix to show that they're not
"pure raw" or "pure tar" streams, because some storage may
need to know in advance how much storage to allocate.
The formats are explained in comments.

PVE::Storage::Plugin now has default implementations for
these for non-incremental streams exporting the current
(rather than a snapshot state).
To use qcow2 or vmdk formats $with_snapshots must be true,
otherwise raw/tar will be used where $with_snapshots must
be false.

export: add missing format query call parameter

build: remove fakeroot from dpkg-buildpackage

build: add substitution variable

build: reformat b-d and depends

change from dpkg-deb to dpkg-buildpackage

add debian directory and move the respective files there and add
missing (rules, compat).

Move control.in to control as no sed search & replacement must be
done. Add a Source section to the control file.

Rename the "check" Makefile target to "test" so that the dh_auto_test
helper executes it automatically on build.
Move the verify_api check to this target.

Cleanup the "clean" target and remove outdated commented out stuff

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

migrate: insecure: untaint the received ip/port

migrate: don't include the hostname in rsync's rsh command

migrate: use the correct IP with rsync

ZFSPoolPlugin.pm: remove unused code

PVE::Storage::volume_snapshot_list - remove comment about ordering

Some storage types supports arbitrary snapshot trees, so there is
no strict ordering relation.

PVE::Storage::volume_snapshot_list - remove $prefix parameter

Always return the full list of snapshots. Users of this library can easily
filter with a simply 'grep' instead.

remove unused replication code (moved to pve-manager)

build: run tests when building deb

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

disktest: exit with -1 in case of failures

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

zfstest: exit with -1 in case of failures

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

zfstest: skip tests if ZFS is not available

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

zfstest: remove unused variable

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

zfstest: fix typos

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

zfstest: use truncate instead of dd

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

zfstest: improve reset behaviour

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

zfstest: wait for devices to settle after creation

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

zfstest: fix test description

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

zfstest: fix test 17 to actually deactivate storage

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

fix #1379: return size as number instead of string

this caused the webinterface to sort alphabetically instead of numerical
when sorting by image size

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

migrate: add insecure parameter

This uses mtunnel's new -run-command parameter in
combination with the ssh-info's network cidr option to use
an unprotected TCP port.

migrate: implement rate limiting

Note that it does not apply to the local 'mkdir && cp' case.

bump version to 5.0-5

Revert "free: added snapshot parameter"

This reverts commit a26e1abc70e087a7f42e8197ef080222990a680f.

migrate: cleanup & fixup

The volume_snapshot call was missing the condition when to
create a snapshot. Make the whole logic easier to follow
with a $migration_snapshot boolean.
Also get rid of the remote `pvesm free -snapshot` call by
using import's new -delete-snapshot parameter.

import: add -delete-snapshot parameter

This deletes a snapshot on *success*, done directly in the
CLI handler, as the rollback/delete on failure is already
happening inside the plugin's import method.

migrate: replace target ip parameter with sshinfo parameter

migrate: snapshot parameter for use with replication

migrate: cleanup: $free is always defined

migrate: query transfer stream formats

api: add import/export format querying

migrate: snapshot parameter for incremental transfer

migrate: use pvesm import/export for zfs

The only leftover zfs specific part here is the zfs format
type parameter.

free: added snapshot parameter

pvesm: import/export commands

Revert "Include incremental zfs send in storage_migrate."

This reverts commit 4537523b5af8846a6de659e718ab1a81db882e1b.

We want to use send/receive for this - patch will follow.

do not install replication code

The code introduces a cyclic package dependency, so we need to
move it to pve-manager package.

volume_snapshot_list: remove $ip parameter

We want to handle ssh connections somewhere else (not inside the
storage plugins).

Revert "Include new storage function volume_send."

This reverts commit b76774e57fe66a483a7544ec5a05ba2e998eb836.

Revert "Add ip parameter in zfs_request to execute on remote host."

This reverts commit c4bb4a3d1999c600565865313a7c1e1dc58a1cb8.

Revert "Add function volume_snapshot_delete_remote."

This reverts commit 4bd0b38f53f41fb8dfd4a6a6a3748e332b7727eb.

Revert "Include pve-replica cronjob."

This reverts commit fd69be974c30e43837dddff50a1c378514923359.

PVE::ReplicationTools::update_conf - correctly catch exception

ReplicationTools.pm: call PVE::INotify::nodename inside methods

so that we can overwrite it using Test::MockModule. This makes writing
regression tests easier.

ReplicationTools.pm_ do not pass $local_node to volume_snapshot_list

ReplicationTools.pm: rename $get_guestconfig to get_guest_config

make it a real sub

rename get_syncable_guestdisks to get_replicatable_volumes

ReplicationTools: use get_replicatable_volumes()

PVE::ReplicationTools::get_node_ip - do not pass noerr to PVE::Cluster::remote_node_ip()

We need an IP address.

PVE::ReplicationTools - s/delet/delete/

use consistent snapshot prefix for replicas

PVE::ReplicationTools::destroy_all_snapshots - never delete local disks

PVE::ReplicationTools::sync_guest - do not add snapname to disks_status

Because it is not used at all.

PVE::ReplicationTools:sync_disk - use $lastsync instead of $job->{lastsync}

Because tghis is the parsed (untainted) value, and we pass this a parameter
to cleanup_snapshot.

PVE::ReplicationTools::sync_guest - use integer compare for lastsync

PVE::ReplicationTools::get_snapshot - remove dead code

This function makes no sense and is not used.

PVE::ReplicationTools: new helper get_ssh_cmd()

PVE::ReplicationTools::cleanup_snapshot - make sure ip is defined

use 'eq' instead of regex for simple equality test.

PVE::ReplicationTools - coding style cleanup

PVE::ReplicationTools::get_node_ip() - fix arguments for mtunnel

PVE::ReplicationTools - add missing "use PVE::INotify;"

PVE::ReplicationTools - remove unused var $cluster_nodes

PVE::ReplicationTools - only use required modules (remove Time::Local)

PVE::ReplicationTools - remove useless call to cfs_update

PVE::API2::Storage::Replication - add reasonable permission checks

pvesr run: remove wrong permission check

pvesr: move destroy_job into API class, remove wrong permission checks.

PVE::API2::Storage::Replication->jobs(): return array

pvesr: rename list => jobs, call API

to avoid code duplication. I also removed the functioanlity to query
jobs on other nodes, because it is clumsy and not really needed.

PVE::API2::Storage::Replication - add directory index

renamed: PVE/API2/StorageReplication.pm -> PVE/API2/Storage/Replication.pm

bump version to 5.0-4

replica: get_syncable_disks: skip disks with replica=0