import: add -delete-snapshot parameter

This deletes a snapshot on *success*, done directly in the
CLI handler, as the rollback/delete on failure is already
happening inside the plugin's import method.

migrate: replace target ip parameter with sshinfo parameter

migrate: snapshot parameter for use with replication

migrate: cleanup: $free is always defined

migrate: query transfer stream formats

api: add import/export format querying

migrate: snapshot parameter for incremental transfer

migrate: use pvesm import/export for zfs

The only leftover zfs specific part here is the zfs format
type parameter.

free: added snapshot parameter

pvesm: import/export commands

Revert "Include incremental zfs send in storage_migrate."

This reverts commit 4537523b5af8846a6de659e718ab1a81db882e1b.

We want to use send/receive for this - patch will follow.

do not install replication code

The code introduces a cyclic package dependency, so we need to
move it to pve-manager package.

volume_snapshot_list: remove $ip parameter

We want to handle ssh connections somewhere else (not inside the
storage plugins).

Revert "Include new storage function volume_send."

This reverts commit b76774e57fe66a483a7544ec5a05ba2e998eb836.

Revert "Add ip parameter in zfs_request to execute on remote host."

This reverts commit c4bb4a3d1999c600565865313a7c1e1dc58a1cb8.

Revert "Add function volume_snapshot_delete_remote."

This reverts commit 4bd0b38f53f41fb8dfd4a6a6a3748e332b7727eb.

Revert "Include pve-replica cronjob."

This reverts commit fd69be974c30e43837dddff50a1c378514923359.

PVE::ReplicationTools::update_conf - correctly catch exception

ReplicationTools.pm: call PVE::INotify::nodename inside methods

so that we can overwrite it using Test::MockModule. This makes writing
regression tests easier.

ReplicationTools.pm_ do not pass $local_node to volume_snapshot_list

ReplicationTools.pm: rename $get_guestconfig to get_guest_config

make it a real sub

rename get_syncable_guestdisks to get_replicatable_volumes

ReplicationTools: use get_replicatable_volumes()

PVE::ReplicationTools::get_node_ip - do not pass noerr to PVE::Cluster::remote_node_ip()

We need an IP address.

PVE::ReplicationTools - s/delet/delete/

use consistent snapshot prefix for replicas

PVE::ReplicationTools::destroy_all_snapshots - never delete local disks

PVE::ReplicationTools::sync_guest - do not add snapname to disks_status

Because it is not used at all.

PVE::ReplicationTools:sync_disk - use $lastsync instead of $job->{lastsync}

Because tghis is the parsed (untainted) value, and we pass this a parameter
to cleanup_snapshot.

PVE::ReplicationTools::sync_guest - use integer compare for lastsync

PVE::ReplicationTools::get_snapshot - remove dead code

This function makes no sense and is not used.

PVE::ReplicationTools: new helper get_ssh_cmd()

PVE::ReplicationTools::cleanup_snapshot - make sure ip is defined

use 'eq' instead of regex for simple equality test.

PVE::ReplicationTools - coding style cleanup

PVE::ReplicationTools::get_node_ip() - fix arguments for mtunnel

PVE::ReplicationTools - add missing "use PVE::INotify;"

PVE::ReplicationTools - remove unused var $cluster_nodes

PVE::ReplicationTools - only use required modules (remove Time::Local)

PVE::ReplicationTools - remove useless call to cfs_update

PVE::API2::Storage::Replication - add reasonable permission checks

pvesr run: remove wrong permission check

pvesr: move destroy_job into API class, remove wrong permission checks.

PVE::API2::Storage::Replication->jobs(): return array

pvesr: rename list => jobs, call API

to avoid code duplication. I also removed the functioanlity to query
jobs on other nodes, because it is clumsy and not really needed.

PVE::API2::Storage::Replication - add directory index

renamed: PVE/API2/StorageReplication.pm -> PVE/API2/Storage/Replication.pm

bump version to 5.0-4

replica: get_syncable_disks: skip disks with replica=0

replica: add missing import

replica: cleanup

Include pve-replica cronjob.

This is the timer for pvesr run.

Include incremental zfs send in storage_migrate.

When replica is enabled and the target host is the reptarget,
the most VM data are on the new target.

This patch will include storage asynchronous replication.

It is possible to synchronise a volume to an other node in a defined interval.
So if a node fail there will be an copy of the volumes from a VM
on an other node.
With this copy it is possible to start the VM on this node.

Add replicate as new storage feature.

This feature shows that the storage can send and receive images.

Add function volume_snapshot_delete_remote.

This function we need for replica to handle snapshots on remote nodes.

Add ip parameter in zfs_request to execute on remote host.

We need this function to delete remote snapshots.

Include new storage function volume_snapshot_list.

Returns a list of snapshots (youngest snap first) form a given volid.
It is possible to use a prefix to filter the list.

Include new storage function volume_send.

If the storage backend support import and export
we can send the contend to a remote host.

bump version to 5.0-3

fix run_command return code handling

bump version to 5.0-2

rbd: fix rados df parser for luminous

bump version to 5.0-1

buildsys: update make upload target for stretch

remove immutable flag also for subvols on directory storage

or else the removal of such templates (with rootfs size 0) fails

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 4.0-76

rbd: fix exit from 'rbd ls -l' parser

bump version to 4.0-75

rbd: minor regex fixup

rbd: fix typo

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

rbd: use consistent image name schemes

since we allow vm-ID-whatever when allocating images, we
should also include those when listing them.

note: '@' is reserved for snapshots in ceph, so it is safe to
skip lines including an '@' in the image name.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

rbd: use 'rbd ls' without '-l' to find free names

with more than a few images, 'rbd ls -l' gets rather slow
compared to a simple 'rbd ls'. since we only need to check
existing image names for finding a free one, the latter is
sufficient.

example with ~400 rbd images:
$ time rbd ls -p ceph-vm > /dev/null
real    0m0.027s
user    0m0.012s
sys     0m0.008s

$ time rbd ls -l -p ceph-vm > /dev/null
real    0m5.250s
user    0m1.632s
sys     0m0.584s

a linked clone of two disks on the same setup accordingly
also shows a massive speedup:

$ time qm clone 1000 10000 -snap test
create linked clone of drive scsi0 (ceph-vm:vm-1000-disk-2)
clone vm-1000-disk-2: vm-1000-disk-2 snapname test to
vm-10000-disk-1
create linked clone of drive scsi1 (ceph-vm:vm-1000-disk-1)
clone vm-1000-disk-1: vm-1000-disk-1 snapname test to
vm-10000-disk-2

real    0m11.157s
user    0m3.752s
sys     0m1.308s

$ time qm clone 1000 10000 -snap test
create linked clone of drive scsi1 (ceph-vm:vm-1000-disk-1)
clone vm-1000-disk-1: vm-1000-disk-1 snapname test to
vm-10000-disk-1
create linked clone of drive scsi0 (ceph-vm:vm-1000-disk-2)
clone vm-1000-disk-2: vm-1000-disk-2 snapname test to
vm-10000-disk-2

real    0m0.872s
user    0m0.652s
sys     0m0.096s

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 4.0-47

fix bug #1280: Can't locate object method "root@pam"

This was introduced by commit 04a13668b9b6e15d3aed36ba00ad538b99a9dc15.

buildsys: use gzip -n to disable timestamps

buildsys: use fakeroot for dpkg-deb

buildsys: make job safety

extract_vzdump_config: handle RE consistently

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

weaken matching for vzdump config extract filename

to allow "pvesm extractconfig filename" when in the dump
directory.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 4.0-73

PVE::Storage: new helper check_volume_access()

Copied from PVE::RPCEnvironment to avoid cyclic dependency
(pve-storgae => pve-access-control => pve-storage).

fixes for new PVE::RPCEnvironment implementation

Use PVE::RPCEnvironment->is_worker() instead of
PVE::RPCEnvironment::is_worker().

fix #1252: rbd: delete snapshots when using krbd

Fix RBD resize with krbd option enabled.

With krbd we resize volume and tell QemuSever to notify running QEMU
with zero $size by returning undef.

Signed-off-by: Dmitry Petuhov <mityapetuhov@gmail.com>

bump version to 4.0-72

add setup_environment hook to CLIHandler class

and use run_cli_handler instead of depreciated run_cli.

sheepdog : volume_resize return if running

fix : https://forum.proxmox.com/threads/sheepdog-disk-resize-not-working.31760/

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix #1099 (again): map cciss/c0d0 to cciss!c0d0

there was still a point where we got the wrong string
on createosd we get the devpath (/dev/cciss/c0d0)

but need the info from get_disks, which looks in /sys/block
where it needs to be cciss!c0d0

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix #1135: always clean up ZFS snapshots on migration

otherwise there are situations where snapshots are left
behind for already sent volumes. also include more warnings.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

storage_migrate: use bs=4k to copy images with dd

The default block size is 512 bytes, and is quite slow. We do not
want to use blocks bigger than 4k, because we want to detect empty
blocks (sparse).

bump version to 4.0-71

Add function get_blockdev.

This function will return you the block device of a given partition path.

Add new function part_num

With this function you get the partnum of a dev.

bump version to 4.0-70

change regression test for crucial

as we now can parse the wearout

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add crucial smart attribute for wear leveling

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

correct regression test for sandisk ssds

in my initial patch series for the regression test, i failed to notice
the missing attributes for the sandisk ssds (which had not been parsed)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

catch '---' in threshold output of sandisk ssds

sandisk ssds have a default threshold of '---' on nearly all fields,
which prevents our parsing

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump versuion to 4.0-69