rbd: allow to use client custom ceph conf for each storeid

If you want to use different ceph storage,
something they have differents values like ms_nocrc = true.(they are also others ones).

The client need to specify theses special options to be able to connect

This patch allow to create a ceph config file for each storeid in

/etc/pve/priv/ceph/$storeid.conf

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

Add support for custom storage plugins

PVE team cannot support specialized vendor-specific storage
plugins because of lack of hardware. But we can allow users to
add own plugins for their storages without need to rewrite any
PVE code and thus ease PVE updates to them.

Idea of this patch is to add folder /usr/share/perl5/PVE/Storage/Custom
where user can place his plugins and PVE will automatically load
them on start or warn if it could not and continue. Maybe we could
even load all plugins (except PVE::Storage::Plugin itself) this way,
because current storage plugins are not really plugins, if they
need to be explicitly loaded in PVE code :-).

Custom plugins MUST have api() method returning version for which
it was designed. If API changes from PVE side, module is just not
being registered and warnig message is printed do log, so user have
to update module. Until module update, corresponding storage will
just disappear from PVE, so it shall not impose any data damage
because of API change.

This approach works (with some limitations) if plugin works in
generic PVE way: full control of volumes lifecycle. And will not
currently work for custom plugins like iSCSI, which needs to select
pre-existing volumes. Maybe someone will add more flexible way to
pve-manager to select input elements for storage plugins to target
this.

Currently tested with my NetApp plugin.

Signed-off-by: Dmitry Petuhov <mityapetuhov@gmail.com>

bump version to 4.0-57

remove compression option from lvm migration

ssh(1) mentions that compression is only disirable on slow
connections.

since migration from cluster node to cluster node needs a
fast network anyway, we can drop the compression for
a speed improvement

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix spelling / grammar

bump version to 4.0-56

Remove unused pve-storage-monhost format

rbd: use pve-storage-portal-dns-list for monhost

This way we get parameter verification on monitor addresses
as well as the ability to pass multiple `--monhost`
arguments to `pvesm add`.

Since our '-list' schemas default to using commas we now
need to properly support these, so all uses of the monhost
property now replace all of semicolon, space or comma into
the currently required character.
This should fix the issues reported by Alwin Antreich on the
pve-user list.

Since this schema supports both ipv6+port notations we need
to make sure we convert to the bracket enclosed variant.
Added a helper for this.

rbd: path: don't build the entire path if we don't use it

fix indentation

add tagged_only option to LVM storage

to filter volumes by the 'pve-vm-ID' tag, which is set on
all volumes created via the PVE storage layer.

add check if format is defined to avoid warning

bump version to 4.0-55

fix #1033 storage_migrate on LVMThin - add die.

This is necessary to ensure the process will proper finished.

fix #1022 correct typo

bump version to 4.0-54

use correct ceph version command

"ceph version" retrieves the version from the cluster (i.e.,
from the queried monitor), but what is needed here is the
local ceph version, which is returned by "ceph --version".

bump version to 4.0-53

Dir storage creation: check for a sane path

Ideally we don't need this, but this with the directory
storage this is a user-input field which gets returned
by the storage's path() method which is used in various
external command calls.

split udevam command call

upload: whitelist filename chars instead of blacklisting

fix for storage migrate

remove the sparse parameter from dd.
This destroy the lvm volume.

also remove the free_disk this will later be done.

code cleanups

cleanup: improve error message

Add LVM-thin storage migration

It is now possibel to migrate LVM-thin volumes offline from one node to an other.
Also LVM what is used by Qemu.

fix 1012: dir: add mkdir option

By default a directory storage creates its path. In some
cases this can be undesired, mostly when storages have
nested paths (eg. a dir storage on a ZFS path or in an NFS
share, or inside custom mount points).
As a simple fix to this the 'mkdir' option (default ON)
can now be used to disable this behavior.

s/version_parser/ceph_version_parser/

bump version to 4.0-52

disable jewel image features when using krdb

otherwise mapping those images will fail. disabling the
features only needs to be done once per image, so it makes
sense to do this when creating the images.

unfortunately, the command does not work in hammer, so
it needs a version check for jewel or higher.

add ceph version helpers

bump version to 4.0-51

add pvesm extractconfig

add extract vzdump config methods

extract_vzdump_config_tar is an adapted combination
of tar_archive_search_conf() and the first part of
recover_config(), both from PVE::LXC::Create.

a compressed vma backup file needs special error
handling because vma exits as soon as it found the config
file, which the used decompressors treat as error.

docs: typo, newlines, cleanup

bump version to 4.0-50

DRBDPlugin: check_drbd_res() ignore info codes

Messages for return codes 1 to 99 are not considered an error.

rbd: fix error message

generate manpage with pve-doc-generator, bump version to 4.0-49

In path use parsed volname not the volid and add 'basevol'

add test PVE::Storage::path

Select test form command

It is possible to select the test what should run.
synopsis: run_test_zfspoolplugin.pl [<test_num> | <start_test_num> <end_test_num>]

bump version to 4.0-48

zfs_parse_zvol_list: simplify regex

fix zfs tests: isBase is a boolean flag

Add Tests for ZFSPoolPlugin

Change zfs path when link clone are used

The new naming is coherent to Dir plugin.

So if we make an licked clone the parent will be coded in the path of the storage.

Skip invalid property's in storage parser

There is no need to remove the hole storage, if one property is not valid.
Just ignore the property.

Add write_config, drop cfs_read_file

Use PVE::Storage::config() and the new
PVE::Storage::write_config() instead of cfs_read_file and
cfs_write_file with a hardcoded filename.

bump version to 4.0-47

Fix LXC migration from local subvol

This patch reconfigured the rsync parameters, so the fs keeps all settings and works recursive.

update changelog

Use array to run_command instead of a string.

Include all snapshots when migrate storage zfs to zfs.

bump version to 4.0-46

Use is_worker to decide default timeout for ZFS

Bump timeout to 1 hour if running in a worker and no timeout
specified.

bump version to 4.0-45

lvmthin: activate base volumes

create_base() uses '-ky' to prevent base images from being
activated by default, similar to snapshots. This means we
need to activate them like snapshots with the '-K' option.

bump version to 4.0-44

Remove content type container from GlusterFS.

 depend on thin-provisioning-tools, bump version to 4.0-43

bump version to 4.0-42

add sparseinit to has_feature

we will use this for determining
if we need to write zeros to a volume

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add lvmthinscan to CLI

bump version to 4.0-41

prepare storage for lvmthin gui

this patch adds an lvmthin scan to the api, so that we can get a list
of thinpools for a specific vg via an api call

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 4.0-40

storage_migrate: another ipv6 fix for an rsync command

bump version to 4.0-39

increase timeout for ZFSPugin

This is useful on large zfs pools because they take longer to response.

lvmthin: allow to clone from snapshot

remove option maxfiles from zfspool plugin

It makse no sense, because this plugin is unable to store backup files.

bump version to 4.0-38

nfs: is_mounted: match /^nfs.*/ type

This is consistent with the old behavior.

bump version to 4.0-37

nfs/glusterfs: is_mounted fixes

The parse_proc_mounts change made the glusterfs is_mounted
check fail (causing it to be shown as inactive on the GUI).
The NFS check was stricter (not allowing a trailing / in the
source anymore).

set RELEASE=4.1

bump version to 4.0-36

Revert "Change zfspoolplugin path when snapshot is given."

This reverts commit fdd31ce7594ffc4ccea68260091989a3cbc07cdb.

The assumption was wrong. Turned out that we cannot assume
snapshots are always mounted there.

bump version to 4.0-35

allow rx permissions for group/world on .subvol dirs

vdisk_alloc comes in with an umask of 0037, which means the
.subvol dir has permissions 0740, which means that the root
directory of containers has permissions 0740, essentially
preventing the users inside a container from accessing
anything.

bump version to 4.0-34

Change zfspoolplugin path when snapshot is given.

Zfs subvol snapshots are always mounted under $path_of_subvol/.zfs/$snapname

bump version to 4.0-33

Fixed ZFS over iSCSI snapshot rollback

I converted several zfs_request($class, ...) calls to $class->zfs_request(...) calls in ZFSPoolPlugin.pm and removed a superfluous $class parameter in ZFSPlugin.pm.

Fixes #816

Signed-off-by: Phillip Schichtel <phillip.public@schich.tel>

bump version to 4.0-32

make use of the new ProcFSTools::parse_proc_mounts

lvmthin: enable copy from snapshot feature

lvmthin: allow to acces snapshots in filesystem_path

lvmthin: fix used space (only use data%)

lvmthin: implement template/clone

new helper lvm_find_free_diskname()

lvmthin alloc_image: add additional test if VG exists

lvmthin: implement snapshot and rollback

lvmthin volume_resize: reuse code from parent class

white space cleanups

LvmThinPlugin: improve basic functionality, better code reuse

implement generic lvm_list_volumes()

This replace lvm_lvs, and return a list of all volumes. That way
we can reuse code for LvmThin.

add lvm thin plugin

move format registration to Plugin.pm

bump version to 4.0-31