refactor disk/storage checks for Disk API

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

pvesm iscsiscan: fix cli parameters

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

bump version to 5.0-29

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

find_free_diskname: fixup regex match operator

Co-developed-by: Stoiko Ivanov <s.ivanov@proxmox.com>
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Fix #1925: untaint rbd JSON output

Reviewed-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
Tested-by: Stoiko Ivanov <s.ivanov@proxmox.com>
Reviewed-by: Stoiko Ivanov <s.ivanov@proxmox.com>
Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

bump version to 5.0-28

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix #1912: find the partition instead of guessing it

instead of using '$dev1' as partition,
get the information from /sys/block/$dev

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

get_vm_disk_number: follow up cleanup

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Fix #1913: get_vm_disk_number: clone plugindata to avoid side effects

Accessing a non-existing 'format' key in plugindata (e.g., in LvmThinPlugin),
created it by autovivication, thus breaking the fallback to the default value
'raw' upon any following access.

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

bump version to 5.0-27

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

rbd: krbd_feature_disable was not disabling features

$features is actually an array reference, so use it as one.
This broke creation and migration of disks on rbd storages

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

refactor is_valid_vm_diskname to private simpler sub

This was newly introduced and is only used once, so having a
wantarray return mechanism, without ever using it or knowing for sure
if this may help with reuse of the method is not ideal.

Make the sub a module private one just returning the vm disk number
or explicit undef. Pass it the $suffix variable, to avoid recomputing
it every time called by out caller's loop.

If there's re-use potential in the future we can actually decide what
makes sense to return.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

refactor finding next diskname for all plugins

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

next diskname: start ids with 0 to honor MAX_VOLUMES_PER_GUEST

else we can only have MAX_VOLUMES_PER_GUEST-1 disk per VMID,
not tragic but possible confusing

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

make max number of disks a constant

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

add vm_diskname helpers (get_next, is_valid)

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

bump version to 5.0-26

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Addition to fix #1895, skip image if no owner

Non conforming image names are not ignored anymore by the new rbd_ls
implementation, this patch adds the old behaviour.

This fix is a temporary workaround and should be removed, once the new
image name parser is ready.

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

rdb: followup cleanups

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

rbd: remove unused size conversion function

since the json output gives the sizes in bytes, we do not
need to convert anymore

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix #1895: use json for 'rbd ls -l' and 'rbd info'

since ceph changed the plain output format for 12.2.8
we have to change the code anyway, and when were at it,
we can change it to the (hopefully) more robust json output

Co-authored-by: Alwin Antreich <a.antreich@proxmox.com>
Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

test: zfspoolplugin: fix perl lib path for test

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 5.0-25

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add missing parameter descriptions

cleanup return property descriptions

PVE::API2::Storage::Content::index - document return values

add return description for zfs detail api call

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

refactor diskmanagement lock_file calls

so that we only have one place where we reference the lockfile
and the timeout

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add 'single' raidlevel for zfs

the syntax for creating a pool with a single disk is
not the same as for mirror, so let the user select it
explicitely

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

rename raidlvl to raidlevel

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix descriptions of api calls

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

cleanup descriptions

fix schema - 'string-list' is a format, not a type

add API for ZFS management

a list, a detail and a create api call

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

rename lvmcreate to lvmthincreate for lvm thin

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

PVE::API2::Storage::Status::index - document return schema properties

And add property "used_fraction" - I want to use that for the CLI tool.

Fix #1858: lvm_find_free_diskname check for base

lvm_find_free_diskname only checked for existing volumes starting with 'vm-',
and not with 'base-'.

Unify implementation with other Plugins.

Signed-off-by: Stoiko Ivanov <s.ivanov@proxmox.com>

LIO: followup: various small cleanups

move two loop bodies from

if (condition) {
    ...
}

too
next if !condition;

...

to save an indentation level

rename variables to a bit shorter version, i.e.:
s/oneTarget/target/
s/oneTpg/tpg/

and a comment rewording

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

LIO: followup: shorter stderr/out logging

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

LIO: followup: fix indentation

LIO: followup: remove trailing whitespaces

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Linux LIO/targetcli support

Introducing LIO/targetcli support allowing to use recent linux
distributions as iSCSI targets for ZFS volumes.

In order for this to work, two preconditions have to be met:

1. the portal has to be set up correctly using targetcli
2. the initiator has to be authorized to connect to the target
   based on the initiator's InitiatorName

When adding a LIO iSCSI target, a new "LIO target portal group" field needs
to be correctly populated in the "Add: ZFS over iSCSI" popup, containing the
fitting "LIO target portal group" name (typically something like 'tpg1').

Signed-Off-By: Udo Rader <udo.rader@bestsolution.at>
Tested-by: Stoiko Ivanov <s.ivanov@proxmox.com>

add missing dependency to pve-cluster

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

fix typo

add API for add Directory storage

creates/lists systemd mount units for /mnt/pve/.*
filetypes allowed are ext4 and xfs for now
mount with /dev/disk/by-uuid

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

cleanup: do not convert exceptions to strings.

add API for LVMThin management

like the LVM API, but return an array for the list,
because we do not have nested data here

and create a vg and thin lv with the name given and use the full size

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add metadata_size and _used to lv list

so that we can show it in the webinterface and the user can check
how full it is

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

extend list_thinpools for multiple vgs and more information

if no vg is given, give back all thinpools from all vgs
if verbose is 1, then give back the information about the thinpools
(like size and free)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add type and skipsmart to /nodes/NODE/disks/list

so that we can use it for a generic disk selector
this mirrors the functionality we have in
/nodes/NODE/ceph/disks api call (which we can deprecate then)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add API for LVM management

currently only list and create,
the list is in a format so that we can use it in an extjs tree

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add an option to include pvs in lvm_vgs

this will be used for the lvm part of the disk management

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

skip zfs tests when not building with root

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

remove unused Data::Dumper usages

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 5.0-24

cephtools: simplify ceph_check_keyfile

cephfs plugin: followup with some code cleanups

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Use keyfile create/remove from CephTools

in the RBDPlugin, that is also shared by the CephFSPlugin

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

Cephfs storage plugin

 - ability to mount through kernel and fuse client
 - allow mount options
 - get MONs from ceph config if not in storage.cfg
 - allow the use of ceph config with fuse client
 - Delete secret on cephfs storage creation

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

Add simple keyring check for cephfs/rbd

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

Merge RBD and CephFS code into a helper module

Some methods for connecting to a ceph cluster are the same for RBD and
CephFS, these are merged into the helper modules.

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

api add: remove now uneeded $cred_file variable

was used for cleanup, which is now handled by on_delete_hook

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

lvm: use add hook

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

rbd: use add/delete hooks

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cifs: use add/delete hooks

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add on_add and on_delete hooks

on_add_hook allows to encapsulate storage specific add steps, like
copying a keyring (RDB) or creating a volume group (LVM) in a clean
manner.
The same for deletion with on_delete_hook, here all should be cleaned
up, as much as possible.

Until now, this was done directly in the api config CREATE and DELETE
code, respectively, with a series of

if ($storage_type eq 'foo) {
    ...
} elsif ($storage_type eq 'bar') {
    ...
}

which isn't really that nice...

Another nice result of this approach is that also external plugins
can use those hooks and to their setup/cleanup steps sanely.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

storage add: always extract password from parameters

as else we write it to /etc/pve/storage.cfg which is readable by
www-data, a not really private group...

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add cifs: fix variable declaration in post if

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: update pve-common version dependency

as we use the new param_mapping functionallity from PVE::CLIHandler

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

replace read_password with param_mapping

we only need this for cifs as this is the only type
of storage where we expect a password

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

PVE/API2/Storage/Config.pm - set type in returns schema

CIFS: add mkdir option allowing to switch off path creation

see commit: c7616abcb278e2b888febc082b557f60676fc376

Add missing dependency to ceph-common

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

followup: fix typo

Use enums for smbvers to prevent incorrect input

Make check_connection less costly.

This command will only check the needed share
and do not query the hole server shares.

This reduce the answer time and also has the benefit we check the
credentials on this share and not on the server.

fix #1770: allow ex/import linked clones.

We encode the base-volume-name in the volname what is not needed.
On ex/import we need the correct dataset name.

build: use git rev-parse for GITVERSION

bump version to 5.0-23

cifs: fix uninitialized warning in check_connection

otherwise this spams the log when check_connection runs into a timeout.

bump version to 5.0-22

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

whitespace fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Fix typo.

Simplify image/template upload check.

All storage's witch are able to store images must have a path.

bump version to 5.0-21

fix #1754: rbd: fix handling of external clusters

with the recent refactoring, external clusters were not handled
correctly with librd if a pveceph or storage specific ceph config
exists.

change the behaviour to include the pveceph config file only for pveceph
managed clusters, and a storage specific one only for external ones.

set mon_host correctly using the values from storage.cfg for external
librbd clusters.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

fixup error message typo: s/sould/should/

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix #1691: increase timeout in worker

A ZFS storage under heavy load can take more time.

fix #1691: replace udev check

`zfs create` add the creation job in a worker queue,
which should normally execute instantly. But there are circumstances
where the job will take a while to get processed.
If this is the case udev settle will see no dev in the queue and the program
will continue without an allocated dev.

The busy waiting is not best practice but the only way to be sure,
that the block device exists.

bump version to 5.0-20

Fix #1750: set monhost split to old behavior

The path method of the RBDPlugin got a list with comma separated monhosts,
but it needs the list with semi-colon for qemu.

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

bump version to 5.0-19

Refactor of method build_cmd and path

Method build_cmd and path use similar code to generate the ceph command
line or qemu config parameters. They now use the private method
ceph_connect_option for parameter generation.

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

Fix #1542: show storage utilization per pool

 - get storage utilization per pool
 - use librados2-perl for pool status
 - add librados2-perl as build-depends and depends in debian/control

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

bump version to 5.0-18

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cifs: use correct pluging class name

cifs: move plugin related code into plugin

add missing "use PVE::Storage::LVMPlugin;"

cifs plugin cleanups

remove useless "use PVE::PTY;"