LIO: followup: remove trailing whitespaces

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Linux LIO/targetcli support

Introducing LIO/targetcli support allowing to use recent linux
distributions as iSCSI targets for ZFS volumes.

In order for this to work, two preconditions have to be met:

1. the portal has to be set up correctly using targetcli
2. the initiator has to be authorized to connect to the target
   based on the initiator's InitiatorName

When adding a LIO iSCSI target, a new "LIO target portal group" field needs
to be correctly populated in the "Add: ZFS over iSCSI" popup, containing the
fitting "LIO target portal group" name (typically something like 'tpg1').

Signed-Off-By: Udo Rader <udo.rader@bestsolution.at>
Tested-by: Stoiko Ivanov <s.ivanov@proxmox.com>

add missing dependency to pve-cluster

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

fix typo

add API for add Directory storage

creates/lists systemd mount units for /mnt/pve/.*
filetypes allowed are ext4 and xfs for now
mount with /dev/disk/by-uuid

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

cleanup: do not convert exceptions to strings.

add API for LVMThin management

like the LVM API, but return an array for the list,
because we do not have nested data here

and create a vg and thin lv with the name given and use the full size

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add metadata_size and _used to lv list

so that we can show it in the webinterface and the user can check
how full it is

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

extend list_thinpools for multiple vgs and more information

if no vg is given, give back all thinpools from all vgs
if verbose is 1, then give back the information about the thinpools
(like size and free)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add type and skipsmart to /nodes/NODE/disks/list

so that we can use it for a generic disk selector
this mirrors the functionality we have in
/nodes/NODE/ceph/disks api call (which we can deprecate then)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add API for LVM management

currently only list and create,
the list is in a format so that we can use it in an extjs tree

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add an option to include pvs in lvm_vgs

this will be used for the lvm part of the disk management

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

skip zfs tests when not building with root

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

remove unused Data::Dumper usages

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 5.0-24

cephtools: simplify ceph_check_keyfile

cephfs plugin: followup with some code cleanups

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Use keyfile create/remove from CephTools

in the RBDPlugin, that is also shared by the CephFSPlugin

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

Cephfs storage plugin

 - ability to mount through kernel and fuse client
 - allow mount options
 - get MONs from ceph config if not in storage.cfg
 - allow the use of ceph config with fuse client
 - Delete secret on cephfs storage creation

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

Add simple keyring check for cephfs/rbd

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

Merge RBD and CephFS code into a helper module

Some methods for connecting to a ceph cluster are the same for RBD and
CephFS, these are merged into the helper modules.

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

api add: remove now uneeded $cred_file variable

was used for cleanup, which is now handled by on_delete_hook

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

lvm: use add hook

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

rbd: use add/delete hooks

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cifs: use add/delete hooks

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add on_add and on_delete hooks

on_add_hook allows to encapsulate storage specific add steps, like
copying a keyring (RDB) or creating a volume group (LVM) in a clean
manner.
The same for deletion with on_delete_hook, here all should be cleaned
up, as much as possible.

Until now, this was done directly in the api config CREATE and DELETE
code, respectively, with a series of

if ($storage_type eq 'foo) {
    ...
} elsif ($storage_type eq 'bar') {
    ...
}

which isn't really that nice...

Another nice result of this approach is that also external plugins
can use those hooks and to their setup/cleanup steps sanely.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

storage add: always extract password from parameters

as else we write it to /etc/pve/storage.cfg which is readable by
www-data, a not really private group...

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add cifs: fix variable declaration in post if

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

d/control: update pve-common version dependency

as we use the new param_mapping functionallity from PVE::CLIHandler

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

replace read_password with param_mapping

we only need this for cifs as this is the only type
of storage where we expect a password

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

PVE/API2/Storage/Config.pm - set type in returns schema

CIFS: add mkdir option allowing to switch off path creation

see commit: c7616abcb278e2b888febc082b557f60676fc376

Add missing dependency to ceph-common

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

followup: fix typo

Use enums for smbvers to prevent incorrect input

Make check_connection less costly.

This command will only check the needed share
and do not query the hole server shares.

This reduce the answer time and also has the benefit we check the
credentials on this share and not on the server.

fix #1770: allow ex/import linked clones.

We encode the base-volume-name in the volname what is not needed.
On ex/import we need the correct dataset name.

build: use git rev-parse for GITVERSION

bump version to 5.0-23

cifs: fix uninitialized warning in check_connection

otherwise this spams the log when check_connection runs into a timeout.

bump version to 5.0-22

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

whitespace fixup

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Fix typo.

Simplify image/template upload check.

All storage's witch are able to store images must have a path.

bump version to 5.0-21

fix #1754: rbd: fix handling of external clusters

with the recent refactoring, external clusters were not handled
correctly with librd if a pveceph or storage specific ceph config
exists.

change the behaviour to include the pveceph config file only for pveceph
managed clusters, and a storage specific one only for external ones.

set mon_host correctly using the values from storage.cfg for external
librbd clusters.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

fixup error message typo: s/sould/should/

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix #1691: increase timeout in worker

A ZFS storage under heavy load can take more time.

fix #1691: replace udev check

`zfs create` add the creation job in a worker queue,
which should normally execute instantly. But there are circumstances
where the job will take a while to get processed.
If this is the case udev settle will see no dev in the queue and the program
will continue without an allocated dev.

The busy waiting is not best practice but the only way to be sure,
that the block device exists.

bump version to 5.0-20

Fix #1750: set monhost split to old behavior

The path method of the RBDPlugin got a list with comma separated monhosts,
but it needs the list with semi-colon for qemu.

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

bump version to 5.0-19

Refactor of method build_cmd and path

Method build_cmd and path use similar code to generate the ceph command
line or qemu config parameters. They now use the private method
ceph_connect_option for parameter generation.

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

Fix #1542: show storage utilization per pool

 - get storage utilization per pool
 - use librados2-perl for pool status
 - add librados2-perl as build-depends and depends in debian/control

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

bump version to 5.0-18

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

cifs: use correct pluging class name

cifs: move plugin related code into plugin

add missing "use PVE::Storage::LVMPlugin;"

cifs plugin cleanups

remove useless "use PVE::PTY;"

Add read_password in CLI.

Add cifsscan to CLI

Add cifsscan to API

Add cifsscan.

Register CIFSPlugin in the storage plugin system.

Add CIFS dependencies in package management.

Add remove cifs in API call.

Add cifs in create API call.

In this patch the nodes will be deleted if the nodes parameter comes with a empty string.
We need this in the GUI when update the nodes in the config to reset if a nodes.

If we do not erase the empty hash the storage online check would be skipped.
Also the password and user would not be verified.

Add set CIFS credentials.

Add CIFS Storage Plugin.

This Plugin use as template the NFSpluigin.
We do only support smbversion 2 and 3.
Version 3 is default and must override through the config.

Remove pool with -f parameter.

The test pool will not removed if we do not force it.

bwlimit: apply limits when there's no override

Before, 'undef' was equivalent to unlimited, but '0' is the
"explicitly unlimited" value, so if the user doesn't request
an override, apply limits as if the user was unprivileged
(otherwise there's no way for privileged users to explicitly
ask to not override the configured limits).

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

Fix typo in sub s/krdb_feature_disable/krbd_feature_disable

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

Fix #1574: could not disable krbd-incompatible image features

To prevent an error when disabling features of a rbd image with already
disabled flags. This aborted the CT/VM cloning halfway through with
a leftover rbd image, but no vmid.conf to it.

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

d/control: bump dependency on libpve-common-perl

for 'bwlimit' option in storage.cfg

add Storage::get_bandwidth_limit helper

Takes an operation, an optional requested bandwidth
limit override, and a list of storages involved in the
operation and lowers the requested bandwidth against global
and storage-specific limits unless the user has permissions
to change those.
This means:
 * Global limits apply to all users without Sys.Modify on /
   (as they can change datacenter.cfg options via the API).
 * Storage specific limits apply to users without
   Datastore.Allocate access on /storage/X for any involved
   storage X.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump version to 5.0-17

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

add missing b-d on Test::MockModule

whitespace cleanup

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add 'format' parameter to storage list call

we will use this for the gui to figure out if we have to show
a size selector, a file selector, which formats are there, etc.

we have to include this data even for not active storages, else
we cannot show the correct fields

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add select_existing to plugindata for iscsi(direct)

this will be used in the gui, for determining if we need to select
something from the storage when using for an image

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

(finally) fix #1099: return disklist correctly

in get_disks, when called with a parameter 'cciss/cXdY', we replaced
the '/' with '!' so that we can properly poll the information
about it from /sys/block/

but we have to replace the '!' with '/' again in our result list,
because the caller does not know anything about it and fails, because
the original dev is not in the list

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 5.0-16

Add logfung in storage_migrate

The log function is used by storage replication to redirect the output in the correct log.

ISCSIPlugin: Use long options for readability

We otherwise use the long options everywhere in the plugin.
This will build the following command:

iscsiadm  --mode session --sid 1 --rescan
Rescanning session [sid: 1, target: xxx, portal: yyy]

build: reformat debian/control

using wrap-and-sort -abt

bump version to 5.0-15

rbd: support auth=none if pveceph-managed

preserve the old behaviour of selecting auth_supported based on the
existence of the keyring, but limit it to external clusters.

this allows switching 'auth XXX required' in the pveceph-managed
ceph.conf while still automatically copying the keyring when adding a
storage.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

require libpve-common-perl >= 5.0-17

the new is_mountpoint uses PVE::JSONSchema::parse_boolean

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

rbd: create ceph keyring dir before copying

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

rbd: manage keyring for pveceph storages

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

rbd: implement handling of unset monhost

add /etc/pve/ceph.conf to commands / option strings instead
of the monitor list provided via the 'monhost' option.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

rbd: refactor cmdline helpers

these were line by line identical except for the binary path

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

rbd: make monhost option optional

to allow differentiating between user-created external RBD storage
entries (WITH monhost), and those created and managed by pveceph
(without).

making monhost non-fixed allows easily opting into the managed behaviour via
'pvesm set STORAGE -delete monhost', but is also helpful for external clusters
(i.e., after adding or removing a monitor you need to update the monhost
parameter..)

adapt description accordingly.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

dir: allow a path as is_mountpoint value

This turns is_mountpoint more into export(5)'s `mountpoint`
property.
Given the directory storage with the properties:

    path /a/b/c
    is_mountpoint $value

$value = yes
    Same as before, /a/b/c must be mounted.
$value = no (or not set)
    Same as before, no effect.
$value = /a/b
    New: /a/b must be mounted (as opposed to /a/b/c)

bump version to 5.0-14

cleanup: call defined() early

No need to carry around a hash we don't need if we get one.

Fix #1474: Fixes input and output of print_storage

Accommodates changes in 44ae567 and d40e27d by
reordering checks to allow for proper filtering
of disabled storages. Also reorders two checks to
prevent autovivification resulting in disabled
storages always showing in output.

bump version to 5.0-13

add info about bluestore to disklist

this patch adds information about bluestore/db/wal to the disklist,
and we set the journal count only when we have at least one journal on
the disk

also adapt the regression tests

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>