fix #1379: return size as number instead of string

this caused the webinterface to sort alphabetically instead of numerical
when sorting by image size

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

buildsys: update make upload target

remove immutable flag also for subvols on directory storage

or else the removal of such templates (with rootfs size 0) fails

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 4.0-76

rbd: fix exit from 'rbd ls -l' parser

bump version to 4.0-75

rbd: minor regex fixup

rbd: fix typo

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

rbd: use consistent image name schemes

since we allow vm-ID-whatever when allocating images, we
should also include those when listing them.

note: '@' is reserved for snapshots in ceph, so it is safe to
skip lines including an '@' in the image name.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

rbd: use 'rbd ls' without '-l' to find free names

with more than a few images, 'rbd ls -l' gets rather slow
compared to a simple 'rbd ls'. since we only need to check
existing image names for finding a free one, the latter is
sufficient.

example with ~400 rbd images:
$ time rbd ls -p ceph-vm > /dev/null
real    0m0.027s
user    0m0.012s
sys     0m0.008s

$ time rbd ls -l -p ceph-vm > /dev/null
real    0m5.250s
user    0m1.632s
sys     0m0.584s

a linked clone of two disks on the same setup accordingly
also shows a massive speedup:

$ time qm clone 1000 10000 -snap test
create linked clone of drive scsi0 (ceph-vm:vm-1000-disk-2)
clone vm-1000-disk-2: vm-1000-disk-2 snapname test to
vm-10000-disk-1
create linked clone of drive scsi1 (ceph-vm:vm-1000-disk-1)
clone vm-1000-disk-1: vm-1000-disk-1 snapname test to
vm-10000-disk-2

real    0m11.157s
user    0m3.752s
sys     0m1.308s

$ time qm clone 1000 10000 -snap test
create linked clone of drive scsi1 (ceph-vm:vm-1000-disk-1)
clone vm-1000-disk-1: vm-1000-disk-1 snapname test to
vm-10000-disk-1
create linked clone of drive scsi0 (ceph-vm:vm-1000-disk-2)
clone vm-1000-disk-2: vm-1000-disk-2 snapname test to
vm-10000-disk-2

real    0m0.872s
user    0m0.652s
sys     0m0.096s

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 4.0-47

fix bug #1280: Can't locate object method "root@pam"

This was introduced by commit 04a13668b9b6e15d3aed36ba00ad538b99a9dc15.

buildsys: use gzip -n to disable timestamps

buildsys: use fakeroot for dpkg-deb

buildsys: make job safety

extract_vzdump_config: handle RE consistently

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

weaken matching for vzdump config extract filename

to allow "pvesm extractconfig filename" when in the dump
directory.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 4.0-73

PVE::Storage: new helper check_volume_access()

Copied from PVE::RPCEnvironment to avoid cyclic dependency
(pve-storgae => pve-access-control => pve-storage).

fixes for new PVE::RPCEnvironment implementation

Use PVE::RPCEnvironment->is_worker() instead of
PVE::RPCEnvironment::is_worker().

fix #1252: rbd: delete snapshots when using krbd

Fix RBD resize with krbd option enabled.

With krbd we resize volume and tell QemuSever to notify running QEMU
with zero $size by returning undef.

Signed-off-by: Dmitry Petuhov <mityapetuhov@gmail.com>

bump version to 4.0-72

add setup_environment hook to CLIHandler class

and use run_cli_handler instead of depreciated run_cli.

sheepdog : volume_resize return if running

fix : https://forum.proxmox.com/threads/sheepdog-disk-resize-not-working.31760/

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix #1099 (again): map cciss/c0d0 to cciss!c0d0

there was still a point where we got the wrong string
on createosd we get the devpath (/dev/cciss/c0d0)

but need the info from get_disks, which looks in /sys/block
where it needs to be cciss!c0d0

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix #1135: always clean up ZFS snapshots on migration

otherwise there are situations where snapshots are left
behind for already sent volumes. also include more warnings.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

storage_migrate: use bs=4k to copy images with dd

The default block size is 512 bytes, and is quite slow. We do not
want to use blocks bigger than 4k, because we want to detect empty
blocks (sparse).

bump version to 4.0-71

Add function get_blockdev.

This function will return you the block device of a given partition path.

Add new function part_num

With this function you get the partnum of a dev.

bump version to 4.0-70

change regression test for crucial

as we now can parse the wearout

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add crucial smart attribute for wear leveling

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

correct regression test for sandisk ssds

in my initial patch series for the regression test, i failed to notice
the missing attributes for the sandisk ssds (which had not been parsed)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

catch '---' in threshold output of sandisk ssds

sandisk ssds have a default threshold of '---' on nearly all fields,
which prevents our parsing

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump versuion to 4.0-69

use qemu gluster blockdriver for linked clone creation

this works around a bug, where qemu does not align the qcow2 file
when using the filesystem directly, and the gluster blockdriver
refuses to read from it

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

increase default timeout for zpool import

as zpool import can easily take longer than 5 seconds on
systems with lots of disks

improve zpool activate_storage

the old code was way too broad here, this fixes at least the
following issues:
- importing of other/unconfigured zpools by "import -a"
- possible false positives if a pool name is a substring of
  another pool name because of "list" without pool name,
  potentially skipping activation for such pools
- not noticing failure to activate in activate_storage
  because the success of "zpool import -a" does not tell us
  anything about the pool we actually wanted to import

checking specifically for the pool to be activated when
calling "zpool list" gets rid of the second issue, and
trying to import only that pool fixes the other two.

allow --allow-shrink on RBD resize

Signed-off-by: Stefan Priebe <s.priebe@profihost.ag>

bump version to 4.0-68

add disk usages regression test

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add cciss regression test

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add sas regression tests

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add nvme regression test

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add ssd and smart regression tests

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add hdd and smart regression tests

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add disklist test

and add to makefile

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add default rotational value

because if the file does not exist,
we have an perl error for comparing an uninitialized
value

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

use model from udevadm

we want this, because the model in /sys/block/<device>/device/model
is limited to 16 characters

and since the model is not always in the udevadm output (nvme),
also read the model from the model file as fallback

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

make dir_is_empty a proper sub

this allows us later to mock the sub,
which we need for testing

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

move directory test into get_sysdir_info

because it logically belongs there, also
this makes the testing easier

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

use /sys/block/ path for udev instead of name

since we iterate over the entries in /sys/block
it makes sense to use this path

this should fix #1099
because udevadm does not take
 -n cciss!c0d0 (because it only looks in dev for this)
but takes
 -p /sys/block/cciss!c0d0

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 4.0-67

fix #1165: only check mount status when is_mountpoint is set

otherwise the status() method returns garbage for non-mount
point directory storages.

bump version to 4.0-66

disks: fix warnings

bump version to 4.0-65

allow rbd images < 1M to be detected

without this, having an efidisk on a ceph storage
prevents creating another disk on the same
ceph storage, because it will not be detected
and we try to allocate one with the same name

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 4.0-64

correctly parse cciss devices in get_disks

cciss maps the devices to
/sys/block/cciss!cXdY

and not to

/sys/block/cXdY

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix #1135: refactor wear level parsing

refactored the wear level parsing into its
own function, where we can now define a
vendor <-> attribute id
mapping

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

merge get_smart_data/health

instead of parsing the output of smart in two places,
give get_smart_data a flag if we only want health

this fixes a bug (not on the bugtracker), where
an ssd with disabled smart had an empty string as health
in the gui

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 4.0-63

fix #1123: modify NVME device path for SMART support

seems like we need to drop the namespace part before calling
smartctl.

note that NVME devices require smartmontools >= 6.5

add return schema to smart API path

fix #1120: non-ATA disks with unstructured smart data

simple parser as fallback for non-ATA disks, just collect
all lines in the "SMART DATA" section.

fix #1120: SCSI SMART health parsing

SCSI disks report their health as "SMART Health Status: OK"

disks: allow get_disks without smart checks

the smart checks are only needed for the API call(s) that
list all disks and their status, but get_disks is also used
in disk usage checks and in the Ceph code, where the smart
status is completely irrelevant.

drop the implicit skipping of smart checks if $disk is set,
since we have an explicit parameter for this now.

bump version to 4.0-63

fix #1122: correctly create LUNs for linked clones

disks: fix typo

disks: parse smart attributes using RE

disks: use smartctl -H -A

to only list SMART health and attributes, instead of
"smartctl -a", which prints "all SMART information"

move SMART error handling into get_disks

because we never ever want to die in get_disks because of a
single disk, but the nodes/xyz/disks/smart API path is
allowed to fail if a disk device is unsupported by smartctl
or something else goes wrong.

Fix #1012: dir storage: add is_mountpoint option

While the mkdir option deals with the case where we don't
want to clobber a mount point with directories (like ZFS,
gluster or NFS), putting a directory storage directly onto a
mount point is still risky:
If the path exists - which it usually does even if not
mounted - the storage will be considered successfully
activated, but empty (or with unexpected content). Some
operations will then lead to unexpected problems: the
free_disk operation for instance only warns if the disk does
not exist, but does not throw an error. In this case the
configuration might be updated without the real disk being
deleted. Once it's mounted back in, later operations which
check existing disks which are not part of the current VM
configuration (like migration) might error unexpectedly.

This adds an 'is_mountpoint' option to directory storages
which assumes the directory is an externally managed mount
point (eg. fstab or zfs) and changes activate_storage() to
throw an error if the path is not mounted.

path based storages: improve the mkdir option

So far this only prevented the creation of the toplevel
directory. This does not cover all problem cases,
particularly when said directory is supposed to be a mount
point, including NFS and glusterfs beside ZFS.

The directory based storages we have already use mkpath
whenever they need to create files, and for actions on files
which are supposed to exist it's fine if it errors out.
So it should also be safe to skip the creation of standard
subdirectories in activate_storage().

Additionally NFS and glusterfs storages should also accept
the mkdir option as they otherwise may exhibit similar
issues, eg. when an NFS storage is mounted onto a directory
inside a ZFS subvolume.

white space cleanups

Avoid JavaScript gets a string 0.

If the JavaScript gets a "0" it convents it to a boolean false.
So to ensure the GUI always get valid int we cast the values.

bump version to 4.0-61

add comments about LVM thin clones

fix typo

harmonize list_images code

move check for existing clones into own method

and change its return type to boolean

remove unused method

only used by test case, which should use what the rest of
the codebase uses as well

code cleanup

fix error message

fix indentation

rbd: detect linked clones/base volumes correctly

since the rbd images themselves are named differently than
the volumes in our config files, we need to recreate this
information from the parent relation in the ceph metadata,
otherwise list_images() might return wrong volume names/IDs

since list_images is used by PVE::Storage::vdisk_free() to
check for children still referencing a base image, because
of the wrong volume id RBDPlugin->parse_volname() does not
detect the base image of linked clones and the check fails.
this is thankfully mitigated by the protected status of the
base snapshot, but creates a rather confusing error message.

scenario (VM 701 is a linked clone of template VM 700):

$ qm config 700 | grep virtio0:
virtio0: ceph_qemu:base-700-disk-1,size=2G
$ qm config 701 | grep virtio0:
virtio0: ceph_qemu:base-700-disk-1/vm-701-disk-1,size=2G

before (pvesm list reports wrong volume ID, check fails):

$ pvesm list ceph_qemu
ceph_qemu:base-700-disk-1   raw 2147483648 700
ceph_qemu:vm-701-disk-1     raw 2147483648 701
$ pvesm free ceph_qemu:base-700-disk-1
snap_unprotect: can't unprotect; at least 1 child(ren) in pool rbd
rbd unprotect base-700-disk-1 snap '__base__' error: snap_unprotect: can't unprotect; at least 1 child(ren) in pool rbd

after (correct volume ID, check works as intended):

$ pvesm list ceph_qemu
ceph_qemu:base-700-disk-1                   raw 2147483648 700
ceph_qemu:base-700-disk-1/vm-701-disk-1     raw 2147483648 701
$ pvesm free ceph_qemu:base-700-disk-1
base volume 'base-700-disk-1' is still in use (use by 'base-700-disk-1/vm-701-disk-1')

rbd: use correct key to access hash elements

bump version to 4.0-60

do not automatically die on smartctl exit code > 0

since smartctl uses the return value to encode
disk health status (such as failure in the past)
we cannot die there, but have to parse the returncode

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 4.0-59

add smartmontools as dependency

since we need it in the diskmanager module, add it as a
dependency

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

use new repoman for upload target

bump version to 4.0-58

sheepdog 1.0 changed the path from /usr/sbin/dog to /usr/bin/dog

add api entries for disk management

adds a new class (intended to be used under nodes in pve-manager)
which adds the three api calls: list, smart and init

list being a general list of the available disk with infos
smart being a call to get the smart data from a given device
init being a call to write a gpt header to an unused disk

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add Diskmanage Utilities

this adds the functions for listing the disks (mostly copied from
the ceph code), checking if a disk is a valid blockdevice, if it
is used/in a zfs pool/as an lvm pv, and an init function (just to add a gpt header;
this is important if one wants to use a fresh disk for ceph journals)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>