add systemd replacement for ceph init script

the old sys V init script does a lot of stuff, most of which
is already replaced with the system units since jewel,
except for the OSD activation which is still done by either
udev or the old init script.

include systemd service as drop in replacement for the init
script when using jewel. the service is not enabled by
default (as this would break hammer), but needs to be copied
to /etc/systemd/system on upgrade to (manual) or install of
jewel (automatic).

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

do not hide ceph on dashboard if the api call fails

with this patch, we do not hide the ceph status anymore if the api call
fails (too slow, e.g.) as long as we showed it at least one time

also, we only stop the updates if we never successfully got the status

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add filter to dashboard storage graph

with this patch, the storage graph on the dashboard only counts the
storages which are selected in the settings window

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add a storage selection in the settings window

this will be used to filter the dashboard storage graph to the selected
storages, so that one can choose which storages are relevant

e.g. if you have one nfs server with multiple exports (on the same filesystem),
you only want to count it once

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

load the diffstore on init

if the rstore in the diffstore is already loaded at the time of
the instantiation, load the data instantly

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add an alias to the diffstore

to use it declarative like this:

store : {
    type: 'diff'
}

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 4.4-2

rebalance_lxc_containers: make it work with old style lxc setups

rebalance_lxc_containers: avoid repeated warnings if rebalance fails

Only warn once.

rebalance_lxc_containers: fix hotplug

factor out code to modify cpusets into $modify_cpuset->()

rebalance_lxc_containers: make it work with new lxc/<ID>/ns subgroup

remove debug log statement

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix typo in ceph jewel iops parsing

this prevented the write iops performance charts to get any meaningful
data

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

filter the local node in the migrateall window

we do this already for single vm migrations, also do it for migrate all

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

validate nodeselector after store is loaded

this shows the validation status immediatly if no node is selected (for
instance because no node is online or you have only one node and open
the migration window)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

make date column resizable

this makes the date column in the snapshottree a little bit bigger and
resizable

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

remove obsolete belongsTo

this was not needed

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

snapshottree: remove sorter before saving the state

extjs saves the state including the sorter, but cannot serialize the
sorter function. when restoring the state, it is not a valid sorter,
so we delete it before saving

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

set fixed height on global search window

the buffered renderer does not work with auto height, and was disabled.
to enable it, we set a fixed height

when nothing is found, display 'none' to indicate nothing was found

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

move chart series initialization into initComponent

with extjs 6.2 the charts are initialized differently, so that we can
not do this in the afterrender event, instead we do it in the
initComponent, after calling callParent

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

move hideHeaders into static configuration

in extjs 6.2, this property will not be set in ApplyIf, so we move it
into the static configuration, so that the headers will not be visible

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

Rename filterFn to vmtypeFilter

since we have now two filters defined it makes sense to use
a separate name here

Filter by default the displayed guest backups fix #1161

This add a default filter which is executed on store initial load,
so we display only the backups matching our ID.

reduce scope of jslint warnings to the problematic statement

also remove it from qemu/Clone.js since it validates OK

Convert the VMIDSelector to a generic GuestIDSelector

This allows to display a 'CT', a 'VM', or a 'CT/VM' label
to be displayed, depending on the context.

Currently when restoring a CT backup or creating a CT via the
wizard, we are asked to enter a  *VM* ID, which is confusing.

bump version to 4.4-1

make realmselector non-editable

since most people do not have many login realms to choose from, making
this search/editable makes no sense

but by making this non-editable, you can now click anywhere on the text
to open the options, instead of only the little arrow

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix #1176: sort user/group/realm selector

this adds a default sort for the user, group and realmselector
so that the entries are in a consistent order

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

aplinfo.dat: update

fix jslint confusion warning

ExtJS components accept for the items property either a
single component or an array of components which generates
a jslint type confusion warning.

Add online help for start/shutdown for containers

Turn the qemu StartupEdit widget into a generic component

and use this component for Qemu.

bump version to 4.3-14

fix typo in vmtype check

by mistake we checked if me.vtype is 'qemu'
but the property is me.vmtype, so we would always show
restart mode

note that this error was purely cosmetic, behaviour was correct

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 4.3-13

adds a help button to the migration window

for now we have to explicitely define the
    onlineHelp: 'blockid'
string, so that the parser picks it up

in the future we should refactor that window, so that we define the
blockid when declaring the component

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

change lxc migration option to restart mode

since online migration does work at the moment, and with ha we already
have the restart mode

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

Remove last extra comma

also whitespace / indent cleanup

Add online help for startup/shutdown order and LXC general settings

Add the possibility to create an unprivileged container at creation time in the GUI.

The setting is afterwards displayed as a read only option in the option time

show in/out/up/down icons in osd overview

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

make ceph status in cluster dashboard clickable

to get faster from the datacenter dashboard to the ceph dashboard

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add noout button and reorder actions

this patch adds a set/unset noout button (for easy maintenance of your
ceph cluster) and reorders the buttons so that global actions (reload,
add osd, set noout) are left, and osd specific actions are on the right

to reduce confusion, there is now a label left of the osd actions which
displays the selected osd

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add ceph flags api calls

we add a get/post/delete api call for ceph flags

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

also return the ceph flags in osd api call

we want to set/get the flags in the ceph/osd tab, so we have to
return it there

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

pvereport: tell lsblk to use ascii

The UTF-8 characters it uses otherwise may be not handled correctly
when some users sent the report to us.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

plug new ClusterConfig API at /cluster/config

Add Windows 2016 as available ostype to select

update changelog for 4.3-12

The actual 4.3-12 release is done in a separate
branch "hotfix-4.3-12", because we cannot release
commit 58b12d605 now (requires updated pve-cluster
package).

fix #1212: allow options for delete in pvesh

we did not allow to use parameters in the delete handler in pvesh,
but we make use of them (e.g. force on snapshot deleting)

as the get/set and delete handler do the same, refactor the if/else
paths of them

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

change ssh-public-keys check in wizard

we changed the ssh public key field to a pvetextfield, which return not
an empty string but null, so the .length check failed with an exception

we do not need to delete the field because it does not exists, when
no key is given

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

use certificate cache from PVE::Cluster package

bump version to 4.3-11

fix kvcombobox validator

since we often use the kvcombobox not statically but load its store at
runtime, we need to check the store and not the comboItems

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ha/ResourceEdit.js: fix online help ref

fix missing mons array in ceph status output

on setups with 1 monitor, timechecks has no monitor array

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix SSL verify callback for certificate chains

ignoring parts of the chain means saying they are verified,
because the verify callback results are chained together
starting with the highest depth.

VZDump: switch ha managed check from enabled to started

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix #1208: add ballooning checkbox to memory edit

when using fixed memory size, we implicitly deleted shares and
ballon, which removed a (manually) set balloon: 0,

to be able to set this via the gui, we add a checkbox to the fixed
memory edit (using variable memory always needs ballooning)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

check for array in disallowednodes filter

extjs throws an error if disallowednodes is not an array,
so we need to check this

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add new ceph dashboard

this patch changes the ceph dashboard

now we show the information in a more graphical way, namely:

the overall status is displayed by a big icon (+health)
the warnings/errors are in a list (with severity)

we show more detailed information about monitors, osds, and pgs

we show the usage of the cluster as a gauge graph, and
the reads, writes and iops as running charts (the last 5 minutes)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add ceph statudetail panel

this adds a the component ceph statusdetail,
it displays the monitors (+status)
the osd as a table (in/out,up/down)
and the pg states as a list (+number)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add runningchart widget

this adds a new component 'runningchart', which is a simple linegraph

you define a timeFrame (default 5*60 seconds), and you regularly add
datapoints to it, and the graph shows the last timeFrame seconds of it

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

refactor health status widget and ceph status data

this adds a new component health widget, used for cluster and ceph
status

also refactor ceph error levels and ceph status data into PVE.Utils

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

refactor health icons

instead of setting them manually every time, factor them out in a
get_health_icon function

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

improve green and red colors

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

change the ha resources columns

rename Request State to State, and add the request_state and crm_state
as hidden columns (so that the user can display them if they want)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

merge ha resources into the ha status panel

this changes the ha status view and ha resources view, so that they take
an rstore and use that instead of a new one

we do this, so that we can display the status and the resources grid
with one api call

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add the haStatus panel

for the new status

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add new fields to ha models

to be prepared for the new ha status

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ConfigPanel: automatically expand node in selectById()

This is only used for automated tests.

Resources.js: s/enabled/started/

ha resource edit: adapt to new service state

Add the new stopped state to the ResourceEdit panel.
Rename enabled state to started as done in ha-manager.

As 'enabled' is now the wrong label use the more correct label
'Request state', for both the resource edit window and the grid
column.

Do this by replacing the checkbox with a KVCombogrid.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

do not show current node in migration window

As we cannot migrate to the source node do not show it in the
migration window's node selector.

Fixes #1049 partly

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

NodeSelector: add disallowedNodes configuration property

This can be used to mask out some nodes from the node selector.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add kvcombobox validator

this enables validation of all kvcomboboxes, including
multiselect

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

make pool members grid stateful

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

enable certificate pinning for proxied requests

when forwarding an API request to the responsible node,
only accept the certificate that this node should have
according to the contents of the cluster file system.

to limit performance issues, cache certificate fingerprint
on first request for each node, and only regenerate cache
(at most once per minute) if the actual encountered
fingerprint does not match or every 30 minutes (to clear out
old entries).

pass proxied to node to proxy_request

in addition to proxied to IP

check for lxc instead of openvz in the backup window

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

move onlineHelp from FirewallAliasEdit to FirewallAliases

since the first is a window, not the grid

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

remove border from ceph crushmap/config panel

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

make storage/template grid stateful

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

make lxc/qemu snapshot/network grids stateful

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

make backupview stateful

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

make ceph panels/grids stateful

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

make update/disk/network and task grid stateful

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

make user/acl/auth grids stateful

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

make firewall panels/grids stateful

to save the columns/layouts in the browsers local storage

also change width to string (or else jslint complains)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

make backup/storage/ha resources/ha groups grid stateful

so that the column changes are saved in the browsers local storage

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

remove reset columns button from resource grid

since we now have the client settings, we do not need this anymore

also rename the stateid to 'grid-resource'
(we want to establish a convention to differentiate between saved local
storage items)

the whole saveCurrentState logic was not really necessary, so we can drop this too

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

VZDump: die with error if plugin loading fails

Signed-off-by: Stefan Priebe <s.priebe@profihost.ag>

add sheepdog and gluster to pveproxy.service

this ensures proper ordering for starting on boot and
stopping on shutdown.

API2Client: allow to set ssl options

and use /etc/pve/pve-root-ca.pem as default CA.

API2Client: avoid perl warning

new helper call_menu_handler

ConfigPanel: added helper selectById()

for test automation

ResourceTree.js: return value in selectById

So that automation tools can see success.

lxc: don't show an empty ssh-public-key field in summary

add activeTitle helper