bump version to 4.4-24

eol followup: use full spelt date and name

bump version to 4.4-23

eol: followup: readd PVE and balance

add eol notice

since pve 4.4 goes out of support in june, add a notice at the top with
a link to the faq, where the EOL dates are

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 4.4-22

add spec-ctrl cpu flag checkbox

also make the mechanism for the flag checkboxes generic

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
Reviewed-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
Tested-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
(cherry picked from commit ba920c35763ca8d8f913592d09c286e076bf6edf)
Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 4.4-21

add PCID checkbox to ProcessorEdit

but not in wizard, and default is off
(because we do not know if the cpu supports it)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 4.4-20

(19 was an internal between-merge version)

make ssh connection transparent

do not use an escape character for the host shell

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix #1539: add missing shellquote for proxied commands of pvesh

if we do not do this, passing arguments with spaces
(e.g., pvesh set YYY --param "one word")
leads to ssh calls like this:
ssh REMOTE pvesh set YYY --param one word

which cannot be parsed correctly

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix #1531: match nodename exactly for vmidselector

else we would get vms for wrong hosts if the nodename is a pre/postfix
of another nodename (e.g. 'abc' and 'abc123')

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix start on boot

fix the fix for #1024

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
(cherry picked from commit e7fe107f75ee1bb9877b0d6430489661d6c1beea)

remove backup locks when starting all VMs on boot

If on bootup one of our VMs is locked by an backup we safely can
assume that this backup job does not run anymore and that the lock
has no reason anymore and just hinders uptime of services.

As at this time we (the node) have quorum so we may safely assume
that we have a consistent view of the cluster and all our VMs really
belong to us. We just need to ensure that we do not run into an
automatic backup jobs, so execute our code with VZDumps lock or
timeout.
Log in the Task and Sys log that we removed the lock, so that an
admin easily sees that there may be need for cleaning leftovers from
an interrupted backup.

Addresses bug #1024

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
(cherry picked from commit 248b2d361407d07b6d41138ab2912b6a0e66ae6d)

get_filtered_vmlist: save VM conf in own subhash

small refactoring in get_filtered_vmlist: save a VMs config in its
own subhash to avoid collisions with other data which we want to save
in the vmid list, for now this is only `type` but in the next patch
I want to save also the class

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
(cherry picked from commit 627fa10467a1578c5a3c7d2a292bbe6f14a881ca)

bump version to 4.4-18

fix creating the first ceph monitor

we cannot use a rados connection before having at least one monitor,
so we have to move it down

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
(backported from commit 738ce0f235daf46aecedab3e33147d871d3959fa)
Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

add missing '-' to service name pattern

since ids can contain '-', we have to include them in the pattern
for the service names

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
(cherry picked from commit 38e20dad713db1024eb91fb9a1becd07f9c940df)

bump version to 4.4-17

check for ceph-mgr on destroymon

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

bump version to 4.4-16

Revert "trust StartCom_Certification_Authority_2.crt"

This reverts commit 7637ce6464bc28c3651b5884c3fbf2fac6ed5b66.

Revert "add missing file"

This reverts commit 7599e35af893ad9d8b544a05d5289da4093749e4.

We've switched to Let's Encrypt.

postinst configure: run update-ca-certificates if the
  previous version is <= 5.0-23.

(cherry picked from commit 088597a355c9af240d764aa1262b393e8716e0f0)

backported version check to 4.4-15

build: ensure REPOID has a length of 8

because unlike the git-rev-parse man page says, the default
length is actually calculated based on the number of packed
objects in the clone of the repository.

we don't want this to depend on the build environment and
how the repository was cloned there, so fix a length of 8
for now.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
(cherry picked from commit d0ad008702ecea7f5194b797748adc746de2da86)

use git rev-parse for repoid

instead of getting the repoid from .git/refs/heads/master

using HEAD as commit also means we get the correct commit hash for when
building the package (e.g. when building from stable-4)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
(cherry picked from commit a09735e0b52f57c440c81b5d3b3f3dfea11e5345)

add check if ceph-mgr is installed

in API endpoints createmgr/destroymgr/createmon

Signed-off-by: Alwin Antreich <a.antreich@proxmox.com>

pveceph: add createmgr/destroymgr commands

this patch adds the create-/destroymgr commands to the api and pveceph,
so that advanced users can split monitor and manager daemons

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
(cherry picked from commit ad9411c9480aa8f9b5fdbf677e0fb4a1e6997cb7)

pveceph: create mgr with mon, use nodename for id

we now want to add a ceph-mgr daemon to every node where a ceph-mon
daemon runs, as per ceph documentation recommendation, because in
luminous the mgr daemons will not be automatically created/started
with a monitor anymore

we also give the createmon an optional id parameter, so that one
can set a custom id, and make the creation/removal of the manager
optional but the default

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
(cherry picked from commit f77a087446390840846cd9300ce3dbe7f4bc7fd6)

bump version to 4.4-15

trust StartCom_Certification_Authority_2.crt

(cherry picked from commit 7637ce6464bc28c3651b5884c3fbf2fac6ed5b66)

and added file StartCom_Certification_Authority_2.crt

(cherry picked from commit 7599e35af893ad9d8b544a05d5289da4093749e4)

bump version to 4.4-14

update default aplinfo.dat

(cherry picked from commit ee26ef44522f4c8a766d597e259a945cc2986ec9)

fix #1414: use table layout instead of columns

columns with fixed widths do not resize correctly in chrome when
resizing or having a different dpi scaling

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

Do not internationalize 'Pools' when used in Ceph Context

This is a Ceph domain term and should not be translated like OSD, ...
Galician had "Virtual Groups" for Pools, which does not apply for
Ceph Context.
Also most languages were using 'Pools' anyway.

remove "read-only" option from container root disk

with root-only enabled, you cannot start the conainer anymore,
so we remove it there entirely

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix #1317: check wizard form also on validitychange

with the commit
    40342aa6c4278497b9ec8c9cce8739f9b29c2e8f
we introduced a validator on the guestidselector, but did not
notice that the wizard checks the validity on the field change event,
but the selector gets valid/invalid in an api callback(so a little later)

with this patch, we now validate the field correctly with validate()
and also listen on the validitychange event to catch it

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
(cherry picked from commit c5dc0be54ca75a11af86e7bbf1590407157c11b1)

fix #1307: dont use language dependent separator in gui

by default, extjs submits the language dependent decimal separator,
e.g. ',' for german and '.' for english

but we always want '.'

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
(cherry picked from commit 5c660b6d1302a5fbb3dcf477cf8b5adc9f798530)

update make upload target

bump version to 4.4-13

fix ceph.service for Ceph Jewel >= 10.2.6

having our ceph.service pulled in by ceph.target does not
work anymore, because "systemctl start ceph.target" hangs
forever on ceph-common upgrades. multi-user.target seems to
work as well, and we are ordered after pve-cluster anyway.

only replace the old ceph.service if it is an exact match.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

buildsys: depend on lsb-base

buildsys: make job safety

remove space in service file

fix diffstore issue with clusterlog

extjs cannot "convert" and id from other fields, so the ids in the
diffstore and the realstore are different and we re-add every element on
every update

to mitigate this, we generate the id (which is "uid:hostname") in the
backend, and simply use it in the frontend

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

use validator for GuestIDSelector and optimize labels

instead of using markInvalid, use a validator, which also marks the
field dirty and marks the form correctly invalid.

also optimize the label/error message assignments

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

show nodeselector errors only if a node is selected

otherwise we get the error:

'Node seems to be offline'

if we do not have a node selected

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

check earlier if the logview is destroyed

because extjs 6.2 handles destroying of components differently (namely
asynchronous), we have to check earlier if the view is destroyed, else
we get a 'cannot access ~ of undefined' error

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

make the ha node priority field explicitly not a form field

in extjs 6.2 form fields in widgetcolumns get parsed in a form
which is not what we want here, because we have a hidden field, which
gets generated on a change

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

remove unneeded applyEmptyText

this was not needed and does not work with extjs 6.2

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix #306: add email address field to backup now window

to send the backup log when clicking the backup now button

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

remove unneeded *Index.pm files

they are not used anymore

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

use Template::Toolkit instead of [ExtJs|Touch|NoVnc]Index.pm

this makes it easier to change the html if needed and seperates
it from the perl code

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add the index.html.tpl files for the default ui and touch

they are mostly copied from ExtJSIndex.pm and TouchIndex.pm, and
they are prepared with the Template::Toolkit syntax

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

specify basedirs instead of hardcoding them several times

using a hash with the directories makes it easier to reuse them

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

use login instead of bash

since bash does not play well with utf8 encoded input,
eg. pressing ALTGR + M on an english intl keyboard layout int novnc
does not enter the mu symbol but makes bash think you pressed alt+5,
we should use login without authorization when logging in as root

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

keep locale for vncshell and spiceshell

use the new keeplocale parameter from run_command and do not delete the
LANG and LANGUAGE variable for the vncshell

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ZFSEdit.js: correctly set 'nowritecache' on zfs plugin

fix #1299: sort pools in poolselector by default

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add css fix for chrome >=56

with chrome/chromium version 56, they changed the way how they calculate
height of text in input fields (now it is correct according to the
standard) but extjs up to 6.2.1 has a fix for this in css

this patch reverses the fix in extjs and can be reverted when they
remove the fix upstream

the bug (EXTJS-23628) and the fix are described here:
https://www.sencha.com/forum/showthread.php?335045

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

migrateall: use get_filtered_vmlist

instead of using get_start_stop_list in a rather hacky way use the
new get_filtered_vmlist method and adapt the loop, as now only one
level is required.

most changes  are just an indent shift left as we lost an unnecessary
loop level

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

refactor get_start_stop_list

we used get_start_stop_list for assembling a list of VMIDs for
stopall, startall and migrateall.

While get_start_stop_list did already some filtering we did some
more in the specific startall and stopall calls.
Add a new private helper which does all the filtering and just
assemble the startup order in the get_start_stop_list method.

Move the template and ha managed filtering in the new
get_filtered_vmlist method, this allows us to remove the filtering
from the API calls them self and we do not load the vms config twice
(it was cached, but nonetheless unnecessary)

get_filtered_vmlist is also intended to be used by migrateall in a
next patch

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Do not translate IT terms which should be used 'as is' in every language

for 'Initialize GPT' we use the alternate 'Initialize Disk with GPT' string
which was already existing

Rename 'create' to 'isCreate' in pveWindowEdit and subclasses

This fixes around 20 jslint type confusion warnings.
Also reduce the scope and document jslint warnings along the way.
No functional changes.

Indentation fix

InfluxDB plugins: send nodename when updating CT/VM status

This allows filtering by node in InfluxDB queries, so the statistics
of all virtual guests on a specific nodes can be queried.

While for InfluxDB this is only a tag which does changes where the
data is stored, Graphite - our other status plugin - has no such
mechanics available. If we would add it to the object hierarchy,
e.g.: "qemu.$vmid.$nodename" a migration of a VM would result in two
different datasets.
So avoid breaking setups and omit it for Graphite for now.

Suggested-by: Daniel1108 <danielgallegosanchez@gmail.com>
CC: Daniel1108 <danielgallegosanchez@gmail.com>
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Make explicit the meaning of an empty storage field

By default when no target storage is selected in the clone panel, the clone
will use the same storage*s* as the source.

This was not obvious to guess that from the panel.

Add a clone button in the VM toolbar

Up to now the Migrate function had a first class button in the toolbar,
but the Clone function didn't.
With this button the toolbar still fit correctly in a smaller
1280 pixel wide display.

Move the snapshot API test to a static function

This will allow code reuse in a following patch.

No functional change.

Fix handling of failed API call verifyFeature()

This call can for instance fails when a source VM has references
to non existing storages.

pveperf: remove outated POD replaced by pve-docs

Remove the POD content and the overwriting makefile rule
'pveperf.1.pod' so that the rule from pve-doc-generator.mk matches

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Use ip from iproute2 package instead of net-tools

iproute2 is a direct depency from pve-qemu-kvm and should
be always available

use -statistics so we get the RX/TX traffic sum like ifconfig
use -details to get extra info like current vlan_protocol

Fix #1266: use a renderer when displaying Unix timestamps.

The timestamp is displayed read only in a large window, and not sortable,
hence we use the human readable renderer.

Add a new renderer for displaying dates in a human readable way

render_timestamp returns a Date as
"2017-01-31 16:17:33"
which is good for computers and column sorting but unfit
for human consumption

the new renderer added by this patch renders a Date as
"Tuesday 31 January 2017 16:18:08"

Day-month-year order is the most used ordering
in the world and also commonly used in the USA for
official documents.
source:
https://en.wikipedia.org/wiki/Date_and_time_notation_in_the_United_States
https://en.wikipedia.org/wiki/Date_format_by_country

PVE/API2/Tasks.pm: corretly return true after loading

bump version to 4.4-12

REST/RPCEnvironment's check_worker is a method now

spiceproxy: import PVE::SafeSyslog

bump version to 4.4-11

depend on libjs-extjs

delete extjs source files

bump version to 4.4-10

move VZDump base Plugin

moved to pve-common-guest

do no translate ha states

because they have a special meaning, do not translate them

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

Use the enabled/disabled toggler to render grid options

Allows getting rid of multiple "Enable foobar" gettext strings in
LXC and Firewall option panels.

Add new renderer function for toggling enabled/disabled options

Remove technical terms from content to be translated

bump version to 4.4-9

use new PVE::Storage::check_volume_access()

pvestatd.pm: corretly use new RPCEnvironment

Call $rpcenv->active_workers()

pveproxy: do not expose /pve2/js/ (no longer required)

Remove redundant helper for login window

the information is already provided by the label, the helper does not add
meaningfull information here.

Do not try to translate domain specific terms

No one is translating DHCP in his/her own language.

Remove duplicate strings

remove reference to PVE.ConsoleWorkspace

We already removed that code (unused).

bump version to 4.4-8

PVE/HTTPServer: do not return cookie_name from auth_handler

This is no longer required.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

HTTPServer.pm: rewrite rest_handler (simplify code)

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

remove base_handler_class - directly use PVE::API2 instead

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

HTTPServer.pm: call rpcenv->init_request earlier.

Because we access file from /etc/pve/ in auth_handler.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

HTTPServer.pm: call $rpcenv-init() when necessary.

This code was removed from the generic server, so we need
to add it here. cleanup follows ...

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>