PVE::Replication - use new PVE::ReplicationState class

PVE::Replication - simplify code

Move all state writes into run_replication()

Do not internationalize 'Pools' when used in Ceph Context

This is a Ceph domain term and should not be translated like OSD, ...
Galician had "Virtual Groups" for Pools, which does not apply for
Ceph Context.
Also most languages were using 'Pools' anyway.

remove "read-only" option from container root disk

with root-only enabled, you cannot start the conainer anymore,
so we remove it there entirely

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix #1400: do not use defaultButton in NotesEdit window

with a defaultButton set, we cannot enter a newline into a textarea

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

allow width and height parameter for vncshell

so that novnc can request a different screen size

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

replication: use a dedicated lock file

Otherwise $update_job_state's file_set_contents() call
drops our lock.

make check: run replication_test6.pl

PVE::Replication::replicate - call get_ssh_info on demand

Only call get_ssh_info() when needed, and do not pass $migration_network
for a simply remove_job - this produces just overhead and is not required.
If we always call get_ssh_info() we can never delete jobs using non-existing
targets.

Untaint the content of pve-replication-state.json.

JSON::decode will not untaint the raw text, so we get problems with the
last_sync, which we use many times in the code with open3.

replication - allow removal of jobs with target on local node

bump version to 5.0-11

replication_test5.pl: add test for job removal

PVE::API2::ReplicationConfig - implement delete

We just set the remove_job property in the configuration. Actual removal
is done asynchronous inside replicate().

PVE::API2Tools::resolve_proxyto - new helper

Call proxyto_callback if that method is defined.

PVE::Replication - aquire guest_migration_lock during replication

To block guest migration.

PVE::Replication - implement replicate_volume()

Simply call PVE::Storage::storage_migrate()

ReplicationTestEnv.pm: avoid warning about undefined value

bin/test/Makefile: run all replication tests

PVE::Replication::replicate - implement replicate

The actual volume replication is done in replicate_volume(), which is just
a stub for now.

I also added a regression test replication_test5.pl to verify basic
functions.

PVE::Replication::remote_finalize_local_job - new helper

Simple wrapper to call "pvesr finalize-local-job" on a remote
cluster node.

PVE::Replication::remote_prepare_local_job - new helper

Simple wrapper to call "pvesr prepare-local-job" on a remote
cluster node.

pvesr finalize-local-job: add helper to cleanup job

This will be called after replication on the target node. For now, this
just removes old snapshots.

ReplicationTestEnv.pm: mock get_ssh_info and ssh_info_to_command

ReplicationTestEnv.pm: mock storage content methods

pvesr prepare-local-job: new helper

Prepare for starting a replication job. This is called on the target
node before replication starts. This call is for internal use, and
return a JSON object on stdout. The method first test if VM <vmid>
reside on the local node. If so, stop immediately. After that the
method scans all volume IDs for snapshots, and removes all replications
snapshots with timestamps different than <last_sync>. It also removes
any unused volumes.

Returns a hash with boolean markers for all volumes with existing
replication snapshots.

pvesr run: add --verbose flag

We can now pass a $logfunc parameter to replicate() to
produce more verbose logs/output. This is especially useful
for regression testing.

replication_test4.pl: Test replication job failure

ReplicationTestEnv.pm: add job tracking log

To generate persistent logs with job state/config changes.

replication_test3.pl: regression test for replication to same node

PVE::Replication - use new calendar events instead of interval

And implement retry algorythm after failure:

  $next_sync = $state->{last_try} + 5*60*$fail_count;

and limit to 3 failures.

PVE/Replication.pm: save pid/ptime to running job state

So that we can check which job is running.

replication_test2.pl: test replication scheduler

add regression test environment for replication

pvesr: add pve storage replication tool

Just added code to configure jobs. Replication itself is not
implemented.

Fix #1386: track postfix daemon status via postfix@-

optimize 'text' field in resourcestore

instead of doing a lot of string comparisons, we first check
the type with the most objects (vms/cts) via number operation

and in all other cases, we can simply use the type as property index

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add suspend/resume events to updateTree

this makes adding/modifying a large number of items a lot faster

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

optimize resourcestore field collection

instead of doing weird if/elsif checks with nonsensical logic

we simply check the 3 properties we want (namely convert,calculate and
defaultValue) and add them to our field definition.

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

optimize 'running' field

we do not need to check for qemu/lxc/node because the other types
do not have an uptime value

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

Make a new systemd target.

This will ensure all storages are up before pveproxy is running.

ceph: init: rename disable-cephx to disable_cephx

for consistency

ceph: init: add warning to disable-cephx

ceph: init: add optional disable-cephx option

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

ceph: init: remove filestore xattr use omap

it's not used anymore since emperor

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>

fix #1359: change to vm when double clicking in pool member view

like in the resource grid

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 5.0-10

PVE/APLInfo.pm: avoid locale specific time stamps

vzdump: do not generate locale specific time stamps

Avoid perl warning: Wide character in print

bump version to 5.0-9

statd: rebalance: don't use CpuSet::max_cpuids

We're already limiting CPUs to lxc/cpuset.effective_cpus,
so let's use the highest cpuid from that set as a maximum to
initialize the container count array.

bump version to 5.0-8

filter templates in bulk start/stop

because we cannot start/stop templates

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add skylake to cpu types

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

set default focus and default button for edit window

this patch sets following defaults for the edit window:

defaultFocus: 'field'

sets the focus on the first field it finds in its child items,
works for most edit windows, so that the cursor stands in a
textfield, or on a checkbox

defaultButton: 'submitbutton'

so that when someone presses enter, we submit the form

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 5.0-7

highlight errors in grids

we gave erroneous entries in grids the class .x-form-invalid-field
but since we changed to the "crisp" theme, this class did not have any
highlighting

so instead we use our own "pve-invalid-row" class
and give it a light red background

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add right-click menu for nodes

to easier reach the bulk actions, create wizards, and shell

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

use nodename parameter to preselect the node in the wizard

this will be used for the ndoe right-click-menu

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add a 'convert to template' in the vm action bar

this was only available on right clicking a vm, now it is also available
in the action bar

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

move qemu reset button into shutdown menu

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

bump version to 5.0-6

Ceph: allow bigger size and min_size in API

ceph/pool: allow bigger size and min_size values

Some setups may want to use more replicas as three, while my proposed
maximal 7 replicas is also arbitrary it should cover all normal
usecases (i.e. 5 replicas) and a bit more, just to be sure.

ceph/pool: change default replica to 3/2

size/min_size 2/1 is unsafe as it can result in split brains, so we
should not recommend it as default.

If the user really wants it he can still set it explicit.

fix #1317: check wizard form also on validitychange

with the commit
    40342aa6c4278497b9ec8c9cce8739f9b29c2e8f
we introduced a validator on the guestidselector, but did not
notice that the wizard checks the validity on the field change event,
but the selector gets valid/invalid in an api callback(so a little later)

with this patch, we now validate the field correctly with validate()
and also listen on the validitychange event to catch it

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix start on boot

fix the fix for #1024

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 5.0-5

use new repository URL

bump version to 5.0-4

fix #1307: dont use language dependent separator in gui

by default, extjs submits the language dependent decimal separator,
e.g. ',' for german and '.' for english

but we always want '.'

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

add beta text with link to bugtracker

for the 5.0 beta, add a link to the bugtracker

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

ceph: create default keys when creating monitor

this used to be a separate service, but got dropped in
Kraken in favour of calling ceph-create-keys manually when
deploying a node.

pveceph: use luminous by default

bump version to 5.0-3

use 'U' to encode undefined values for RRD graphs

rrdtools 1.5 and newer seems to require this.

remove backup locks when starting all VMs on boot

If on bootup one of our VMs is locked by an backup we safely can
assume that this backup job does not run anymore and that the lock
has no reason anymore and just hinders uptime of services.

As at this time we (the node) have quorum so we may safely assume
that we have a consistent view of the cluster and all our VMs really
belong to us. We just need to ensure that we do not run into an
automatic backup jobs, so execute our code with VZDumps lock or
timeout.
Log in the Task and Sys log that we removed the lock, so that an
admin easily sees that there may be need for cleaning leftovers from
an interrupted backup.

Addresses bug #1024

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

get_filtered_vmlist: save VM conf in own subhash

small refactoring in get_filtered_vmlist: save a VMs config in its
own subhash to avoid collisions with other data which we want to save
in the vmid list, for now this is only `type` but in the next patch
I want to save also the class

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

include also HA VMs if a vm list is explicit specified

Else the user would not had specified them explicit

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

VMSelctor: add HA state and allow to filter with it

This allows also to filter after HA states, so one may bulk control
HA managed services more easily or do bulk actions just on unmanaged
VMs

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

PVEResource store: respect defaulValue of elements

If we explicitly set a fields defaultValue we really want it in the
Model.

Also needed for a further patch

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

ResourceStore: fix typo s/Colum/Columns/

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

update sources.list to stretch

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

APT: update packages and package names

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

Makefile: use "ssh -X" for upload

bump version to 5.0-2

control.in: change description to avoid lintian warning

Avoids warning: description-synopsis-starts-with-article

depend on libc6 to avoid lintian error missing-dependency-on-libc

pveproxy: do not serve /usr/share/vncterm - no longer required

Note: We removed the java applet

install lintian overrides file

bump version to 5.0-1

bump version to 4.4-13

fix ceph.service for Ceph Jewel >= 10.2.6

having our ceph.service pulled in by ceph.target does not
work anymore, because "systemctl start ceph.target" hangs
forever on ceph-common upgrades. multi-user.target seems to
work as well, and we are ordered after pve-cluster anyway.

only replace the old ceph.service if it is an exact match.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

buildsys: depend on lsb-base

buildsys: make job safety

remove space in service file

fix diffstore issue with clusterlog

extjs cannot "convert" and id from other fields, so the ids in the
diffstore and the realstore are different and we re-add every element on
every update

to mitigate this, we generate the id (which is "uid:hostname") in the
backend, and simply use it in the frontend

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

use validator for GuestIDSelector and optimize labels

instead of using markInvalid, use a validator, which also marks the
field dirty and marks the form correctly invalid.

also optimize the label/error message assignments

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

show nodeselector errors only if a node is selected

otherwise we get the error:

'Node seems to be offline'

if we do not have a node selected

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

check earlier if the logview is destroyed

because extjs 6.2 handles destroying of components differently (namely
asynchronous), we have to check earlier if the view is destroyed, else
we get a 'cannot access ~ of undefined' error

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>