allow to configure watchdog module in /etc/default/pve-ha-manager

All watchdog modules are blacklisted, so we cannot load them via /etc/modules.
Instead, watchdog-mux loads it at startup.

bump version to 1.0-13

HA API: Fix permissions

Integrate permission in the HA API so that not only root may do
changes.
-) create/edit/update actions need the 'Sys.Console' privileges on
   the root (/) path
-) read actions need the 'Sys.Audit' privilege on the root (/) path

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-12

refactor and reuse code in vm_is_ha_managed and service_is_ha_managed

exec_resource_agent: return valid exit code instead of die's

Switch from die's to logging and return the respective exit codes.
This adds the possibility to handle (i.e.: fix) some errors outside
of the forked exec_resource_agent worker.

This does not changes behaviour for now, as the die returned an 255
exit code. We didn't checked on that exit code explicitly and so we
are safe to use the new exit codes, it results in the same behaviour
for the other code (most important the CRM Manager class).

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Use new exitcodes instead of integers

Use the new exitcodes introduced in the previous commit to gain
some readability.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Adding constants to gain more readability

Add constants to make some code easier to understand, especially the
execution of resource agents and their return codes.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-11

add workaround for bug #775

bump version to 1.0-10

fix typo in error message s/storage/resource/

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

check resource better on addition and update

Check if the resource exists in the cluster when adding it to the
ha stack.
When trying to update/migrate or delete a resource check if it's
ha managed at all.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Add resource existence check helper

Add a helper to the resource class which returns service specific if
the resource exists on the cluster, i.e. can be added.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Document parameters in parent class

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Add 'service is ha managed' check

add a check for a given $sid if it's managed by the ha stack

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-9

delete node from HA stack when deleted from cluster

When a node gets deleted from the cluster with pvecm delnode
we set it's node state in the manager status to 'gone'.
When set to gone the manager waits an hour after the node was last
seen online and only then deletes it from the manager status.

When some HA services were forgotten on the node (shouldn't happen
at all!!) the node will be fenced, the service migrated and then its
state reset to 'gone'. After an hour the node will be deleted,
unless it joined the cluster again in the meantime.

Deleting a node from the HA manager status is by no means a final
act, the ha-manager could live without deleting it, but for the user
it is confusing to see dead nodes in the interface.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-8

Use new lock domain sub instead of storage lock

Doesn't changes behaviour at all, but makes code clearer

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-7

enhance ha-managers' group commands

add commands for adding, deleting and modifying groups. Also add
better bash completion for these commands.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

vm_is_ha_managed: allow check on service state

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Groups: correctly set optional flag in propertyList

Only group and type should be required, all other properties should
be marked optional inside propertyList. We can set correct values
for optional flag inside options().

Makefile: use mv to create files atomically

Extend ha_managers' man page

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-6

fix includes from services

The crm and lrm daemon executables need to include SafeSyslog, as
they use syslog in their signal handler.
Whereas it isn't needed anymore in the Service class of the daemons.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fixing typos, also whitespace cleanup in PVE2 env class

fix typos through the whole project, used codespell to find most of
them.
Also do a big whitespace cleanup in the PVE2 enviorment class.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

adjust log level on failed start and error to warning

use warning instead of info to represent the significance of the
log message

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

implement recovery policy for services

We implement recovery policies which use settings known from
rgmanager, however the behaviour is not strictly the same,
our approach is more configurable. For example rgmanager cannot
combine its restart and relocate policy.

There are the following policy settings which kick in on an failed
service start:
* max_restart:  maxmial number of tries to restart an failed service
                on the actual node. The default is 1 restart try.
                This policy gets enforced by the LRM.

* max_relocate: maximal number of tries to relocate the service to a
                a different node. A relocate only takes place after
                the max_restart value is exceeded on the actual node
                This policy gets enforced by the CRM.

If a service is still no running after all max tries, it's state
gets set to 'error'. This means that the service needs to be checked
and disabled manually.

*Note* that the relocate state will only reset when the service had
at least one successful start. That means if a service is reenabled
without fixing the error only the restart policy gets repeated.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

improve sid bash completion

use helpers to enable advanced auto completion

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add auto completion helper for service IDs and HA groups

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

simulator: fix random output of manager status

Tell Data::Dumper to sort the keys before dumping. That fixes
the manager status mess of jumping keys.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

remove 'exename' from CLIHandler classes (not required)

ha-manager: fix manpage header

convert pve-ha-crm into a PVE::Service class

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

convert pve-ha-lrm into a PVE::Service class

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

re-add code silently removed by last commit

move ha-manager to separate CLIHandler class

Move ha-manager to separate CLIHandler class and add basic auto
completion support.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-5

Adding error state behaviour

Previously there was no way out of the error state.
Now a 'safe' state can be reached by disabling the service manually.

Disabling and reactivating should only be done if the error cause
was found and fixed.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Replacing hardcoded qemu commands with plugin calls

Now a service specific plugin gets loaded and the calls to commands
like 'migrate' or 'stop' will be handled by the plugin.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Fixed hardcoded type 'vm' in check if vm is ha managed

The new approach checks every registered resource type.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Adding PVECT resource class so that CT can be HA managed

Extend the PVEVM resource class and add a PVECT resource class so
that service type specific operations (e.g.: start, migrate, ...)
can be handled through an plugin and are independent of the service
type.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

HA parse_sid changed to accept CT

[PATCH v4] changes:

- fixed VM/CT exist check
- added internal error exception
- fix spelling errors

Fix Typo

bump version to 1.0-4

groups: encode nodes as hash (internally)

add trigger for pve-api-updates

crm: simply wait if there is no resource config

bump version to 1.0-3

bump version to 1.0-2

use Wants instead of Requires inside systemd service definitions

To avoid unnecessary restarts of dependent services.

bump version to 1.0-1

delete stale files

always start crm and lrm service

Even if there is no resources.cfg. That makes it easier to
enable HA, because we don't need to start services manually.

bump version to 0.9-3

implement delay command for regression tester

test of failback

Signed-off-by: Wolfgang Link <w.link@proxmox.com>

correctly pass parameters for change_service_location

sort output so that we can compare logs

bump version to 0.9-2

add warnings if ha group does not exists

use groups parser

avoid perl warning

update README

do not allow deletion of ha group if group is used

use correct class

complete ha group api

api: allow to use simply VMIDs as resource id

improve status API

remove ipaddr resource type

bump version to 0.9-1

rename vm resource prefix: pvevm: => vm:

add API to query ha status

bump version to 0.8-2

lrm: reduce TimeoutStopSec

because systemd waits 2*TimeoutStopSec

lrm: set systemd killmode to 'process'

We do not want to kill running VMs (for example during software update).

bump version to 0.8-1

currecrtly send cfs lock update request

bump version to 0.7-1

create /etc/pve/ha

use correct package for lock_ha_config

fit ha-manager status when ha is unconfigured

do not unlink watchdog socket when started via systemd

depend on systemd (build-depend on dh-systemd)

fix json_reader

fix dependencies

lrm: use correct rpcenv 'ha'

bump version to 0.6-1

move configuration handling into PVE::HA::Config

use cfs_read_file and cfs_write_file

ha-manager status: include service state

ha-manager status: add --verbose flag

restart lrm after upgrade

ha-manager: improve status output

add timestamp to manager status

update lrm status on each iteration