Fix postinstall script not removing watchdog-mux.socket

watchdog-mux.socket was removed in f8a3fc80af but the
postinstall script used -e instead of -L to test for the
symlink, which fails since the destination is already
removed at that point.

Use -L and remove the dead symlink if it exists.

Reported-by: Alexandre Derumier <aderumier@odiso.com>

bump versionm to 1.0-20

move upid_wait from PVE2 env to HA::Tools

We can now use the new wait_upid from PVE::Tools and we output a
"Task still active" every five seconds instead of every second,
so we trash the log less.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix check if a resource migrated correctly

Move the check from exec_resource_agents to the migrate method of
the resource plugins so that we may delete the traces from the
additional method 'is_on_node' which was intended for this
purpose.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add after_fork method to HA environment and use it in LRM

As both the realtime simulator and the real world Environment can
fork but we only need to clean up after a fork in the real world
introduce a after_fork method

In PVE2 it closes the inherited INotify fd and reopens it for the
worker.
Also a cfs_update gets triggered as (other) workers may change the
cluster state.

also use the new introduction HA-Env method to clean up after
we forked an LRM worker.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

change include order to register resource plugin correctly

remove ugly import hack

Not required if we register resources from the Env class.

use require to include resources from simulation environment

Because the may not be installed on a normal system.

Move exec_resource_agent from environment classes to LRM

With the changes and preparation work from the previous commits
we can now move the quite important method exec_resource_agent
from the Env classes to the LRM where it get's called.

The main advantage of this is that it now underlies regression
tests and that we do not have two separate methods where it
- does not make sense as agents them self should be virtualized
  not the method executing them
- adds more work as the must (or at least should) be in sync

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

PVE::HA::Config: use import flag to load appropritate resources

Add virtual resources for tests and simulation

Introduce a base class for Virtual Resources with almost all methods
already implemented.
Also add a class for virtual CTs and VMs, with the primary
distinction that CTs may not migrate online.

The Resource are registered in the Hardware class and overwrite
any already registered resources from the same type (e.g. VirtVM
overwrites PVEVM) so that the correct plugins are loaded for
regression tests and the simulator.

This makes the way free for adding(deterministic) 'malicious'
resources, so we can make test where, for example, a service fails
a few times to start or migrate.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Env: add method to get hardware object

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add 'haenv' parameter to plugin method 'check_running'

This is preparation work and needed when adding virtual resources
for testing/simulation purpose.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Split up resources and move them to own sub folder

Implementing every resource in the base 'Resources' class is a bit
messy, especially if more resource agent get added.

This moves each class to a own Perl module in the new 'Resources'
sub folder.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

LRM: do not release lock on shutdown errors

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-19

remove 'running' from migrate/relocate log message

As relocate is never 'running' and migrate is only 'running
if the resource is a VM this could only generate confusion,
better use an neutral message.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

LRM: release lock also on restart

Wen restarting the LRM (e.g. on a update) we get an new pid and thus
have to wait for our own lock to timeout.
We can (and should) do that as there are no services or all services
are freezed. If they are freezed only our LRM may touch them so we
we can unfreeze them faster with this patch.

The expected log of the restart-lrm test does not change much as the
test system does not need to wait for a timeout.

This let's the LRM start working directly after a restart,
especially usefull on package updates.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

TestHardware: correct shutdown/reboot behaviour of CRM and LRM

Instead of shutting down the LRM and then killing the CRM we now
also make a shutdown request to the CRM, that mirrors the real world
behaviour much better and let's us also test the lock release from
the CRM.

To accomplish this we add new sim_hardware commands for stopping and
starting the CRM.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

release LRM agent lock on graceful shutdown

Release the agent lock when we shutdown the LRM and stopped all
services.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

CRM: release lock on shutdown request

release the manager lock on a shutdown request, so another CRM slave
can get it and continue to work without waiting for the lock timeout

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

resource agents: fix relocate

Previously a relocate from a running VM wasn't possible as we always
tried to migrate online, this patch fixes that.

Also only VMs may migrate online for now Container will always get relocated.

This avoids also confusion from the 'migrate (running)' log message
in case of CTs as the always get relocated.

Fixes test test-shutdown3

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

resource agents: generate parameters inside resource classes

The params of resource methods are normally specific for each
resource type.

CTs and VMs have the same interfaces in the needed cases so we could
generate the params in the exec_resource_agent method. This is not
clean because:
 * resource specific stuff shouldn't be in this method
 * this can make problems if we want to add another resource type
   in the future which has a completely different interface

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add test for container failback

allow to simulate container resources

convert agent restult to exit code

add another test case for failback

bump version to 1.0-18

pve-ha-lrm.service: depend on lxc.service

lxc.service kills all containers at shutdown. So we need to deppend
on that, so that we can cleanly shutdown our containers.

re-add #DEBHELPER# code to postinst

otherwise the services are not re-started correctly!

cleanup postinst script

only remove files when necessary - and run systemctl daemon-reload.

free cmd pointer after it's execution

Quoting the asprintf man page:
> [..]
> This pointer should be passed to free(3) to release the allocated
> storage when it is  no  longer needed.
> [..]

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

output watchdog module name if it gets loaded

If /dev/watchdog is not present and a WATCHDOG_MODULE env variable
is set, output it's name before trying to load it (helps debugging).

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

small cleanup

remove the unlink_socket variable and it's check as they wher
always true, as error and the end of the programm can only be
reached when the socket is already set up.
Also unlinking an non existent file does not result in any error.

also some whitespace cleanup in the surrounding area.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

remove watchdog-mux.socket

The use of an systemd socket unit for the watchdog socket is not
necessary for us it even generates problems as the socket already
runs and accepts input when the watchdog-mux daemon itself is not
running. So the LRM/CRM could successfully open and update the
watchdog even if it was not running!

This patch removes the unit file, adds a postinst script which
handles the removal of the links generated from systemd itself
and removes also the code from watchdog-mux which handled
the systemd socket unit.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-17

Resources.pm: use PVE::API2::LXC

improve log messages if service stop fails.

add service addition and deletion regression tests

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add service relocate regression test

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Sim/Env: fix removing service from old node on migration

We only removed the service from the source node on a relocate, we
also want to remove it on a successfull migration else we have it
on two nodes at the same time.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add test to for previous commit

This shows why we need always to 'delete' (i.e. setting it to 0)
the service from the old node when relocating or migrating.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add service migrate/relocate to regression tests

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add queue_crm_commands_nolock

add service disable/enable to regression tests

Allow execution of user triggered service commands in regression
tests, like enable or disable. This is the test equivalent to a
ha-manager action service:id
command.

Also add a test for a disable enable cycle.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Sim/Hardware: move set_service_state to base class

Move the set_service_state method from the Realtime Hardware class
(RTHardware) to it's base class as the TestHardware could also use
it.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

TestHardware: use more informative error message

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-16

check_active_workers: fix typo /uuid/uid/

This typo caused a bug where resource_command_finished was never
called as $w->{uuid} is not existing and thus always undefined.
Use the correct $w->{uid} instead.

Also fix a comment where used 'uuid' to avoid confusion.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

avoid warning about uninitialized value

bump version to 1.0-15

correctly stop all resources on shutdown

And wait for all worker tasks before exit.

lrm: catch repeated calls to shutdown_request

implement restart-lrm test

new test for node shutdown

correctly reset node status on power on/off

lrm: only freeze services if lrm is in 'restart' mode

rename is_poweroff to is_node_shutdown

lrm: implement different behavior for shutdown and restart

We want to keep resources running at service restart (freeze), but
want to stop them at them at shutdown.

Actual stoping service will follow in the next patch.

HA Env: add 'is_poweroff' function

This function returns true if we do an shutdown/poweroff and thus the
services should not get freezed but fenced if the node does not
comes back up fast enough.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

TestHardware: add 'reboot' and 'shutdown' command

Hardware: remove unnecessary lock in get_node_info

This lock is not needed asthe status gets written with
file_set_contents from PVE::Tools which is atomic (fuse bug does
not apply here) so we do not need to be scared that we read
inconsistent data.

This also prevents a deadlock if any function needs to know if the
simulated node is quorate in a locked context, like
sim_hardware_cmd is.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

set RELEASE=4.1

bump version to 1.0-14

allow to configure watchdog module in /etc/default/pve-ha-manager

All watchdog modules are blacklisted, so we cannot load them via /etc/modules.
Instead, watchdog-mux loads it at startup.

bump version to 1.0-13

HA API: Fix permissions

Integrate permission in the HA API so that not only root may do
changes.
-) create/edit/update actions need the 'Sys.Console' privileges on
   the root (/) path
-) read actions need the 'Sys.Audit' privilege on the root (/) path

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-12

refactor and reuse code in vm_is_ha_managed and service_is_ha_managed

exec_resource_agent: return valid exit code instead of die's

Switch from die's to logging and return the respective exit codes.
This adds the possibility to handle (i.e.: fix) some errors outside
of the forked exec_resource_agent worker.

This does not changes behaviour for now, as the die returned an 255
exit code. We didn't checked on that exit code explicitly and so we
are safe to use the new exit codes, it results in the same behaviour
for the other code (most important the CRM Manager class).

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Use new exitcodes instead of integers

Use the new exitcodes introduced in the previous commit to gain
some readability.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Adding constants to gain more readability

Add constants to make some code easier to understand, especially the
execution of resource agents and their return codes.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-11

add workaround for bug #775

bump version to 1.0-10

fix typo in error message s/storage/resource/

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

check resource better on addition and update

Check if the resource exists in the cluster when adding it to the
ha stack.
When trying to update/migrate or delete a resource check if it's
ha managed at all.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Add resource existence check helper

Add a helper to the resource class which returns service specific if
the resource exists on the cluster, i.e. can be added.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Document parameters in parent class

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Add 'service is ha managed' check

add a check for a given $sid if it's managed by the ha stack

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-9

delete node from HA stack when deleted from cluster

When a node gets deleted from the cluster with pvecm delnode
we set it's node state in the manager status to 'gone'.
When set to gone the manager waits an hour after the node was last
seen online and only then deletes it from the manager status.

When some HA services were forgotten on the node (shouldn't happen
at all!!) the node will be fenced, the service migrated and then its
state reset to 'gone'. After an hour the node will be deleted,
unless it joined the cluster again in the meantime.

Deleting a node from the HA manager status is by no means a final
act, the ha-manager could live without deleting it, but for the user
it is confusing to see dead nodes in the interface.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-8

Use new lock domain sub instead of storage lock

Doesn't changes behaviour at all, but makes code clearer

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-7

enhance ha-managers' group commands

add commands for adding, deleting and modifying groups. Also add
better bash completion for these commands.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

vm_is_ha_managed: allow check on service state

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Groups: correctly set optional flag in propertyList

Only group and type should be required, all other properties should
be marked optional inside propertyList. We can set correct values
for optional flag inside options().

Makefile: use mv to create files atomically

Extend ha_managers' man page

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 1.0-6

fix includes from services

The crm and lrm daemon executables need to include SafeSyslog, as
they use syslog in their signal handler.
Whereas it isn't needed anymore in the Service class of the daemons.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fixing typos, also whitespace cleanup in PVE2 env class

fix typos through the whole project, used codespell to find most of
them.
Also do a big whitespace cleanup in the PVE2 enviorment class.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

adjust log level on failed start and error to warning

use warning instead of info to represent the significance of the
log message

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

implement recovery policy for services

We implement recovery policies which use settings known from
rgmanager, however the behaviour is not strictly the same,
our approach is more configurable. For example rgmanager cannot
combine its restart and relocate policy.

There are the following policy settings which kick in on an failed
service start:
* max_restart:  maxmial number of tries to restart an failed service
                on the actual node. The default is 1 restart try.
                This policy gets enforced by the LRM.

* max_relocate: maximal number of tries to relocate the service to a
                a different node. A relocate only takes place after
                the max_restart value is exceeded on the actual node
                This policy gets enforced by the CRM.

If a service is still no running after all max tries, it's state
gets set to 'error'. This means that the service needs to be checked
and disabled manually.

*Note* that the relocate state will only reset when the service had
at least one successful start. That means if a service is reenabled
without fixing the error only the restart policy gets repeated.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

improve sid bash completion

use helpers to enable advanced auto completion

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

add auto completion helper for service IDs and HA groups

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

simulator: fix random output of manager status

Tell Data::Dumper to sort the keys before dumping. That fixes
the manager status mess of jumping keys.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

remove 'exename' from CLIHandler classes (not required)