2 years agocli: allow to pass sub commands to help as array
Thomas Lamprecht [Tue, 9 Jan 2018 12:25:32 +0000 (13:25 +0100)]
cli: allow to pass sub commands to help as array

Improves usabillity by allowing to pass a sub copmmand unquoted to
the help command, e.g.:

 # pveum help user delete

without this only a quoted version worked, e.g.:
 # pveum help "user delete"

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
Acked-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
2 years agocli: allow specifying sub commands through $cmddef
Thomas Lamprecht [Tue, 9 Jan 2018 12:25:31 +0000 (13:25 +0100)]
cli: allow specifying sub commands through $cmddef

allow to use sub commands alá
 # pveum user add

The new resolve_cmd traverses $cmddef, resolves one level of aliases
and returns the respective sub command, its cmddef, arguments and if
it was expanded (e.g., pveum u d ... => pveum user delete ...) which
allows quite easy integration in the usage/synopsis generator, bash
completion helper and command handler.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agocli: factor out generate usage string
Thomas Lamprecht [Tue, 9 Jan 2018 12:25:30 +0000 (13:25 +0100)]
cli: factor out generate usage string

reduce code reuse and prepare for sub commands

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agocli: refactor print_bash_completion
Thomas Lamprecht [Tue, 9 Jan 2018 12:25:29 +0000 (13:25 +0100)]
cli: refactor print_bash_completion

move variables nearer to where they actually used.
drop program name early from argv array
drop unnecessary variables

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agoJSONSchema: add fingerprint-sha256 standard option
Thomas Lamprecht [Mon, 8 Jan 2018 08:38:52 +0000 (09:38 +0100)]
JSONSchema: add fingerprint-sha256 standard option

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agofork_worker: guard more setup code with eval
Wolfgang Bumiller [Wed, 27 Dec 2017 10:06:07 +0000 (11:06 +0100)]
fork_worker: guard more setup code with eval

As it might die with an error which should end up in the
_exit() code path rather than bailing out into the upper

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
Reviewed-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agofork_worker: use correct handle type for POSIX::write
Wolfgang Bumiller [Wed, 27 Dec 2017 10:11:05 +0000 (11:11 +0100)]
fork_worker: use correct handle type for POSIX::write

$resfh can be a pipe from POSIX::pipe() or the upid output
handle, which is an IO::File, so we need to take its

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
Fixes: ed52a8435a6d ("fork_worker: use separate pipe for status messages")
Reviewed-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agocli: factor out abort
Thomas Lamprecht [Mon, 18 Dec 2017 09:21:39 +0000 (10:21 +0100)]
cli: factor out abort

will be reused in later patches too

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
Reviewed-by: Dominik Csapak <d.csapak@proxmox.com>
Acked-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
2 years agocli: refactor comand name helper
Thomas Lamprecht [Mon, 18 Dec 2017 09:21:37 +0000 (10:21 +0100)]
cli: refactor comand name helper

use shorter and also a bit faster methods to expand and get comand

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
Acked-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
2 years agocli: factor out initialisation check
Thomas Lamprecht [Mon, 18 Dec 2017 09:21:36 +0000 (10:21 +0100)]
cli: factor out initialisation check

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
Reviewed-by: Dominik Csapak <d.csapak@proxmox.com>
Acked-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
2 years agocli: refactor and use $cmddef directly
Thomas Lamprecht [Mon, 18 Dec 2017 09:21:35 +0000 (10:21 +0100)]
cli: refactor and use $cmddef directly

passing one param less to the helper methods

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
Reviewed-by: Dominik Csapak <d.csapak@proxmox.com>
Acked-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
2 years agoTools/df: reuse run_fork_with_timeout
Thomas Lamprecht [Mon, 18 Dec 2017 13:58:26 +0000 (14:58 +0100)]
Tools/df: reuse run_fork_with_timeout

Use the later added run_fork_with_timeout for encapsulating df in a
safely manner.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agorun_command: add 'quiet' parameter for omitting STD* prints
Thomas Lamprecht [Tue, 19 Dec 2017 10:50:16 +0000 (11:50 +0100)]
run_command: add 'quiet' parameter for omitting STD* prints

Without this patch we printed to STDOUT and STDERR, respectively, if
no $outfunc or $errfunc was passed.

Sometimes it's useful if one, or even both, of those prints can
be suppressed, currently this can only be done by either using an array
of arrays or a whole string for the command and redirecting STDOUT

Add a 'quiet' option which allows to do this in an easier way.
It allows to silent STDERR or STDOUT or both.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agofork_worker: factor out synced worker output mirroring
Thomas Lamprecht [Fri, 15 Dec 2017 16:00:31 +0000 (17:00 +0100)]
fork_worker: factor out synced worker output mirroring

When running in sync (CLI environment) we mirror the workers output
to both, STDOUT and th task log file, a similar function as the unix
comand line tool tee provides, thus we borrow its name for the
factored out sub method.

This moves ~60 lines of code out of the big fork_worker sub and makes
it easier to read track what happens there.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agofork_worker: use separate pipe for status messages
Thomas Lamprecht [Fri, 15 Dec 2017 16:00:30 +0000 (17:00 +0100)]
fork_worker: use separate pipe for status messages

We forced line wise flushing of the workers STDOUT and STDERR to
capture the final status (TASK OK/TASK ERROR).
Thus, if the code executed in the worker wanted to flush explicitly,
e.g., when the last output wasn't new line terminated but needed to
reach the users eyes, the parent just ignored that.
This leads to confusing results in CLI handlers using fork_workers.

So remove the buffering logic completely and introduce a separate
pipe for sending the final status.
Said pipe gets once read after the child closes (EOF) its STDOUT.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agofork_worker: refactor passing $upid to parent for sync
Thomas Lamprecht [Fri, 15 Dec 2017 16:00:29 +0000 (17:00 +0100)]
fork_worker: refactor passing $upid to parent for sync

STDOUT and $psync[1] are the same here, so no need to differ.
Also we do this only for letting the parent know tha we're ready, the
parent knows the UPID already as it was generated before forking.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agobump version to 5.0-25
Wolfgang Bumiller [Fri, 15 Dec 2017 12:25:49 +0000 (13:25 +0100)]
bump version to 5.0-25

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
2 years agoticket: raise UNAUTHORIZED not FORBIDDEN in verify subs
Thomas Lamprecht [Fri, 15 Dec 2017 05:41:49 +0000 (06:41 +0100)]
ticket: raise UNAUTHORIZED not FORBIDDEN in verify subs

In the ticket and CSRF prevention token verification methods we used
a raise_perm exception to tell our caller about a failure of such a
verification. raise_perm uses HTTP_FORBIDDEN (403) as code.

Earlier, all such exceptions or die's where caught when the anyevent
http server called the auth_handler method and transformed to

With commit d8327719e353198a1dffad88c246fee065054a6b from
pve-http-server we gained the ability to tell a client about a server
internal 5XX error, so that clients do not get wrongly logged out if
we have a internal error.
This resulted also in the effect that the exceptions of the
verify_rsa_ticket and verify_csrf_prevention_token sub methods where
passed to the client.

If an old, now invalid, ticket was sent to the server a client got
403 (FORBIDDEN) instead of the 401 (UNAUTHORIZED) - which he was used
to, and thus meant that he did some wrong doing, instead of knowing
that he just needs to login.

As we are not yet logged in here, and thus cannot possibly know if
the call is forbidden or not, HTTP_FORBIDDEN seems the wrong code.
Change it to HTTP_UNAUTHORIZED, which restores it to the code we told
API clients since ever and is the correct one here.

Also RFC 2068 section 10.4.4 [1] defines that for the afformentioned
verify methods FORBIDDEN was not really correct:

 > 403 Forbidden
 >    The server understood the request, but is refusing to fulfill it.
 >    Authorization will not help and the request SHOULD NOT be
 >    repeated. [...]

With a invalid ticket or CSRF prevention token we have a
authorization problem for the current call, not a permission problem
(we may have, but we can't tell yet).

[1] https://tools.ietf.org/html/rfc2068#section-10.4.4

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agofix convert_size with decimal numbers and add tests
Dominik Csapak [Fri, 15 Dec 2017 09:58:10 +0000 (10:58 +0100)]
fix convert_size with decimal numbers and add tests

converting from 0.5 gb to mb resulted in 0 mb
with this patch it correctly returns 512

also add tests and catch more errors

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
2 years agobump version to 5.0-24
Wolfgang Bumiller [Wed, 13 Dec 2017 14:05:07 +0000 (15:05 +0100)]
bump version to 5.0-24

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
2 years agoread_password improvements
Wolfgang Bumiller [Wed, 13 Dec 2017 10:47:23 +0000 (11:47 +0100)]
read_password improvements

* Cancel on Ctrl+C (die())
* Finish on Ctrl+D (eof/eot) without appending a newline
* Also finish on \n to be sure.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
Reviewed-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
Tested-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agowait_for_vnc_port: allow to enforce IP family
Thomas Lamprecht [Mon, 4 Dec 2017 10:30:11 +0000 (11:30 +0100)]
wait_for_vnc_port: allow to enforce IP family

Most times a port was requested for a specified IP family (v4, v6)
only. Thus also ensure that the port from the respective family got
ready, else we may return on a false positive.

As we had no user setting the $timeout param we can add the $family
param as second one, it'll get used more often, so no need to put it
at the back.

As we do nothing if not defined this does not changes the behavior of
our users yet.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agowait_for_vnc_port: die if port did not get ready
Thomas Lamprecht [Mon, 4 Dec 2017 10:30:10 +0000 (11:30 +0100)]
wait_for_vnc_port: die if port did not get ready

All of our users expected this behavior and did not check for undef

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agobump version to 5.0-23
Wolfgang Bumiller [Mon, 4 Dec 2017 09:17:13 +0000 (10:17 +0100)]
bump version to 5.0-23

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
2 years agobuildsys: cleanup and add PTY.pm to install files
Wolfgang Bumiller [Fri, 24 Nov 2017 09:57:10 +0000 (10:57 +0100)]
buildsys: cleanup and add PTY.pm to install files

There was no obvious order to this list, now there is.
Plus, tabs after non-tabs are evil.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
2 years agopty: add read_password helper
Wolfgang Bumiller [Fri, 24 Nov 2017 09:56:15 +0000 (10:56 +0100)]
pty: add read_password helper

Short helper which doesn't need readline and/or deal with
history cleanup.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
2 years agoAdd PVE::PTY helper class
Wolfgang Bumiller [Fri, 24 Nov 2017 09:54:38 +0000 (10:54 +0100)]
Add PVE::PTY helper class

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
2 years agoRemove deprecated run_cli subroutine
Philip Abernethy [Mon, 16 Oct 2017 09:03:33 +0000 (11:03 +0200)]
Remove deprecated run_cli subroutine

2 years agobump version to 5.0-22
Wolfgang Bumiller [Mon, 20 Nov 2017 13:22:24 +0000 (14:22 +0100)]
bump version to 5.0-22

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
2 years agodaemon: fix send termination to all workers on exit
Thomas Lamprecht [Fri, 17 Nov 2017 13:05:48 +0000 (14:05 +0100)]
daemon: fix send termination to all workers on exit

The hash slice did not work as intented here, it only return the keys
from the last elemend defined in the slice, thus not all workers got

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agobump version to 5.0-21
Dietmar Maurer [Tue, 14 Nov 2017 07:01:56 +0000 (08:01 +0100)]
bump version to 5.0-21

2 years agopartially revert: daemon: refactor and cleanup
Wolfgang Bumiller [Mon, 13 Nov 2017 09:31:58 +0000 (10:31 +0100)]
partially revert: daemon: refactor and cleanup

Reverts a hunk of 0da5a3e43b16 which removed checking &
untainting of pids from the PVE_DAEMON_WORKER_PIDS env var.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
2 years agodaemon: add missing parenthesis around list
Wolfgang Bumiller [Fri, 10 Nov 2017 11:24:05 +0000 (12:24 +0100)]
daemon: add missing parenthesis around list

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
Fixes: 0da5a3e43b16 ("daemon: refactor and cleanup")

2 years agodaemon: terminate_server reduce code reuse
Thomas Lamprecht [Fri, 10 Nov 2017 11:09:29 +0000 (12:09 +0100)]
daemon: terminate_server reduce code reuse

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agodaemon: refactor and cleanup
Thomas Lamprecht [Fri, 10 Nov 2017 11:09:28 +0000 (12:09 +0100)]
daemon: refactor and cleanup

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agodaemon: don't send SIGTERM before restart on leave_children_open_on_reload
Thomas Lamprecht [Fri, 10 Nov 2017 11:09:27 +0000 (12:09 +0100)]
daemon: don't send SIGTERM before restart on leave_children_open_on_reload

Else this options is not really useful. First, sending a SIGTERM lets
the children exit, not quite what "leave_children_open_on_reload"

The problem this causes is that we may get a time window where no
worker is active and thus, for example, our API daemon would not
accept connections during a restart (or better said, reload).

So, don't request termination of any child worker, if this option is
set, but rather just restart (re-exec) ourself, startup a new set of
workers and only then request the termination of the old ones,
allowing a fully seamless reload.

This is only done on `$daemon-exe restart` and thus on
`systemctl reload $daemon`, systemctl restart or any other stop start
cycles always exit all other workers first.

This expects that the worker can do a graceful termination on
SIGTERM, which is already the case for anything using our AnyEvent
based class (which is base of our HTTPServer module).
With graceful termination is meant the following: the worker accepts
no new work and exits immediately after the current queued work is

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agotests: remove acquire-lock newline termination
Wolfgang Bumiller [Fri, 10 Nov 2017 10:29:52 +0000 (11:29 +0100)]
tests: remove acquire-lock newline termination

Not needed anymore.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>
2 years agolock_file_full: add missing trailing newline
Thomas Lamprecht [Fri, 10 Nov 2017 09:24:25 +0000 (10:24 +0100)]
lock_file_full: add missing trailing newline

When we do not instantly get the lock we print a respective message
to stderr. This shows also up in the task logs, and if it's the last
message before a 'Task OK' the UI gets confused an shows the task as

Keep the message as its a good feedback for the user to see why an op
seems to do nothing, so simply add a trailing newline.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
2 years agoJSONSchema.pm - add a 'download' attribute
Dietmar Maurer [Wed, 8 Nov 2017 08:42:58 +0000 (09:42 +0100)]
JSONSchema.pm - add a 'download' attribute

To mark methods which downloads file content to the client.

3 years agobump version to 5.0-20
Fabian Grünbichler [Tue, 17 Oct 2017 13:08:57 +0000 (15:08 +0200)]
bump version to 5.0-20

3 years agocli: whitespace cleanup
Philip Abernethy [Tue, 17 Oct 2017 11:16:26 +0000 (13:16 +0200)]
cli: whitespace cleanup

3 years agocli: code cleanup
Philip Abernethy [Tue, 17 Oct 2017 11:16:25 +0000 (13:16 +0200)]
cli: code cleanup

Removes obsolete subroutine and unused Dumper

3 years agotools: more general run_fork_with_timeout + run_fork
Wolfgang Bumiller [Tue, 10 Oct 2017 08:08:12 +0000 (10:08 +0200)]
tools: more general run_fork_with_timeout + run_fork

3 years agobuild: reformat debian/control
Fabian Grünbichler [Wed, 4 Oct 2017 09:05:33 +0000 (11:05 +0200)]
build: reformat debian/control

using wrap-and-sort -abt

3 years agobump version to 5.0-19
Dietmar Maurer [Tue, 3 Oct 2017 09:35:09 +0000 (11:35 +0200)]
bump version to 5.0-19

3 years agoPVE/Subscription.pm - check if we have a key
Dietmar Maurer [Tue, 3 Oct 2017 10:04:47 +0000 (12:04 +0200)]
PVE/Subscription.pm -  check if we have a key

3 years agoPVE/Subscription.pm - avoid warn, and return error message instead
Dietmar Maurer [Tue, 3 Oct 2017 10:02:45 +0000 (12:02 +0200)]
PVE/Subscription.pm - avoid warn, and return error message instead

3 years agoPVE::Subscription - new class to simplify subscription management
Dietmar Maurer [Fri, 29 Sep 2017 07:17:01 +0000 (09:17 +0200)]
PVE::Subscription - new class to simplify subscription management

3 years agoProcFSTools:read_proc_mounts: increase read size
Alexandre Derumier [Fri, 16 Dec 2016 16:26:10 +0000 (17:26 +0100)]
ProcFSTools:read_proc_mounts: increase read size

Signed-off-by: Alexandre Derumier <aderumier@odiso.com>
3 years agotools: df: handle a failing df
Wolfgang Bumiller [Mon, 11 Sep 2017 07:20:08 +0000 (09:20 +0200)]
tools: df: handle a failing df

This function assumed df() will work or hang, but it can
also actually fail and return undef which results in
warnings - let's silence those.

3 years agobump version to 5.0-18
Wolfgang Bumiller [Tue, 12 Sep 2017 11:43:55 +0000 (13:43 +0200)]
bump version to 5.0-18

3 years agorun_fork_with_timeout: allow returning complex structures
Thomas Lamprecht [Tue, 12 Sep 2017 11:25:30 +0000 (13:25 +0200)]
run_fork_with_timeout: allow returning complex structures

Encode the result or the error in JSON. This way complex objects or
exceptions may be passed to the parent in a generic way.

This allows to remove the second pipe 'pipe_err'.

Allow also to return undef without any warnings to our caller.
This avoids a "use of uninitialized variable ..." warning

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
3 years agoUse double hyphens when prefixing command options in the documentation
Emmanuel Kasper [Wed, 6 Sep 2017 12:37:33 +0000 (14:37 +0200)]
Use double hyphens when prefixing command options in the documentation

This makes our man pages follow the GNU long option recommandations
where non-single character options are prefixed with a double hyphen

The benefit for PVE is that our documentation looks more similar to what
a user with previous Linux knowledge is used to.

Our bash autocompletion helper only completes options using double hyphens too.

3 years agoTools: add `convert_size` for generic byte conversion
Thomas Lamprecht [Mon, 11 Sep 2017 08:41:34 +0000 (10:41 +0200)]
Tools: add `convert_size` for generic byte conversion

We often need to convert between file sizes, for formatting output,
but also code-internal. Some methods expect kilobytes, some gigabytes
and sometimes we need bytes.

While conversion from smaller to bigger units can be simply done with
a left-shift, the opposite conversion may need more attention -
depending on the used context.

If we allocate disks this is quite critical. For example, if we need
to allocate a disk with size 1023 bytes using the
PVE::Storage::vdisk_alloc method (which expects kilobytes) a
right shift by 10 (<=> division by 1024) would result in "0", which
obviously fails.

Thus we round up the converted value if a remainder was lost on the
transformation in this new method. This behaviour is opt-out, to be
on the safe side.

The method can be used in a clear way, as it gives information about
the source and target unit size, unlike "$var *= 1024", which doesn't
gives direct information at all, if not commented or derived
somewhere from its context.

For example:
 > my $size = convert_unit($value, 'gb' => 'kb');
is more clear than:
 > my $size = $value*1024*1024;

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
3 years agorun_fork_with_timeout: do not overwrite global signal handlers
Thomas Lamprecht [Wed, 6 Sep 2017 11:29:03 +0000 (13:29 +0200)]
run_fork_with_timeout: do not overwrite global signal handlers

perls 'local' must be either used in front of each $SIG{...}
assignments or they must be put in a list, else it affects only the
first variable and the rest are *not* in local context.

This may cause weird behaviour where daemons seemingly do not get
terminating signals delivered correctly and thus may not shutdown
gracefully anymore.

As we only send SIGINT to processes if a manual stop action gets
triggered just catch this one here.

As this is a general method which allows to pass an arbitrary code
payload we cannot sanely handle all signals here, so remove trapping
all other besides SIGINT, if those need to be trapped that should be
done by the caller on a case by case basis.

Fixes: #1495

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
3 years agobump version to 5.0-17
Fabian Grünbichler [Wed, 6 Sep 2017 07:37:01 +0000 (09:37 +0200)]
bump version to 5.0-17

3 years agobuild: drop -rfakeroot
Fabian Grünbichler [Wed, 6 Sep 2017 07:36:49 +0000 (09:36 +0200)]
build: drop -rfakeroot

3 years agobuild: use 'git rev-parse' for GITVERSION
Fabian Grünbichler [Wed, 6 Sep 2017 07:36:41 +0000 (09:36 +0200)]
build: use 'git rev-parse' for GITVERSION

3 years agorename variable
Fabian Grünbichler [Mon, 15 May 2017 07:31:08 +0000 (09:31 +0200)]
rename variable

to prevent confusion of rendered type text vs. original type

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
3 years agoapi: fix rendering of filepath/string parameters
Fabian Grünbichler [Mon, 15 May 2017 07:31:07 +0000 (09:31 +0200)]
api: fix rendering of filepath/string parameters

25d9bda94127b1a91181cd80bb9948093dea389b broke this check,
but it is a better idea to check against the actual type
rather then the rendered type text anyway.

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
3 years agotools: add pipe_socket_to_command
Thomas Lamprecht [Thu, 17 Aug 2017 13:05:45 +0000 (15:05 +0200)]
tools: add pipe_socket_to_command

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
3 years agoJSONSchema: add parse_boolean helper
Wolfgang Bumiller [Fri, 28 Jul 2017 07:52:44 +0000 (09:52 +0200)]
JSONSchema: add parse_boolean helper

3 years agorestenv: catch broadcast_tasklist errors gracefully
Thomas Lamprecht [Tue, 25 Jul 2017 13:32:23 +0000 (15:32 +0200)]
restenv: catch broadcast_tasklist errors gracefully

Don't die because the tasklist could not be broadcasted, just log the
Else we may hinder all task to run with a quite confusing error (i.e.
"ipcc_send_rec: file to big").

This may happen if there are a lot currently running tasks at once.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
3 years agorestenv: remove unused variable 'ctime'
Thomas Lamprecht [Tue, 25 Jul 2017 13:32:21 +0000 (15:32 +0200)]
restenv: remove unused variable 'ctime'

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
3 years agorestenv: remove unnecessary if
Thomas Lamprecht [Tue, 25 Jul 2017 13:32:20 +0000 (15:32 +0200)]
restenv: remove unnecessary if

we return early from this function if the $rest_env singleton doesn't
evaluates to true yet, so this check is useless here.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
3 years agobump version to 5.0-16
Wolfgang Bumiller [Fri, 30 Jun 2017 07:18:17 +0000 (09:18 +0200)]
bump version to 5.0-16

3 years agoAdd run_fork_with_timeout utility
Emmanuel Kasper [Thu, 29 Jun 2017 12:48:12 +0000 (14:48 +0200)]
Add run_fork_with_timeout utility

This runs subroutine in a forked process
and kills it after a timeout

3 years agobump version to 5.0-15
Dietmar Maurer [Tue, 27 Jun 2017 09:26:56 +0000 (11:26 +0200)]
bump version to 5.0-15

3 years agouse more reliable checks in wait_for_vnc_port
Thomas Lamprecht [Tue, 27 Jun 2017 09:12:04 +0000 (11:12 +0200)]
use more reliable checks in wait_for_vnc_port

We run into problems where this method returned to early, even if the
port wasn't actually ready yet. The reason for this is that we
checked /proc/net/tcp which does not guarantees and always up to date
state of only those ports which are actuall available, i.e. a port
could linger around (time-wait state) or appear even if it wasn't
accepting connections yet (as stated in the kernel docs:
/proc/net/tcp is seen as obsolete by the kernel devs).

Use the `ss` tool from the iproute2 package, it uses netlink to get
the current state and has switches where we can direct it to really
only get the state of those sockets which interest us currently.
I.e., we tell it to get only listening TCP sockets from the requested

The only drawback is that we loop on a run_command, which is slower
than just reading a file. A single loop needs about 1ms here vs the
60µs on the /proc/net/tcp read. But this isn't a api call which is
used highly frequently but rather once per noVNC console open.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
3 years agobump version to 5.0-14
Dietmar Maurer [Thu, 22 Jun 2017 06:26:17 +0000 (08:26 +0200)]
bump version to 5.0-14

3 years agoadd the parsing error message to the format
Dominik Csapak [Tue, 13 Jun 2017 09:25:35 +0000 (11:25 +0200)]
add the parsing error message to the format

so that one can see its error when using the api/gui

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
3 years agoadd ability to have multiple timespecs for hours and minutes
Dominik Csapak [Tue, 13 Jun 2017 09:25:34 +0000 (11:25 +0200)]
add ability to have multiple timespecs for hours and minutes

so things like: 2,4:0 will work

also add regression tests for this

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
3 years agotrim event and check if empty
Dominik Csapak [Tue, 13 Jun 2017 09:25:33 +0000 (11:25 +0200)]
trim event and check if empty

give a meaningful error if it is empty and disallow it instead of having
an implicit default (the default should be set by the component using
the calendarevent, not the calendarevent itself)

also add regression tests

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
3 years agoadd and use physical NIC regexp
Fabian Grünbichler [Mon, 22 May 2017 07:44:17 +0000 (09:44 +0200)]
add and use physical NIC regexp

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>
3 years agoget_ip_from_hostname: improve error message
Dietmar Maurer [Wed, 31 May 2017 12:59:44 +0000 (14:59 +0200)]
get_ip_from_hostname: improve error message

And do not generate multi-line error message.

3 years agocalendarevent: check range for start also without repetition
Dominik Csapak [Thu, 1 Jun 2017 12:17:10 +0000 (14:17 +0200)]
calendarevent: check range for start also without repetition

else an event like "61" never finishes when calculating the next event

also add regression tests for this and other range checks

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
3 years agobump version to 5.0-13
Dietmar Maurer [Wed, 31 May 2017 07:08:07 +0000 (09:08 +0200)]
bump version to 5.0-13

3 years agocalendarevent: change sorting of hours and minutes to numeric
Dominik Csapak [Tue, 30 May 2017 13:30:22 +0000 (15:30 +0200)]
calendarevent: change sorting of hours and minutes to numeric

otherwise the numbers are sorted like this:
[1,10,11 .. 19, 2, 20, ..]
which would lead to the wrong next time

also add regression tests for this and mixed forms like:

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>
3 years agotools: next_unused_port: use IPPROTO_TCP explicitly
Wolfgang Bumiller [Tue, 30 May 2017 13:30:10 +0000 (15:30 +0200)]
tools: next_unused_port: use IPPROTO_TCP explicitly

Otherwise perl tries to bind+listen on a UDP socket if the
TCP socket fails - which is a waste since we're looking for
TCP ports.
Additionall since UDP doesn't support listen(), perl will
return EOPNOTSUPP instead of, say, EADDRINUSE. (We don't
care about the error in this code though.)

3 years agotools: unused ports: optional address parameter
Wolfgang Bumiller [Tue, 30 May 2017 13:30:09 +0000 (15:30 +0200)]
tools: unused ports: optional address parameter

While it should be impossible to bind to a wildcard address
when the port is in use by any other address there's one
case where this is allowed, and that's when the port is in
use by an ipv6 address while trying to bind to an ipv4
This currently happens when qemu finds ::1 for the
'localhost' we pass to qemu's spice address while we're
resolving the local nodename via IPv4.

3 years agoPVE::JSONSchema - add proxyto_callback property
Dietmar Maurer [Mon, 29 May 2017 09:37:09 +0000 (11:37 +0200)]
PVE::JSONSchema - add proxyto_callback property

3 years agoRevert "JSONSchema.pm: register new standard option pve-replicate"
Dietmar Maurer [Tue, 23 May 2017 11:03:57 +0000 (13:03 +0200)]
Revert "JSONSchema.pm: register new standard option pve-replicate"

This reverts commit b6501c2fd913d9359a48007594d94a8c8a8745b5.

No longer required, because we use a separate SectionConfig file to
store replication config.

3 years agoMerge branch 'master' of pve-git:pve/pve-common
Fabian Grünbichler [Mon, 29 May 2017 11:57:03 +0000 (13:57 +0200)]
Merge branch 'master' of pve-git:pve/pve-common

3 years agoswap raw syscall numbers with syscall.ph for easier porting
Thomas Lamprecht [Wed, 10 May 2017 13:03:45 +0000 (15:03 +0200)]
swap raw syscall numbers with syscall.ph for easier porting

Raw syscall numbers were not platform independent, so replace them
with the helpers provided from the syscall.ph perl bits helper.

This makes reading the code easier as a nice side effect.

As syscall.ph is not an ordinary module and makes problems when it is
required by multiple modules we make a own module PVE::Syscall which
loads it and allows to export the necessary constants in a sane way.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
3 years agobump version to 5.0-12
Fabian Grünbichler [Thu, 18 May 2017 13:44:42 +0000 (15:44 +0200)]
bump version to 5.0-12

3 years agofix #1388: cpuset: sort members numerically
Wolfgang Bumiller [Thu, 18 May 2017 06:54:15 +0000 (08:54 +0200)]
fix #1388: cpuset: sort members numerically

3 years agoPVE::CalendarEvent - register format 'pve-calendar-event'
Dietmar Maurer [Wed, 17 May 2017 08:49:30 +0000 (10:49 +0200)]
PVE::CalendarEvent - register format 'pve-calendar-event'

3 years agotest/calendar_event_test.pl: regression tests for PVE::CalendarEvent
Dietmar Maurer [Wed, 17 May 2017 05:18:24 +0000 (07:18 +0200)]
test/calendar_event_test.pl: regression tests for PVE::CalendarEvent

3 years agoCalendarEvent.pm: implement parser/utils for systemd like calender exents
Dietmar Maurer [Wed, 17 May 2017 05:07:25 +0000 (07:07 +0200)]
CalendarEvent.pm: implement parser/utils for systemd like calender exents

Not complete, but useful.

3 years agoTools: make file-locking aware of external exception sources
Wolfgang Bumiller [Thu, 11 May 2017 10:40:02 +0000 (12:40 +0200)]
Tools: make file-locking aware of external exception sources

Previously an external exception (eg. caused by a SIGARLM in a code
which is already inside a run_with_timeout() call) could happen in
various places where we did not properly this situation.
For instance after calling $lock_func() but before reaching the cleanup
code. In this case a lock was leaked.
Additionally the code was broken in that it used perl's automatic hash
creation side effect ($a->{x}->{y} implicitly initializing $a->{x} with
an empty hash when it did not exist). The effect was that if our own
time out was triggered after the initial check for an existing file
handle inside $lock_func() happened (extremely rare since perl would have
to be running insanely slow), the cleanup did:

    if (my $fh = $lock_handles->{$$}->{$filename}->{fh}) {

This recreated $lock_handles->{$$}->{$filename} as an empty hash.
A subsequent call to lock_file_full() will think a file descriptor
already exists because the check simply used:

    if (!$lock_handles->{$$}->{$filename}) {

While this could have been a one-line fix for this one particular case,
we'd still not be taking external timeouts into account causing the
first issue described above.

3 years agoSectionConfig.pm: pass section data to format_section_header
Dietmar Maurer [Wed, 10 May 2017 09:14:53 +0000 (11:14 +0200)]
SectionConfig.pm: pass section data to format_section_header

So that we can store data in section headers

3 years agoJSONSchema.pm: register new standard option pve-replicate
Dietmar Maurer [Sat, 6 May 2017 07:00:50 +0000 (09:00 +0200)]
JSONSchema.pm: register new standard option pve-replicate

3 years agobump version to 5.0-11
Fabian Grünbichler [Fri, 5 May 2017 10:39:24 +0000 (12:39 +0200)]
bump version to 5.0-11

3 years agoget_options: handle array and scalar refs on decoding
Thomas Lamprecht [Fri, 5 May 2017 09:10:43 +0000 (11:10 +0200)]
get_options: handle array and scalar refs on decoding

get_options is for parsing CLI options, here we decode after using
Getopt as we are not sure how well it handles already decoded data.
But as Gettopt can produces references for the parsed data we must
handle them explictily.
So check if we have a ARRAY or SCALAR reference and decode them
All other reference types should not get returned from Getopt so
error out on them.

This bug was seen when viewing backup jobs, as we save the job as a
comand entry in /etc/pve/vzdump.cron and parse it then with this
function on reading.
Besides the use there we use it in the RESTHandler Packages
cli_handler sub method, so some CLI tools could be possibly affected
by this.

Fixes: 24197a9f6c698985b7255fbf7792b0b6bd8188b5
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
3 years agoNetwork: add helpers to resolve hostnames to IPs
Thomas Lamprecht [Tue, 2 May 2017 09:51:19 +0000 (11:51 +0200)]
Network: add helpers to resolve hostnames to IPs

Add addr_to_ip and get_ip_from_hostname helpers to PVE::Network

The first helper, addr_to_ip, is based on Wolfgangs version of this
I just moved it from PVE::Tools to PVE::Network, as it seems a more
fitting place.
It uses getnameinfo to extract information from the paddr parameter,
which is sockaddr struct
It gets used in the second helper and in a bug fix series from
Wolfgang [1]

The second helper, get_ip_from_hostname, resolves an hostname to an
IP and checks if it isn't one from the for loopback reserved 127/8
subnet. It will be used in get_remote_nodeip from PVE::CLuster and
for a bugfix in pvecm.

[0]: http://pve.proxmox.com/pipermail/pve-devel/2017-April/026099.html
[1]: http://pve.proxmox.com/pipermail/pve-devel/2017-April/026098.html

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>
3 years agobump version to 5.0-10
Dietmar Maurer [Tue, 2 May 2017 09:52:41 +0000 (11:52 +0200)]
bump version to 5.0-10

3 years agomark decode_utf8_parameters() as depreciated
Dietmar Maurer [Tue, 2 May 2017 09:30:50 +0000 (11:30 +0200)]
mark decode_utf8_parameters() as depreciated

3 years agouse Encode::Locale to encode parameters read from console(getopt)
Dietmar Maurer [Tue, 2 May 2017 09:09:35 +0000 (11:09 +0200)]
use Encode::Locale to encode parameters read from console(getopt)

3 years agobump version to 5.0-9
Dietmar Maurer [Sat, 29 Apr 2017 06:28:30 +0000 (08:28 +0200)]
bump version to 5.0-9

3 years agoPVE::RESTEnvironment::get_user - add $noerr parameter
Dietmar Maurer [Sat, 29 Apr 2017 06:27:09 +0000 (08:27 +0200)]
PVE::RESTEnvironment::get_user - add $noerr parameter