JSONSchema.pm: register new standard option pve-replicate

bump version to 5.0-11

get_options: handle array and scalar refs on decoding

get_options is for parsing CLI options, here we decode after using
Getopt as we are not sure how well it handles already decoded data.
But as Gettopt can produces references for the parsed data we must
handle them explictily.
So check if we have a ARRAY or SCALAR reference and decode them
respectively.
All other reference types should not get returned from Getopt so
error out on them.

This bug was seen when viewing backup jobs, as we save the job as a
comand entry in /etc/pve/vzdump.cron and parse it then with this
function on reading.
Besides the use there we use it in the RESTHandler Packages
cli_handler sub method, so some CLI tools could be possibly affected
by this.

Fixes: 24197a9f6c698985b7255fbf7792b0b6bd8188b5
Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

Network: add helpers to resolve hostnames to IPs

Add addr_to_ip and get_ip_from_hostname helpers to PVE::Network

The first helper, addr_to_ip, is based on Wolfgangs version of this
[0]
I just moved it from PVE::Tools to PVE::Network, as it seems a more
fitting place.
It uses getnameinfo to extract information from the paddr parameter,
which is sockaddr struct
It gets used in the second helper and in a bug fix series from
Wolfgang [1]

The second helper, get_ip_from_hostname, resolves an hostname to an
IP and checks if it isn't one from the for loopback reserved 127/8
subnet. It will be used in get_remote_nodeip from PVE::CLuster and
for a bugfix in pvecm.

[0]: http://pve.proxmox.com/pipermail/pve-devel/2017-April/026099.html
[1]: http://pve.proxmox.com/pipermail/pve-devel/2017-April/026098.html

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

bump version to 5.0-10

mark decode_utf8_parameters() as depreciated

use Encode::Locale to encode parameters read from console(getopt)

bump version to 5.0-9

PVE::RESTEnvironment::get_user - add $noerr parameter

bump version to 5.0-8

cpuset: remove max-cpu range check

CpuSets usually come from (or a built using) values read
from cgroups anyway. (Eg. for container balancing we only
use ids found in lxc/cpuset.effective_cpus.)

bump version to 5.0-7

run_command: default exit code to -1

When the child process running the command got  an signal or failed
to execute exitcode was still undefined as we extract it just only
after the signal/failed to execute check.
This led to:
 > Use of uninitialized value in numeric ne (!=) at
 > /usr/share/perl5/PVE/API2/Qemu.pm line 1433.
errors if we used run_commands `noerr` param and checked for the
commands exit code.

So just default the exit code to -1 for such cases.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

net: only disable ipv6 on actual creation

And leave it alone if the interface already existed.

Makefile(clean): remove *.buildinfo

PVE::Tools::dump_journal: allow to filter a specific service

bump version to 5.0-6

Add utility subroutine to get the fully qualified domain name of a host

bump version to 5.0-4

PVE::Tools::encrypt_pw() - new helper copied from pve-access-control

bump version to 5.0-4

depend on libmime-base32-perl (required by OTP.pm)

OTP.pm: new class with OTP helpers

Copied from pve-access-control.

README.dev: remove vlan and ifenslave-2.6 packages

we have a conflict on the former and the latter does not
even exist in Jessie.

README.dev: remove '-y' from apt-get

bump version to 5.0-3

INotify.pm: use Clone::clone instead of Storable::dclone

I run into seroius troubles with dclone, which seem to be
buggy with tainted flag ...

Also, documentation states Clone::clone is much faster.

bump version to 5.0-2

README.dev: add libiscsi-dev libiscsi7

README.dev: change build order (pve-firewall before qemu-server)

README.dev: remove lvm.git

README.dev: add extjs.git and pve-guest-common.git

README.dev: add missing build depends for pve-cluster

add missing build dependencies

README.dev: adopt package list for stretch

add keeplocale parameter to run_command

since the "lang" param has not worked, introduce a "keeplocale"
parameter instead.

the default behaviour is the same (set LC_ALL to 'C'), but we can use
the parameter to keep the locale from the host (eg. for the vncshell)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

Makefile: upload to --product pve,pmg

We use the same library for new proxmox mail gateway (pmg).

bump version to 5.0-1

Makefile: use "--product pve --dist jessie" for upload

bump version to 4.0-93

SectionConfig::check_value: return bool/numbers as numeric value

This is important when we convert the result to JSON.
Else the GUI receives booleans as "0", which evaluate to true
in JS!

NOTE: "0" evaluates to false with perl.

JSONSchema::check_type: return success (not value)

RESTEnvironment->init_request: reset result_attributes

SectionConfig: add new parameter $skip_type to createSchema()

This is useful when there is only a single type of entries.

SectionConfig:write_config: sort options by key name

Else we can get different config digest...

SectionConfig: allow to get class specific updateSchema()

Useful when you have different section types, and you want to have
separate update API methods.

(maybe) fixes #1229: fix port reservation

when reserving ports, we use lock_file to lock the
reservation file, but then use file_set_content which
writes a new file and renames it, making the lock invalid
and different processes waiting for the lock get inconsistent
data

instead we use a designated lock file for the lock, so that we don't
lose the lock when writing the reservation file

this should fix the problem that sometimes multiple vms get the
same vnc/spice port

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

fix trailing whitespaces

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

Fix example to latest RestHandler

looking at the handle() sub from RestHandler.pm

    my $result = &$func($param);

this parameters are not passed anymore

bump version to 4.0-92

deps: moving skiplock breaks qemu-server << 4.0-109

JSONSchema: adding skiplock option here

Network: stop using ifconfig

We shouldn't mix different tool sets on the one hand, and on
the other hand net-tools is an optional package in stretch
and there's no real need for us to depend on it.

bump version to 4.0-91

add Breaks for upgrade path

buildsys: missing build-dependencies

cleanup previous commit

Fix interface writer for bridge_ports and slaves.

The pve-iface-list allow to separate interfaces with [;,\s].
But in the interface file are only whitespace allowed to separate interfaces.

bump version to 4.0-90

RESTEnvironment: let check_worker take a $self

bump version to 4.0-89

remove AbstractConfig and AbstractMigrate

they have their own repo / package now (pve-guest-common)

set compat level to 9

To avoid warnings on debian stretch.

runtest.pl: use lib '.' - because newer perl does not have that by default

To make tests work again on debian stretch.

fix #1232: cleanup bridges on veth_delete

When a container stops or hotplug changes are applied we
do a veth_delete() which does not cleanup the firewall
bridges or OVS ports. This is problematic at the next
startup. When creating a network device we usually want to
copy the MTU of the bridge we intend to put it on, however,
with OVS still having the old port lying around the
recreated device gets associated with the bridge before we
read its MTU, potentially reducing it to that of the newly
created device.

This cleanup also gets rid of stale fwbr/fwln devices from
stopped containers.

bump version to 4.0-88

remove libmime-base32-perl - we do not need that

PVE::Ticket - new helper class to create auth tickets

bump version to 4.0-87

JSONSchema: remove formatter option

We do no longer store that information in the method info.

RESTHandler.pm: remove register_page_formatter (no longer required)

PVE::RESTEnvironment: new base class for PVE::RPCEnvironment

Copied most code from PVE::RPCEnvironment.

bump version to 4.0-86

CLIHandler.pm: remove run as root restriction

This should be checked somewhere else.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

CLIHandler.pm: add setup_environment hook

Most PVE command line tools will simply call

 PVE::RPCEnvironment->setup_default_cli_env();

there.

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

remove calls to PVE::RPCEnvironment

This introduces a cyclic dependency, so we need to remove this.

PVE::CLI::* classes should instead add ad call to

 PVE::RPCEnvironment->setup_default_cli_env();

Signed-off-by: Dietmar Maurer <dietmar@proxmox.com>

bump version 4.0-85

refactor delete_snapshot for readability

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

set 'snapshot-delete' lock when deleting snapshot

unless we are in cleanup mode from a failed snapshot_create,
in which case the config already has a 'snapshot' lock.

this is necessary to prevent concurrent starting of or other
actions on the guest in the windows inbetween holding the
flock, e.g. when removing the volume snapshot (which can
take a bit of time).

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

bump version to 4.0-84

and remove RELEASE

CpuSet write_to_cgroup: catch errors from close()

CpuSet short_string - avoid ranges like 0-0, 1-1, 2-2, ...

bump version to 4.0-83

safe_read_from: add filename parameter to improve error messages

bump version to 4.0-82

cpuset: fix short_string

don't drop the next current cpu after finishing a range

bump version to 4.0-81

use better regex for remote ip check

while the input should be correctly generated by the other site its
still better to be on the safe side, so check if the IP is really an
valid one.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

schema_get_type_text: do not always expand enums

We try to keep the text short by default.

schema_get_type_text: render generic types as <type>

bump version to 4.0-80

use the pvecm mtunnel command to get remote migration ip

Ask the pvecm mtunnel command (was earlier in qm) if the remote side
has an IP configured in a given migration_network denoted by a CIDR.

If such a IP is available reset the nodeip and rem_ssh variables
and check if we can connect to the other side with ssh public key
authentication.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tempfile: use /tmp for fallback-tempfiles

At this point we know it's not a tmpfs (as tmpfs definitely
supports O_TMPFILE), so /tmp makes more sense than /run as
default path.

tempfile: unliked-file fallback

some file systems (eg. ZFS) don't support O_TMPFILE

Fix #1188: tempfile: use /run by default

as /tmp is not a tmpfs by default and some file systems
(like ZFS) don't support O_TMPFILE

JSONSchema: named formats in parse_property_string

While our code currently passes the format hashes directly,
some code gets them via the format property of a
configuration description which verifies successfully via
check_format() for named property string formats, so this
should be allowed.

bump version to 4.0-79

CpuSet: read $MAX_CPUID from /proc/cpuinfo

add get_local_ip_from_cidr

The get_local_ip_from_cidr method can be used to determine addresses
configured on interfaces from the callers node which are located
in the subnet. The subnet can be passed in CIDR notation.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

fix typo

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>