file logger: add option to make the backup user the log file owner

and use that in ApiConfig to avoid that it is owned by root if the
proxmox-backup-api process creates it first.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server/rest: also log user agent

allows easily to see if a request is from a browser or a proxmox-backup-client
CLI

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server/rest: implement request access log

reuse the FileLogger module in append mode.
As it implements write, which is not thread safe (mutable self) and
we use it in a async context we need to serialize access using a
mutex.

Try to use the same format we do in pveproxy, namely the one which is
also used in apache or nginx by default.

Use the response extensions to pass up the userid, if we extract it
from a ticket.

The privileged and unprivileged dameons log both to the same file, to
have a unified view, and avoiding the need to handle more log files.
We avoid extra intra-process locking by reusing the fact that a write
smaller than PIPE_BUF (4k on linux) is atomic for files opened with
the 'O_APPEND' flag. For now the logged request path is not yet
guaranteed to be smaller than that, this will be improved in a future
patch.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tools file logger: fix example and comments

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tools: file logger: use option struct to control behavior

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server: rest: also log the query part of URL

As it is part of the request and we do so in our other products

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server: rest: implement max URI path and query length request limits

Add a generous limit now and return the correct error (414 URI Too
Long). Otherwise we could to pretty larger GET requests, 64 KiB and
possible bigger (at 64 KiB my simple curl test failed due to
shell/curl limitations).

For now allow a 3072 characters as combined length of URI path and
query.

This is conform with the HTTP/1.1 RFCs (e.g., RFC 7231, 6.5.12 and
RFC 2616, 3.2.1) which do not specify any limits, upper or lower, but
require that all server accessible resources mus be reachable without
getting 414, which is normally fulfilled as we have various length
limits for stuff which could be in an URI, in place, e.g.:
 * user id: max. 64 chars
 * datastore: max. 32 chars

The only known problematic API endpoint is the catalog one, used in
the GUI's pxar file browser:
GET /api2/json/admin/datastore/<id>/catalog?..&filepath=<path>

The <path> is the encoded archive path, and can be arbitrary long.

But, this is a flawed design, as even without this new limit one can
easily generate archives which cannot be browsed anymore, as hyper
only accepts requests with max. 64 KiB in the URI.
So rather, we should move that to a GET-as-POST call, which has no
such limitations (and would not need to base32 encode the path).

Note: This change was inspired by adding a request access log, which
profits from such limits as we can then rely on certain atomicity
guarantees when writing requests to the log.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server/rest: forward real client IP on proxied request

needs new proxmox dependency to get the RpcEnvironment changes,
adding client_ip getter and setter.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server: rest: refactor code to avoid multiple log_response calls

The 'Ok::<_, Self::Error>(res)' type annotation was from a time where
we could not use async, and had a combinator here which needed
explicity type information. We switched over to async in commit
df52ba5e4578176326da718d9660efa893d063a5 and, as the type annotation
is already included in the Future type, we can safely drop it.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

code cleanups

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server/REST: check auth: code cleanup, better variable names

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server/REST: make handle_request private

it's not used anywhere else, so do not suggest so

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server: get index: make content-type non mutable

feels more idiomatic

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server/rest: code cleanup: use async

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

REST: don't print CSRF token

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

REST server: avoid hard coding world readable API endpoints

while we probably do not add much more to them, it still looks ugly.

If this was made so that adding a World readable API call is "hard"
and not done by accident, it rather should be done as a test on build
time. But, IMO, the API permission schema definitions are easy to
review, and not often changed/added - so any wrong World readable API
call will normally still caught.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

rest server: cleanup use statements

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

avoid chrono dependency, depend on proxmox 0.3.8

- remove chrono dependency

- depend on proxmox 0.3.8

- remove epoch_now, epoch_now_u64 and epoch_now_f64

- remove tm_editor (moved to proxmox crate)

- use new helpers from proxmox 0.3.8
  * epoch_i64 and epoch_f64
  * parse_rfc3339
  * epoch_to_rfc3339_utc
  * strftime_local

- BackupDir changes:
  * store epoch and rfc3339 string instead of DateTime
  * backup_time_to_string now return a Result
  * remove unnecessary TryFrom<(BackupGroup, i64)> for BackupDir

- DynamicIndexHeader: change ctime to i64

- FixedIndexHeader: change ctime to i64

don't truncate DateTime nanoseconds

where we don't care about them anyway..

Signed-off-by: Fabian Grünbichler <f.gruenbichler@proxmox.com>

ui: add translation support

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

tools: rename extract_auth_cookie to extract_cookie

It does nothing specific to authentication..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

replace and remove old ticket functions

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

introduce Username, Realm and Userid api types

and begin splitting up types.rs as it has grown quite large
already

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

bump proxmox to 0.3, cleanup http_err macro usage

Also swap the order of a couple of `.map_err().await` to
`.await.map_err()` since that's generally more efficient.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

followup: server/state: rename task_count to internal_task_count

so that the relation with spawn_internal_task is made more clear

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

server/state: add spawn_internal_task and use it for websockets

is a helper to spawn an internal tokio task without it showing up
in the task list

it is still tracked for reload and notifies the last_worker_listeners

this enables the console to survive a reload of proxmox-backup-proxy

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

server/rest: add console to index

register the console template and render it when the 'console' parameter
is given

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

server/config: add mechanism to update template

instead of exposing handlebars itself, offer a register_template and
a render_template ourselves.

render_template checks if the template file was modified since
the last render and reloads it when necessary

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

server: add path value to NOT_FOUND http error

Especially helpful for requests not coming from browsers (where the
URL is normally easy to find out).

Makes it easier to detect if one triggered a request with an old
client, or so..

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

src/server/rest.rs: avoid compiler warning

src/server/rest.rs: disable debug logs

improve 'debug' parameter

instead of checking on '1' or 'true', check that it is there and not
'0' and 'false'. this allows using simply

https://foo:8007/?debug

instead of

https://foo:8007/?debug=1

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/tools/daemon.rs: reopen STDOUT/STDERR journald streams to get correct PID in logs

tools::daemon: sync with child after MainPid message

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools::daemon: fetch exe name in the beginning

We get the path to our executable via a readlink() on
"/proc/self/exe", which appends a " (deleted)" during
package reloads.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

typo fixes all over the place

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

depend on proxmox 0.1.31 - use Value to store result metadata

src/server/command_socket.rs: do not abort loop on client errors, allow backup gid

change index to templates using handlebars

using a handlebars instance in ApiConfig, to cache the templates
as long as possible, this is currently ok, as the index template
can only change when the whole package changes

if we split this in the future, we have to trigger a reload of
the daemon on gui package upgrade (so that the template gets reloaded)

Signed-off-by: Dominik Csapak <d.csapak@proxmox.com>

src/config/cached_user_info.rs: cache it up to 5 seconds

switch from failure to anyhow

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/server/rest.rs: reduce delay for permission error to 500ms

start impl. access permissions

api: add list_domains

src/server/rest.rs: use correct formatter

bump proxmox crate to 0.1.7

The -sys, -tools and -api crate have now been merged into
the proxmx crate directly. Only macro crates are separate
(but still reexported by the proxmox crate in their
designated locations).

When we need to depend on "parts" of the crate later on
we'll just have to use features.

The reason is mostly that these modules had
inter-dependencies which really make them not independent
enough to be their own crates.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

update to nix 0.16

add CSS file for PBS ExtJS6 basic ui

some fitting rules copied over from PVE's ext6-pve.css file.
simply place it in the css subfolder where the proxmox-backup-gui.js
file is hosted and add a "css/" alias for that directory, the
formatter gets use the right content type with that.

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

handle_static_file_download: move from and_then to await

Signed-off-by: Thomas Lamprecht <t.lamprecht@proxmox.com>

api2: update for latest proxmox-api changes

- rename ApiFuture into ApiResponseFuture
- impl. ApiHandler::Async

update a chunk of stuff to the hyper release

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/server/formatter.rs: impl. new result attribute "active"

rename ApiHandler::Async into ApiHandler::AsyncHttp

src/server/rest.rs: simplify code

src/server/rest.rs: rename get_request_parameters_async to get_request_parameters

src/server/rest.rs - only pass ObjectSchema to get_request_parameters_async()

src/server/rest.rs: cleanup async code

move src/api_schema/config.rs -> src/server/config.rs

api/compat: drop more compat imports from api_schema.rs

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api/compat: drop api_handler submodule

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api: BoxFut -> ApiFuture

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

move api schema into proxmox::api crate

And leave some compat imports in api_schema.rs to get it to
build with minimal changes.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

use const api definitions

avoid some clippy warnings

avoid some clippy warnings

clippy: use write_all in file logger

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

update to tokio 0.2.0-alpha.4

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/server/state.rs: update to tokio alpha.2

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/server/rest.rs: use tokio::timer::delay

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/tools/daemon.rs: switch to async

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/server/state.rs: switch to async

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/server/rest.rs: switch to async

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/server/h2service.rs: switch to async

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/server/command_socket.rs: switch to async

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

use new proxmox::tools::nodename

update to nix 0.14, use code from proxmox:tools

src/server/rest.rs: avoid unwrap

src/server/rest.rs: log peer address, use hyper MakeService

daemon: remove last use of tools::read/write

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

file download: avoid unnecessary copy

src/server/h2service.rs: implement generic h2 service

tree-wide: use 'dyn' for all trait objects

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/server/rest.rs: correctly verify json parameters

src/server/rest.rs: improve error handling

src/server/rest.rs: do not log 1xx status codes as errors

handle_async_api_request: put rpcenv into a Box

So that we can pass rpcenv into futures.

src/server/formatter.rs: further cleanups and renaming ...

src/server/formatter.rs: rename format_result to format_data

To avoid confusions with Rust Result type.

src/api2/admin/datastore/backup.rs: implement upload chunk

rc/api2/admin/datastore/h2upload.rs: implement BackupEnvironment

To pass arbitrary information/state to api methods.

src/server/rest.rs: use generics to pass RpcEnvironment

src/server/rest.rs: make handle_(a)sync_api_request public

RestEnvironment: derive Clone

move normalize_path to tools::normalize_uri_path

src/server/state.rs: use new BroadcastData helper

use double-fork for reload

To ensure the new process' parent is pid 1, so systemd won't
complain about supervising a process it does not own.

Fixes the following log spam on reloads:
Apr 25 10:50:54 deb-dev systemd[1]: proxmox-backup.service: Supervising process 1625 which is not our child. We'll most likely not notice when it exits.

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

use service Type=notify

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

tools/daemon: add sd_notify wrapper

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

api_schema: allow generic api handler functions

Signed-off-by: Wolfgang Bumiller <w.bumiller@proxmox.com>

src/server/command_socket.rs: check control socket permissions