]> git.proxmox.com Git - pve-docs.git/blobdiff - pveum.adoc
fix #5429: network: override device names: include Type=ether
[pve-docs.git] / pveum.adoc
index 492aa8fe980e3f72e08132831d90c9ecc2132f50..a549810965ef2c8a51f21cb764ff8907fa544fee 100644 (file)
@@ -1,4 +1,7 @@
 [[chapter_user_management]]
+
+[[user_mgmt]]
+
 ifdef::manvolnum[]
 pveum(1)
 ========
@@ -161,6 +164,7 @@ OpenID Connect is implemented as an identity layer on top of the OATH 2.0
 protocol. It allows clients to verify the identity of the user, based on
 authentication performed by an external authorization server.
 
+[[user-realms-pam]]
 Linux PAM Standard Authentication
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
@@ -172,6 +176,7 @@ authentication with logins from the realm and to set the realm as the default
 authentication realm.
 
 
+[[user-realms-pve]]
 {pve} Authentication Server
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
@@ -185,6 +190,7 @@ through {pve}, rather than authenticating against another system. Hence, you are
 required to set a password for this type of user upon creation.
 
 
+[[user-realms-ldap]]
 LDAP
 ~~~~
 
@@ -249,6 +255,7 @@ you must also add them as a user of that realm from the {pve} server. This can
 be carried out automatically with <<pveum_ldap_sync, syncing>>.
 
 
+[[user-realms-ad]]
 Microsoft Active Directory (AD)
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
@@ -275,6 +282,13 @@ The main configuration settings for Microsoft Active Directory are:
 
 * `Port` (`port`): The port that the Microsoft AD server listens on
 
+
+NOTE: Microsoft AD normally checks values like usernames without case
+sensitivity. To make {pve} do the same, you can disable the default
+`case-sensitive` option by editing the realm in the web UI, or using the CLI
+(change the `ID` with the realm ID):
+`pveum realm modify ID --case-sensitive 0`
+
 [[pveum_ldap_sync]]
 Syncing LDAP-Based Realms
 ~~~~~~~~~~~~~~~~~~~~~~~~~
@@ -296,6 +310,20 @@ Users and groups are synced to the cluster-wide configuration file,
 `/etc/pve/user.cfg`.
 
 
+Attributes to Properties
+^^^^^^^^^^^^^^^^^^^^^^^^
+
+If the sync response includes user attributes, they will be synced into the
+matching user property in the `user.cfg`. For example: `firstname` or
+`lastname`.
+
+If the names of the attributes are not matching the {pve} properties, you can
+set a custom field-to-field map in the config by using the `sync_attributes`
+option.
+
+How such properties are handled if anything vanishes can be controlled via the
+sync options, see below.
+
 Sync Configuration
 ^^^^^^^^^^^^^^^^^^
 
@@ -334,7 +362,6 @@ NOTE: Filters allow you to create a set of additional match criteria, to narrow
 down the scope of a sync. Information on available LDAP filter types and their
 usage can be found at https://ldap.com/ldap-filters/[ldap.com].
 
-
 [[pveum_ldap_sync_options]]
 Sync Options
 ^^^^^^^^^^^^
@@ -355,17 +382,52 @@ The main options for syncing are:
 * `Enable new` (`enable-new`): If set, the newly synced users are enabled and
   can log in. The default is `true`.
 
-* `Full` (`full`): If set, the sync uses the LDAP directory as a source of
-  truth, overwriting information set manually in the `user.cfg` and deleting
-  users and groups which are not present in the LDAP directory. If not set, only
-  new data is written to the configuration, and no stale users are deleted.
+* `Remove Vanished` (`remove-vanished`): This is a list of options which, when
+  activated, determine if they are removed when they are not returned from
+  the sync response. The options are:
+
+    - `ACL` (`acl)`: Remove ACLs of users and groups which were not returned
+      returned in the sync response. This most often makes sense together with
+      `Entry`.
 
-* `Purge ACLs` (`purge`): If set, sync removes all corresponding ACLs when
-  removing users and groups. This is only useful with the option `full`.
+    - `Entry` (`entry`): Removes entries (i.e. users and groups) when they are
+      not returned in the sync response.
+
+    - `Properties` (`properties`): Removes properties of entries where the user
+      in the sync response did not contain those attributes. This includes
+      all properties, even those never set by a sync. Exceptions are tokens
+      and the enable flag, these will be retained even with this option enabled.
 
 * `Preview` (`dry-run`): No data is written to the config. This is useful if you
   want to see which users and groups would get synced to the `user.cfg`.
 
+[[pveum_ldap_reserved_characters]]
+Reserved characters
+^^^^^^^^^^^^^^^^^^^
+
+Certain characters are reserved (see https://www.ietf.org/rfc/rfc2253.txt[RFC2253]) and cannot be
+easily used in attribute values in DNs without being escaped properly.
+
+Following characters need escaping:
+
+* Space ( ) at the beginning or end
+* Number sign (`#`) at the beginning
+* Comma (`,`)
+* Plus sign (`+`)
+* Double quote (`"`)
+* Forward slashes (`/`)
+* Angle brackets (`<>`)
+* Semicolon (`;`)
+* Equals sign (`=`)
+
+To use such characters in DNs, surround the attribute value in double quotes.
+For example, to bind with a user with the CN (Common Name) `Example, User`, use
+`CN="Example, User",OU=people,DC=example,DC=com` as value for `bind_dn`.
+
+This applies to the `base_dn`, `bind_dn`, and `group_dn` attributes.
+
+NOTE: Users with colons and forward slashes cannot be synced since these are
+reserved characters in usernames.
 
 [[pveum_openid]]
 OpenID Connect
@@ -437,7 +499,7 @@ example, you need to replace the `--issuer-url` and `--client-id` with
 your information:
 
 ----
-pveum realm add myrealm2 --type openid --issuer-url  https://your.server:8080/auth/realms/your-realm --client-id XXX --username-claim username
+pveum realm add myrealm2 --type openid --issuer-url  https://your.server:8080/realms/your-realm --client-id XXX --username-claim username
 ----
 
 Using `--username-claim username` enables simple usernames on the
@@ -460,10 +522,35 @@ log in without the second factor. In the case of 'TOTP', users can
 also change the 'TOTP' later on, provided they can log in first.
 
 Alternatively, users can choose to opt-in to two-factor authentication
-via 'TOTP' later on, even if the realm does not enforce it. As another
-option, if the server has an 'AppId' configured, a user can opt-in to
-'U2F' authentication, provided the realm does not enforce any other
-second factor.
+later on, even if the realm does not enforce it.
+
+Available Second Factors
+~~~~~~~~~~~~~~~~~~~~~~~~
+
+You can set up multiple second factors, in order to avoid a situation in
+which losing your smartphone or security key locks you out of your
+account permanently.
+
+The following two-factor authentication methods are available in
+addition to realm-enforced TOTP and YubiKey OTP:
+
+* User configured TOTP
+  (https://en.wikipedia.org/wiki/Time-based_One-Time_Password[Time-based One-Time Password]).
+  A short code derived from a shared secret and the current time, it changes
+  every 30 seconds.
+* WebAuthn (https://en.wikipedia.org/wiki/WebAuthn[Web Authentication]).
+  A general standard for authentication. It is implemented by various
+  security devices, like hardware keys or trusted platform modules (TPM)
+  from a computer or smart phone.
+* Single use Recovery Keys. A list of keys which should either be
+  printed out and locked in a secure place or saved digitally in an
+  electronic vault. Each key can be used only once. These are perfect for
+  ensuring that you are not locked out, even if all of your other second
+  factors are lost or corrupt.
+
+Before WebAuthn was supported, U2F could be setup by the user. Existing
+U2F factors can still be used, but it is recommended to switch to
+WebAuthn, once it is configured on the server.
 
 Realm Enforced Two-Factor Authentication
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
@@ -484,7 +571,7 @@ can be specified in Base32 (RFC3548) or hexadecimal notation.
 +
 {pve} provides a key generation tool (`oathkeygen`) which prints out a random
 key in Base32 notation, that can be used directly with various OTP tools, such
-as the `oathtool` command line tool, or on Android Google Authenticator,
+as the `oathtool` command-line tool, or on Android Google Authenticator,
 FreeOTP, andOTP or similar applications.
 
 YubiKey OTP::
@@ -499,14 +586,42 @@ documentation for how to use the
 https://www.yubico.com/products/services-software/yubicloud/[YubiCloud] or
 https://developers.yubico.com/Software_Projects/Yubico_OTP/YubiCloud_Validation_Servers/[host your own verification server].
 
+[[pveum_tfa_lockout]]
+Limits and Lockout of Two-Factor Authentication
+~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
+
+A second factor is meant to protect users if their password is somehow leaked
+or guessed. However, some factors could still be broken by brute force. For
+this reason, users will be locked out after too many failed 2nd factor login
+attempts.
+
+For TOTP, 8 failed attempts will disable the user's TOTP factors. They are
+unlocked when logging in with a recovery key. If TOTP was the only available
+factor, admin intervention is required, and it is highly recommended to require
+the user to change their password immediately.
+
+Since FIDO2/Webauthn and recovery keys are less susceptible to brute force
+attacks, the limit there is higher (100 tries), but all second factors are
+blocked for an hour when exceeded.
+
+An admin can unlock a user's Two-Factor Authentication at any time via the user
+list in the UI or the command line:
+
+[source,bash]
+----
+ pveum user tfa unlock joe@pve
+----
+
 [[pveum_user_configured_totp]]
 User Configured TOTP Authentication
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
-Users can choose to enable 'TOTP' as a second factor on login, via the 'TFA'
-button in the user list (unless the realm enforces 'YubiKey OTP').
+Users can choose to enable 'TOTP' or 'WebAuthn' as a second factor on login, via
+the 'TFA' button in the user list (unless the realm enforces 'YubiKey OTP').
+
+Users can always add and use one time 'Recovery Keys'.
 
-[thumbnail="screenshot/gui-datacenter-users-tfa.png"]
+[thumbnail="screenshot/gui-datacenter-two-factor.png"]
 
 After opening the 'TFA' window, the user is presented with a dialog to set up
 'TOTP' authentication. The 'Secret' field contains the key, which can be
@@ -521,10 +636,70 @@ password (unless logged in as 'root'), as well as the ability to correctly use
 the 'TOTP' key, by typing the current 'OTP' value into the 'Verification Code'
 field and pressing the 'Apply' button.
 
+[[user_tfa_setup_totp]]
+=== TOTP
+
+[thumbnail="screenshot/pve-gui-tfa-add-totp.png"]
+
+There is no server setup required. Simply install a TOTP app on your
+smartphone (for example, https://freeotp.github.io/[FreeOTP]) and use
+the Proxmox Backup Server web interface to add a TOTP factor.
+
+[[user_tfa_setup_webauthn]]
+=== WebAuthn
+
+For WebAuthn to work, you need to have two things:
+
+* A trusted HTTPS certificate (for example, by using
+  https://pve.proxmox.com/wiki/Certificate_Management[Let's Encrypt]).
+  While it probably works with an untrusted certificate, some browsers may
+  warn or refuse WebAuthn operations if it is not trusted.
+* Setup the WebAuthn configuration (see *Datacenter -> Options ->
+  WebAuthn Settings* in the Proxmox VE web interface). This can be
+  auto-filled in most setups.
+
+Once you have fulfilled both of these requirements, you can add a WebAuthn
+configuration in the *Two Factor* panel under *Datacenter -> Permissions -> Two
+Factor*.
+
+[[user_tfa_setup_recovery_keys]]
+=== Recovery Keys
+
+[thumbnail="screenshot/pve-gui-tfa-add-recovery-keys.png"]
+
+Recovery key codes do not need any preparation; you can simply create a
+set of recovery keys in the *Two Factor* panel under *Datacenter -> Permissions
+-> Two Factor*.
+
+NOTE: There can only be one set of single-use recovery keys per user at any
+time.
+
+
+[[pveum_configure_webauthn]]
+Server Side Webauthn Configuration
+~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
+
+[thumbnail="screenshot/gui-datacenter-webauthn-edit.png"]
+
+To allow users to use 'WebAuthn' authentication, it is necessaary to use a valid
+domain with a valid SSL certificate, otherwise some browsers may warn or refuse
+to authenticate altogether.
+
+NOTE: Changing the 'WebAuthn' configuration may render all existing 'WebAuthn'
+registrations unusable!
+
+This is done via `/etc/pve/datacenter.cfg`. For instance:
+
+----
+webauthn: rp=mypve.example.com,origin=https://mypve.example.com:8006,id=mypve.example.com
+----
+
 [[pveum_configure_u2f]]
 Server Side U2F Configuration
 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 
+NOTE: It is recommended to use WebAuthn instead.
+
 To allow users to use 'U2F' authentication, it may be necessary to use a valid
 domain with a valid SSL certificate, otherwise, some browsers may print
 a warning or reject U2F usage altogether. Initially, an 'AppId'
@@ -540,7 +715,7 @@ This is done via `/etc/pve/datacenter.cfg`. For instance:
 u2f: appid=https://mypve.example.com:8006
 ----
 
-For a single node, the 'AppId' can simply be the address of the web-interface,
+For a single node, the 'AppId' can simply be the address of the web interface,
 exactly as it is used in the browser, including the 'https://' and the port, as
 shown above. Please note that some browsers may be more strict than others when
 matching 'AppIds'.
@@ -598,12 +773,19 @@ of predefined roles, which satisfy most requirements.
 
 * `Administrator`: has full privileges
 * `NoAccess`: has no privileges (used to forbid access)
-* `PVEAdmin`: can do most tasks, but has no rights to modify system settings (`Sys.PowerMgmt`, `Sys.Modify`, `Realm.Allocate`)
+* `PVEAdmin`: can do most tasks, but has no rights to modify system settings
+  (`Sys.PowerMgmt`, `Sys.Modify`, `Realm.Allocate`) or permissions
+  (`Permissions.Modify`)
 * `PVEAuditor`: has read only access
 * `PVEDatastoreAdmin`: create and allocate backup space and templates
 * `PVEDatastoreUser`: allocate backup space and view storage
+* `PVEMappingAdmin`: manage resource mappings
+* `PVEMappingUser`: view and use resource mappings
 * `PVEPoolAdmin`: allocate pools
-* `PVESysAdmin`: User ACLs, audit, system console and system logs
+* `PVEPoolUser`: view pools
+* `PVESDNAdmin`: manage SDN configuration
+* `PVESDNUser`: access to bridges/vnets
+* `PVESysAdmin`: audit, system console and system logs
 * `PVETemplateUser`: view and clone templates
 * `PVEUserAdmin`: manage users
 * `PVEVMAdmin`: fully administer VMs
@@ -622,10 +804,12 @@ To add a role through the command line, you can use the 'pveum' CLI tool, for
 example:
 [source,bash]
 ----
-pveum role add PVE_Power-only --privs "VM.PowerMgmt VM.Console"
+pveum role add VM_Power-only --privs "VM.PowerMgmt VM.Console"
 pveum role add Sys_Power-only --privs "Sys.PowerMgmt Sys.Console"
 ----
 
+NOTE: Roles starting with `PVE` are always builtin, custom roles are not
+allowed use this reserved prefix.
 
 Privileges
 ~~~~~~~~~~
@@ -639,36 +823,45 @@ We currently support the following privileges:
 
 Node / System related privileges::
 
-* `Permissions.Modify`: modify access permissions
-* `Sys.PowerMgmt`: node power management (start, stop, reset, shutdown, ...)
-* `Sys.Console`: console access to node
-* `Sys.Syslog`: view syslog
-* `Sys.Audit`: view node status/config, Corosync cluster config, and HA config
-* `Sys.Modify`: create/modify/remove node network parameters
 * `Group.Allocate`: create/modify/remove groups
+* `Mapping.Audit`: view resource mappings
+* `Mapping.Modify`: manage resource mappings
+* `Mapping.Use`: use resource mappings
+* `Permissions.Modify`: modify access permissions
 * `Pool.Allocate`: create/modify/remove a pool
 * `Pool.Audit`: view a pool
-* `Realm.Allocate`: create/modify/remove authentication realms
 * `Realm.AllocateUser`: assign user to a realm
+* `Realm.Allocate`: create/modify/remove authentication realms
+* `SDN.Allocate`: manage SDN configuration
+* `SDN.Audit`: view SDN configuration
+* `Sys.Audit`: view node status/config, Corosync cluster config, and HA config
+* `Sys.Console`: console access to node
+* `Sys.Incoming`: allow incoming data streams from other clusters (experimental)
+* `Sys.Modify`: create/modify/remove node network parameters
+* `Sys.PowerMgmt`: node power management (start, stop, reset, shutdown, ...)
+* `Sys.Syslog`: view syslog
 * `User.Modify`: create/modify/remove user access and details.
 
 Virtual machine related privileges::
 
+* `SDN.Use`: access SDN vnets and local network bridges
 * `VM.Allocate`: create/remove VM on a server
-* `VM.Migrate`: migrate VM to alternate server on cluster
-* `VM.PowerMgmt`: power management (start, stop, reset, shutdown, ...)
-* `VM.Console`: console access to VM
-* `VM.Monitor`: access to VM monitor (kvm)
-* `VM.Backup`: backup/restore VMs
 * `VM.Audit`: view VM config
+* `VM.Backup`: backup/restore VMs
 * `VM.Clone`: clone/copy a VM
-* `VM.Config.Disk`: add/modify/remove disks
 * `VM.Config.CDROM`: eject/change CD-ROM
 * `VM.Config.CPU`: modify CPU settings
+* `VM.Config.Cloudinit`: modify Cloud-init parameters
+* `VM.Config.Disk`: add/modify/remove disks
+* `VM.Config.HWType`: modify emulated hardware types
 * `VM.Config.Memory`: modify memory settings
 * `VM.Config.Network`: add/modify/remove network devices
-* `VM.Config.HWType`: modify emulated hardware types
 * `VM.Config.Options`: modify any other VM configuration
+* `VM.Console`: console access to VM
+* `VM.Migrate`: migrate VM to alternate server on cluster
+* `VM.Monitor`: access to VM monitor (kvm)
+* `VM.PowerMgmt`: power management (start, stop, reset, shutdown, ...)
+* `VM.Snapshot.Rollback`: rollback VM to one of its snapshots
 * `VM.Snapshot`: create/delete VM snapshots
 
 Storage related privileges::
@@ -678,6 +871,12 @@ Storage related privileges::
 * `Datastore.AllocateTemplate`: allocate/upload templates and ISO images
 * `Datastore.Audit`: view/browse a datastore
 
+WARNING: Both `Permissions.Modify` and `Sys.Modify` should be handled with
+care, as they allow modifying aspects of the system and its configuration that
+are dangerous or sensitive.
+
+WARNING: Carefully read the section about inheritance below to understand how
+assigned roles (and their privileges) are propagated along the ACL tree.
 
 Objects and Paths
 ~~~~~~~~~~~~~~~~~
@@ -718,6 +917,7 @@ set by default). We use the following inheritance rules:
 * Permissions for individual users always replace group permissions.
 * Permissions for groups apply when the user is member of that group.
 * Permissions on deeper levels replace those inherited from an upper level.
+* `NoAccess` cancels all other roles on a given path.
 
 Additionally, privilege separated tokens can never have permissions on any
 given path that their associated user does not have.
@@ -782,55 +982,73 @@ The `path` is a templated parameter (see
 `Permissions.Modify` privilege or,
 depending on the path, the following privileges as a possible substitute:
 +
-* `/storage/...`: additionally requires 'Datastore.Allocate`
-* `/vms/...`: additionally requires 'VM.Allocate`
-* `/pool/...`: additionally requires 'Pool.Allocate`
+* `/storage/...`: requires 'Datastore.Allocate`
+* `/vms/...`: requires 'VM.Allocate`
+* `/pool/...`: requires 'Pool.Allocate`
++
+If the path is empty, `Permissions.Modify` on `/access` is required.
 +
-If the path is empty, `Permission.Modify` on `/access` is required.
+If the user does not have the `Permissions.Modify` privilege, they can only
+delegate subsets of their own privileges on the given path (e.g., a user with
+`PVEVMAdmin` could assign `PVEVMUser`, but not `PVEAdmin`).
 
-Command Line Tool
+Command-line Tool
 -----------------
 
 Most users will simply use the GUI to manage users. But there is also
-a fully featured command line tool called `pveum` (short for ``**P**roxmox
-**VE** **U**ser **M**anager''). Please note that all Proxmox VE command
-line tools are wrappers around the API, so you can also access those
+a fully featured command-line tool called `pveum` (short for ``**P**roxmox
+**VE** **U**ser **M**anager''). Please note that all Proxmox VE command-line
+tools are wrappers around the API, so you can also access those
 functions through the REST API.
 
 Here are some simple usage examples. To show help, type:
 
 [source,bash]
+----
  pveum
+----
 
 or (to show detailed help about a specific command)
 
 [source,bash]
+----
  pveum help user add
+----
 
 Create a new user:
 
 [source,bash]
+----
  pveum user add testuser@pve -comment "Just a test"
+----
 
 Set or change the password (not all realms support this):
 
 [source,bash]
+----
  pveum passwd testuser@pve
+----
 
 Disable a user:
 
 [source,bash]
+----
  pveum user modify testuser@pve -enable 0
+----
 
 Create a new group:
 
 [source,bash]
+----
  pveum group add testgroup
+----
 
 Create a new role:
 
 [source,bash]
+----
  pveum role add PVE_Power-only -privs "VM.PowerMgmt VM.Console"
+----
 
 
 Real World Examples
@@ -846,17 +1064,23 @@ full administrator rights (without using the root account).
 To do this, first define the group:
 
 [source,bash]
+----
  pveum group add admin -comment "System Administrators"
+----
 
 Then assign the role:
 
 [source,bash]
+----
  pveum acl modify / -group admin -role Administrator
+----
 
 Finally, you can add users to the new 'admin' group:
 
 [source,bash]
+----
  pveum user modify testuser@pve -group admin
+----
 
 
 Auditors
@@ -868,12 +1092,16 @@ role to users or groups.
 Example 1: Allow user `joe@pve` to see everything
 
 [source,bash]
+----
  pveum acl modify / -user joe@pve -role PVEAuditor
+----
 
 Example 2: Allow user `joe@pve` to see all virtual machines
 
 [source,bash]
+----
  pveum acl modify /vms -user joe@pve -role PVEAuditor
+----
 
 
 Delegate User Management
@@ -883,7 +1111,9 @@ If you want to delegate user management to user `joe@pve`, you can do
 that with:
 
 [source,bash]
+----
  pveum acl modify /access -user joe@pve -role PVEUserAdmin
+----
 
 User `joe@pve` can now add and remove users, and change other user attributes,
 such as passwords. This is a very powerful role, and you most
@@ -892,8 +1122,10 @@ example allows `joe@pve` to modify users within the realm `pve`, if they
 are members of group `customers`:
 
 [source,bash]
+----
  pveum acl modify /access/realm/pve -user joe@pve -role PVEUserAdmin
  pveum acl modify /access/groups/customers -user joe@pve -role PVEUserAdmin
+----
 
 NOTE: The user is able to add other users, but only if they are
 members of the group `customers` and within the realm `pve`.
@@ -910,20 +1142,26 @@ permissions further.
 Give the user `joe@pve` the role PVEVMAdmin on all VMs:
 
 [source,bash]
+----
  pveum acl modify /vms -user joe@pve -role PVEVMAdmin
+----
 
 Add a new API token with separate privileges, which is only allowed to view VM
 information (for example, for monitoring purposes):
 
 [source,bash]
+----
  pveum user token add joe@pve monitoring -privsep 1
  pveum acl modify /vms -token 'joe@pve!monitoring' -role PVEAuditor
+----
 
 Verify the permissions of the user and token:
 
 [source,bash]
+----
  pveum user permissions joe@pve
  pveum user token permissions joe@pve monitoring
+----
 
 Resource Pools
 ~~~~~~~~~~~~~~
@@ -934,24 +1172,32 @@ of these. Let's assume that you want to set up a pool for a software development
 department. First, create a group:
 
 [source,bash]
+----
  pveum group add developers -comment "Our software developers"
+----
 
 Now we create a new user which is a member of that group:
 
 [source,bash]
+----
  pveum user add developer1@pve -group developers -password
+----
 
 NOTE: The "-password" parameter will prompt you for a password
 
 Then we create a resource pool for our development department to use:
 
 [source,bash]
+----
  pveum pool add dev-pool --comment "IT development pool"
+----
 
 Finally, we can assign permissions to that pool:
 
 [source,bash]
+----
  pveum acl modify /pool/dev-pool/ -group developers -role PVEAdmin
+----
 
 Our software developers can now administer the resources assigned to
 that pool.