various minor cleanups
[pve-docs.git] / pve-firewall.adoc
1 ifdef::manvolnum[]
2 PVE({manvolnum})
3 ================
4 include::attributes.txt[]
5
6 NAME
7 ----
8
9 pve-firewall - PVE Firewall Daemon
10
11
12 SYNOPSYS
13 --------
14
15 include::pve-firewall.8-synopsis.adoc[]
16
17
18 DESCRIPTION
19 -----------
20 endif::manvolnum[]
21
22 ifndef::manvolnum[]
23 {pve} Firewall
24 ==============
25 include::attributes.txt[]
26 endif::manvolnum[]
27
28 Proxmox VE Firewall provides an easy way to protect your IT
29 infrastructure. You can setup firewall rules for all hosts
30 inside a cluster, or define rules for virtual machines and
31 containers. Features like firewall macros, security groups, IP sets
32 and aliases help to make that task easier.
33
34 While all configuration is stored on the cluster file system, the
35 `iptables`-based firewall runs on each cluster node, and thus provides
36 full isolation between virtual machines. The distributed nature of
37 this system also provides much higher bandwidth than a central
38 firewall solution.
39
40 The firewall has full support for IPv4 and IPv6. IPv6 support is fully
41 transparent, and we filter traffic for both protocols by default. So
42 there is no need to maintain a different set of rules for IPv6.
43
44
45 Zones
46 -----
47
48 The Proxmox VE firewall groups the network into the following logical zones:
49
50 Host::
51
52 Traffic from/to a cluster node
53
54 VM::
55
56 Traffic from/to a specific VM
57
58 For each zone, you can define firewall rules for incoming and/or
59 outgoing traffic.
60
61
62 Configuration Files
63 -------------------
64
65 All firewall related configuration is stored on the proxmox cluster
66 file system. So those files are automatically distributed to all
67 cluster nodes, and the `pve-firewall` service updates the underlying
68 `iptables` rules automatically on changes.
69
70 You can configure anything using the GUI (i.e. *Datacenter* -> *Firewall*,
71 or on a *Node* -> *Firewall*), or you can edit the configuration files
72 directly using your preferred editor.
73
74 Firewall configuration files contains sections of key-value
75 pairs. Lines beginning with a `#` and blank lines are considered
76 comments. Sections starts with a header line containing the section
77 name enclosed in `[` and `]`.
78
79
80 Cluster Wide Setup
81 ~~~~~~~~~~~~~~~~~~
82
83 The cluster wide firewall configuration is stored at:
84  
85  /etc/pve/firewall/cluster.fw
86
87 The configuration can contain the following sections:
88
89 `[OPTIONS]`::
90
91 This is used to set cluster wide firewall options.
92
93 include::pve-firewall-cluster-opts.adoc[]
94
95 `[RULES]`::
96
97 This sections contains cluster wide firewall rules for all nodes.
98
99 `[IPSET <name>]`::
100
101 Cluster wide IP set definitions.
102
103 `[GROUP <name>]`::
104
105 Cluster wide security group definitions.
106
107 `[ALIASES]`::
108
109 Cluster wide Alias definitions.
110
111
112 Enabling the Firewall
113 ^^^^^^^^^^^^^^^^^^^^^
114
115 The firewall is completely disabled by default, so you need to
116 set the enable option here:
117
118 ----
119 [OPTIONS]
120 # enable firewall (cluster wide setting, default is disabled)
121 enable: 1
122 ----
123
124 IMPORTANT: If you enable the firewall, traffic to all hosts is blocked by
125 default. Only exceptions is WebGUI(8006) and ssh(22) from your local
126 network.
127
128 If you want to administrate your {pve} hosts from remote, you
129 need to create rules to allow traffic from those remote IPs to the web
130 GUI (port 8006). You may also want to allow ssh (port 22), and maybe
131 SPICE (port 3128).
132
133 TIP: Please open a SSH connection to one of your {PVE} hosts before
134 enabling the firewall. That way you still have access to the host if
135 something goes wrong .
136
137 To simplify that task, you can instead create an IPSet called
138 ``management'', and add all remote IPs there. This creates all required
139 firewall rules to access the GUI from remote.
140
141
142 Host Specific Configuration
143 ~~~~~~~~~~~~~~~~~~~~~~~~~~~
144
145 Host related configuration is read from:
146
147  /etc/pve/nodes/<nodename>/host.fw
148
149 This is useful if you want to overwrite rules from `cluster.fw`
150 config. You can also increase log verbosity, and set netfilter related
151 options. The configuration can contain the following sections:
152
153 `[OPTIONS]`::
154
155 This is used to set host related firewall options.
156
157 include::pve-firewall-host-opts.adoc[]
158
159 `[RULES]`::
160
161 This sections contains host specific firewall rules.
162
163
164 VM/Container Configuration
165 ~~~~~~~~~~~~~~~~~~~~~~~~~~
166
167 VM firewall configuration is read from:
168
169  /etc/pve/firewall/<VMID>.fw
170
171 and contains the following data:
172
173 `[OPTIONS]`::
174
175 This is used to set VM/Container related firewall options.
176
177 include::pve-firewall-vm-opts.adoc[]
178
179 `[RULES]`::
180
181 This sections contains VM/Container firewall rules.
182
183 `[IPSET <name>]`::
184
185 IP set definitions.
186
187 `[ALIASES]`::
188
189 IP Alias definitions.
190
191
192 Enabling the Firewall for VMs and Containers
193 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
194
195 Each virtual network device has its own firewall enable flag. So you
196 can selectively enable the firewall for each interface. This is
197 required in addition to the general firewall `enable` option.
198
199 The firewall requires a special network device setup, so you need to
200 restart the VM/container after enabling the firewall on a network
201 interface.
202
203
204 Firewall Rules
205 --------------
206
207 Firewall rules consists of a direction (`IN` or `OUT`) and an
208 action (`ACCEPT`, `DENY`, `REJECT`). You can also specify a macro
209 name. Macros contain predefined sets of rules and options. Rules can be
210 disabled by prefixing them with `|`.
211
212 .Firewall rules syntax
213 ----
214 [RULES]
215
216 DIRECTION ACTION [OPTIONS]
217 |DIRECTION ACTION [OPTIONS] # disabled rule
218
219 DIRECTION MACRO(ACTION) [OPTIONS] # use predefined macro
220 ----
221
222 The following options can be used to refine rule matches. 
223
224 include::pve-firewall-rules-opts.adoc[]
225
226 Here are some examples:
227
228 ----
229 [RULES]
230 IN SSH(ACCEPT) -i net0
231 IN SSH(ACCEPT) -i net0 # a comment
232 IN SSH(ACCEPT) -i net0 -source 192.168.2.192 # only allow SSH from 192.168.2.192
233 IN SSH(ACCEPT) -i net0 -source 10.0.0.1-10.0.0.10 # accept SSH for ip range
234 IN SSH(ACCEPT) -i net0 -source 10.0.0.1,10.0.0.2,10.0.0.3 #accept ssh for ip list
235 IN SSH(ACCEPT) -i net0 -source +mynetgroup # accept ssh for ipset mynetgroup
236 IN SSH(ACCEPT) -i net0 -source myserveralias #accept ssh for alias myserveralias
237
238 |IN SSH(ACCEPT) -i net0 # disabled rule
239
240 IN  DROP # drop all incoming packages
241 OUT ACCEPT # accept all outgoing packages
242 ----
243
244
245 Security Groups
246 ---------------
247
248 A security group is a collection of rules, defined at cluster level, which
249 can be used in all VMs' rules. For example you can define a group named
250 ``webserver'' with rules to open the 'http' and 'https' ports.
251
252 ----
253 # /etc/pve/firewall/cluster.fw
254
255 [group webserver]
256 IN  ACCEPT -p tcp -dport 80
257 IN  ACCEPT -p tcp -dport 443
258 ----
259
260 Then, you can add this group to a VM's firewall
261
262 ----
263 # /etc/pve/firewall/<VMID>.fw
264
265 [RULES]
266 GROUP webserver
267 ----
268
269
270 IP Aliases
271 ----------
272
273 IP Aliases allow you to associate IP addresses of networks with a
274 name. You can then refer to those names:
275
276 * inside IP set definitions
277 * in `source` and `dest` properties of firewall rules
278
279
280 Standard IP Alias `local_network`
281 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
282
283 This alias is automatically defined. Please use the following command
284 to see assigned values:
285
286 ----
287 # pve-firewall localnet
288 local hostname: example
289 local IP address: 192.168.2.100
290 network auto detect: 192.168.0.0/20
291 using detected local_network: 192.168.0.0/20
292 ----
293
294 The firewall automatically sets up rules to allow everything needed
295 for cluster communication (corosync, API, SSH) using this alias.
296
297 The user can overwrite these values in the `cluster.fw` alias
298 section. If you use a single host on a public network, it is better to
299 explicitly assign the local IP address
300
301 ----
302 #  /etc/pve/firewall/cluster.fw
303 [ALIASES]
304 local_network 1.2.3.4 # use the single ip address
305 ----
306
307
308 IP Sets
309 -------
310
311 IP sets can be used to define groups of networks and hosts. You can
312 refer to them with `+name` in the firewall rules' `source` and `dest`
313 properties.
314
315 The following example allows HTTP traffic from the `management` IP
316 set.
317
318  IN HTTP(ACCEPT) -source +management
319
320
321 Standard IP set `management`
322 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
323
324 This IP set applies only to host firewalls (not VM firewalls).  Those
325 IPs are allowed to do normal management tasks (PVE GUI, VNC, SPICE,
326 SSH).
327
328 The local cluster network is automatically added to this IP set (alias
329 `cluster_network`), to enable inter-host cluster
330 communication. (multicast,ssh,...)
331
332 ----
333 # /etc/pve/firewall/cluster.fw
334
335 [IPSET management] 
336 192.168.2.10
337 192.168.2.10/24
338 ----
339
340
341 Standard IP set `blacklist`
342 ~~~~~~~~~~~~~~~~~~~~~~~~~~~
343
344 Traffic from these IPs is dropped by every host's and VM's firewall.
345
346 ----
347 # /etc/pve/firewall/cluster.fw
348
349 [IPSET blacklist] 
350 77.240.159.182
351 213.87.123.0/24
352 ----
353
354
355 [[ipfilter-section]]
356 Standard IP set `ipfilter-net*`
357 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
358
359 These filters belong to a VM's network interface and are mainly used to prevent
360 IP spoofing. If such a set exists for an interface then any outgoing traffic
361 with a source IP not matching its interface's corresponding ipfilter set will
362 be dropped.
363
364 For containers with configured IP addresses these sets, if they exist (or are
365 activated via the general `IP Filter` option in the VM's firewall's *options*
366 tab), implicitly contain the associated IP addresses.
367
368 For both virtual machines and containers they also implicitly contain the
369 standard MAC-derived IPv6 link-local address in order to allow the neighbor
370 discovery protocol to work.
371
372 ----
373 /etc/pve/firewall/<VMID>.fw
374
375 [IPSET ipfilter-net0] # only allow specified IPs on net0
376 192.168.2.10
377 ----
378
379
380 Services and Commands
381 ---------------------
382
383 The firewall runs two service daemons on each node:
384
385 * pvefw-logger: NFLOG daemon (ulogd replacement).
386 * pve-firewall: updates iptables rules
387
388 There is also a CLI command named `pve-firewall`, which can be used to
389 start and stop the firewall service:
390
391  # pve-firewall start
392  # pve-firewall stop
393
394 To get the status use:
395
396  # pve-firewall status
397
398 The above command reads and compiles all firewall rules, so you will
399 see warnings if your firewall configuration contains any errors.
400
401 If you want to see the generated iptables rules you can use:
402
403  # iptables-save
404
405
406 Tips and Tricks
407 ---------------
408
409 How to allow FTP
410 ~~~~~~~~~~~~~~~~
411
412 FTP is an old style protocol which uses port 21 and several other dynamic ports. So you
413 need a rule to accept port 21. In addition, you need to load the `ip_conntrack_ftp` module.
414 So please run: 
415
416  modprobe ip_conntrack_ftp
417
418 and add `ip_conntrack_ftp` to `/etc/modules` (so that it works after a reboot).
419
420
421 Suricata IPS integration
422 ~~~~~~~~~~~~~~~~~~~~~~~~
423
424 If you want to use the http://suricata-ids.org/[Suricata IPS]
425 (Intrusion Prevention System), it's possible.
426
427 Packets will be forwarded to the IPS only after the firewall ACCEPTed
428 them.
429
430 Rejected/Dropped firewall packets don't go to the IPS.
431
432 Install suricata on proxmox host:
433
434 ----
435 # apt-get install suricata
436 # modprobe nfnetlink_queue  
437 ----
438
439 Don't forget to add `nfnetlink_queue` to `/etc/modules` for next reboot.
440
441 Then, enable IPS for a specific VM with:
442
443 ----
444 # /etc/pve/firewall/<VMID>.fw
445
446 [OPTIONS]
447 ips: 1
448 ips_queues: 0
449 ----
450
451 `ips_queues` will bind a specific cpu queue for this VM.
452
453 Available queues are defined in
454
455 ----
456 # /etc/default/suricata
457 NFQUEUE=0
458 ----
459
460
461 Avoiding `link-local` Addresses on `tap` and `veth` Devices
462 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
463
464 With IPv6 enabled by default every interface gets a MAC-derived link local
465 address. However, most devices on a typical {pve} setup are connected to a
466 bridge and so the bridge is the only interface which really needs one.
467
468 To disable a link local address on an interface you can set the interface's
469 `disable_ipv6` sysconf variable. Despite the name, this does not prevent IPv6
470 traffic from passing through the interface when routing or bridging, so the
471 only noticeable effect will be the removal of the link local address.
472
473 The easiest method of achieving this setting for all newly started VMs is to
474 set it for the `default` interface configuration and enabling it explicitly on
475 the interfaces which need it. This is also the case for other settings such as
476 `forwarding`, `accept_ra` or `autoconf`.
477
478 Here's a possible setup:
479 ----
480 # /etc/sysconf.d/90-ipv6.conf
481
482 net.ipv6.conf.default.forwarding = 0
483 net.ipv6.conf.default.proxy_ndp = 0
484 net.ipv6.conf.default.autoconf = 0
485 net.ipv6.conf.default.disable_ipv6 = 1
486 net.ipv6.conf.default.accept_ra = 0
487
488 net.ipv6.conf.lo.disable_ipv6 = 0
489 ----
490
491 ----
492 # /etc/network/interfaces
493 (...)
494 # Dual stack:
495 iface vmbr0 inet static
496     address 1.2.3.4
497     netmask 255.255.255.128
498     gateway 1.2.3.5
499 iface vmbr0 inet6 static
500     address fc00::31
501     netmask 16
502     gateway fc00::1
503     accept_ra 0
504     pre-up echo 0 > /proc/sys/net/ipv6/conf/$IFACE/disable_ipv6
505
506 # With IPv6-only 'pre-up' is too early and 'up' is too late.
507 # Work around this by creating the bridge manually
508 iface vmbr1 inet manual
509     pre-up ip link add $IFACE type bridge
510     up echo 0 > /proc/sys/net/ipv6/conf/$IFACE/disable_ipv6
511 iface vmbr1 inet6 static
512     address fc00:b:3::1
513     netmask 96
514     bridge_ports none
515     bridge_stp off
516     bridge_fd 0
517     bridge_vlan_aware yes
518     accept_ra 0
519 (...)
520 ----
521
522
523 Notes on IPv6
524 -------------
525
526 The firewall contains a few IPv6 specific options. One thing to note is that
527 IPv6 does not use the ARP protocol anymore, and instead uses NDP (Neighbor
528 Discovery Protocol) which works on IP level and thus needs IP addresses to
529 succeed. For this purpose link-local addresses derived from the interface's MAC
530 address are used. By default the `NDP` option is enabled on both host and VM
531 level to allow neighbor discovery (NDP) packets to be sent and received.
532
533 Beside neighbor discovery NDP is also used for a couple of other things, like
534 autoconfiguration and advertising routers.
535
536 By default VMs are allowed to send out router solicitation messages (to query
537 for a router), and to receive router advertisement packets. This allows them to
538 use stateless auto configuration. On the other hand VMs cannot advertise
539 themselves as routers unless the ``Allow Router Advertisement'' (`radv: 1`) option
540 is set.
541
542 As for the link local addresses required for NDP, there's also an ``IP Filter''
543 (`ipfilter: 1`) option which can be enabled which has the same effect as adding
544 an `ipfilter-net*` ipset for each of the VM's network interfaces containing the
545 corresponding link local addresses.  (See the
546 <<ipfilter-section,Standard IP set `ipfilter-net*`>> section for details.)
547
548
549 Ports used by Proxmox VE
550 ------------------------
551
552 * Web interface: 8006
553 * VNC Web console: 5900-5999
554 * SPICE proxy: 3128
555 * sshd (used for cluster actions): 22
556 * rpcbind: 111
557 * corosync multicast (if you run a cluster): 5404, 5405 UDP
558
559
560 ifdef::manvolnum[]
561
562 Macro Definitions
563 -----------------
564
565 include::pve-firewall-macros.adoc[]
566
567
568 include::pve-copyright.adoc[]
569
570 endif::manvolnum[]