add auto-generated VM firewall options
[pve-docs.git] / pve-firewall.adoc
1 ifdef::manvolnum[]
2 PVE({manvolnum})
3 ================
4 include::attributes.txt[]
5
6 NAME
7 ----
8
9 pve-firewall - The PVE Firewall Daemon
10
11
12 SYNOPSYS
13 --------
14
15 include::pve-firewall.8-synopsis.adoc[]
16
17
18 DESCRIPTION
19 -----------
20 endif::manvolnum[]
21
22 ifndef::manvolnum[]
23 {pve} Firewall
24 ==============
25 include::attributes.txt[]
26 endif::manvolnum[]
27
28 // Copied from pve wiki: Revision as of 08:45, 9 November 2015
29
30 Proxmox VE Firewall provides an easy way to protect your IT
31 infrastructure. You can easily setup firewall rules for all hosts
32 inside a cluster, or define rules for virtual machines and
33 containers. Features like firewall macros, security groups, IP sets
34 and aliases help making that task easier.
35
36 While all configuration is stored on the cluster file system, the
37 iptables based firewall runs on each cluster node, and thus provides
38 full isolation between virtual machines. The distributed nature of
39 this system also provides much higher bandwidth than a central
40 firewall solution.
41
42 NOTE: If you enable the firewall, all traffic is blocked by default,
43 except WebGUI(8006) and ssh(22) from your local network.
44
45 The firewall has full support for IPv4 and IPv6. IPv6 support is fully
46 transparent, and we filter traffic for both protocols by default. So
47 there is no need to maintain a different set of rules for IPv6.
48
49
50 Zones
51 -----
52
53 The Proxmox VE firewall groups the network into the following logical zones:
54
55 Host::
56
57 Traffic from/to a cluster node
58
59 VM::
60
61 Traffic from/to a specific VM
62
63 For each zone, you can define firewall rules for incoming and/or
64 outgoing traffic.
65
66
67 Configuration Files
68 -------------------
69
70 All firewall related configuration is stored on the proxmox cluster
71 file system. So those files are automatically distributed to all
72 cluster nodes, and the 'pve-firewall' service updates the underlying
73 iptables rules automatically on changes. Any configuration can be
74 done using the GUI (i.e. Datacenter -> Firewall -> Options tab (tabs
75 at the bottom of the page), or on a Node -> Firewall), so the
76 following configuration file snippets are just for completeness.
77
78 All firewall configuration files contains sections of key-value
79 pairs. Lines beginning with a '#' and blank lines are considered
80 comments. Sections starts with a header line containing the section
81 name enclosed in '[' and ']'.
82
83 Cluster Wide Setup
84 ~~~~~~~~~~~~~~~~~~
85
86 The cluster wide firewall configuration is stored at:
87  
88  /etc/pve/firewall/cluster.fw
89
90 The configuration can contain the following sections:
91
92 '[OPTIONS]'::
93
94 This is used to set cluster wide firewall options.
95
96 include::pve-firewall-cluster-opts.adoc[]
97
98 NOTE: The firewall is completely disabled by default, so you need to
99 set the enable option here:
100
101 ----
102 [OPTIONS]
103 # enable firewall (cluster wide setting, default is disabled)
104 enable: 1
105 ----
106
107 '[RULES]'::
108
109 This sections contains cluster wide firewall rules for all nodes.
110
111 '[IPSET <name>]'::
112
113 Cluster wide IP set definitions.
114
115 '[GROUP <name>]'::
116
117 Cluster wide security group definitions.
118
119 '[ALIASES]'::
120
121 Cluster wide Alias definitions.
122
123 Host specific Configuration
124 ~~~~~~~~~~~~~~~~~~~~~~~~~~~
125
126 Host related configuration is read from:
127
128  /etc/pve/nodes/<nodename>/host.fw
129
130 This is useful if you want to overwrite rules from 'cluster.fw'
131 config. You can also increase log verbosity, and set netfilter related
132 options. The configuration can contain the following sections:
133
134 '[OPTIONS]'::
135
136 This is used to set host related firewall options.
137
138 include::pve-firewall-host-opts.adoc[]
139
140 '[RULES]'::
141
142 This sections contains host specific firewall rules.
143
144
145 VM/Container configuration
146 ~~~~~~~~~~~~~~~~~~~~~~~~~~
147
148 VM firewall configuration is read from:
149
150  /etc/pve/firewall/<VMID>.fw
151
152 and contains the following data:
153
154 '[OPTIONS]'::
155
156 This is used to set VM/Container related firewall options.
157
158 include::pve-firewall-vm-opts.adoc[]
159
160 '[RULES]'::
161
162 This sections contains VM/Container firewall rules.
163
164 '[IPSET <name>]'::
165
166 IP set definitions.
167
168 '[ALIASES]'::
169
170 IP Alias definitions.
171
172
173 Enabling the Firewall for VMs and Containers
174 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
175
176 You need to enable the firewall on the virtual network interface configuration
177 in addition to the general 'Enable Firewall' option in the 'Options' tab.
178
179
180 Firewall Rules
181 --------------
182
183 Firewall rules consists of a direction (`IN` or `OUT`) and an
184 action (`ACCEPT`, `DENY`, `REJECT`). You can also specify a macro
185 name. Macros contain predifined sets of rules and options. Rules can be disabled by prefixing them with '|'.
186
187 .Firewall rules syntax
188 ----
189 [RULES]
190
191 DIRECTION ACTION [OPTIONS]
192 |DIRECTION ACTION [OPTIONS] # disabled rule
193
194 DIRECTION MACRO(ACTION) [OPTIONS] # use predefined macro
195 ----
196
197 The following options can be used to refine rule matches. 
198
199 include::pve-firewall-rules-opts.adoc[]
200
201 Here are some examples:
202
203 ----
204 [RULES]
205 IN SSH(ACCEPT) -i net0
206 IN SSH(ACCEPT) -i net0 # a comment
207 IN SSH(ACCEPT) -i net0 -source 192.168.2.192 # only allow SSH from 192.168.2.192
208 IN SSH(ACCEPT) -i net0 -source 10.0.0.1-10.0.0.10 # accept SSH for ip range
209 IN SSH(ACCEPT) -i net0 -source 10.0.0.1,10.0.0.2,10.0.0.3 #accept ssh for ip list
210 IN SSH(ACCEPT) -i net0 -source +mynetgroup # accept ssh for ipset mynetgroup
211 IN SSH(ACCEPT) -i net0 -source myserveralias #accept ssh for alias myserveralias
212
213 |IN SSH(ACCEPT) -i net0 # disabled rule
214
215 IN  DROP # drop all incoming packages
216 OUT ACCEPT # accept all outgoing packages
217 ----
218
219 Security Groups
220 ---------------
221
222 A security group is a collection of rules, defined at cluster level, which
223 can be used in all VMs' rules. For example you can define a group named
224 `webserver` with rules to open the http and https ports.
225
226 ----
227 # /etc/pve/firewall/cluster.fw
228
229 [group webserver]
230 IN  ACCEPT -p tcp -dport 80
231 IN  ACCEPT -p tcp -dport 443
232 ----
233
234 Then, you can add this group to a VM's firewall
235
236 ----
237 # /etc/pve/firewall/<VMID>.fw
238
239 [RULES]
240 GROUP webserver
241 ----
242
243
244 IP Aliases
245 ----------
246
247 IP Aliases allow you to associate IP addresses of networks with a
248 name. You can then refer to those names:
249
250 * inside IP set definitions
251 * in `source` and `dest` properties of firewall rules
252
253 Standard IP alias `local_network`
254 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
255
256 This alias is automatically defined. Please use the following command
257 to see assigned values:
258
259 ----
260 # pve-firewall localnet
261 local hostname: example
262 local IP address: 192.168.2.100
263 network auto detect: 192.168.0.0/20
264 using detected local_network: 192.168.0.0/20
265 ----
266
267 The firewall automatically sets up rules to allow everything needed
268 for cluster communication (corosync, API, SSH) using this alias.
269
270 The user can overwrite these values in the cluster.fw alias
271 section. If you use a single host on a public network, it is better to
272 explicitly assign the local IP address
273
274 ----
275 #  /etc/pve/firewall/cluster.fw
276 [ALIASES]
277 local_network 1.2.3.4 # use the single ip address
278 ----
279
280 IP Sets
281 -------
282
283 IP sets can be used to define groups of networks and hosts. You can
284 refer to them with `+name` in the firewall rules' `source` and `dest`
285 properties.
286
287 The following example allows HTTP traffic from the `management` IP
288 set.
289
290  IN HTTP(ACCEPT) -source +management
291
292 Standard IP set `management`
293 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
294
295 This IP set applies only to host firewalls (not VM firewalls).  Those
296 ips are allowed to do normal management tasks (PVE GUI, VNC, SPICE,
297 SSH).
298
299 The local cluster network is automatically added to this IP set (alias
300 `cluster_network`), to enable inter-host cluster
301 communication. (multicast,ssh,...)
302
303 ----
304 # /etc/pve/firewall/cluster.fw
305
306 [IPSET management] 
307 192.168.2.10
308 192.168.2.10/24
309 ----
310
311 Standard IP set 'blacklist'
312 ~~~~~~~~~~~~~~~~~~~~~~~~~~~
313
314 Traffic from these ips is dropped by every host's and VM's firewall.
315
316 ----
317 # /etc/pve/firewall/cluster.fw
318
319 [IPSET blacklist] 
320 77.240.159.182
321 213.87.123.0/24
322 ----
323
324 [[ipfilter-section]]
325 Standard IP set 'ipfilter-net*'
326 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
327
328 These filters belong to a VM's network interface and are mainly used to prevent
329 IP spoofing. If such a set exists for an interface then any outgoing traffic
330 with a source IP not matching its interface's corresponding ipfilter set will
331 be dropped.
332
333 For containers with configured IP addresses these sets, if they exist (or are
334 activated via the general `IP Filter` option in the VM's firewall's 'options'
335 tab), implicitly contain the associated IP addresses.
336
337 For both virtual machines and containers they also implicitly contain the
338 standard MAC-derived IPv6 link-local address in order to allow the neighbor
339 discovery protocol to work.
340
341 ----
342 /etc/pve/firewall/<VMID>.fw
343
344 [IPSET ipfilter-net0] # only allow specified IPs on net0
345 192.168.2.10
346 ----
347
348
349 Services and Commands
350 ---------------------
351
352 The firewall runs two service daemons on each node:
353
354 * pvefw-logger: NFLOG daemon (ulogd replacement).
355 * pve-firewall: updates iptables rules
356
357 There is also a CLI command named 'pve-firewall', which can be used to
358 start and stop the firewall service:
359
360  # pve-firewall start
361  # pve-firewall stop
362
363 To get the status use:
364
365  # pve-firewall status
366
367 The above command reads and compiles all firewall rules, so you will
368 see warnings if your firewall configuration contains any errors.
369
370 If you want to see the generated iptables rules you can use:
371
372  # iptables-save
373
374
375 Tips and Tricks
376 ---------------
377
378 How to allow FTP
379 ~~~~~~~~~~~~~~~~
380
381 FTP is an old style protocol which uses port 21 and several other dynamic ports. So you
382 need a rule to accept port 21. In addition, you need to load the 'ip_conntrack_ftp' module.
383 So please run: 
384
385  modprobe ip_conntrack_ftp
386
387 and add `ip_conntrack_ftp` to '/etc/modules' (so that it works after a reboot) .
388
389
390 Suricata IPS integration
391 ~~~~~~~~~~~~~~~~~~~~~~~~
392
393 If you want to use the http://suricata-ids.org/[Suricata IPS]
394 (Intrusion Prevention System), it's possible.
395
396 Packets will be forwarded to the IPS only after the firewall ACCEPTed
397 them.
398
399 Rejected/Dropped firewall packets don't go to the IPS.
400
401 Install suricata on proxmox host:
402
403 ----
404 # apt-get install suricata
405 # modprobe nfnetlink_queue  
406 ----
407
408 Don't forget to add `nfnetlink_queue` to '/etc/modules' for next reboot.
409
410 Then, enable IPS for a specific VM with:
411
412 ----
413 # /etc/pve/firewall/<VMID>.fw
414
415 [OPTIONS]
416 ips: 1
417 ips_queues: 0
418 ----
419
420 `ips_queues` will bind a specific cpu queue for this VM.
421
422 Available queues are defined in
423
424 ----
425 # /etc/default/suricata
426 NFQUEUE=0
427 ----
428
429 Avoiding link-local addresses on tap and veth devices
430 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
431
432 With IPv6 enabled by default every interface gets a MAC-derived link local
433 address. However, most devices on a typical {pve} setup are connected to a
434 bridge and so the bridge is the only interface which really needs one.
435
436 To disable a link local address on an interface you can set the interface's
437 `disable_ipv6` sysconf variable. Despite the name, this does not prevent IPv6
438 traffic from passing through the interface when routing or bridging, so the
439 only noticeable effect will be the removal of the link local address.
440
441 The easiest method of achieving this setting for all newly started VMs is to
442 set it for the `default` interface configuration and enabling it explicitly on
443 the interfaces which need it. This is also the case for other settings such as
444 `forwarding`, `accept_ra` or `autoconf`.
445
446 Here's a possible setup:
447 ----
448 # /etc/sysconf.d/90-ipv6.conf
449
450 net.ipv6.conf.default.forwarding = 0
451 net.ipv6.conf.default.proxy_ndp = 0
452 net.ipv6.conf.default.autoconf = 0
453 net.ipv6.conf.default.disable_ipv6 = 1
454 net.ipv6.conf.default.accept_ra = 0
455
456 net.ipv6.conf.lo.disable_ipv6 = 0
457 ----
458
459 ----
460 # /etc/network/interfaces
461 (...)
462 iface vmbr0 inet6 static
463     address fc00::31
464     netmask 16
465     gateway fc00::1
466     accept_ra 0
467     pre-up echo 0 > /proc/sys/net/ipv6/conf/$IFACE/disable_ipv6
468 (...)
469 ----
470
471
472 Notes on IPv6
473 -------------
474
475 The firewall contains a few IPv6 specific options. One thing to note is that
476 IPv6 does not use the ARP protocol anymore, and instead uses NDP (Neighbor
477 Discovery Protocol) which works on IP level and thus needs IP addresses to
478 succeed. For this purpose link-local addresses derived from the interface's MAC
479 address are used. By default the 'NDP' option is enabled on both host and VM
480 level to allow neighbor discovery (NDP) packets to be sent and received.
481
482 Beside neighbor discovery NDP is also used for a couple of other things, like
483 autoconfiguration and advertising routers.
484
485 By default VMs are allowed to send out router solicitation messages (to query
486 for a router), and to receive router advetisement packets. This allows them to
487 use stateless auto configuration. On the other hand VMs cannot advertise
488 themselves as routers unless the 'Allow Router Advertisement' (`radv: 1`) option
489 is set.
490
491 As for the link local addresses required for NDP, there's also an 'IP Filter'
492 (`ipfilter: 1`) option which can be enabled which has the same effect as adding
493 an `ipfilter-net*` ipset for each of the VM's network interfaces containing the
494 corresponding link local addresses.  (See the
495 <<ipfilter-section,Standard IP set 'ipfilter-net*'>> section for details.)
496
497
498 Ports used by Proxmox VE
499 ------------------------
500
501 * Web interface: 8006
502 * VNC Web console: 5900-5999
503 * SPICE proxy: 3128
504 * sshd (used for cluster actions): 22
505 * rpcbind: 111
506 *  corosync multicast (if you run a cluster): 5404, 5405 UDP
507
508
509 ifdef::manvolnum[]
510
511 Macro Definitions
512 -----------------
513
514 include::pve-firewall-macros.adoc[]
515
516
517 include::pve-copyright.adoc[]
518
519 endif::manvolnum[]