0e708de89e8da06c384bb57ffced2fa6b5402415
[pve-docs.git] / pve-firewall.adoc
1 ifdef::manvolnum[]
2 PVE({manvolnum})
3 ================
4 include::attributes.txt[]
5
6 NAME
7 ----
8
9 pve-firewall - The PVE Firewall Daemon
10
11
12 SYNOPSYS
13 --------
14
15 include::pve-firewall.8-synopsis.adoc[]
16
17
18 DESCRIPTION
19 -----------
20 endif::manvolnum[]
21
22 ifndef::manvolnum[]
23 {pve} Firewall
24 ==============
25 include::attributes.txt[]
26 endif::manvolnum[]
27
28 // Copied from pve wiki: Revision as of 08:45, 9 November 2015
29
30 Proxmox VE Firewall provides an easy way to protect your IT
31 infrastructure. You can easily setup firewall rules for all hosts
32 inside a cluster, or define rules for virtual machines and
33 containers. Features like firewall macros, security groups, IP sets
34 and aliases help making that task easier.
35
36 While all configuration is stored on the cluster file system, the
37 iptables based firewall runs on each cluster node, and thus provides
38 full isolation between virtual machines. The distributed nature of
39 this system also provides much higher bandwidth than a central
40 firewall solution.
41
42 NOTE: If you enable the firewall, all traffic is blocked by default,
43 except WebGUI(8006) and ssh(22) from your local network.
44
45 The firewall has full support for IPv4 and IPv6. IPv6 support is fully
46 transparent, and we filter traffic for both protocols by default. So
47 there is no need to maintain a different set of rules for IPv6.
48
49
50 Zones
51 -----
52
53 The Proxmox VE firewall groups the network into the following logical zones:
54
55 Host::
56
57 Traffic from/to a cluster node
58
59 VM::
60
61 Traffic from/to a specific VM
62
63 For each zone, you can define firewall rules for incoming and/or
64 outgoing traffic.
65
66
67 Configuration Files
68 -------------------
69
70 All firewall related configuration is stored on the proxmox cluster
71 file system. So those files are automatically distributed to all
72 cluster nodes, and the 'pve-firewall' service updates the underlying
73 iptables rules automatically on changes. Any configuration can be
74 done using the GUI (i.e. Datacenter -> Firewall -> Options tab (tabs
75 at the bottom of the page), or on a Node -> Firewall), so the
76 following configuration file snippets are just for completeness.
77
78 All firewall configuration files contains sections of key-value
79 pairs. Lines beginning with a '#' and blank lines are considered
80 comments. Sections starts with a header line containing the section
81 name enclosed in '[' and ']'.
82
83 Cluster Wide Setup
84 ~~~~~~~~~~~~~~~~~~
85
86 The cluster wide firewall configuration is stored at:
87  
88  /etc/pve/firewall/cluster.fw
89
90 The configuration can contain the following sections:
91
92 '[OPTIONS]'::
93
94 This is used to set cluster wide firewall options.
95
96 include::pve-firewall-cluster-opts.adoc[]
97
98 NOTE: The firewall is completely disabled by default, so you need to
99 set the enable option here:
100
101 ----
102 [OPTIONS]
103 # enable firewall (cluster wide setting, default is disabled)
104 enable: 1
105 ----
106
107 '[RULES]'::
108
109 This sections contains cluster wide firewall rules for all nodes.
110
111 '[IPSET <name>]'::
112
113 Cluster wide IP set definitions.
114
115 '[GROUP <name>]'::
116
117 Cluster wide security group definitions.
118
119 '[ALIASES]'::
120
121 Cluster wide Alias definitions.
122
123 Host specific Configuration
124 ~~~~~~~~~~~~~~~~~~~~~~~~~~~
125
126 Host related configuration is read from:
127
128  /etc/pve/nodes/<nodename>/host.fw
129
130 This is useful if you want to overwrite rules from 'cluster.fw'
131 config. You can also increase log verbosity, and set netfilter related
132 options. The configuration can contain the following sections:
133
134 '[OPTIONS]'::
135
136 This is used to set host related firewall options.
137
138 include::pve-firewall-host-opts.adoc[]
139
140 '[RULES]'::
141
142 This sections contains host specific firewall rules.
143
144
145 VM/Container configuration
146 ~~~~~~~~~~~~~~~~~~~~~~~~~~
147
148 VM firewall configuration is read from:
149
150  /etc/pve/firewall/<VMID>.fw
151
152 and contains the following data:
153
154 * IP set definitions
155 * Alias definitions
156 * Firewall rules for this VM
157 * VM specific options
158
159
160 Enabling the Firewall for VMs and Containers
161 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
162
163 You need to enable the firewall on the virtual network interface configuration
164 in addition to the general 'Enable Firewall' option in the 'Options' tab.
165
166
167 Firewall Rules
168 --------------
169
170 Firewall rules consists of a direction (`IN` or `OUT`) and an
171 action (`ACCEPT`, `DENY`, `REJECT`). You can also specify a macro
172 name. Macros contain predifined sets of rules and options. Rules can be disabled by prefixing them with '|'.
173
174 .Firewall rules syntax
175 ----
176 [RULES]
177
178 DIRECTION ACTION [OPTIONS]
179 |DIRECTION ACTION [OPTIONS] # disabled rule
180
181 DIRECTION MACRO(ACTION) [OPTIONS] # use predefined macro
182 ----
183
184 The following options can be used to refine rule matches. 
185
186 include::pve-firewall-rules-opts.adoc[]
187
188 Here are some examples:
189
190 ----
191 [RULES]
192 IN SSH(ACCEPT) -i net0
193 IN SSH(ACCEPT) -i net0 # a comment
194 IN SSH(ACCEPT) -i net0 -source 192.168.2.192 # only allow SSH from 192.168.2.192
195 IN SSH(ACCEPT) -i net0 -source 10.0.0.1-10.0.0.10 # accept SSH for ip range
196 IN SSH(ACCEPT) -i net0 -source 10.0.0.1,10.0.0.2,10.0.0.3 #accept ssh for ip list
197 IN SSH(ACCEPT) -i net0 -source +mynetgroup # accept ssh for ipset mynetgroup
198 IN SSH(ACCEPT) -i net0 -source myserveralias #accept ssh for alias myserveralias
199
200 |IN SSH(ACCEPT) -i net0 # disabled rule
201
202 IN  DROP # drop all incoming packages
203 OUT ACCEPT # accept all outgoing packages
204 ----
205
206 Security Groups
207 ---------------
208
209 A security group is a collection of rules, defined at cluster level, which
210 can be used in all VMs' rules. For example you can define a group named
211 `webserver` with rules to open the http and https ports.
212
213 ----
214 # /etc/pve/firewall/cluster.fw
215
216 [group webserver]
217 IN  ACCEPT -p tcp -dport 80
218 IN  ACCEPT -p tcp -dport 443
219 ----
220
221 Then, you can add this group to a VM's firewall
222
223 ----
224 # /etc/pve/firewall/<VMID>.fw
225
226 [RULES]
227 GROUP webserver
228 ----
229
230
231 IP Aliases
232 ----------
233
234 IP Aliases allow you to associate IP addresses of networks with a
235 name. You can then refer to those names:
236
237 * inside IP set definitions
238 * in `source` and `dest` properties of firewall rules
239
240 Standard IP alias `local_network`
241 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
242
243 This alias is automatically defined. Please use the following command
244 to see assigned values:
245
246 ----
247 # pve-firewall localnet
248 local hostname: example
249 local IP address: 192.168.2.100
250 network auto detect: 192.168.0.0/20
251 using detected local_network: 192.168.0.0/20
252 ----
253
254 The firewall automatically sets up rules to allow everything needed
255 for cluster communication (corosync, API, SSH) using this alias.
256
257 The user can overwrite these values in the cluster.fw alias
258 section. If you use a single host on a public network, it is better to
259 explicitly assign the local IP address
260
261 ----
262 #  /etc/pve/firewall/cluster.fw
263 [ALIASES]
264 local_network 1.2.3.4 # use the single ip address
265 ----
266
267 IP Sets
268 -------
269
270 IP sets can be used to define groups of networks and hosts. You can
271 refer to them with `+name` in the firewall rules' `source` and `dest`
272 properties.
273
274 The following example allows HTTP traffic from the `management` IP
275 set.
276
277  IN HTTP(ACCEPT) -source +management
278
279 Standard IP set `management`
280 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~
281
282 This IP set applies only to host firewalls (not VM firewalls).  Those
283 ips are allowed to do normal management tasks (PVE GUI, VNC, SPICE,
284 SSH).
285
286 The local cluster network is automatically added to this IP set (alias
287 `cluster_network`), to enable inter-host cluster
288 communication. (multicast,ssh,...)
289
290 ----
291 # /etc/pve/firewall/cluster.fw
292
293 [IPSET management] 
294 192.168.2.10
295 192.168.2.10/24
296 ----
297
298 Standard IP set 'blacklist'
299 ~~~~~~~~~~~~~~~~~~~~~~~~~~~
300
301 Traffic from these ips is dropped by every host's and VM's firewall.
302
303 ----
304 # /etc/pve/firewall/cluster.fw
305
306 [IPSET blacklist] 
307 77.240.159.182
308 213.87.123.0/24
309 ----
310
311 [[ipfilter-section]]
312 Standard IP set 'ipfilter-net*'
313 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
314
315 These filters belong to a VM's network interface and are mainly used to prevent
316 IP spoofing. If such a set exists for an interface then any outgoing traffic
317 with a source IP not matching its interface's corresponding ipfilter set will
318 be dropped.
319
320 For containers with configured IP addresses these sets, if they exist (or are
321 activated via the general `IP Filter` option in the VM's firewall's 'options'
322 tab), implicitly contain the associated IP addresses.
323
324 For both virtual machines and containers they also implicitly contain the
325 standard MAC-derived IPv6 link-local address in order to allow the neighbor
326 discovery protocol to work.
327
328 ----
329 /etc/pve/firewall/<VMID>.fw
330
331 [IPSET ipfilter-net0] # only allow specified IPs on net0
332 192.168.2.10
333 ----
334
335
336 Services and Commands
337 ---------------------
338
339 The firewall runs two service daemons on each node:
340
341 * pvefw-logger: NFLOG daemon (ulogd replacement).
342 * pve-firewall: updates iptables rules
343
344 There is also a CLI command named 'pve-firewall', which can be used to
345 start and stop the firewall service:
346
347  # pve-firewall start
348  # pve-firewall stop
349
350 To get the status use:
351
352  # pve-firewall status
353
354 The above command reads and compiles all firewall rules, so you will
355 see warnings if your firewall configuration contains any errors.
356
357 If you want to see the generated iptables rules you can use:
358
359  # iptables-save
360
361
362 Tips and Tricks
363 ---------------
364
365 How to allow FTP
366 ~~~~~~~~~~~~~~~~
367
368 FTP is an old style protocol which uses port 21 and several other dynamic ports. So you
369 need a rule to accept port 21. In addition, you need to load the 'ip_conntrack_ftp' module.
370 So please run: 
371
372  modprobe ip_conntrack_ftp
373
374 and add `ip_conntrack_ftp` to '/etc/modules' (so that it works after a reboot) .
375
376
377 Suricata IPS integration
378 ~~~~~~~~~~~~~~~~~~~~~~~~
379
380 If you want to use the http://suricata-ids.org/[Suricata IPS]
381 (Intrusion Prevention System), it's possible.
382
383 Packets will be forwarded to the IPS only after the firewall ACCEPTed
384 them.
385
386 Rejected/Dropped firewall packets don't go to the IPS.
387
388 Install suricata on proxmox host:
389
390 ----
391 # apt-get install suricata
392 # modprobe nfnetlink_queue  
393 ----
394
395 Don't forget to add `nfnetlink_queue` to '/etc/modules' for next reboot.
396
397 Then, enable IPS for a specific VM with:
398
399 ----
400 # /etc/pve/firewall/<VMID>.fw
401
402 [OPTIONS]
403 ips: 1
404 ips_queues: 0
405 ----
406
407 `ips_queues` will bind a specific cpu queue for this VM.
408
409 Available queues are defined in
410
411 ----
412 # /etc/default/suricata
413 NFQUEUE=0
414 ----
415
416 Avoiding link-local addresses on tap and veth devices
417 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
418
419 With IPv6 enabled by default every interface gets a MAC-derived link local
420 address. However, most devices on a typical {pve} setup are connected to a
421 bridge and so the bridge is the only interface which really needs one.
422
423 To disable a link local address on an interface you can set the interface's
424 `disable_ipv6` sysconf variable. Despite the name, this does not prevent IPv6
425 traffic from passing through the interface when routing or bridging, so the
426 only noticeable effect will be the removal of the link local address.
427
428 The easiest method of achieving this setting for all newly started VMs is to
429 set it for the `default` interface configuration and enabling it explicitly on
430 the interfaces which need it. This is also the case for other settings such as
431 `forwarding`, `accept_ra` or `autoconf`.
432
433 Here's a possible setup:
434 ----
435 # /etc/sysconf.d/90-ipv6.conf
436
437 net.ipv6.conf.default.forwarding = 0
438 net.ipv6.conf.default.proxy_ndp = 0
439 net.ipv6.conf.default.autoconf = 0
440 net.ipv6.conf.default.disable_ipv6 = 1
441 net.ipv6.conf.default.accept_ra = 0
442
443 net.ipv6.conf.lo.disable_ipv6 = 0
444 ----
445
446 ----
447 # /etc/network/interfaces
448 (...)
449 iface vmbr0 inet6 static
450     address fc00::31
451     netmask 16
452     gateway fc00::1
453     accept_ra 0
454     pre-up echo 0 > /proc/sys/net/ipv6/conf/$IFACE/disable_ipv6
455 (...)
456 ----
457
458
459 Notes on IPv6
460 -------------
461
462 The firewall contains a few IPv6 specific options. One thing to note is that
463 IPv6 does not use the ARP protocol anymore, and instead uses NDP (Neighbor
464 Discovery Protocol) which works on IP level and thus needs IP addresses to
465 succeed. For this purpose link-local addresses derived from the interface's MAC
466 address are used. By default the 'NDP' option is enabled on both host and VM
467 level to allow neighbor discovery (NDP) packets to be sent and received.
468
469 Beside neighbor discovery NDP is also used for a couple of other things, like
470 autoconfiguration and advertising routers.
471
472 By default VMs are allowed to send out router solicitation messages (to query
473 for a router), and to receive router advetisement packets. This allows them to
474 use stateless auto configuration. On the other hand VMs cannot advertise
475 themselves as routers unless the 'Allow Router Advertisement' (`radv: 1`) option
476 is set.
477
478 As for the link local addresses required for NDP, there's also an 'IP Filter'
479 (`ipfilter: 1`) option which can be enabled which has the same effect as adding
480 an `ipfilter-net*` ipset for each of the VM's network interfaces containing the
481 corresponding link local addresses.  (See the
482 <<ipfilter-section,Standard IP set 'ipfilter-net*'>> section for details.)
483
484
485 Ports used by Proxmox VE
486 ------------------------
487
488 * Web interface: 8006
489 * VNC Web console: 5900-5999
490 * SPICE proxy: 3128
491 * sshd (used for cluster actions): 22
492 * rpcbind: 111
493 *  corosync multicast (if you run a cluster): 5404, 5405 UDP
494
495
496 ifdef::manvolnum[]
497
498 Macro Definitions
499 -----------------
500
501 include::pve-firewall-macros.adoc[]
502
503
504 include::pve-copyright.adoc[]
505
506 endif::manvolnum[]