]> git.proxmox.com Git - pve-firewall.git/blobdiff - src/PVE/Firewall.pm
allow options and rules section in cluster.fw
[pve-firewall.git] / src / PVE / Firewall.pm
index d378c4fca2b3d4c1b5461e7d920a3a052b913e91..02c602fe17c037ebc6840612066ce6268e07b3f2 100644 (file)
@@ -16,6 +16,8 @@ use Net::IP;
 use PVE::Tools qw(run_command lock_file);
 use Encode;
 
+my $clusterfw_conf_filename = "/etc/pve/firewall/cluster.fw";
+
 # dynamically include PVE::QemuServer and PVE::OpenVZ 
 # to avoid dependency problems
 my $have_qemu_server;
@@ -801,6 +803,12 @@ sub iptables_restore_cmdlist {
     run_command("/sbin/iptables-restore -n", input => $cmdlist);
 }
 
+sub ipset_restore_cmdlist {
+    my ($cmdlist) = @_;
+
+    run_command(" /usr/sbin/ipset restore", input => $cmdlist);
+}
+
 sub iptables_get_chains {
 
     my $res = {};
@@ -857,6 +865,43 @@ sub iptables_get_chains {
     return $res;
 }
 
+sub ipset_chain_digest {
+    my ($rules) = @_;
+    my $digest = Digest::SHA->new('sha1');
+    foreach my $rule (sort @$rules) { # note: sorted
+       $digest->add($rule);
+    }
+    return $digest->b64digest;
+}
+
+sub ipset_get_chains {
+
+    my $res = {};
+    my $chains = {};
+
+    my $parser = sub {
+       my $line = shift;
+
+       return if $line =~ m/^#/;
+       return if $line =~ m/^\s*$/;
+       if ($line =~ m/^(\S+)\s(\S+)\s(\S+)/) {
+           push @{$chains->{$2}}, $line;
+       } else {
+           # simply ignore the rest
+           return;
+       }
+    };
+
+    run_command("/usr/sbin/ipset save", outfunc => $parser);
+
+    # compute digest for each chain
+    foreach my $chain (keys %$chains) {
+       $res->{$chain} = ipset_chain_digest($chains->{$chain});
+    }
+
+    return $res;
+}
+
 sub iptables_chain_exist {
     my ($chain) = @_;
 
@@ -1182,7 +1227,7 @@ sub ruleset_create_vm_chain {
 }
 
 sub ruleset_generate_vm_rules {
-    my ($ruleset, $rules, $groups_conf, $chain, $netid, $direction, $options) = @_;
+    my ($ruleset, $rules, $cluster_conf, $chain, $netid, $direction, $options) = @_;
 
     my $lc_direction = lc($direction);
 
@@ -1192,7 +1237,7 @@ sub ruleset_generate_vm_rules {
        if ($rule->{type} eq 'group') {
            my $group_chain = "GROUP-$rule->{action}-$direction"; 
            if(!ruleset_chain_exist($ruleset, $group_chain)){
-               generate_group_rules($ruleset, $groups_conf, $rule->{action});
+               generate_group_rules($ruleset, $cluster_conf, $rule->{action});
            }
            ruleset_addrule($ruleset, $chain, "-j $group_chain");
            if ($direction eq 'OUT'){
@@ -1256,7 +1301,7 @@ sub ruleset_generate_vm_ipsrules {
 }
 
 sub generate_venet_rules_direction {
-    my ($ruleset, $groups_conf, $vmfw_conf, $vmid, $ip, $direction) = @_;
+    my ($ruleset, $cluster_conf, $vmfw_conf, $vmid, $ip, $direction) = @_;
 
     parse_address_list($ip); # make sure we have a valid $ip list
 
@@ -1271,7 +1316,7 @@ sub generate_venet_rules_direction {
 
     ruleset_create_vm_chain($ruleset, $chain, $options, undef, $direction);
 
-    ruleset_generate_vm_rules($ruleset, $rules, $groups_conf, $chain, 'venet', $direction);
+    ruleset_generate_vm_rules($ruleset, $rules, $cluster_conf, $chain, 'venet', $direction);
 
     # implement policy
     my $policy;
@@ -1311,7 +1356,7 @@ sub generate_venet_rules_direction {
 }
 
 sub generate_tap_rules_direction {
-    my ($ruleset, $groups_conf, $iface, $netid, $macaddr, $vmfw_conf, $vmid, $bridge, $direction) = @_;
+    my ($ruleset, $cluster_conf, $iface, $netid, $macaddr, $vmfw_conf, $vmid, $bridge, $direction) = @_;
 
     my $lc_direction = lc($direction);
 
@@ -1324,7 +1369,7 @@ sub generate_tap_rules_direction {
 
     ruleset_create_vm_chain($ruleset, $tapchain, $options, $macaddr, $direction);
 
-    ruleset_generate_vm_rules($ruleset, $rules, $groups_conf, $tapchain, $netid, $direction, $options);
+    ruleset_generate_vm_rules($ruleset, $rules, $cluster_conf, $tapchain, $netid, $direction, $options);
 
     ruleset_generate_vm_ipsrules($ruleset, $options, $direction, $iface, $bridge);
 
@@ -1352,7 +1397,7 @@ sub generate_tap_rules_direction {
 }
 
 sub enable_host_firewall {
-    my ($ruleset, $hostfw_conf, $groups_conf) = @_;
+    my ($ruleset, $hostfw_conf, $cluster_conf) = @_;
 
     # fixme: allow security groups
 
@@ -1422,10 +1467,10 @@ sub enable_host_firewall {
 }
 
 sub generate_group_rules {
-    my ($ruleset, $groups_conf, $group) = @_;
-    die "no such security group '$group'\n" if !$groups_conf->{rules}->{$group};
+    my ($ruleset, $cluster_conf, $group) = @_;
+    die "no such security group '$group'\n" if !$cluster_conf->{groups}->{$group};
 
-    my $rules = $groups_conf->{rules}->{$group};
+    my $rules = $cluster_conf->{groups}->{$group};
 
     my $chain = "GROUP-${group}-IN";
 
@@ -1595,6 +1640,22 @@ sub parse_hostfw_option {
     return ($opt, $value);
 }
 
+sub parse_clusterfw_option {
+    my ($line) = @_;
+
+    my ($opt, $value);
+
+    if ($line =~ m/^(enable):\s*(0|1)\s*$/i) {
+       $opt = lc($1);
+       $value = int($2);
+    } else {
+       chomp $line;
+       die "can't parse option '$line'\n"
+    }
+
+    return ($opt, $value);
+}
+
 sub parse_vm_fw_rules {
     my ($filename, $fh) = @_;
 
@@ -1703,13 +1764,13 @@ sub parse_host_fw_rules {
     return $res;
 }
 
-sub parse_group_fw_rules {
+sub parse_cluster_fw_rules {
     my ($filename, $fh) = @_;
 
     my $section;
     my $group;
 
-    my $res = { rules => {} };
+    my $res = { rules => {}, options => {}, groups => {}, ipset => {} };
 
     my $digest = Digest::SHA->new('sha1');
 
@@ -1722,24 +1783,72 @@ sub parse_group_fw_rules {
        my $linenr = $fh->input_line_number();
        my $prefix = "$filename (line $linenr)";
 
+       if ($line =~ m/^\[options\]$/i) {
+           $section = 'options';
+           next;
+       }
+
        if ($line =~ m/^\[group\s+(\S+)\]\s*$/i) {
+           $section = 'groups';
+           $group = lc($1);
+           next;
+       }
+
+       if ($line =~ m/^\[rules\]$/i) {
            $section = 'rules';
+           next;
+       }
+    
+       if ($line =~ m/^\[ipgroup\s+(\S+)\]\s*$/i) {
+           $section = 'ipset';
            $group = lc($1);
+           $res->{$section}->{$group}->{type} = 'hash:ip family inet hashsize 1024 maxelem 65536 ';
            next;
        }
-       if (!$section || !$group) {
-           warn "$prefix: skip line - no section";
+
+       if ($line =~ m/^\[netgroup\s+(\S+)\]\s*$/i) {
+           $section = 'ipset';
+           $group = lc($1);
+           $res->{$section}->{$group}->{type} = 'hash:net family inet hashsize 1024 maxelem 65536 ';
            next;
        }
 
-       my $rule;
-       eval { $rule = parse_fw_rule($line, 0, 0); };
-       if (my $err = $@) {
-           warn "$prefix: $err";
+       if (!$section) {
+           warn "$prefix: skip line - no section";
            next;
        }
-       
-       push @{$res->{$section}->{$group}}, $rule;
+
+       if ($section eq 'options') {
+           eval {
+               my ($opt, $value) = parse_clusterfw_option($line);
+               $res->{options}->{$opt} = $value;
+           };
+           warn "$prefix: $@" if $@;
+       } elsif ($section eq 'rules') {
+           my $rule;
+           eval { $rule = parse_fw_rule($line, 1, 1); };
+           if (my $err = $@) {
+               warn "$prefix: $err";
+               next;
+           }
+           push @{$res->{$section}}, $rule;
+       } elsif ($section eq 'groups') {
+           my $rule;
+           eval { $rule = parse_fw_rule($line, 0, 0); };
+           if (my $err = $@) {
+               warn "$prefix: $err";
+               next;
+           }
+           push @{$res->{$section}->{$group}}, $rule;
+       } elsif ($section eq 'ipset') {
+           chomp $line;
+           my $ip;
+           if (!Net::IP->new($line)) {
+               warn "$prefix: $line is not an valid ip address";
+               next;
+           }
+           push @{$res->{$section}->{$group}->{ip}}, $line;
+       }
     }
 
     $res->{digest} = $digest->b64digest;
@@ -1868,6 +1977,24 @@ sub generate_std_chains {
     }
 }
 
+sub generate_ipset_chains {
+    my ($ipset_ruleset, $options) = @_;
+
+    foreach my $ipset (keys %{$options->{ipset}}) {
+       generate_ipset($ipset_ruleset, $ipset, $options->{ipset}->{$ipset});
+    }
+}
+
+sub generate_ipset {
+    my ($ipset_ruleset, $name, $options) = @_;
+
+    push @{$ipset_ruleset->{$name}}, "create $name $options->{type}";
+
+    foreach my $ip (@{$options->{ip}}) {
+       push @{$ipset_ruleset->{$name}}, "add $name $ip";
+    }
+}
+
 sub save_pvefw_status {
     my ($status) = @_;
 
@@ -1920,49 +2047,74 @@ sub read_proc_net_route {
     return $res;
 }
 
-sub load_security_groups {
+sub load_clusterfw_conf {
 
-    my $groups_conf = {};
-    my $filename = "/etc/pve/firewall/groups.fw";
-    if (my $fh = IO::File->new($filename, O_RDONLY)) {
-       $groups_conf = parse_group_fw_rules($filename, $fh);
+    my $cluster_conf = {};
+     if (my $fh = IO::File->new($clusterfw_conf_filename, O_RDONLY)) {
+       $cluster_conf = parse_cluster_fw_rules($clusterfw_conf_filename, $fh);
     }
 
-    return $groups_conf;
+    return $cluster_conf;
 }
 
-sub save_security_groups {
-    my ($groups_conf) = @_;
+my $rules_to_conf = sub {
+    my ($rules, $need_iface) = @_;
 
     my $raw = '';
-    my $filename = "/etc/pve/firewall/groups.fw";
 
-    foreach my $group (sort keys %{$groups_conf->{rules}}) {
-       my $rules = $groups_conf->{rules}->{$group};
-       $raw .= "[group $group]\n\n";
+    foreach my $rule (@$rules) {
+       if ($rule->{type} eq  'in' || $rule->{type} eq 'out') {
+           $raw .= '|' if defined($rule->{enable}) && !$rule->{enable};
+           $raw .= uc($rule->{type});
+           $raw .= " " . $rule->{action};
+           $raw .= " " . ($rule->{iface} || '-') if $need_iface;
+           $raw .= " " . ($rule->{source} || '-');
+           $raw .= " " . ($rule->{dest} || '-');
+           $raw .= " " . ($rule->{proto} || '-');
+           $raw .= " " . ($rule->{dport} || '-');
+           $raw .= " " . ($rule->{sport} || '-');
+           $raw .= " # " . encode('utf8', $rule->{comment}) 
+               if $rule->{comment} && $rule->{comment} !~ m/^\s*$/;
+           $raw .= "\n";
+       } else {
+           die "implement me '$rule->{type}'";
+       }
+    }
 
-       foreach my $rule (@$rules) {
-           if ($rule->{type} eq  'in' || $rule->{type} eq 'out') {
-               $raw .= '|' if defined($rule->{enable}) && !$rule->{enable};
-               $raw .= uc($rule->{type});
-               $raw .= " " . $rule->{action};
-               $raw .= " " . ($rule->{source} || '-');
-               $raw .= " " . ($rule->{dest} || '-');
-               $raw .= " " . ($rule->{proto} || '-');
-               $raw .= " " . ($rule->{dport} || '-');
-               $raw .= " " . ($rule->{sport} || '-');
-               $raw .= " # " . encode('utf8', $rule->{comment}) 
-                   if $rule->{comment} && $rule->{comment} !~ m/^\s*$/;
-               $raw .= "\n";
-           } else {
-               die "implement me '$rule->{type}'";
-           }
+    return $raw;
+};
+
+sub save_clusterfw_conf {
+    my ($cluster_conf) = @_;
+
+    my $raw = '';
+
+    my $options = $cluster_conf->{options};
+    if (scalar(keys %$options)) {
+       $raw .= "[OPTIONS]\n\n";
+       foreach my $opt (keys %$options) {
+           $raw .= "$opt: $options->{$opt}\n";
        }
+       $raw .= "\n";
+    }
 
+    # fixme: save ipset
+
+    my $rules = $cluster_conf->{rules};
+    if (scalar(@$rules)) {
+       $raw .= "[RULES]\n\n";
+       $raw .= &$rules_to_conf($rules, 1);
        $raw .= "\n";
     }
 
-    PVE::Tools::file_set_contents($filename, $raw);
+    foreach my $group (sort keys %{$cluster_conf->{groups}}) {
+       my $rules = $cluster_conf->{groups}->{$group};
+       $raw .= "[group $group]\n\n";
+       $raw .= &$rules_to_conf($rules, 0);
+       $raw .= "\n";
+    }
+
+    PVE::Tools::file_set_contents($clusterfw_conf_filename, $raw);
 }
 
 sub load_hostfw_conf {
@@ -1981,7 +2133,10 @@ sub compile {
 
     my $routing_table = read_proc_net_route();
 
-    my $groups_conf = load_security_groups();
+    my $cluster_conf = load_clusterfw_conf();
+
+    my $ipset_ruleset = {};
+    generate_ipset_chains($ipset_ruleset, $cluster_conf);
 
     my $ruleset = {};
 
@@ -1997,9 +2152,7 @@ sub compile {
 
     my $hostfw_enable = !(defined($hostfw_options->{enable}) && ($hostfw_options->{enable} == 0));
 
-    enable_host_firewall($ruleset, $hostfw_conf, $groups_conf) if $hostfw_enable;
-
-    my $ips_enable = undef;
+    enable_host_firewall($ruleset, $hostfw_conf, $cluster_conf) if $hostfw_enable;
 
     # generate firewall rules for QEMU VMs
     foreach my $vmid (keys %{$vmdata->{qemu}}) {
@@ -2008,8 +2161,6 @@ sub compile {
        next if !$vmfw_conf;
        next if defined($vmfw_conf->{options}->{enable}) && ($vmfw_conf->{options}->{enable} == 0);
 
-       $ips_enable = 1 if $vmfw_conf->{options}->{ips};
-
        foreach my $netid (keys %$conf) {
            next if $netid !~ m/^net(\d+)$/;
            my $net = PVE::QemuServer::parse_net($conf->{$netid});
@@ -2024,9 +2175,9 @@ sub compile {
            generate_bridge_chains($ruleset, $hostfw_conf, $bridge, $routing_table);
 
            my $macaddr = $net->{macaddr};
-           generate_tap_rules_direction($ruleset, $groups_conf, $iface, $netid, $macaddr, 
+           generate_tap_rules_direction($ruleset, $cluster_conf, $iface, $netid, $macaddr, 
                                         $vmfw_conf, $vmid, $bridge, 'IN');
-           generate_tap_rules_direction($ruleset, $groups_conf, $iface, $netid, $macaddr, 
+           generate_tap_rules_direction($ruleset, $cluster_conf, $iface, $netid, $macaddr, 
                                         $vmfw_conf, $vmid, $bridge, 'OUT');
        }
     }
@@ -2039,12 +2190,10 @@ sub compile {
        next if !$vmfw_conf;
        next if defined($vmfw_conf->{options}->{enable}) && ($vmfw_conf->{options}->{enable} == 0);
 
-       $ips_enable = 1 if $vmfw_conf->{options}->{ips};
-
        if ($conf->{ip_address} && $conf->{ip_address}->{value}) {
            my $ip = $conf->{ip_address}->{value};
-           generate_venet_rules_direction($ruleset, $groups_conf, $vmfw_conf, $vmid, $ip, 'IN');
-           generate_venet_rules_direction($ruleset, $groups_conf, $vmfw_conf, $vmid, $ip, 'OUT');
+           generate_venet_rules_direction($ruleset, $cluster_conf, $vmfw_conf, $vmid, $ip, 'IN');
+           generate_venet_rules_direction($ruleset, $cluster_conf, $vmfw_conf, $vmid, $ip, 'OUT');
        }
 
        if ($conf->{netif} && $conf->{netif}->{value}) {
@@ -2061,9 +2210,9 @@ sub compile {
 
                my $macaddr = $d->{mac};
                my $iface = $d->{host_ifname};
-               generate_tap_rules_direction($ruleset, $groups_conf, $iface, $netid, $macaddr, 
+               generate_tap_rules_direction($ruleset, $cluster_conf, $iface, $netid, $macaddr, 
                                             $vmfw_conf, $vmid, $bridge, 'IN');
-               generate_tap_rules_direction($ruleset, $groups_conf, $iface, $netid, $macaddr, 
+               generate_tap_rules_direction($ruleset, $cluster_conf, $iface, $netid, $macaddr, 
                                             $vmfw_conf, $vmid, $bridge, 'OUT');
            }
        }
@@ -2071,7 +2220,7 @@ sub compile {
 
     if($hostfw_options->{optimize}){
 
-       my $accept = $ips_enable ? "PVEFW-IPS" : "ACCEPT";
+       my $accept = ruleset_chain_exist($ruleset, "PVEFW-IPS") ? "PVEFW-IPS" : "ACCEPT";
        ruleset_insertrule($ruleset, "PVEFW-FORWARD", "-m conntrack --ctstate RELATED,ESTABLISHED -j $accept");
        ruleset_insertrule($ruleset, "PVEFW-FORWARD", "-m conntrack --ctstate INVALID -j DROP");
     }
@@ -2092,22 +2241,23 @@ sub compile {
     ruleset_addrule($ruleset, "PVEFW-FORWARD", "-o vmbr+ -j DROP");  
     ruleset_addrule($ruleset, "PVEFW-FORWARD", "-i vmbr+ -j DROP");
 
-    return wantarray ? ($ruleset, $hostfw_conf) : $ruleset;
+    return wantarray ? ($ruleset, $hostfw_conf, $ipset_ruleset) : $ruleset;
 }
 
 sub get_ruleset_status {
-    my ($ruleset, $verbose) = @_;
+    my ($ruleset, $verbose, $ipset) = @_;
 
-    my $active_chains = iptables_get_chains();
+    my $active_chains = undef;
+    if($ipset){
+       $active_chains = ipset_get_chains();
+    }else{
+       $active_chains = iptables_get_chains();
+    }
 
     my $statushash = {};
 
     foreach my $chain (sort keys %$ruleset) {
-       my $digest = Digest::SHA->new('sha1');
-       foreach my $cmd (@{$ruleset->{$chain}}) {
-            $digest->add("$cmd\n");
-       }
-       my $sig = $digest->b64digest;
+       my $sig = ipset_chain_digest($ruleset->{$chain});
        $statushash->{$chain}->{sig} = $sig;
 
        my $oldsig = $active_chains->{$chain};
@@ -2134,16 +2284,10 @@ sub get_ruleset_status {
            print "delete $chain ($sig)\n" if $verbose;
        }
     }
-
+    
     return $statushash;
 }
 
-sub print_ruleset {
-    my ($ruleset) = @_;
-
-    get_ruleset_status($ruleset, 1);
-}
-
 sub print_sig_rule {
     my ($chain, $sig) = @_;
 
@@ -2212,22 +2356,74 @@ sub get_rulset_cmdlist {
        $cmdlist .= "-X $chain\n";
     }
 
+    my $changes = $cmdlist ne "*filter\n" ? 1 : 0;
     $cmdlist .= "COMMIT\n";
 
-    return $cmdlist;
+    return wantarray ? ($cmdlist, $changes) : $cmdlist;
+}
+
+sub get_ipset_cmdlist {
+    my ($ruleset, $verbose) = @_;
+
+    my $cmdlist = "";
+
+    my $statushash = get_ruleset_status($ruleset, $verbose, 1);
+
+    foreach my $chain (sort keys %$ruleset) {
+       my $stat = $statushash->{$chain};
+       die "internal error" if !$stat;
+
+       if ($stat->{action} eq 'create') {
+           foreach my $cmd (@{$ruleset->{$chain}}) {
+               $cmdlist .= "$cmd\n";
+           }
+        }
+
+       if ($stat->{action} eq 'update') {
+           my $chain_swap = $chain."_swap";
+
+           foreach my $cmd (@{$ruleset->{$chain}}) {
+               $cmd =~ s/$chain/$chain_swap/;
+               $cmdlist .= "$cmd\n";
+
+           }
+           $cmdlist .= "swap $chain_swap $chain\n";
+           $cmdlist .= "flush $chain_swap\n";
+           $cmdlist .= "destroy $chain_swap\n";
+        }
+
+    }
+
+    foreach my $chain (keys %$statushash) {
+       next if $statushash->{$chain}->{action} ne 'delete';
+
+       $cmdlist .= "flush $chain\n";
+       $cmdlist .= "destroy $chain\n";
+    }
+
+    my $changes = $cmdlist ? 1 : 0;
+
+    return wantarray ? ($cmdlist, $changes) : $cmdlist;
 }
 
 sub apply_ruleset {
-    my ($ruleset, $hostfw_conf, $verbose) = @_;
+    my ($ruleset, $hostfw_conf, $ipset_ruleset, $verbose) = @_;
 
     enable_bridge_firewall();
 
     update_nf_conntrack_max($hostfw_conf);
 
+    my $ipsetcmdlist = get_ipset_cmdlist($ipset_ruleset, $verbose);
+
     my $cmdlist = get_rulset_cmdlist($ruleset, $verbose);
 
+    print $ipsetcmdlist if $verbose;
+
     print $cmdlist if $verbose;
 
+    ipset_restore_cmdlist($ipsetcmdlist);
+
     iptables_restore_cmdlist($cmdlist);
 
     # test: re-read status and check if everything is up to date
@@ -2275,13 +2471,13 @@ sub update {
     my $code = sub {
        my $status = read_pvefw_status();
 
-       my ($ruleset, $hostfw_conf) = PVE::Firewall::compile();
+       my ($ruleset, $hostfw_conf, $ipset_ruleset) = compile();
 
        if ($start || $status eq 'active') {
 
            save_pvefw_status('active') if ($status ne 'active');
 
-           apply_ruleset($ruleset, $hostfw_conf, $verbose);
+           apply_ruleset($ruleset, $hostfw_conf, $ipset_ruleset, $verbose);
        } else {
            print "Firewall not active (status = $status)\n" if $verbose;
        }