]> git.proxmox.com Git - pve-firewall.git/blobdiff - src/PVE/Firewall.pm
use enable instead of disable
[pve-firewall.git] / src / PVE / Firewall.pm
index 8e1a4cba77b6b81466a4413681bf2a1aba6967c9..646d1a9953b5aca7edf5c51460a99201c1418462 100644 (file)
@@ -8,13 +8,26 @@ use PVE::INotify;
 use PVE::Cluster;
 use PVE::ProcFSTools;
 use PVE::Tools;
-use PVE::QemuServer;
-use PVE::OpenVZ; # dependeny problem?!
 use File::Basename;
 use File::Path;
 use IO::File;
 use Net::IP;
 use PVE::Tools qw(run_command lock_file);
+use Encode;
+
+# dynamically include PVE::QemuServer and PVE::OpenVZ 
+# to avoid dependency problems
+my $have_qemu_server;
+eval {
+    require PVE::QemuServer;
+    $have_qemu_server = 1;
+};
+
+my $have_pve_manager;
+eval {
+    require PVE::OpenVZ;
+    $have_pve_manager = 1;
+};
 
 use Data::Dumper;
 
@@ -623,6 +636,25 @@ sub parse_port_name_number_or_range {
     return ($nbports);
 }
 
+# helper function for API
+sub cleanup_fw_rule {
+    my ($rule, $digest, $pos) = @_;
+
+    my $r = {};
+
+    foreach my $k (keys %$rule) {
+       next if $k eq 'nbdport';
+       next if $k eq 'nbsport';
+       my $v = $rule->{$k};
+       next if !defined($v);
+       $r->{$k} = $v;
+       $r->{digest} = $digest;
+       $r->{pos} = $pos;
+    }
+
+    return $r;
+}
+
 my $bridge_firewall_enabled = 0;
 
 sub enable_bridge_firewall {
@@ -733,7 +765,7 @@ sub iptables_rule_exist {
 sub ruleset_generate_cmdstr {
     my ($ruleset, $chain, $rule, $actions, $goto) = @_;
 
-    return if $rule->{disable};
+    return if !$rule->{enable};
 
     my @cmd = ();
 
@@ -817,6 +849,7 @@ sub ruleset_create_chain {
     my ($ruleset, $chain) = @_;
 
     die "Invalid chain name '$chain' (28 char max)\n" if length($chain) > 28;
+    die "chain name may not contain collons\n" if $chain =~ m/:/; # because of log format
 
     die "chain '$chain' already exists\n" if $ruleset->{$chain};
 
@@ -845,6 +878,31 @@ sub ruleset_insertrule {
    unshift @{$ruleset->{$chain}}, "-A $chain $rule";
 }
 
+sub get_log_rule_base {
+    my ($chain, $vmid, $msg, $loglevel) = @_;
+    
+    die "internal error - no log level" if !defined($loglevel);
+
+    $vmid = 0 if !defined($vmid);
+
+    # Note: we use special format for prefix to pass further 
+    # info to log daemon (VMID, LOGVELEL and CHAIN)
+
+    return "-j NFLOG --nflog-prefix \":$vmid:$loglevel:$chain: $msg\"";
+}
+
+sub ruleset_addlog {
+    my ($ruleset, $chain, $vmid, $msg, $loglevel, $rule) = @_;
+
+    return if !defined($loglevel);
+
+    my $logrule = get_log_rule_base($chain, $vmid, $msg, $loglevel);
+
+    $logrule = "$rule $logrule" if defined($rule);
+
+    ruleset_addrule($ruleset, $chain, $logrule)
+}
+
 sub generate_bridge_chains {
     my ($ruleset, $hostfw_conf, $bridge, $routing_table) = @_;
 
@@ -855,27 +913,27 @@ sub generate_bridge_chains {
 
     if (!ruleset_chain_exist($ruleset, "$bridge-FW")) {
        ruleset_create_chain($ruleset, "$bridge-FW");
-       ruleset_addrule($ruleset, "PVEFW-FORWARD", "-o $bridge -m physdev --physdev-is-bridged -j $bridge-FW");
-       ruleset_addrule($ruleset, "PVEFW-FORWARD", "-i $bridge -m physdev --physdev-is-bridged -j $bridge-FW");
+       ruleset_addrule($ruleset, "PVEFW-FORWARD", "-o $bridge -m physdev --physdev-is-out -j $bridge-FW");
+       ruleset_addrule($ruleset, "PVEFW-FORWARD", "-i $bridge -m physdev --physdev-is-in -j $bridge-FW");
     }
 
     if (!ruleset_chain_exist($ruleset, "$bridge-OUT")) {
        ruleset_create_chain($ruleset, "$bridge-OUT");
-       ruleset_addrule($ruleset, "$bridge-FW", "-m physdev --physdev-is-bridged --physdev-is-in -j $bridge-OUT");
-       ruleset_insertrule($ruleset, "PVEFW-INPUT", "-i $bridge -m physdev --physdev-is-bridged --physdev-is-in -j $bridge-OUT");
+       ruleset_addrule($ruleset, "$bridge-FW", "-m physdev --physdev-is-in -j $bridge-OUT");
+       ruleset_insertrule($ruleset, "PVEFW-INPUT", "-i $bridge -m physdev --physdev-is-in -j $bridge-OUT");
     }
 
     if (!ruleset_chain_exist($ruleset, "$bridge-IN")) {
        ruleset_create_chain($ruleset, "$bridge-IN");
-       ruleset_addrule($ruleset, "$bridge-FW", "-m physdev --physdev-is-bridged --physdev-is-out -j $bridge-IN");
+       ruleset_addrule($ruleset, "$bridge-FW", "-m physdev --physdev-is-out -j $bridge-IN");
        ruleset_addrule($ruleset, "$bridge-FW", "-m mark --mark 1 -j ACCEPT");
        # accept traffic to unmanaged bridge ports
-       ruleset_addrule($ruleset, "$bridge-FW", "-m physdev --physdev-is-bridged --physdev-is-out -j ACCEPT ");
+       ruleset_addrule($ruleset, "$bridge-FW", "-m physdev --physdev-is-out -j ACCEPT ");
     }
 }
 
 sub ruleset_add_chain_policy {
-    my ($ruleset, $chain, $policy, $loglevel, $accept_action) = @_;
+    my ($ruleset, $chain, $vmid, $policy, $loglevel, $accept_action) = @_;
 
     if ($policy eq 'ACCEPT') {
 
@@ -886,15 +944,13 @@ sub ruleset_add_chain_policy {
 
        ruleset_addrule($ruleset, $chain, "-j PVEFW-Drop");
 
-       ruleset_addrule($ruleset, $chain, "-j LOG --log-prefix \"$chain-dropped: \" --log-level $loglevel")
-           if defined($loglevel);
+       ruleset_addlog($ruleset, $chain, $vmid, "policy $policy: ", $loglevel);
 
        ruleset_addrule($ruleset, $chain, "-j DROP");
     } elsif ($policy eq 'REJECT') {
        ruleset_addrule($ruleset, $chain, "-j PVEFW-Reject");
 
-       ruleset_addrule($ruleset, $chain, "-j LOG --log-prefix \"$chain-reject: \" --log-level $loglevel")
-           if defined($loglevel);
+       ruleset_addlog($ruleset, $chain, $vmid, "policy $policy: ", $loglevel);
 
        ruleset_addrule($ruleset, $chain, "-g PVEFW-reject");
     } else {
@@ -913,7 +969,11 @@ sub ruleset_create_vm_chain {
     }
 
     if (!(defined($options->{dhcp}) && $options->{dhcp} == 0)) {
-       ruleset_addrule($ruleset, $chain, "-p udp -m udp --dport 67:68 -j ACCEPT");
+       if ($direction eq 'OUT') {
+           ruleset_addrule($ruleset, $chain, "-p udp -m udp --sport 68 --dport 67 -j PVEFW-SET-ACCEPT-MARK");
+       } else {
+           ruleset_addrule($ruleset, $chain, "-p udp -m udp --sport 67 --dport 68 -j ACCEPT");
+       }
     }
 
     if ($options->{tcpflags}) {
@@ -938,7 +998,7 @@ sub ruleset_generate_vm_rules {
 
     foreach my $rule (@$rules) {
        next if $rule->{iface} && $rule->{iface} ne $netid;
-       next if $rule->{disable};
+       next if !$rule->{enable};
        if ($rule->{type} eq 'group') {
            my $group_chain = "GROUP-$rule->{action}-$direction"; 
            if(!ruleset_chain_exist($ruleset, $group_chain)){
@@ -987,7 +1047,7 @@ sub generate_venet_rules_direction {
     }
 
     my $accept_action = $direction eq 'OUT' ? "PVEFW-SET-ACCEPT-MARK" : "ACCEPT";
-    ruleset_add_chain_policy($ruleset, $chain, $policy, $loglevel, $accept_action);
+    ruleset_add_chain_policy($ruleset, $chain, $vmid, $policy, $loglevel, $accept_action);
 
     # plug into FORWARD, INPUT and OUTPUT chain
     if ($direction eq 'OUT') {
@@ -1014,7 +1074,7 @@ sub generate_venet_rules_direction {
 }
 
 sub generate_tap_rules_direction {
-    my ($ruleset, $groups_conf, $iface, $netid, $macaddr, $vmfw_conf, $bridge, $direction) = @_;
+    my ($ruleset, $groups_conf, $iface, $netid, $macaddr, $vmfw_conf, $vmid, $bridge, $direction) = @_;
 
     my $lc_direction = lc($direction);
 
@@ -1039,12 +1099,16 @@ sub generate_tap_rules_direction {
     }
 
     my $accept_action = $direction eq 'OUT' ? "PVEFW-SET-ACCEPT-MARK" : "ACCEPT";
-    ruleset_add_chain_policy($ruleset, $tapchain, $policy, $loglevel, $accept_action);
+    ruleset_add_chain_policy($ruleset, $tapchain, $vmid, $policy, $loglevel, $accept_action);
 
     # plug the tap chain to bridge chain
-    my $physdevdirection = $direction eq 'IN' ? "out" : "in";
-    my $rule = "-m physdev --physdev-$physdevdirection $iface --physdev-is-bridged -j $tapchain";
-    ruleset_insertrule($ruleset, "$bridge-$direction", $rule);
+    if ($direction eq 'IN') {
+       ruleset_insertrule($ruleset, "$bridge-IN",
+                          "-m physdev --physdev-is-bridged --physdev-out $iface -j $tapchain");
+    } else {
+       ruleset_insertrule($ruleset, "$bridge-OUT",
+                          "-m physdev --physdev-in $iface -j $tapchain");
+    }
 }
 
 sub enable_host_firewall {
@@ -1061,6 +1125,14 @@ sub enable_host_firewall {
 
     my $loglevel = get_option_log_level($options, "log_level_in");
 
+    if (!(defined($options->{nosmurfs}) && $options->{nosmurfs} == 0)) {
+       ruleset_addrule($ruleset, $chain, "-m conntrack --ctstate INVALID,NEW -j PVEFW-smurfs");
+    }
+
+    if ($options->{tcpflags}) {
+       ruleset_addrule($ruleset, $chain, "-p tcp -j PVEFW-tcpflags");
+    }
+
     ruleset_addrule($ruleset, $chain, "-m conntrack --ctstate INVALID -j DROP");
     ruleset_addrule($ruleset, $chain, "-m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT");
     ruleset_addrule($ruleset, $chain, "-i lo -j ACCEPT");
@@ -1078,7 +1150,7 @@ sub enable_host_firewall {
 
     # implement input policy
     my $policy = $options->{policy_in} || 'DROP'; # allow nothing by default
-    ruleset_add_chain_policy($ruleset, $chain, $policy, $loglevel, $accept_action);
+    ruleset_add_chain_policy($ruleset, $chain, 0, $policy, $loglevel, $accept_action);
 
     # host outbound firewall
     $chain = "PVEFW-HOST-OUT";
@@ -1103,7 +1175,7 @@ sub enable_host_firewall {
 
     # implement output policy
     $policy = $options->{policy_out} || 'ACCEPT'; # allow everything by default
-    ruleset_add_chain_policy($ruleset, $chain, $policy, $loglevel, $accept_action);
+    ruleset_add_chain_policy($ruleset, $chain, 0, $policy, $loglevel, $accept_action);
 
     ruleset_addrule($ruleset, "PVEFW-OUTPUT", "-j PVEFW-HOST-OUT");
     ruleset_addrule($ruleset, "PVEFW-INPUT", "-j PVEFW-HOST-IN");
@@ -1111,10 +1183,9 @@ sub enable_host_firewall {
 
 sub generate_group_rules {
     my ($ruleset, $groups_conf, $group) = @_;
+    die "no such security group '$group'\n" if !$groups_conf->{rules}->{$group};
 
-    die "no such security group '$group'\n" if !$groups_conf->{$group};
-
-    my $rules = $groups_conf->{$group}->{rules};
+    my $rules = $groups_conf->{rules}->{$group};
 
     my $chain = "GROUP-${group}-IN";
 
@@ -1154,10 +1225,12 @@ sub parse_fw_rule {
     my ($type, $action, $iface, $source, $dest, $proto, $dport, $sport);
 
     # we can add single line comments to the end of the rule
-    my $comment = $1 if $line =~ s/#\s*(.*?)\s*$//;
+    my $comment = decode('utf8', $1) if $line =~ s/#\s*(.*?)\s*$//;
 
     # we can disable a rule when prefixed with '|'
-    my $disable = 1 if  $line =~ s/^\|//;
+    my $enable = 1;
+
+    $enable = 0 if $line =~ s/^\|//;
 
     my @data = split(/\s+/, $line);
     my $expected_elements = $need_iface ? 8 : 7;
@@ -1224,7 +1297,7 @@ sub parse_fw_rule {
 
     my $param = {
        type => $type,
-       disable => $disable,
+       enable => $enable,
        comment => $comment,
        action => $action,
        iface => $iface,
@@ -1341,7 +1414,11 @@ sub parse_vm_fw_rules {
 
     my $section;
 
+    my $digest = Digest::SHA->new('sha1');
+
     while (defined(my $line = <$fh>)) {
+       $digest->add($line);
+
        next if $line =~ m/^#/;
        next if $line =~ m/^\s*$/;
 
@@ -1379,6 +1456,8 @@ sub parse_vm_fw_rules {
        push @{$res->{$section}}, @$rules;
     }
 
+    $res->{digest} = $digest->b64digest;
+
     return $res;
 }
 
@@ -1389,7 +1468,11 @@ sub parse_host_fw_rules {
 
     my $section;
 
+    my $digest = Digest::SHA->new('sha1');
+
     while (defined(my $line = <$fh>)) {
+       $digest->add($line);
+
        next if $line =~ m/^#/;
        next if $line =~ m/^\s*$/;
 
@@ -1427,6 +1510,8 @@ sub parse_host_fw_rules {
        push @{$res->{$section}}, @$rules;
     }
 
+    $res->{digest} = $digest->b64digest;
+
     return $res;
 }
 
@@ -1436,9 +1521,13 @@ sub parse_group_fw_rules {
     my $section;
     my $group;
 
-    my $res = { rules => [] };
+    my $res = { rules => {} };
+
+    my $digest = Digest::SHA->new('sha1');
 
     while (defined(my $line = <$fh>)) {
+       $digest->add($line);
+
        next if $line =~ m/^#/;
        next if $line =~ m/^\s*$/;
 
@@ -1462,9 +1551,11 @@ sub parse_group_fw_rules {
            next;
        }
 
-       push @{$res->{$group}->{$section}}, @$rules;
+       push @{$res->{$section}->{$group}}, @$rules;
     }
 
+    $res->{digest} = $digest->b64digest;
+
     return $res;
 }
 
@@ -1497,31 +1588,46 @@ sub read_local_vm_config {
        next if !$d->{node} || $d->{node} ne $nodename;
        next if !$d->{type};
        if ($d->{type} eq 'openvz') {
-           my $cfspath = PVE::OpenVZ::cfs_config_path($vmid);
-           if (my $conf = PVE::Cluster::cfs_read_file($cfspath)) {
-               $openvz->{$vmid} = $conf;
+           if ($have_pve_manager) {
+               my $cfspath = PVE::OpenVZ::cfs_config_path($vmid);
+               if (my $conf = PVE::Cluster::cfs_read_file($cfspath)) {
+                   $openvz->{$vmid} = $conf;
+               }
            }
        } elsif ($d->{type} eq 'qemu') {
-           my $cfspath = PVE::QemuServer::cfs_config_path($vmid);
-           if (my $conf = PVE::Cluster::cfs_read_file($cfspath)) {
-               $qemu->{$vmid} = $conf;
+           if ($have_qemu_server) {
+               my $cfspath = PVE::QemuServer::cfs_config_path($vmid);
+               if (my $conf = PVE::Cluster::cfs_read_file($cfspath)) {
+                   $qemu->{$vmid} = $conf;
+               }
            }
        }
     }
+
     return $vmdata;
 };
 
+sub load_vmfw_conf {
+    my ($vmid) = @_;
+
+    my $vmfw_conf = {};
+
+    my $filename = "/etc/pve/firewall/$vmid.fw";
+    if (my $fh = IO::File->new($filename, O_RDONLY)) {
+       $vmfw_conf = parse_vm_fw_rules($filename, $fh);
+    }
+
+    return $vmfw_conf;
+}
+
 sub read_vm_firewall_configs {
     my ($vmdata) = @_;
     my $vmfw_configs = {};
 
     foreach my $vmid (keys %{$vmdata->{qemu}}, keys %{$vmdata->{openvz}}) {
-       my $filename = "/etc/pve/firewall/$vmid.fw";
-       my $fh = IO::File->new($filename, O_RDONLY);
-       next if !$fh;
-
-       $vmfw_configs->{$vmid} = parse_vm_fw_rules($filename, $fh);
+       my $vmfw_conf = load_vmfw_conf($vmid);
+       next if !$vmfw_conf->{options}; # skip if file does not exists
+       $vmfw_configs->{$vmid} = $vmfw_conf;
     }
 
     return $vmfw_configs;
@@ -1550,25 +1656,17 @@ sub generate_std_chains {
     my $loglevel = get_option_log_level($options, 'smurf_log_level');
 
     # same as shorewall smurflog.
-    if (defined($loglevel)) {
-       $pve_std_chains-> {'PVEFW-smurflog'} = [
-           "-j LOG --log-prefix \"smurfs-dropped: \" --log-level $loglevel",
-           "-j DROP",
-           ];
-    } else {
-       $pve_std_chains-> {'PVEFW-smurflog'} = [ "-j DROP" ];
-    }
+    my $chain = 'PVEFW-smurflog';
+
+    push @{$pve_std_chains->{$chain}}, get_log_rule_base($chain, 0, "DROP: ", $loglevel) if $loglevel;
+    push @{$pve_std_chains->{$chain}}, "-j DROP";
 
     # same as shorewall logflags action.
     $loglevel = get_option_log_level($options, 'tcp_flags_log_level');
-    if (defined($loglevel)) {
-       $pve_std_chains-> {'PVEFW-logflags'} = [
-           "-j LOG --log-prefix \"logflags-dropped: \" --log-level $loglevel --log-ip-options",
-           "-j DROP",
-           ];
-    } else {
-       $pve_std_chains-> {'PVEFW-logflags'} = [ "-j DROP" ];
-    }
+    $chain = 'PVEFW-logflags';
+    # fixme: is this correctly logged by pvewf-logger? (ther is no --log-ip-options for NFLOG)
+    push @{$pve_std_chains->{$chain}}, get_log_rule_base($chain, 0, "DROP: ", $loglevel) if $loglevel;
+    push @{$pve_std_chains->{$chain}}, "-j DROP";
 
     foreach my $chain (keys %$pve_std_chains) {
        ruleset_create_chain($ruleset, $chain);
@@ -1634,11 +1732,7 @@ sub read_proc_net_route {
     return $res;
 }
 
-sub compile {
-    my $vmdata = read_local_vm_config();
-    my $vmfw_configs = read_vm_firewall_configs($vmdata);
-
-    my $routing_table = read_proc_net_route();
+sub load_security_groups {
 
     my $groups_conf = {};
     my $filename = "/etc/pve/firewall/groups.fw";
@@ -1646,6 +1740,27 @@ sub compile {
        $groups_conf = parse_group_fw_rules($filename, $fh);
     }
 
+    return $groups_conf;
+}
+
+sub load_hostfw_conf {
+
+    my $hostfw_conf = {};
+    my $filename = "/etc/pve/local/host.fw";
+    if (my $fh = IO::File->new($filename, O_RDONLY)) {
+       $hostfw_conf = parse_host_fw_rules($filename, $fh);
+    }
+    return $hostfw_conf;
+}
+
+sub compile {
+    my $vmdata = read_local_vm_config();
+    my $vmfw_configs = read_vm_firewall_configs($vmdata);
+
+    my $routing_table = read_proc_net_route();
+
+    my $groups_conf = load_security_groups();
+
     my $ruleset = {};
 
     ruleset_create_chain($ruleset, "PVEFW-INPUT");
@@ -1653,14 +1768,8 @@ sub compile {
 
     ruleset_create_chain($ruleset, "PVEFW-FORWARD");
 
-    my $hostfw_options = {};
-    my $hostfw_conf = {};
-
-    $filename = "/etc/pve/local/host.fw";
-    if (my $fh = IO::File->new($filename, O_RDONLY)) {
-       $hostfw_conf = parse_host_fw_rules($filename, $fh);
-       $hostfw_options = $hostfw_conf->{options};
-    }
+    my $hostfw_conf = load_hostfw_conf();
+    my $hostfw_options = $hostfw_conf->{options} || {};
 
     generate_std_chains($ruleset, $hostfw_options);
 
@@ -1689,8 +1798,10 @@ sub compile {
            generate_bridge_chains($ruleset, $hostfw_conf, $bridge, $routing_table);
 
            my $macaddr = $net->{macaddr};
-           generate_tap_rules_direction($ruleset, $groups_conf, $iface, $netid, $macaddr, $vmfw_conf, $bridge, 'IN');
-           generate_tap_rules_direction($ruleset, $groups_conf, $iface, $netid, $macaddr, $vmfw_conf, $bridge, 'OUT');
+           generate_tap_rules_direction($ruleset, $groups_conf, $iface, $netid, $macaddr, 
+                                        $vmfw_conf, $vmid, $bridge, 'IN');
+           generate_tap_rules_direction($ruleset, $groups_conf, $iface, $netid, $macaddr, 
+                                        $vmfw_conf, $vmid, $bridge, 'OUT');
        }
     }
 
@@ -1720,17 +1831,16 @@ sub compile {
                
                generate_bridge_chains($ruleset, $hostfw_conf, $bridge, $routing_table);
 
-               my $macaddr = $d->{host_mac};
+               my $macaddr = $d->{mac};
                my $iface = $d->{host_ifname};
-               generate_tap_rules_direction($ruleset, $groups_conf, $iface, $netid, $macaddr, $vmfw_conf, $bridge, 'IN');
-               generate_tap_rules_direction($ruleset, $groups_conf, $iface, $netid, $macaddr, $vmfw_conf, $bridge, 'OUT');
+               generate_tap_rules_direction($ruleset, $groups_conf, $iface, $netid, $macaddr, 
+                                            $vmfw_conf, $vmid, $bridge, 'IN');
+               generate_tap_rules_direction($ruleset, $groups_conf, $iface, $netid, $macaddr, 
+                                            $vmfw_conf, $vmid, $bridge, 'OUT');
            }
        }
     }
 
-    # fixme: this is an optimization? if so, we should also drop INVALID packages?
-    ruleset_insertrule($ruleset, "PVEFW-FORWARD", "-m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT");
-
     # fixme: what log level should we use here?
     my $loglevel = get_option_log_level($hostfw_options, "log_level_out");
 
@@ -1742,8 +1852,8 @@ sub compile {
     # disable interbridge routing
     ruleset_addrule($ruleset, "PVEFW-FORWARD", "-o vmbr+ -j PVEFW-Drop"); 
     ruleset_addrule($ruleset, "PVEFW-FORWARD", "-i vmbr+ -j PVEFW-Drop");
-    ruleset_addrule($ruleset, "PVEFW-FORWARD", "-o vmbr+ -j LOG --log-prefix \"PVEFW-FORWARD-dropped \" --log-level $loglevel");  
-    ruleset_addrule($ruleset, "PVEFW-FORWARD", "-i vmbr+ -j LOG --log-prefix \"PVEFW-FORWARD-dropped \" --log-level $loglevel");  
+    ruleset_addlog($ruleset, "PVEFW-FORWARD", 0, "DROP: ", $loglevel, "-o vmbr+");  
+    ruleset_addlog($ruleset, "PVEFW-FORWARD", 0, "DROP: ", $loglevel, "-i vmbr+");  
     ruleset_addrule($ruleset, "PVEFW-FORWARD", "-o vmbr+ -j DROP");  
     ruleset_addrule($ruleset, "PVEFW-FORWARD", "-i vmbr+ -j DROP");