]> git.proxmox.com Git - pve-network.git/blobdiff - PVE/Network/SDN/Controllers/EvpnPlugin.pm
evpn: prefix interfaces
[pve-network.git] / PVE / Network / SDN / Controllers / EvpnPlugin.pm
index 012c9a45647b455efb5f37927410513f394c2591..79ecaeb0e9c9e122a1cbb7aa3490250f7a588efe 100644 (file)
@@ -2,10 +2,13 @@ package PVE::Network::SDN::Controllers::EvpnPlugin;
 
 use strict;
 use warnings;
-use PVE::Network::SDN::Controllers::Plugin;
-use PVE::Tools;
+
 use PVE::INotify;
 use PVE::JSONSchema qw(get_standard_option);
+use PVE::Tools qw(run_command file_set_contents file_get_contents);
+
+use PVE::Network::SDN::Controllers::Plugin;
+use PVE::Network::SDN::Zones::Plugin;
 
 use base('PVE::Network::SDN::Controllers::Plugin');
 
@@ -15,33 +18,26 @@ sub type {
 
 sub properties {
     return {
-       'uplink-id' => {
+       asn => {
            type => 'integer',
-           minimum => 1, maximum => 4096,
-           description => 'Uplink interface',
+           description => "autonomous system number",
+       },
+       peers => {
+           description => "peers address list.",
+           type => 'string', format => 'ip-list'
        },
-        'asn' => {
-            type => 'integer',
-            description => "autonomous system number",
-        },
-        'peers' => {
-            description => "peers address list.",
-            type => 'string', format => 'ip-list'
-        },
        'gateway-nodes' => get_standard_option('pve-node-list'),
-        'gateway-external-peers' => {
-            description => "upstream bgp peers address list.",
-            type => 'string', format => 'ip-list'
-        },
+       'gateway-external-peers' => {
+           description => "upstream bgp peers address list.",
+           type => 'string', format => 'ip-list'
+       },
     };
 }
 
 sub options {
-
     return {
-       'uplink-id' => { optional => 0 },
-        'asn' => { optional => 0 },
-        'peers' => { optional => 0 },
+       'asn' => { optional => 0 },
+       'peers' => { optional => 0 },
        'gateway-nodes' => { optional => 1 },
        'gateway-external-peers' => { optional => 1 },
     };
@@ -49,144 +45,128 @@ sub options {
 
 # Plugin implementation
 sub generate_controller_config {
-    my ($class, $plugin_config, $router, $id, $uplinks, $config) = @_;
+    my ($class, $plugin_config, $controller, $id, $uplinks, $config) = @_;
 
     my @peers = split(',', $plugin_config->{'peers'}) if $plugin_config->{'peers'};
 
     my $asn = $plugin_config->{asn};
-    my $uplink = $plugin_config->{'uplink-id'};
     my $gatewaynodes = $plugin_config->{'gateway-nodes'};
     my @gatewaypeers = split(',', $plugin_config->{'gateway-external-peers'}) if $plugin_config->{'gateway-external-peers'};
 
     return if !$asn;
 
-    my $iface = "uplink$uplink";
-    my $ifaceip = "";
+    my $bgp = $config->{frr}->{router}->{"bgp $asn"} //= {};
 
-    if($uplinks->{$uplink}->{name}) {
-       $iface = $uplinks->{$uplink}->{name};
-        $ifaceip = PVE::Network::SDN::Controllers::Plugin::get_first_local_ipv4_from_interface($iface);
-    }
+    my ($ifaceip, $interface) = PVE::Network::SDN::Zones::Plugin::find_local_ip_interface_peers(\@peers);
 
     my $is_gateway = undef;
     my $local_node = PVE::INotify::nodename();
 
     foreach my $gatewaynode (PVE::Tools::split_list($gatewaynodes)) {
-        $is_gateway = 1 if $gatewaynode eq $local_node;
+       $is_gateway = 1 if $gatewaynode eq $local_node;
     }
 
-    my @router_config = ();
-
-    push @router_config, "bgp router-id $ifaceip";
-    push @router_config, "no bgp default ipv4-unicast";
-    push @router_config, "coalesce-time 1000";
+    my @controller_config = (
+       "bgp router-id $ifaceip",
+       "no bgp default ipv4-unicast",
+       "coalesce-time 1000",
+    );
 
     foreach my $address (@peers) {
        next if $address eq $ifaceip;
-       push @router_config, "neighbor $address remote-as $asn";
+       push @controller_config, "neighbor $address remote-as $asn";
     }
 
     if ($is_gateway) {
        foreach my $address (@gatewaypeers) {
-           push @router_config, "neighbor $address remote-as external";
+           push @controller_config, "neighbor $address remote-as external";
        }
     }
-    push(@{$config->{frr}->{router}->{"bgp $asn"}->{""}}, @router_config);
+    push(@{$bgp->{""}}, @controller_config);
 
-    @router_config = ();
+    @controller_config = ();
     foreach my $address (@peers) {
        next if $address eq $ifaceip;
-       push @router_config, "neighbor $address activate";
+       push @controller_config, "neighbor $address activate";
     }
-    push @router_config, "advertise-all-vni";
-    push(@{$config->{frr}->{router}->{"bgp $asn"}->{"address-family"}->{"l2vpn evpn"}}, @router_config);
+    push @controller_config, "advertise-all-vni";
+    push(@{$bgp->{"address-family"}->{"l2vpn evpn"}}, @controller_config);
 
     if ($is_gateway) {
+       # import /32 routes of evpn network from vrf1 to default vrf (for packet return)
+       @controller_config = map { "neighbor $_ activate" } @gatewaypeers;
 
-        @router_config = ();
-        #import /32 routes of evpn network from vrf1 to default vrf (for packet return)
-       foreach my $address (@gatewaypeers) {
-           push @router_config, "neighbor $address activate";
-       }
-        push(@{$config->{frr}->{router}->{"bgp $asn"}->{"address-family"}->{"ipv4 unicast"}}, @router_config);
-        push(@{$config->{frr}->{router}->{"bgp $asn"}->{"address-family"}->{"ipv6 unicast"}}, @router_config);
-
+       push(@{$bgp->{"address-family"}->{"ipv4 unicast"}}, @controller_config);
+       push(@{$bgp->{"address-family"}->{"ipv6 unicast"}}, @controller_config);
     }
 
     return $config;
 }
 
-sub generate_controller_transport_config {
-    my ($class, $plugin_config, $router, $id, $uplinks, $config) = @_;
+sub generate_controller_zone_config {
+    my ($class, $plugin_config, $controller, $id, $uplinks, $config) = @_;
 
-    my $vrf = $id;
+    my $vrf = "vrf_$id";
     my $vrfvxlan = $plugin_config->{'vrf-vxlan'};
-    my $asn = $router->{asn};
-    my $gatewaynodes = $router->{'gateway-nodes'};
+    my $asn = $controller->{asn};
+    my $gatewaynodes = $controller->{'gateway-nodes'};
 
     return if !$vrf || !$vrfvxlan || !$asn;
 
-    #vrf
-    my @router_config = ();
-    push @router_config, "vni $vrfvxlan";
-    push(@{$config->{frr}->{vrf}->{"$vrf"}}, @router_config);
+    # vrf
+    my @controller_config = ();
+    push @controller_config, "vni $vrfvxlan";
+    push(@{$config->{frr}->{vrf}->{"$vrf"}}, @controller_config);
 
-    @router_config = ();
+    push(@{$config->{frr}->{router}->{"bgp $asn vrf $vrf"}->{""}}, "!");
 
-    my $is_gateway = undef;
     my $local_node = PVE::INotify::nodename();
 
-    foreach my $gatewaynode (PVE::Tools::split_list($gatewaynodes)) {
-       $is_gateway = 1 if $gatewaynode eq $local_node;
-    }
-
+    my $is_gateway = grep { $_ eq $local_node } PVE::Tools::split_list($gatewaynodes);
     if ($is_gateway) {
 
-       @router_config = ();
+       @controller_config = ();
        #import /32 routes of evpn network from vrf1 to default vrf (for packet return)
-       #frr 7.1 tag is bugged -> works fine with 7.1 stable branch(20190829-02-g6ba76bbc1)
-       #https://github.com/FRRouting/frr/issues/4905
-       push @router_config, "import vrf $vrf";
-       push(@{$config->{frr}->{router}->{"bgp $asn"}->{"address-family"}->{"ipv4 unicast"}}, @router_config);
-       push(@{$config->{frr}->{router}->{"bgp $asn"}->{"address-family"}->{"ipv6 unicast"}}, @router_config);
+       push @controller_config, "import vrf $vrf";
+       push(@{$config->{frr}->{router}->{"bgp $asn"}->{"address-family"}->{"ipv4 unicast"}}, @controller_config);
+       push(@{$config->{frr}->{router}->{"bgp $asn"}->{"address-family"}->{"ipv6 unicast"}}, @controller_config);
 
-       @router_config = ();
+       @controller_config = ();
        #redistribute connected to be able to route to local vms on the gateway
-       push @router_config, "redistribute connected";
-       push(@{$config->{frr}->{router}->{"bgp $asn vrf $vrf"}->{"address-family"}->{"ipv4 unicast"}}, @router_config);
-       push(@{$config->{frr}->{router}->{"bgp $asn vrf $vrf"}->{"address-family"}->{"ipv6 unicast"}}, @router_config);
+       push @controller_config, "redistribute connected";
+       push(@{$config->{frr}->{router}->{"bgp $asn vrf $vrf"}->{"address-family"}->{"ipv4 unicast"}}, @controller_config);
+       push(@{$config->{frr}->{router}->{"bgp $asn vrf $vrf"}->{"address-family"}->{"ipv6 unicast"}}, @controller_config);
 
-       @router_config = ();
+       @controller_config = ();
        #add default originate to announce 0.0.0.0/0 type5 route in evpn
-       push @router_config, "default-originate ipv4";
-       push @router_config, "default-originate ipv6";
-       push(@{$config->{frr}->{router}->{"bgp $asn vrf $vrf"}->{"address-family"}->{"l2vpn evpn"}}, @router_config);
+       push @controller_config, "default-originate ipv4";
+       push @controller_config, "default-originate ipv6";
+       push(@{$config->{frr}->{router}->{"bgp $asn vrf $vrf"}->{"address-family"}->{"l2vpn evpn"}}, @controller_config);
     }
 
     return $config;
 }
 
 sub on_delete_hook {
-    my ($class, $routerid, $sdn_cfg) = @_;
+    my ($class, $controllerid, $zone_cfg) = @_;
 
-    # verify that transport is associated to this router
-    foreach my $id (keys %{$sdn_cfg->{ids}}) {
-        my $sdn = $sdn_cfg->{ids}->{$id};
-        die "router $routerid is used by $id"
-            if (defined($sdn->{router}) && $sdn->{router} eq $routerid);
+    # verify that zone is associated to this controller
+    foreach my $id (keys %{$zone_cfg->{ids}}) {
+       my $zone = $zone_cfg->{ids}->{$id};
+       die "controller $controllerid is used by $id"
+           if (defined($zone->{controller}) && $zone->{controller} eq $controllerid);
     }
 }
 
 sub on_update_hook {
-    my ($class, $routerid, $sdn_cfg) = @_;
-
-    # verify that asn is not already used by another router
-    my $asn = $sdn_cfg->{ids}->{$routerid}->{asn};
-    foreach my $id (keys %{$sdn_cfg->{ids}}) {
-       next if $id eq $routerid;
-        my $sdn = $sdn_cfg->{ids}->{$id};
-        die "asn $asn is already used by $id"
-            if (defined($sdn->{asn}) && $sdn->{asn} eq $asn);
+    my ($class, $controllerid, $controller_cfg) = @_;
+
+    # we can only have 1 evpn controller / 1 asn by server
+
+    foreach my $id (keys %{$controller_cfg->{ids}}) {
+       next if $id eq $controllerid;
+       my $controller = $controller_cfg->{ids}->{$id};
+       die "only 1 evpn controller can be defined" if $controller->{type} eq "evpn";
     }
 }
 
@@ -204,11 +184,11 @@ sub sort_frr_config {
     $a_val = $order->{$a} if defined($order->{$a});
     $b_val = $order->{$b} if defined($order->{$b});
 
-    if($a =~ /bgp (\d+)$/) {
+    if ($a =~ /bgp (\d+)$/) {
        $a_val = 2;
     }
 
-    if($b =~ /bgp (\d+)$/) {
+    if ($b =~ /bgp (\d+)$/) {
        $b_val = 2;
     }
 
@@ -227,24 +207,24 @@ sub generate_frr_recurse{
    $exitkeylist->{vrf} = 1;
    $exitkeylist->{'address-family'} = 1;
 
-   #fix me, make this generic
+   # FIXME: make this generic
    my $paddinglevel = undef;
-   if($level == 1 || $level == 2) {
-     $paddinglevel = $level - 1;
+   if ($level == 1 || $level == 2) {
+       $paddinglevel = $level - 1;
    } elsif ($level == 3 || $level ==  4) {
-     $paddinglevel = $level - 2;
+       $paddinglevel = $level - 2;
    }
 
    my $padding = "";
    $padding = ' ' x ($paddinglevel) if $paddinglevel;
 
-   if (ref $content eq ref {}) {
+   if (ref $content eq  'HASH') {
        foreach my $key (sort sort_frr_config keys %$content) {
            if ($parentkey && defined($keylist->{$parentkey})) {
-                   push @{$final_config}, $padding."!";
-                   push @{$final_config}, $padding."$parentkey $key";
-           } else {
-                   push @{$final_config}, $padding."$key" if $key ne '' && !defined($keylist->{$key});
+               push @{$final_config}, $padding."!";
+               push @{$final_config}, $padding."$parentkey $key";
+           } elsif ($key ne '' && !defined($keylist->{$key})) {
+               push @{$final_config}, $padding."$key";
            }
 
            my $option = $content->{$key};
@@ -255,20 +235,34 @@ sub generate_frr_recurse{
     }
 
     if (ref $content eq 'ARRAY') {
-       foreach my $value (@$content) {
-           push @{$final_config}, $padding."$value";
-       }
+       push @{$final_config}, map { $padding . "$_" } @$content;
     }
 }
 
 sub write_controller_config {
     my ($class, $plugin_config, $config) = @_;
 
+    my $nodename = PVE::INotify::nodename();
+
     my $final_config = [];
     push @{$final_config}, "log syslog informational";
+    push @{$final_config}, "ip forwarding";
+    push @{$final_config}, "ipv6 forwarding";
+    push @{$final_config}, "frr defaults traditional";
+    push @{$final_config}, "service integrated-vtysh-config";
+    push @{$final_config}, "hostname $nodename";
     push @{$final_config}, "!";
 
-    generate_frr_recurse($final_config, $config->{frr}, undef, 0);
+    if (-e "/etc/frr/frr.conf.local") {
+       generate_frr_recurse($final_config, $config->{frr}->{vrf}, "vrf", 1);
+       push @{$final_config}, "!";
+
+       my $local_conf = file_get_contents("/etc/frr/frr.conf.local");
+       chomp ($local_conf);
+       push @{$final_config}, $local_conf;
+    } else {
+       generate_frr_recurse($final_config, $config->{frr}, undef, 0);
+    }
 
     push @{$final_config}, "!";
     push @{$final_config}, "line vty";
@@ -276,32 +270,32 @@ sub write_controller_config {
 
     my $rawconfig = join("\n", @{$final_config});
 
-
     return if !$rawconfig;
     return if !-d "/etc/frr";
 
-    my $frr_config_file = "/etc/frr/frr.conf";
-
-    my $writefh = IO::File->new($frr_config_file,">");
-    print $writefh $rawconfig;
-    $writefh->close();
+    file_set_contents("/etc/frr/frr.conf", $rawconfig);
 }
 
 sub reload_controller {
     my ($class) = @_;
 
     my $conf_file = "/etc/frr/frr.conf";
-    my $bin_path = "/usr/bin/vtysh";
+    my $bin_path = "/usr/lib/frr/frr-reload.py";
+
+    if (!-e $bin_path) {
+       warn "missing $bin_path. Please install frr-pythontools package";
+       return;
+    }
 
     my $err = sub {
        my $line = shift;
-       if ($line =~ /^line (\S+)/) {
-           print "$line \n";
+       if ($line =~ /ERROR:/) {
+           warn "$line \n";
        }
     };
 
     if (-e $conf_file && -e $bin_path) {
-       PVE::Tools::run_command([$bin_path, '-m', '-f', $conf_file], outfunc => {}, errfunc => $err);
+       run_command([$bin_path, '--stdout', '--reload', $conf_file], outfunc => {}, errfunc => $err);
     }
 }