Merge pull request #3397 from mjstapp/fix_stream_macros

libs,bgpd: remove deprecated stream lib macros

lib,bgpd: remove deprecated stream lib macros

A couple of deprecated lib/stream macros have aged out; remove
them, and replace the one remaining use.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

Merge pull request #3384 from donaldsharp/topotests

Topotests

Merge pull request #3393 from donaldsharp/rnh_resend

zebra: Always resend nexthop information when registered

Merge pull request #3389 from pguibert6WIND/ip_prefixes_do_not_look_integer

lib: do not convert ip prefixes without '.' or ':'

Merge pull request #3377 from opensourcerouting/northbound-improvements

northbound: API improvements + minor fixes

zebra: Always resend nexthop information when registered

Always resend the nexthop information when we get a registration
event.  Multiple daemons expect this information.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com.

lib: do not convert ip prefixes without '.'

There are cases where the passed parameter for a vty command is either
an interface name or an ip address. Because the interface name can be a
number, and because the user may want to use a number to define an IP (
for instance 'ping 0' is valid from shell purpose), there is a choice
that needs to be done at frr level. either from the application point of
view, the interface name will be priorized, or each number will be
considered as an ip address. In that commit, the inet_aton procedure is
replaced with the inet_pton procedure that ignores ips with just a
number.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

topotests: Add ospf-sr-topo1 back in

Due to weird merge issues ospf-sr-topo1 was not pulled in.
This gets this back into the tree.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com.

Add a tiny breadcrumb to hopefully help end user

Add a breadcrumb for people testing to hopefully allow
them to figure out what is going wrong when they
are testing different versions of FRR using
topotests and staticd is not running because
this version of staticd needs to be cleaned up

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

bgp-ecmp-topo1: fix some pylint warnings

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bgp-ecmp-topo1: fix vrf default change

Python's `string' method 'replace' doesn't actually modify the string,
instead it returns a new string with the modified content.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bgp-ecmp-topo1: change default vrf name

By default, default vrf name is default, whereas BGP default vrf was
hardcoded to Default. Because this will be fixes, do not care about the
vrf name field and apply a regexp to move Default to default.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

ospf6-topo1: Don't compare link-local routes

Topotests would fail with errors like these:

    AssertionError: Linux Kernel IPv6 Routing Table verification failed for router r1:
      --- actual OSPFv3 IPv6 routing table
      +++ expected OSPFv3 IPv6 routing table
      @@ -8,6 +8,6 @@
       fc00:4:4:4::/64 via fe80::__(r3-sw5)__ dev r1-sw5 proto XXXX metric 20 pref medium
       fc00:a:a:a::/64 dev r1-sw5 proto XXXX metric 256 pref medium
       fc00:b:b:b::/64 via fe80::__(r3-sw5)__ dev r1-sw5 proto XXXX metric 20 pref medium
      -fe80::/64 dev lo proto XXXX metric 256 pref medium
       fe80::/64 dev r1-stubnet proto XXXX metric 256 pref medium
      -fe80::/64 dev r1-sw5 proto XXXX metric 256 pref medium
      +fe80::/64 dev r1-sw5 proto XXXX metric 256 pref medium
      +unreachable fe80::/64 dev lo proto XXXX metric 256 error -101 pref medium

Resolve this by not comparing link-local routes.

Signed-off-by: Christian Franke <chris@opensourcerouting.org>

lib, lm-proxy-topo1: label manager proxy test

Label proxy manager test covering both LDP and BGP label requests.

lib/topotest.py:restartRouter() function has been fixed in order to
allow propagating options to deamons other than zebra.

Signed-off-by: F. Aragon <paco@voltanet.io>

pick ospf6 router-id syntax based on version

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: checkRouterVersion to determine version

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Clean up deprecated usage of router-id

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>
Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

bfd-topo1: import topology picture

Import the graphviz file and the generated picture.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bfd-topo1: add fast reconvergence test

Test that after a link goes down BGPd will be notified and recovered
quickly. Also test that BFD show command tells us that the peer went
down.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bfd-topo1: add convergence tests

Test if BFD peers have found each other and if the BGP neighors have
connected.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

topogen/topotest: add support for BFDd

Allow BFDd to be configured and used.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bgp_rfapi_basic_sanity_config2: allow for slow CI

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_rfapi_basic_sanity_config2: added rfapi test with partial table download This is identical to bgp_rfapi_basic_sanity with the exception of non-default config

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_rfapi_basic_sanity: added query only NVE

Signed-off-by: Lou Berger <lberger@labn.net>

lib: Add support for Ubuntu 18.04 with installed FRR package

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

bgp_rfapi_basic_sanity: added multi-path to timeout test

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_rfapi_basic_sanity: added cost to 2nd MP route

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_rfapi_basic_sanity: added multi-path and updated responses

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_rfapi_basic_sanity: wait for clean exit

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_rfapi_basic_sanity: added check_timeout (uses FRR PR#2934)

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_rfapi_basic_sanity: added close check

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_rfapi_basic_sanity: address PR comments (copyright, switch)

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_rfapi_basic_sanity: added basic rfapi sanity topotest

Signed-off-by: Lou Berger <lberger@labn.net>

lib: fix `ip4_route_zebra` header removal code

The `strip` function is actually a method of the String object.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib/ospf-topo1-vrf: don't compare headers of show ip route

Signed-off-by: Christian Franke <nobody@nowhere.ws>

lib: Always attempt to set mpls platform_labels

The code was not attempting to set the max platform_labels
on a per router basis, leaving us w/ situations where
mpls install would fail because platform_labels was 0.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

ospf-topo1-vrf: show errors and reduce code

Use standardized code and fix assert messages to include errors.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

update ref file for cidr mask display

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

bgp_l3vpn_to_bgp_vrf: allow for long adjancies, seen with l3mdev_accept=1

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_l3vpn_to_bgp_vrf: ignore output of sysctl, reenables test!

Signed-off-by: Lou Berger <lberger@labn.net>

lib: speedup test exit when startup fails

Signed-off-by: Lou Berger <lberger@labn.net>

ldp-vpls-topo1: remove duplicated code and sleep

Use the new standardized code for router output compare and remove a
code sleep.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

ospf-topo1-vrf: replace link_enable api with zebra topotest api

Because on some platforms like i386, 'ip netns ' commands are unstable,
then I use an other API to operate the shutdown/no shutdown operation by
using vtysh.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

lib: add zebra api to shutdown an interface

this function operates on vtysh, and performs a shutdown on an
interface.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

ospf-topo1-vrf: replace ip_route method with ip_route_zebra

To analyse which route has been entered in the kernel, the
 zebra show ip route vrf command is used.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

lib: add ip_route_zebra function

This command permits dumping zebra routes from a vrf

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

ospf-topo1-vrf: setup with OSPF VRF

OSPF test with VRF backend NETNS

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

lib: topogen support for link_enable on other netns

In the case where vrf backend is based on NETNS, the link enable command
switches from context so as to perform the command.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

bgp_vrf_netns: reduce code duplication

Use new standardized functions to reduce code duplication.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bgp-ecmp-topo1: remove sleep and reduce code

Use new standardized code to test router output and remove the
convergence sleep.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

ospf-topo1: use new output compare functions

Remove duplicated code and use the new output compare code from
lib.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

isis-topo1: use `run_and_expect`

Use `run_and_expect` instead of manually implementing this code in the
test.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: implement standardized compare functions

In a effort to migrate more tests to use `run_and_expect` instead of
`sleep`s, this commit imports some common functions used to compare
router output. Retrying output comparison for N times, instead of
relying on arbitrary code `sleep`s, should help CI system tests fail
less and possibly run for less time.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: improve normalize_text with another case

When normalizing a text also remove trailing whitespace since external
tools might add them. This commit fixes a test failure in ospf_topo1 on
Ubuntu 18.04.1.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: show run_and_expect spent time

Standardize run_and_expect to show start and end time along with maximum
estimated wait time.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bgp_l3vpn_to_bgp_direct: imports and more debug Allow for different timings on, and number of, import processing Collect more info for debugging

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_l3vpn_to_bgp_vrf: use l3mdev_accept workaround for known kernel bug

Signed-off-by: Lou Berger <lberger@labn.net>

isis-topo1: fix IPv6 changes and remove metric

IPv6 metric for FRR version <3.X is different than for newer versions,
so to avoid extra code logic lets just ignore these checks.

The IPv6 changes weren't detected earlier because of the json_cmp list
fix.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

isis-topo1: remove pseudo_TE-IS entries from check

The pseudo_TE-IS entries vary and depend on the way the topology
converges, so lets not rely on that.

The IS-IS routers in the middle TE-IS entries vary the parent
interface, so we also removed that entry to avoid json_cmp comparison
failures.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

isis-topo1: improve topology parser

Don't match header otherwise it will create an even bigger JSON output
than we need.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

topotests: fix json_cmp wrong list handling

Don't quit on the first match. While here add some more `json_cmp` tests
to make sure this doesn't happen again.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: improve json_cmp

Allow json_cmp to compare JSON values which begin with a list instead of
a dictionary.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

*: ignore .pytest_cache directories

These folders are being generated by recent py.test versions and should
be ignored.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: check presence of mpls modules, not exitcode of modprobe

Signed-off-by: Christian Franke <nobody@nowhere.ws>

isis-topo1: make isis topology match .dot file

The v6 isis topology didn't really match the illustration. Fix
the configs and the test expectations so that all the parts
agree.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

bgp_vrf_netns: swap the order of netns destruction

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

lib: Fix staticd extension

Do not provide a staticd.conf to force staticd to read it's config
from zebra.conf

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Add support for staticd

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

bgp_l3vpn_to_bgp_vrf: allow some time for updates to propogate

Signed-off-by: Lou Berger <lberger@labn.net>

lib: more logging to aid in failure debugging

Signed-off-by: Lou Berger <lberger@labn.net>

lib: don't report cores on exit as asserts in 5.0

Signed-off-by: Lou Berger <lberger@labn.net>

lib: don't assert on shutdown errors in rel < 5.0

Signed-off-by: Lou Berger <lberger@labn.net>

lib: add and use Router.checkRouterVersion (based on bdpd version)

Signed-off-by: Lou Berger <lberger@labn.net>

lib: collect and report shutdown errors across whole topology

Signed-off-by: Lou Berger <lberger@labn.net>

lib: collect shutdown errors, add assert on single router shutdown

Signed-off-by: Lou Berger <lberger@labn.net>

ldp-topo1: fix ip mpls route output format

Remove the different file as it is no longer needed.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

ospf6-topo1: make ip-route comparison more robust

Signed-off-by: Christian Franke <nobody@nowhere.ws>

ldp-topo1: fix parsing for iproute from Ubuntu 18.04

Signed-off-by: Christian Franke <nobody@nowhere.ws>

lib: bgprib - get human readable verson of json commands for log

Signed-off-by: Lou Berger <lberger@labn.net>

lib: allow all rw access to /tmp/topotests (for package support and debug)

Signed-off-by: Lou Berger <lberger@labn.net>

lib: use per node log directory when topotest is used without topogen

Signed-off-by: Lou Berger <lberger@labn.net>

lib: log to start/local (per node) dir, log commands

Signed-off-by: Lou Berger <lberger@labn.net>

GUIDELINES.md: update to reflect per node log dirs

Signed-off-by: Lou Berger <lberger@labn.net>

*: convert startup logs to use per node directories also have startup and running log files match

Signed-off-by: Lou Berger <lberger@labn.net>

lib: limit checkRouterCores output to once per router start

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_l3vpn_to_bgp_vrf: Fixup topo test to write log files to same location at start of run

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

lib: add check for core and memory issues after routerstop

Signed-off-by: Lou Berger <lberger@labn.net>

lib: convert to directories per node

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_l3vpn_to_bgp_vrf: more pings...

bgp_l3vpn_to_bgp_vrf: fix wrong table entries

lib: lutil - fix test numbering, add test number to command logging

bgp_l3vpn_to_bgp_vrf: remote static routes left over from old test versions

bgp_multiview_topo1: more fixes for header changes of PR 2045

For this test, vrf id in headers is unset

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

bgp: tolerate route-table-show header changes of PR 2045

The table header has changed slightly for "bgp show" commands. Change
all-protocol-startup (test_bgp_ipv4() and test_bgp_ipv6()) and
bgp_multiview_topo1 (test_bgp_routingTable())  to run diffs against multiple
templates (representing the various valid outputs for different versions
of the FRR code) and mark the test "passed" if any one template matches.

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

bgp_l3vpn_to_bgp_vrf: use FRR PR #2053

Check CE routes from CE in another VRF attached to same PE router. Relies
on FRR bug fix to not require labeled nexthop for paths that go only
through PE router and not mpls core.

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

bgp_l3vpn_to_bgp_vrf: check_linux_mpls: delete obsolete code; formatting

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

lib: fix path the led to group_nl_converted being referenced when not set

Signed-off-by: Lou Berger <lberger@labn.net>

lib/bgprib.py: add copyright notice

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

lib: lutil matching without changing newlines

Prior behavior of luCommand was to convert newlines to spaces in DUT
output before pattern matching. New method operating in parallel uses
re.DOTALL to mimic same behavior and allow preserving original DUT output.
The original output is needed for some scripts that parse line-by-line.

There is also some test code to compare match results using the
old way and new way and log a message if they are different. After
some short time we can develop confidence that using this new method
will not break any existing tests.

Signed-off-by: G. Paul Ziemba <paulz@labn.net>