bgp_rfapi_basic_sanity: wait for clean exit

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_rfapi_basic_sanity: added check_timeout (uses FRR PR#2934)

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_rfapi_basic_sanity: added close check

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_rfapi_basic_sanity: address PR comments (copyright, switch)

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_rfapi_basic_sanity: added basic rfapi sanity topotest

Signed-off-by: Lou Berger <lberger@labn.net>

lib: fix `ip4_route_zebra` header removal code

The `strip` function is actually a method of the String object.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib/ospf-topo1-vrf: don't compare headers of show ip route

Signed-off-by: Christian Franke <nobody@nowhere.ws>

lib: Always attempt to set mpls platform_labels

The code was not attempting to set the max platform_labels
on a per router basis, leaving us w/ situations where
mpls install would fail because platform_labels was 0.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

ospf-topo1-vrf: show errors and reduce code

Use standardized code and fix assert messages to include errors.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

update ref file for cidr mask display

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

bgp_l3vpn_to_bgp_vrf: allow for long adjancies, seen with l3mdev_accept=1

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_l3vpn_to_bgp_vrf: ignore output of sysctl, reenables test!

Signed-off-by: Lou Berger <lberger@labn.net>

lib: speedup test exit when startup fails

Signed-off-by: Lou Berger <lberger@labn.net>

ldp-vpls-topo1: remove duplicated code and sleep

Use the new standardized code for router output compare and remove a
code sleep.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

ospf-topo1-vrf: replace link_enable api with zebra topotest api

Because on some platforms like i386, 'ip netns ' commands are unstable,
then I use an other API to operate the shutdown/no shutdown operation by
using vtysh.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

lib: add zebra api to shutdown an interface

this function operates on vtysh, and performs a shutdown on an
interface.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

ospf-topo1-vrf: replace ip_route method with ip_route_zebra

To analyse which route has been entered in the kernel, the
 zebra show ip route vrf command is used.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

lib: add ip_route_zebra function

This command permits dumping zebra routes from a vrf

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

ospf-topo1-vrf: setup with OSPF VRF

OSPF test with VRF backend NETNS

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

lib: topogen support for link_enable on other netns

In the case where vrf backend is based on NETNS, the link enable command
switches from context so as to perform the command.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

bgp_vrf_netns: reduce code duplication

Use new standardized functions to reduce code duplication.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bgp-ecmp-topo1: remove sleep and reduce code

Use new standardized code to test router output and remove the
convergence sleep.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

ospf-topo1: use new output compare functions

Remove duplicated code and use the new output compare code from
lib.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

isis-topo1: use `run_and_expect`

Use `run_and_expect` instead of manually implementing this code in the
test.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: implement standardized compare functions

In a effort to migrate more tests to use `run_and_expect` instead of
`sleep`s, this commit imports some common functions used to compare
router output. Retrying output comparison for N times, instead of
relying on arbitrary code `sleep`s, should help CI system tests fail
less and possibly run for less time.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: improve normalize_text with another case

When normalizing a text also remove trailing whitespace since external
tools might add them. This commit fixes a test failure in ospf_topo1 on
Ubuntu 18.04.1.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: show run_and_expect spent time

Standardize run_and_expect to show start and end time along with maximum
estimated wait time.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bgp_l3vpn_to_bgp_direct: imports and more debug Allow for different timings on, and number of, import processing Collect more info for debugging

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_l3vpn_to_bgp_vrf: use l3mdev_accept workaround for known kernel bug

Signed-off-by: Lou Berger <lberger@labn.net>

isis-topo1: fix IPv6 changes and remove metric

IPv6 metric for FRR version <3.X is different than for newer versions,
so to avoid extra code logic lets just ignore these checks.

The IPv6 changes weren't detected earlier because of the json_cmp list
fix.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

isis-topo1: remove pseudo_TE-IS entries from check

The pseudo_TE-IS entries vary and depend on the way the topology
converges, so lets not rely on that.

The IS-IS routers in the middle TE-IS entries vary the parent
interface, so we also removed that entry to avoid json_cmp comparison
failures.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

isis-topo1: improve topology parser

Don't match header otherwise it will create an even bigger JSON output
than we need.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

topotests: fix json_cmp wrong list handling

Don't quit on the first match. While here add some more `json_cmp` tests
to make sure this doesn't happen again.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: improve json_cmp

Allow json_cmp to compare JSON values which begin with a list instead of
a dictionary.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

*: ignore .pytest_cache directories

These folders are being generated by recent py.test versions and should
be ignored.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: check presence of mpls modules, not exitcode of modprobe

Signed-off-by: Christian Franke <nobody@nowhere.ws>

isis-topo1: make isis topology match .dot file

The v6 isis topology didn't really match the illustration. Fix
the configs and the test expectations so that all the parts
agree.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

bgp_vrf_netns: swap the order of netns destruction

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

lib: Fix staticd extension

Do not provide a staticd.conf to force staticd to read it's config
from zebra.conf

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Add support for staticd

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

bgp_l3vpn_to_bgp_vrf: allow some time for updates to propogate

Signed-off-by: Lou Berger <lberger@labn.net>

lib: more logging to aid in failure debugging

Signed-off-by: Lou Berger <lberger@labn.net>

lib: don't report cores on exit as asserts in 5.0

Signed-off-by: Lou Berger <lberger@labn.net>

lib: don't assert on shutdown errors in rel < 5.0

Signed-off-by: Lou Berger <lberger@labn.net>

lib: add and use Router.checkRouterVersion (based on bdpd version)

Signed-off-by: Lou Berger <lberger@labn.net>

lib: collect and report shutdown errors across whole topology

Signed-off-by: Lou Berger <lberger@labn.net>

lib: collect shutdown errors, add assert on single router shutdown

Signed-off-by: Lou Berger <lberger@labn.net>

ldp-topo1: fix ip mpls route output format

Remove the different file as it is no longer needed.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

ospf6-topo1: make ip-route comparison more robust

Signed-off-by: Christian Franke <nobody@nowhere.ws>

ldp-topo1: fix parsing for iproute from Ubuntu 18.04

Signed-off-by: Christian Franke <nobody@nowhere.ws>

lib: bgprib - get human readable verson of json commands for log

Signed-off-by: Lou Berger <lberger@labn.net>

lib: allow all rw access to /tmp/topotests (for package support and debug)

Signed-off-by: Lou Berger <lberger@labn.net>

lib: use per node log directory when topotest is used without topogen

Signed-off-by: Lou Berger <lberger@labn.net>

lib: log to start/local (per node) dir, log commands

Signed-off-by: Lou Berger <lberger@labn.net>

GUIDELINES.md: update to reflect per node log dirs

Signed-off-by: Lou Berger <lberger@labn.net>

*: convert startup logs to use per node directories also have startup and running log files match

Signed-off-by: Lou Berger <lberger@labn.net>

lib: limit checkRouterCores output to once per router start

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_l3vpn_to_bgp_vrf: Fixup topo test to write log files to same location at start of run

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

lib: add check for core and memory issues after routerstop

Signed-off-by: Lou Berger <lberger@labn.net>

lib: convert to directories per node

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_l3vpn_to_bgp_vrf: more pings...

bgp_l3vpn_to_bgp_vrf: fix wrong table entries

lib: lutil - fix test numbering, add test number to command logging

bgp_l3vpn_to_bgp_vrf: remote static routes left over from old test versions

bgp_multiview_topo1: more fixes for header changes of PR 2045

For this test, vrf id in headers is unset

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

bgp: tolerate route-table-show header changes of PR 2045

The table header has changed slightly for "bgp show" commands. Change
all-protocol-startup (test_bgp_ipv4() and test_bgp_ipv6()) and
bgp_multiview_topo1 (test_bgp_routingTable())  to run diffs against multiple
templates (representing the various valid outputs for different versions
of the FRR code) and mark the test "passed" if any one template matches.

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

bgp_l3vpn_to_bgp_vrf: use FRR PR #2053

Check CE routes from CE in another VRF attached to same PE router. Relies
on FRR bug fix to not require labeled nexthop for paths that go only
through PE router and not mpls core.

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

bgp_l3vpn_to_bgp_vrf: check_linux_mpls: delete obsolete code; formatting

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

lib: fix path the led to group_nl_converted being referenced when not set

Signed-off-by: Lou Berger <lberger@labn.net>

lib/bgprib.py: add copyright notice

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

lib: lutil matching without changing newlines

Prior behavior of luCommand was to convert newlines to spaces in DUT
output before pattern matching. New method operating in parallel uses
re.DOTALL to mimic same behavior and allow preserving original DUT output.
The original output is needed for some scripts that parse line-by-line.

There is also some test code to compare match results using the
old way and new way and log a message if they are different. After
some short time we can develop confidence that using this new method
will not break any existing tests.

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

bgp_l3vpn_to_bgp_vrf: require frr 4.1

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

bgp_l3vpn_to_bgp_vrf: update to current vpn-vrf leak syntax and behavior

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

lib/bgprib.py: handle empty json results gracefully

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

lib/ltemplate.py: add KeepGoing parameter to ltemplateTest

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

test_bgp_l3vpn_to_bgp_vrf: match new nexthop=0 code

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

test_bgp_l3vpn_to_bgp_vrf: small config comment cleanup

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

ltemplate.py: start isisd when isisd.conf present

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

ltemplate.py: remove dependency on hard-coded router name r2

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

bgp_l3vpn_to_bgp_vrf: assign different RDs to customers on r4

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

bgp_l3vpn_to_bgp_vrf: comment out route-add commands no longer needed

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

bgp_l3vpn_to_bgp_vrf: check_routes test now uses bgprib for exact route checking

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

lib/bgprib.py naming rib->bgprib is more accurate

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

bgp_l3vpn_to_bgp_vrf: updated config files to current vpn-policy syntax

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

lutil: expose result method

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

lib: bgprib utility to compare rib against list of required routes

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

bgp vpn-vrf leaking: partial changes toward using new functionality

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

bgp_vrf_netns: revert changes from topotest 77

revert
https://github.com/FRRouting/topotests/pull/77
bgp_vrf_netns: do not run test on 32 bit linux machines

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

bgp_vrf_netns: increase bgp convergence timer

BGP convergence timer is increased from 90 seconds to 120 seconds.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

bgp_vrf_netns: do not run test on 32 bit linux machines

It seems vrf netns is not working on 32 bit platforsm.
For that, the test should be cancelled.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

bgp_vrf_netns: attempt cleanup of previous test abnormal exit. skip test if setup fails

Signed-off-by: Lou Berger <lberger@labn.net>

lib: TopoExaBGP.start - report unexpected exabgp output

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_vrf_netns: allow more time for adjacency to come up, report unexpected output

Signed-off-by: Lou Berger <lberger@labn.net>

bgp_vrf_netns: add basic test to support netns backend with netns

The test consist in starting a BGP router on a NETNS, and interacting
with an exaBGP instance. The test automatically relies on VRF with netns
backend but can be easily configured so as to perform basic BGP VRF
testing with VRF with VRF-lite backend.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

lib: zebra support for vrfwnetns parameter

topotest library is being added a new parameter when preparing the
configurationof each daemon. This parameter will be used to call the
daemon with some extra parameters. The -n parameter for zebra is taken
into account.
Also, when a extra parameter is given for calling zebra, a check is done to
see if it is possible to run zebra daemon with that option. This is the
case for vrfwnetns option. If not available, an error message is sent
back.

Signed-off-by: Philippe Guibert <philippe.guibert@6wind.com>

bgp_l3vpn_to_bgp_vrf: fix route set on non-vrf interface (thanks ben!)

Signed-off-by: Lou Berger <lberger@labn.net>

lib: lutil - fix test counting, add returnJson flag

Signed-off-by: Lou Berger <lberger@labn.net>

ldp-vpls-topo1: support new OSPF JSON format

Support the new OSPF JSON output format for `show ip ospf neighbor
json` introduced in FRR's PR 1723.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

Revert previous 2 commits (pushed by mistake)

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Update OSPF-SR tests to handle various version

In order to avoid failed test on unsupported version:
 - Test that version is greater than 4
 - Check that Segment Routing CLI are available

Signed-off-by: Olivier Dugeon <olivier.dugeon@orange.com>