topotest: rename guidelines equipment names

Use short names for equipment names as the rest of the code in the
repository.

topogen: use shorter names for equipments

After some feedback from mwinter@, the names of equipments are now
shorter to make it easier to type them and to keep consistency with
mininet documentation. While here, update the template and make it use
optional name parameters for clarity.

topotest: add guidelines

This is the beginning of the guidelines file. It will contain all
necessary instructions to help people write topology tests.

topogen: implement __str__ for TopoGear objects

Print TopoGear name, links and type (currently TopoRouter and Switch
don't have any other useful attributes).

example: add missing __init__.py

Adding the __init__.py file makes python and its linter recognize that
the test makes part of the package, this makes us save a few lines of
code to make the linter and auto complete engines happy.

topogen: implement memory leak test call

This is a shortcut for the memory leak test, it should be used in the
new tests in order to avoid boilerplate code.

topogen: add support for setting link state

This commit changes how topology links are made in order to support
discovering who and what link is the node interface connected to. After
that, the implementation of the link state change functions were trivial
as calling a command in the node shell.

The method run() was moved from TopoRouter to TopoGear so all equipment
types can benefit from this code.

Topogen: document new options

We can now add routers to the topology using different daemon binaries
path. This will allow us to run tests with different daemon versions and
types.

topotest: parameterize daemon's path

This diff is a code cleanup that will allow us more flexibility when
defining and using the daemon binaries path, it also fixes a few pylint
warnings.

topogen: first code import

Topogen (Topology Generator) is a helper that wraps around Topotest to
simplify some of the boilerplate code. This abstraction will help the
development of new tests and new APIs without breaking the existing
ones. It also makes the relation of objects clearer, since we no longer
touch the Mininet API directly, which in turn also makes us less
vulnerable to external API changes.

lib: assert sysctl values

Implemented two functions to help setting sysctl values:

* set_sysctl: set a sysctl and return an auditable return value
* assert_sysctl: uses the previous function to assert that the sysctl
  was set

ldp-topo1: sync with PR#710 in FRR

Now zebra is adding the ldpd implicit-null labels to the RIB as well. We
don't want to hide them in the "show ip route" commands because knowing
that a route is associated with an implicit-null label is an useful
piece of information, specially when troubleshooting L2/L3 VPNs.

Note: preserve the original output for cli version 1 (stable/2.0).

Signed-off-by: Renato Westphal <renato@opensourcerouting.org>

ldp-topo1: add some debug commands to facilitate troubleshooting

Signed-off-by: Renato Westphal <renato@opensourcerouting.org>

lib: Fix stopRouter not to fail for case if daemon was never started

Fixes the issue for topotest to fail ot end of skipped LDP test on
a system without MPLS support

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ospf6_topo1: Remove ff00:/8 routes from Linux Table compare

Some Ubuntu VM setups show ff00:/8 kernel routes, not a FRR issue

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: cleanup diff text output formatting issue and move to library

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Move AddressSanitizer check to separate procedure and add check for errors in vtysh itself as part of checkRouterRunning

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Send Output error from AddressSanitizer to StdErr

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

rip-topo1: Add check to make sure daemons are still running between essential tests

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

(all tests): Add extra check to make sure daemons are still running after each essential stage.

If daemon crashed at a later stage (not startup), then the test scripts didn't properly detect it and report unpredictable errors. This will properly log the daemon crashes

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Add different failure comment on processes killed by AddressSanitizer

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Move updated topotest.py lib with AddressSanitizer to correct directory (fix mistake from 2 commits ago)

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Doc: Update manual sample build instruction with symlink for vtysh and reference to user creation

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Add support for collecting AddressSanitizer output. See README.md for details

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ldp-topo1: Adjust to accept new format in "show ip route" as introduced with PR 495 (extra comma)

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Fix memory leak detection and reporting which accidentally was dropped a month ago

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Fix another typo on kernel compare

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Fix version check in previous kernel compare

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Actually fix version comparison

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Spell Verifying correctly

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Fix tests to handle new output

The show commands for bgp now have a bit more
data associated with labeled unicast routes.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

lib: Fix kernel version parsing

When we have a kernel sub version > 10 the float conversion
of the kernel version causes 4.10 to be less than 4.5

Get the kernel version in groups on <major>.<minor> and do
comparison that way

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

ospf6-topo1: Update to ignore the proto type in linux kernel table

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

all-protocol-startup: Fix bad assert in case of failed vtysh output test

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

all-protocol-startup: Fix pref commit - bamboo prefix is lower case

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

all-protocol-startup: Add option to skip currently broken checks and relax BGP check

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ripng-topo1: Fix duplicate IP (Thanks Renato!) and documentation typos

all-protocol-startup: Add test suite which runs all protocols at once and verifies startup and spurious errors of each

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Add function to check for daemon available (i.e. LDPd) and function to return typ (quagga or frr)

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Update FreeRangeRouting -> FRRouting name

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

rip_topo1: Adding new test for RIPv2 Topology

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ripng_topo1: Adding new test for RIPng Topology

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

topotest library: Fix creation of /etc/XXX/vtysh.conf

- Needs to be created in local filesystem of each router

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

bgp_multiview_topo1: Fix case of tests hanging if convergence is not successful.

- Part of a command was missing which caused a hang in cases when BGP didn't converge

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

LDP-Topo1: Update test to accept new format of LDP output

* Added test to check for version
* Adopted all tests to verify against the correct version of output

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Fix README incorrect reference to Quagga

ldp-topo1: Fix ordering of reference output to check against

Ordering of output is now done by LDP and should be consistent

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ldp-topo1: Delete accidentally include tar file

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Update Readme to have correct ordering for frr user

We cannot usermod the frr user until after we
create the user with adduser.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Update Readme to reflect FreeRangeRouting name

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

bgp_multiview_topo1: Mask out BGP Table version in comparison

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Added optional output for memleaks at the end of test. Enable them by setting the environment variable TOPOTESTS_CHECK_STDERR to some value

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Move common function and class to topotest library

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ldp-topo1: Add new LDP Topology Test

bgp_multiview_topo1: Fix bad check for running daemons

Only one ruter running in the setup

Add support for FRR in addition to Quagga

change in checkRunning: Check all daemons on all nodes before aborting with an assert

ospf6-topo1: Add Markdown doc with testdescription

bgp_multiview_topo1: Rename test_description.md to README.md for automatic rendering in online git

bgp_multiview_topo1: Add Markdown doc for test

README: Add example configure statement for building test quagga code

bgp_multiview_topo1: Change from unified to context diff for better readability

ospf6-topo1: Add check for Linux Kernel Routing Table as well and change to better human readable context diff

ospf6-topo1: Enable coredumps for Quagga Daemons and add logic to skip remaining test in case of fatal error

bgp_multiview_topo1: Added Network Diagram as comment

bgp_multiview_topo1: Fix limit to create coredumps on quagga crashes

bgp_multiview_topo1: Rename received bgp route log with .log for easy clean between runs

example-test: Add simple example pytest for documentation (and exclude it from running in pytest.ini)

Update Documentation

bgp_multiview_topo1: Skip remaining on fatal error and try to get more crash info of daemon is not running

bgp_multiview_topo1: Add "bgp multiview" simple topology to test. Initial commit

ospf6-topo1: Code cleanup

ospf6-topo1: Less chatty timeout messages during convergence

ospf6-topo1: Cleanup log messages

Add .gitignore

test_ospf6_topo1: Restructure to run under pytest

Renamed Test Directory: ospf6-test1 -> ospf6_topo1

ospf6-test1: Renamed testscript to have test_ prefix for pytest discovery

ospf6-test1: Look for test config in directories relative to main script location

Cleanup README and a reference to License

Initial commit with first OSPFv6 Topology Test

tests: Exclude topotests from consideration

When running make check, exclude the topotests directory from considertion.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Merge pull request #3351 from chiragshah6/ospfv3_dev

ospf6d: abr summary advertise best route

Merge pull request #3356 from opensourcerouting/router-id-loopbacks

zebra: improve identification of loopback interfaces in the router-id code

Merge pull request #3361 from opensourcerouting/yang-embed-models

yang: embed models into binaries

Merge pull request #3362 from pacovn/Coverity_1475469_null_check

bgpd: null check (Coverity 1475469)

Merge pull request #3364 from opensourcerouting/bugfix/isis-ipv6-only

IS-IS: Bugfix ipv6 only

Merge pull request #3374 from opensourcerouting/bugfix/vty-shadow

lib/vty: Fix warning about shadowed variable

Merge pull request #3371 from donaldsharp/vtysh_ospf_instance

vtysh: Don't attempt to reconnect the non-instanced ospf process

Merge pull request #3325 from adeg/bugfix/bgpd-vtysh-fixes

bgp_vty: Fix vpn_leak_postchange_all() every time "router bgp ASNUM" context is entered

Merge pull request #3176 from chiragshah6/evpn_dev

zebra: duplicate address detection and dampening

lib/vty: Fix warning about shadowed variable

Signed-off-by: Christian Franke <chris@opensourcerouting.org>

vtysh: Don't attempt to reconnect the non-instanced ospf process

When running ospf instances we should not attempt to reconnect
the default ospf instance on running a command.

This commit should be targeted enough because in the case
of normal operation we connect to everything we should
and only set the VTYSH_WAS_ACTIVE flag for those we
truly have lost connection too.

Before:

donna.cumulusnetworks.com# config t
donna.cumulusnetworks.com(config)# router ospf 100
Warning: connecting to ospfd...failed!
donna.cumulusnetworks.com(config-router)#

After:
donna.cumulusnetworks.com# conf t
donna.cumulusnetworks.com(config)# router ospf 100
donna.cumulusnetworks.com(config-router)# end
donna.cumulusnetworks.com#

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Merge pull request #3367 from karamalla0406/frr3333

bgpd: BGP daemon crashed when a L2VNI is unconfigured

Merge pull request #3363 from pacovn/static_analysis__ISO_C_return_compliance

bgpd isisd lib: fix return on void functions

Merge pull request #3368 from pacovn/static_analysis__ISO_C_empty_initializer

isisd lib ospfd pbrd python: fix empty init

isisd lib ospfd pbrd python: fix empty init

ISO C forbids empty initializer braces. Empty initializers have been
replaced with {0}

Signed-off-by: F. Aragon <paco@voltanet.io>

bgpd: BGP daemon crashed when a L2VNI is unconfigured

When a VNI is unconfigured it deletes all of its import and export
route-targets.  There is a export route-target link list and import
route-target linked list.  There are redudant loops in  the
route-target deletion code.  In the first iteration it deleted the
route-target and freed the RT node, but not list node.
In the 2nd iteration it tries to free the RT node again, resulting in
 the double free of RT node.

Signed-off-by: "Kishore Aramalla karamallavmware.com"

Merge pull request #3339 from opensourcerouting/bugfix/isis-flooding-issues

isis: Fix flooding issues

isisd: Fix bug in tlvs_protocols_supported_to_adj

We should set nlpids[0] if we only set on protocol,
not nlpids[1].

Signed-off-by: Christian Franke <chris@opensourcerouting.org>