topotest/topogen: demote some messages level

The messages level of this commit were downgraded because some of them
happen on 'non-error' situations. This should help diminish the error
log verbosity on the CI-system run.

topotest: fix a regression in version_cmp

It was found a regression on an edge case when the second number in the
comparison was (at least) 2 numbers longer the comparison would fail
with a wrong return value. It succeeded for some cases because the
first comparison in the exception was correct, but not the second.

bgp-ecmp-topo1: Workaround for version check

temp workaround for Issue #43

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ldp-vpls-topo1: Allow ospf neighbor json command with list (new) and dict (old)

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ldp-vpls-topo1: fix a json_cmp result assert

Use the 'right' assert to show more detailed failure report and remove
a unused variable.

Fix output to allow it on generic Debian

- Generic Debian only has a single space in front of “proto” in the linux shell routing outptu

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

eigrp-topo1: solve output ordering problem

Transform 'show ip eigrp topo' output into data structures and compare
using json_cmp() to avoid expecting output order.

ldp-topo1: Remove check for protocol in installed LSPs

PR #1213 in FRR changed the protocol of installed LSPs. To avoid breaking
older outstanding Pull Requests, remove the protocol check.

Signed-off-by: Renato Westphal <renato@opensourcerouting.org>

eigrp-topo1: Remove check for EIGRP distance

- Distance used to be wrong (0), new commit fixes this (90). To avoid breaking older outstanding Pull Requests, remove the distance check

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

topotest: improve json error messages

Show a diff of the JSON values instead of dumping the whole
data structures.

topotest: json_cmp_result split error lines

When the API user wanted to show newlines we have to break them manually
to get the propper format.

topotest: allow passing options to difflib

Extend the topotest diff functions to allow receiving difflib options.

topotest: remove unused json_cmp unused parameter

all-protocol-startup/isis: Fix check for "show isis interface" to allow different circuit ids than 1

topogen: fix diagnostics failure

Don't try to log to file if directory doesn't exist.

topogen: save zebra version output

Keep the zebra version output for later problem diagnostics.

topogen: log diagnostics to file

eigrp-topo1: Cleanup leftover comments from previous commit

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

eigrp-topo1: Change Route verification to use json

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

all-protocol-starup: Fix triple-output of same vtysh stderr/stdout messages.

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Use SIGTERM for killing daemons first and only SIGBUS (7) if the daemons fail to exit.

- This allows daemons to free up memory and avoid false memory leak reports

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

multiple_topos: Don't report about StdErr Output if there is no output

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

eigrp-topo1: Correct eigrp test results.

The values saved for the route table and eigrp topo
were a bit off because they have been corrected
in the eigrp daemon

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Enable eigrp-topo1

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: check for eigrpd available and return warning if missing instead of failing

eigrp-topo1: convert to topogen

topogen: add support for eigrpd and nhrp

topogen: router startup failure triggers errors

Makes `router_have_failure()` detect frr startup errors.

topogen: treat some corner cases on vtysh failure

Don't throw unneeded tracebacks when 'show version' doesn't show us what
we expect, instead gracefully fail.

topogen: show pretty output for skipped messages

Format them properly instead of printing a dictionary.

ldp_vpls_topo1: set an error instead of exit

It will have the same effect and code will not have to be repeated since
all functions must call `routers_have_failure()`.

ldp_vpls_topo1: don't use pytest.mark.skipif

This feature from pytest can not be used to detect runtime errors.

Also, remove test_router_running() since all tests should actually check
if all daemons are up and running.

Signed-off-by: Renato Westphal <renato@opensourcerouting.org>

ldp_vpls_topo1: skip all tests on stable/2.0

Signed-off-by: Renato Westphal <renato@opensourcerouting.org>

ldp_vpls_topo1: add new topology for ldp pseudowires

This is a very simple topology for testing LDP pseudowires.

Signed-off-by: Renato Westphal <renato@opensourcerouting.org>

Basic EIGRP topo test working

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Exclude eigrp test from running normally yet

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Add a basic EIGRP topology.

Nothing fancy here, just add 3 routers in a row
attempt to let eigrp come up and start a mininet
xterm to debug, since eigrp doesn't work yet.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Allow topotests to work with eigrp and nhrp

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

ldp-topo1: Use 'label implicit-null' for implicit labels

Signed-off-by: Martin Winter <mwinter@netdef.org>

topotests: change from "context" to "unified" diff

context diff:
*** before.py

topotests: add topology name to assert output

Make it easy to identify which topology test we are running.

topotests: make asserts show up in stderr

Code was based on the pytest default makereport code:
https://github.com/pytest-dev/pytest/blob/c92760dca8637251eb9e7b9ea4819b32bc0b8042/_pytest/runner.py#L264

lib: Change topology to output INFO and DEBUG to stdout and other levels to stderr

Previously, all logs were sent to stderr

lib: add check for mpls kernel modules to diagnose_env()

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Enhance daemon_available() function to check for mpls modules in case of LDPd

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

lib: Add check for MPLS kernel modules to exist before trying LDP tests

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ospf-topo1: Remove check for spfLastDurationMsecs value

json check accidently checked for the spfLastDurationMsecs which
isn't always 0 for slower system in our tests. ARM7 sometimes has
a slightly higher value (1).

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

bgp-ecmp-topo1: Check number of routes received for convergence

Add check for number of routes to convergence. InQ=0, OutQ=0
together with correct number of routes received shows that
BGP has converged

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

bgp-ecmp-topo: add support for FRR 2.0

The FRR 2.0 json output is different from newer version, so add the
appropriate treatment.

bgp-ecmp-topo: test BGP convergence

Add a test that waits for BGP convergence.

bgp-ecmp-topo: use the new sleep function

topotest: log sleep function

Added a wrapper for the sleep function that should be used to register
in the log files the amount of time spent sleeping.

bgp-ecmp-topo1: add convergence test

Assert that we got the routes from ExaBGP and they are multipath
enabled.

bgp-ecmp-topo1: convert to topogen

bgp-ecmp-topo1: fix exabgp configuration file

Using relative path to start the exabgp python scripts didn't work out
of the box in my enviroment, so be more specific since we already know
where the scripts are.

bgp-ecmp-topo1: Add BGP Topology for rcmp testing

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

ospf-topo: Mask IPv6 local-addressess instead of removing them

Just mask out the random part makes the diff output better readable

ospf-topo: show areas in the topology dot/jpg

ospf-topo: skip on tests on router failure

Update the test by adding the routers_have_failure() check. While here,
bump the amount of time to expect for convergence by 15 seconds.

ospf-topo: remove log file specification

We don't need to set logging file per-daemon as topogen will already do
that for us. Also, remove hostname line as it seems to have no effect.

topogen: allow daemon spec in vtysh_cmd

Allow commands to be run per-daemon basis. While here make daemon
logging file configuration per-daemon.

ospf: test route kernel installation

Added tests to validate that OSPF routes are being installed/uninstalled
in the Linux kernel.

topotest: implement 'ip route' functions

Implement an abstraction to the commands 'ip route' to get the node
current routing table state.

ospf: add IPv6 OSPF convergence test

Add more tests to the ospf-topo1 to include IPv6 testing. Since both IP
versions are running together, there is no need to wait OSPF convergence
per IP version.

ospf: add some log calls to show activity

Brings the OSPF test closer to other topotest tests.

ospf: add 'show ip ospf json' test

Test the default values of 'show ip ospf json' output in the current
topology.

ospf: add memory leak test

Standard memory leak test/report.

ospf: added a convergence test for link failure

This new test simulates a link failure in router 3 and expects the OSPF
routing table to converge accordingly in all nodes.

ospf: added convergence test for IPv4

Added a convergence test for OSPF (IPv4) using the new topology
builder Topogen.

topotests: make 'quagga' check optional

Only check for quagga directories and binaries when we don't find FRR.
Also fix a copy-paste error in warning message.

topotest: simplify ldp kernel check

Use version_cmp() instead of hand rolling its own parser.

topotest: implement environment diagnostics

Run environment diagnostics on topotest start, report all detected
problems and abort if an error condition is met.

bgp_multiview_topo1: fix exabgp configuration

Allow exabgp to run on my Ubuntu 16.04 by specifying the complete path
instead of relative.

ldp-topo1: Make the implicit label optional to pass old frr code as well

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

Doc: Update README to specify ExaBGP version as 4.0 is not yet supported

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

topogen: add equipment version handling

Added helper functions to TopoRouter to test equipment version and type.

topotest: add version comparison function

Implemented a version comparison function that tells if a version
contained in a string is greater/less/equal to another.

topotest: add text normalization function

Standardized function that removes format spaces (or tab) and carriage
returns characters. This function is useful to allow output text
processing without breaking diff capabilities.

Output example:
*N IA 2001:db8:2::/64                ::                        r2-eth0    00:03:39

Becomes:
*N IA 2001:db8:2::/64 :: r2-eth0 00:03:39

If you remove 'IA' you won't have space formatting problem anymore.

template: add router check test

Show test developers that they can check if routers are running by
calling tgen.routers_have_failure().

topogen: handle JSON decode failures

Instead of raise()ing, return a empty dictionary.

topogen: implement router check method

Use a standard function to do 'router running checks' instead of having
to duplicate the code in every test.

topogen: fix topogen memleak activation

When memleak_path is present in the configuration file it means that it is
activated.

topotest: add JSON list comparation support

Add missing list support for json_cmp(). The missing support was
noticed while writing the BGP ECMP topology test.

topogen: add support for ExaBGP peers

Implemented basic support for ExaBGP peers.

topogen: add error functions

Store errors and error code in topogen so other tests can look up for
failures and skip tests.

topogen: implement start/stop methods for TopoGear

Having a generic start/stop methods for TopoGear allows TopoGen to call
start/stop for all equipments. This allows us to reduce the teardown
code by removing the necessity of having to always remember to call
each equipment clean up function.

topogen: configure daemon logging files

Auto configure daemon logging files to the appropriated place. This
removes the responsibility from the test developer to set this in the
daemon configuration.

template: update test template

Use the new logger and implement a default memory leak test/report.

topogen: add per router logging

TopoRouters now create a logger (which logs to /tmp/{router_name}.log)
on start to record all commands and events that it goes through. All log
messages contain timestamps that may be used in the future to:
(1) correlate commands call with events
(2) benchmark/time command speed

topotest: use topolog instead of print

Fix some whitespace issues while at it.

topolog: support adding loggers during runtime

Allow topotest subsystems to create their own loggers. This will help
increase log organization and allow different settings to fit the
subsystems needs.

topolog: implement a logging abstraction

The default logger (root) is already being used by Mininet, so to allow
customizing logging output and configuring log files Topolog was
created. Topolog is no more than a thin layer abstraction to call
logging functions without using the 'root' logger.

all_protocol_startup: More tolerant on interface MTU output

- Allow 'MTU mismatch detection: enabled' and 'MTU mismatch detection:enabled'

Signed-off-by: Martin Winter <mwinter@opensourcerouting.org>

topogen: add memory leak report configuration

Allow memory leak to be configured from the configuration file.

topogen: support configuration file

Use a configuration file for casual settings like:

* Verbosity level (helps when debugging mininet issues)
* Custom daemon directory (in order to support running different daemon
  binaries without touching tests)
* Daemon type switch: allow running quagga without touching any test
  files

Also fix the add_router() documentation to include all options.

topotest: add writing tests tips

Add two tips to help improve test code quality:
1) Store function returns for later inspection
2) Identify what failed using the assert message

topotest: improve json_cmp assert output

Create a specialized assert and json_cmp() result to improve the
comparison output. With this we also got a way to display all comparison
failures instead of just the first one.

topogen: don't backtrace when topogen is not used

This allows old tests to be run with '--topology-only' without
generating tons of error messages, instead it will just stop the test
without trying anything else.

template: allow test to be run without pytest

Update the PYTHONPATH for standalone runs and pass all command line
arguments to pytest main. Also set the executable bit to the python
scripts file.

topogen: added JSON output support for vtysh_cmd

Allow vtysh_cmd() to convert JSON output to Python data structures.
This feature will be used to get vtysh JSON outputs for tests
comparsions.

Usage example:

```py
router = get_topogen().gears['r1']
json_output = router.vtysh_cmd('show ip ospf json', isjson=True)
json_cmp(json_output, {'important_key': 'important_value'})
```