lib: fix checking for duplicated access-list entries

Restore the behavior that was before the NB conversion.

Signed-off-by: Igor Ryzhov <iryzhov@nfware.com>

Merge pull request #8326 from idryzhov/hide-show-config

vtysh: hide "show configuration running" command

Merge pull request #8250 from idryzhov/fix-nb-running-get-entry

Fix aborts when using nb_running_get_entry during validation stage

Merge pull request #8331 from mjstapp/fix_dev_doc_pip

doc: fix url for pip 2 in dev doc

doc: fix url for pip 2 in dev doc

Use updated url for python2 version of pip.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

Merge pull request #8290 from adharkar/frr-es_rt

bgpd: Update EVPN type-1 routes when VNI RT changes

Merge pull request #8318 from qlyoung/improve-lua-autoconf-detection

configure.ac: better lua detection

Merge pull request #8078 from idryzhov/fix-zebra-vni

zebra: fix vni configuration in default vrf

Merge pull request #8325 from idryzhov/fix-ip-router-isis

isisd: fix extra space after "ip router isis"

vtysh: hide "show configuration running" command

This command is currently useful only for developers.
Let's hide it to not confuse end users by having both
"show runnning-config" and "show configuration running".

Signed-off-by: Igor Ryzhov <iryzhov@nfware.com>

Merge pull request #8203 from opensourcerouting/ospf-bfd-napi

ospfd,doc,topotests: rework OSPFv2 BFD integrantion

Merge pull request #8184 from opensourcerouting/bfd-bgp-napi

bgpd,lib: rework BGP BFD integration

isisd: fix extra space after "ip router isis"

Signed-off-by: Igor Ryzhov <iryzhov@nfware.com>

Merge pull request #8319 from qlyoung/doc-remove-old-index-ospf6-spf-tree

doc: remove extraneous .. index:: in ospf6d.rst

doc: remove extraneous .. index:: in ospf6d.rst

And delete some trailing whitespace

Signed-off-by: Quentin Young <qlyoung@nvidia.com>

configure.ac: better lua detection

Make sure to constrain the Lua autoconf search to
Lua 5.3 interpreter and libraries.

Signed-off-by: Quentin Young <qlyoung@nvidia.com>

Merge pull request #8261 from opensourcerouting/log-ids

lib: output unique IDs in log messages

bgpd: Update EVPN type-1 routes when VNI RT changes

1. When VNI export RT changes, for each local es_evi, update local
EAD/ES and EAD/EVI routes and advertise.

2. When VNI import RT changes, uninstall all type-1 routes imported in
the VNI and import routes carrying the updated RT.

Signed-off-by: Ameya Dharkar <adharkar@vmware.com>

bgpd: improve BFD with timers configuration

Move `bgp_peer_config_apply` outside `bgp_peer_configure_bfd` (and
document it) so we only call the session installation once with one
set of timers. It also makes all calls of that function
equal (e.g. always calls `bgp_peer_config_apply` afterwards).

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

doc: document new BGP debug option

Let user know what the debug knob does.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bgpd: add debug option for BFD

Add new BGP debug option to enable BFD related debugging messages.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bgpd: rework BFD integration

Remove old BFD API usage and replace it with the new one.

Highlights:

 - More shared code: the daemon gets notified with callbacks instead of
   having to roll its own code to find the notified sessions.

 - Less code to integrate with BFD.

 - Remove hidden commands to configure single / multi hop. Use
   protocol data instead.

   BGP can determine if a peer is single/multi hop according to the
   following criteria:

    a. If the IP address is a link-local address (single hop)

    b. The network is shared with peer (single hop)

    c. BGP is configured for eBGP multi hop / TTL security (multi hop)

 - Respect the configuration hierarchy:

    a. Peer configuration take precendence over peer-group
       configuration.

    b. When peer group configuration is removed, reset peer
       BFD configurations to defaults (unless peer had specific
       configs).

       Example:

         neighbor foo peer-group
         neighbor foo bfd profile X
         neighbor 192.168.0.2 peer-group foo
         neighbor 192.168.0.2 bfd
         ! If peer-group is removed the profile configuration gets
         ! removed from peer 192.168.0.2, but BFD will still enabled
         ! because of the neighbor specific bfd configuration.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bgpd: remove cumulus specific code

The BFD function `bgp_bfd_is_peer_multihop` will no longer exist and now
both code paths are equal.

Longer explanation:
Cumulus was previously using the BFD function to help determine whether a
peer is multi hop or not, because there is a configuration to set BFD
to use single or multi hop.

Current BFD code can automatically pick between single/multi hop by
using the protocol information and so it is a good idea to have that
tested/used than relying on yet another duplicated information.

(BFD extracts the TTL information from protocol and selects
single/multi hop based on that)

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: small BFD session notifier improvement

Cache current monotime to avoid unnecessary calls.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: new BFD integration API

New BFD protocol integration API with abstractions to fix most common
protocol integration errors:

 - Set address family together with the source/destination addresses

 - Set the TTL together with the single/multi hop option

 - Set/unset profile/interface easily

 - Keep the arguments so we don't have to rebuild them every time

 - Install/uninstall functions that keep track of current state so the
  daemon doesn't have to

 - Reinstall when critical configuration changes (address, multi hop
   etc...)

 - Reconfigure BFD when the daemon restarts automatically

 - Automatically calls the user defined callback for session update

 - Shutdown handler for all protocols

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

Merge pull request #8253 from opensourcerouting/topotest-python3-backports

tests: iproute2 VRF capability check for topotests

Merge pull request #8271 from idryzhov/fix-show-ip-ospf-database

ospfd: fix "show ip ospf database" issues

Merge pull request #8312 from pjdruddy/update-topotest-snmp-install-doc

doc: add libsnmp-dev install line

Merge pull request #8305 from donaldsharp/bgp_ll_ifp_change

bgpd: Reset LLA NHT's interface if there is a change

Merge pull request #8307 from opensourcerouting/mtypes-cleanup-20210322

isisd, eigrpd, pathd: clean up & drop *_memory.[ch] files, make a whole bunch static

Merge pull request #8120 from ton31337/feature/bgp_ipv6_default_activated

bgpd: Activate ipv6-unicast for peer automatically if globally defined

ospfd: fix checkpatch warnings

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

doc: document new OSPF debug option

Let user know what does the BFD debug knob does.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

ospfd: add debug option for BFD

Add specialized debug option for BFD which also enables library debugging.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

topotests: test OSPF BFD profile

Use BFD profiles in test to make sure it doesn't break.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

doc: update OSPF BFD documentation

Tell users that OSPFv2 now supports BFD profiles.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

ospfd: support BFD profiles

Add new command to configure BFD peers to use a specific profile.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

ospfd: rework BFD integration

Use new BFD API to integrate with OSPFv2.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: small BFD session notifier improvement

Cache current monotime to avoid unnecessary calls.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

lib: new BFD integration API

New BFD protocol integration API with abstractions to fix most common
protocol integration errors:

 - Set address family together with the source/destination addresses

 - Set the TTL together with the single/multi hop option

 - Set/unset profile/interface easily

 - Keep the arguments so we don't have to rebuild them every time

 - Install/uninstall functions that keep track of current state so the
  daemon doesn't have to

 - Reinstall when critical configuration changes (address, multi hop
   etc...)

 - Reconfigure BFD when the daemon restarts automatically

 - Automatically calls the user defined callback for session update

 - Shutdown handler for all protocols

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

doc: add libsnmp-dev install line

Do not assume libsnmp-dev is installed.

Signed-off-by: Pat Ruddy <pat@voltanet.io>

Merge pull request #8296 from chiragshah6/mdev

bgpd: convert send-community to transactional cli

doc: add missing vrf parameter to "show ip ospf database ..." commands

Signed-off-by: Igor Ryzhov <iryzhov@nfware.com>

ospfd: fix "show ip ospf database" issues

Current implementation of commands `show_ip_ospf_instance_database_cmd`
and `show_ip_ospf_instance_database_type_adv_router_cmd` have the
following problems:

- they doesn't have "vrf all" argument, however the processing of this
  argument is implemented,

- they incorrectly implement json output for instances - they don't
  output anything to the vty and don't release the json object.

To fix the problems, let's do the following:

1. Split `show_ip_ospf_instance_database_cmd` into two aliases to
   `show_ip_ospf_database_max_cmd` and `show_ip_ospf_instance_database_max_cmd`.
   The code is the same and doesn't need to be duplicated.

2. Split `show_ip_ospf_instance_database_type_adv_router_cmd` into two
   separate functions - one regular and one for instances, which now
   correctly implements the processing for json output.

Signed-off-by: Igor Ryzhov <iryzhov@nfware.com>

zebra: kill zebra_memory.h, use MTYPE_STATIC

This one also needed a bit of shuffling around, but MTYPE_RE is the only
one left used across file boundaries now.

Signed-off-by: David Lamparter <equinox@diac24.net>

staticd: kill static_memory.h, use MTYPE_STATIC

This one needed a move of zebra_stable_node_cleanup() from static_vrf.c
to static_routes.c.  But it seems to actually make sense there.

Signed-off-by: David Lamparter <equinox@diac24.net>

ospf6d: kill ospf6_memory.h, use MTYPE_STATIC

Same as other commits -- convert most DEFINE_MTYPE into the _STATIC
variant, and move the remaining non-static ones to appropriate places.

Signed-off-by: David Lamparter <equinox@diac24.net>

Merge pull request #8115 from mjstapp/fix_ax_pthread

build: test program needs to be warning-free

ospf6d: split off ospf6_lsa_alloc()

... so we can make the MTYPEs static to ospf6_lsa.c

Signed-off-by: David Lamparter <equinox@diac24.net>

pathd: kill *_memory.[ch]

Ouch, MTYPE_PCEP is used in 81 places :(

Signed-off-by: David Lamparter <equinox@diac24.net>

eigrpd: kill eigrp_memory.h, use MTYPE_STATIC

Same as previous commit -- convert most DEFINE_MTYPE into the _STATIC
variant, and move the remaining non-static ones to appropriate places.

Signed-off-by: David Lamparter <equinox@diac24.net>

isisd: kill isis_memory.h, use MTYPE_STATIC

Convert most DEFINE_MTYPE into the _STATIC variant, and move the
remaining non-static ones to appropriate places.

Signed-off-by: David Lamparter <equinox@diac24.net>

Merge pull request #8303 from volta-networks/fix_coverity_pceplib

pceplib: Fixing coverity messages.

Merge pull request #8280 from kuldeepkash/bgp_convergence_test

tests: Fix bgp convergence issue mentioned in #8279

bgpd: Reset LLA NHT's interface if there is a change

For link-local IPv6 next hops, the next hop tracking is implemented based
on interface status changes. For this purpose, the ifindex is stored in
the NHT. Reset this value if a change in ifindex is noticed, such as for
example after a restart of the networking service.

Also add some additional debug logs.

Signed-off-by: Vivek Venkatraman <vivek@nvidia.com>
Updates: "bgpd: Switch LL nexthop tracking to be interface based"

Ticket: RM 2575386
Testing Done:
1. Manual verification
2. Precommit (#156), evpn-smoke (#155), bgp-smoke (#157), vrl (#158)
-- Precommit is clean, reported failures in evpn-smoke & vrl are resolved
-- some other tests fail in evpn-smoke, bgp-smoke & vrl, appear to be existing
-- or unrelated failures

build: test program needs to be warning-free

One of the configure-time test programs produces a warning with
gcc 9 (at least), so it fails if -Werror is enabled. Fix that.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

lib: fix xref hash calculation

... to make it do what it says it does.

Signed-off-by: David Lamparter <equinox@diac24.net>

lib: add [XXXXX-XXXXX] log prefix & config

This logs the unique ID prefix from the xref that each log message call
has, and adds on/off knobs for both EC and unique ID printing.

Signed-off-by: David Lamparter <equinox@diac24.net>

lib: remove flog() macro

It was only used in one place.

Signed-off-by: David Lamparter <equinox@diac24.net>

lib: get rid of flog() usage in NB code

This parametrized use of flog with variable EC and priority doesn't mesh
particularly well with the xref code & there isn't really much reason to
not use fixed/constant calls like this.

Signed-off-by: David Lamparter <equinox@diac24.net>

lib: add bputs/bputch fbuf (bprintfrr) helpers

Just small utilities for when you already have a struct fbuf (i.e. when
bprintfrr() is used to construct longer text from multiple pieces.)

Signed-off-by: David Lamparter <equinox@diac24.net>

Merge pull request #8301 from donaldsharp/isis_spacing

isisd: Fix extra space after `router isis FOO`

Merge pull request #8287 from mjstapp/more_gdb_in_configure

build: add -ggdb3 to dev build

Merge pull request #8298 from donaldsharp/isis_spelling

isisd: Fix spelling mistake

Merge pull request #8121 from opensourcerouting/macro-cleanup

*: require ISO C11 + semicolons after file-scope macros

Merge pull request #8297 from adrianomarto/msdp-dscp-cs6

pimd: marking MSDP traffic as DSCP CS6

Merge pull request #8257 from donaldsharp/fix_bgp_metric

Fix bgp metric

isisd: Fix extra space after `router isis FOO`

Fix places where we are outputing an extra space.  This was
because it was prepping for vrf but we may not have a vrf.

Fixes: #8300
Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #8278 from ckishimo/ospfv3_iface

ospf6d: fix iface commands lost when removing from area

Merge pull request #8282 from volta-networks/fix_isisd_bfd_ipv4

isisd: fix BFD session when IPv6 not configured

isisd: Fix spelling mistake

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

Merge pull request #8291 from volta-networks/isis_timer_unstable

isisd: avoid lsp_sched loop when unstable

pimd: marking MSDP traffic as DSCP CS6

Configuring the sockets used to establish MSDP connections so the
packets are marked as CS6

Signed-off-by: Adriano Marto Reis <adrianomarto@gmail.com>

pceplib: Fixing coverity messages.

Signed-off-by: Javier Garcia <javier.garcia@voltanet.io>

bgpd: convert send-community to transactional cli

[no] neighbor <A.B.C.D|X:X::X:X|WORD> send-community

Signed-off-by: Chirag Shah <chirag@nvidia.com>

Merge pull request #8129 from mjstapp/backup_recursives

zebra: modify backup nexthop handling for recursive routes

build: add -ggdb3 to dev build

Add a little more gdb-specific debugging info for dev builds.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

isisd: avoid lsp_sched loop when unstable

no point in scheduling an LSP refresh immediately if we know it is
going to be postponed again due to the network still being in its
instability grace period

Signed-off-by: Emanuele Di Pascale <emanuele@voltanet.io>

Merge pull request #8286 from donaldsharp/nhrp_xlref

nhrpd: Remove newline from log message

Merge pull request #8263 from opensourcerouting/docker-update

tests: docker fixes & improvements

Merge pull request #8283 from chiragshah6/mdev

bgpd: add seqno in bgp as-path access-list policy

nhrpd: Remove newline from log message

We should not be putting new lines in log messages.

Signed-off-by: Donald Sharp <sharpd@nvidia.com>

isisd: add debug logs to troubleshoot BFD issues

when we receive an event from BFDD and we end up throwing it away,
make sure that we log (with debug guards) the reason for this, so
we can troubleshoot issues like the one addressed by the previous
commit.

Signed-off-by: Emanuele Di Pascale <emanuele@voltanet.io>

isisd: fix BFD session when IPv6 not configured

A wrong check was silently skipping the initialization of the bfd_session
struct in the adjacency if the router was not configured for IPv6. This
would cause BFD events to be ignored regardless of the configuration.

Also add a function to return the "name" of an adjacency and use it in a
couple of places, including the new log, instead of repeating the same
code in a bunch of places.

Signed-off-by: Emanuele Di Pascale <emanuele@voltanet.io>

Merge pull request #8284 from mjstapp/fix_bgp_zero_timers

bgpd: use add_event instead of add_timer with zero timeout

doc: add seqno to bgp as path list section

Add sequence no option to bgp as-path list cli syntax.
Add sequence no to example config.
Add auto generated sequence no in running-config if its not
provided in config.

Signed-off-by: Chirag Shah <chirag@nvidia.com>

bgpd: add seqno in bgp as-path access-list policy

Add optional parameter seqno to bgp as-patch policy
to inline with other bgp policies commands at same
level.

Testing Done:

config t
bgp as-path access-list foo1 permit _40_
bgp as-path access-list foo1 seq 5 permit _41_
bgp as-path access-list foo1 seq 8 permit _42_
bgp as-path access-list foo2 permit _43_
no bgp as-path access-list foo1 permit _41_
bgp as-path access-list foo1 permit 41$

show run:
bgp as-path access-list foo1 seq 8 permit _42_
bgp as-path access-list foo1 seq 10 permit 41$
bgp as-path access-list foo2 seq 5 permit _43_

Signed-off-by: Chirag Shah <chirag@nvidia.com>

tests: Fix bgp convergence issue mentioned in #8279

1. Enhance verify_bgp_convergence() to solve issue mentioned in #8279

Signed-off-by: Kuldeep Kashyap <kashyapk@vmware.com>

bgpd: use add_event instead of add_timer with zero timeout

Just use events in a few places where timers with zero timeout
were being used.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

Merge pull request #8052 from ton31337/feature/show_bgp_peer-groups_json

Merge pull request #8232 from reubendowle/fixes/nhrp-ipsec-issues

nhrp: Fix some ipsec related issues

Merge pull request #8255 from pjdruddy/fix-ifindex-test

Fix ifindex test

Merge pull request #8248 from volta-networks/fix_ospf6_chunk_msgs

ospfd6: Clear locks when ospf messages need to be chunked

tests: simplify docker rsync & support worktrees

The previous, more complex mechanism failed to take into account that
git worktrees only have a stub .git file & copying the worktree itself
is not enough.  Just extract a file list beforehand & don't bother with
git inside the container.

Signed-off-by: David Lamparter <equinox@diac24.net>

tests: add libelf-dev to Dockerfile

Signed-off-by: David Lamparter <equinox@diac24.net>

Merge pull request #8276 from opensourcerouting/pathd-fmt-fix

pathd: fix some format strings

Merge pull request #8008 from chiragshah6/yang_nb5

[lib, yang] : multiple fixes in prefix-list northbound conversion

Merge pull request #8225 from idryzhov/bfd-echo-mode

bfdd: fix echo receive timer and disable echo mode

Merge pull request #8229 from idryzhov/bfdd-echo-rx-tx

bfdd: separate echo rx/tx timers

tests: fix too many arguments for logging

Signed-off-by: ckishimo <carles.kishimoto@gmail.com>