zebra: nb callbacks support

Definition of the northbound callbacks
and associated YANG data paths for zebra.

Signed-off-by: Chirag Shah <chirag@cumulusnetworks.com>

yang: add zebra model in makefile

Signed-off-by: Chirag Shah <chirag@cumulusnetworks.com>

*: frr nexthop yang in makefile

Signed-off-by: Chirag Shah <chirag@cumulusnetworks.com>

yang: zebra rib operational model

augment /frr-vrf:lib/frr-vrf:vrf:
  +--rw ribs
     +--rw rib* [afi-safi-name table-id]
        +--rw table-id         uint32
        +--rw afi-safi-name    identityref
        +--ro route* [prefix]
           +--ro prefix             ietf-inet-types:ip-prefix
           +--ro protocol?          frr-route-types:frr-route-types-v4
           +--ro protocol-v6?       frr-route-types:frr-route-types-v6
           +--ro vrf?               frr-vrf:vrf-ref
           +--ro distance?          uint8
           +--ro metric?            uint32
           +--ro tag?               uint32
           +--ro selected?          empty
           +--ro installed?         empty
           +--ro failed?            empty
           +--ro queued?            empty
           +--ro internal-flags?    int32
           +--ro internal-status?   int32
           +--ro uptime?            ietf-yang-types:date-and-time
           +--ro nexthop-group* [name]
              +--ro name            string
              +--ro frr-nexthops
                 +--ro nexthop* [nh-type gateway interface]
                    +--ro nh-type             frr-nexthop:nexthop-type
                    +--ro vrf?                frr-vrf:vrf-ref
                    +--ro gateway             frr-nexthop:optional-ip-address
                    +--ro interface           frr-interface:interface-ref
                    +--ro bh-type?            frr-nexthop:blackhole-type
                    +--ro onlink?             boolean <false>
                    +--ro mpls-label-stack
                    |  +--ro entry* [id]
                    |     +--ro id               uint8
                    |     +--ro label?           ietf-routing-types:mpls-label
                    |     +--ro ttl?             uint8
                    |     +--ro traffic-class?   uint8
                    +--ro duplicate?          empty
                    +--ro recursive?          empty
                    +--ro active?             empty
                    +--ro fib?                empty

Signed-off-by: Chirag Shah <chirag@cumulusnetworks.com>

yang: revert leafref to get interface cmd working

Unable to access interface command:
root@bharat:~/stash/libyang/build# dpkg-query -W | grep libyang
libyang-dev 0.16.105-3~ubuntu18.04.1
libyang0.16 0.16.105-3~ubuntu18.04.1
root@bharat:~/stash/libyang/build# vtysh
bharat# config t
bharat(config)# interface lo
% Configuration failed: validation error.

Please check the logs for more details.

Logfile:
2020/03/21 16:48:55 ZEBRA: libyang: Leafref
"/frr-vrf:lib/frr-vrf:vrf/frr-vrf:name" of value "default"
points to a non-existing leaf.
(/frr-interface:lib/interface[name='lo'][vrf='default']/vrf)
2020/03/21 16:48:55 ZEBRA: [EC 100663337]
nb_candidate_commit_prepare: failed to validate
candidate configuration

CI system failure:
2020/03/21 18:53:18 ZEBRA: libyang: Leafref
"/frr-vrf:lib/frr-vrf:vrf/frr-vrf:name" of value "default"
points to a non-existing leaf.
(/frr-interface:lib/interface[name='r1-eth0'][vrf='default']/vrf)
2020/03/21 18:53:18 ZEBRA: [EC 100663337] nb_candidate_commit_prepare:
failed to validate candidate configuration
2020/03/21 18:53:18 ZEBRA: libyang: Leafref
"/frr-vrf:lib/frr-vrf:vrf/frr-vrf:name" of value "default"
points to a non-existing leaf.
(/frr-interface:lib/interface[name='r1-eth1'][vrf='default']/vrf)

Signed-off-by: Chirag Shah <chirag@cumulusnetworks.com>

lib: convert vrf cmd to northbound config callback

Signed-off-by: Chirag Shah <chirag@cumulusnetworks.com>

*: include vrf northbound module in init

Signed-off-by: Chirag Shah <chirag@cumulusnetworks.com>

lib: vrf northbound callbacks

Signed-off-by: Chirag Shah <chirag@cumulusnetworks.com>

lib: yang defination for basic frr-routing

Yang files for basic frr-routing used by other
daemons like staticd and pim

Co-authored-by: Santosh P K <sapk@vmware.com>
Co-authored-by: vishaldhingra <vdhingra@vmware.com>
Signed-off-by: vishaldhingra <vdhingra@vmware.com>

staticd: yang defination

Yang files for staticd to use northbound APIs

Co-authored-by: Santosh P K <sapk@vmware.com>
Co-authored-by: vishaldhingra <vdhingra@vmware.com>
Signed-off-by: vishaldhingra <vdhingra@vmware.com>

lib: FRR next-hop yang data model.

A common nexthop and group nexthop yang data model
for all protocols in FRR.

Co-authored-by: Santosh P K <sapk@vmware.com>
Co-authored-by: Vishaldhingra <vdhingra@vmware.com>
Signed-off-by: Santosh P K <sapk@vmware.com>

yang: add vrf ref to interface model

module: frr-interface
  +--rw lib
     +--rw interface* [name vrf]
        +--rw name           string
        +--rw vrf            frr-vrf:vrf-ref
        +--rw description?   string

Signed-off-by: Chirag Shah <chirag@cumulusnetworks.com>

*: add frr-vrf yang module in makefile

lib: Adding frr-vrf yang module to common place
so it can be accessed from all frr modules.

Signed-off-by: Chirag Shah <chirag@cumulusnetworks.com>

yang: add vrf model

module: frr-vrf
  +--rw lib
     +--rw vrf* [name]
        +--rw name      string
        +--ro id?       uint32
        +--ro active?   boolean <false>
        +--rw netns {netns}?
           +--rw name?   string

Signed-off-by: Chirag Shah <chirag@cumulusnetworks.com>

Merge pull request #6238 from donaldsharp/test_evpn_vxlan_cleanup

tests: Cleanup bgp config for evpn vxlan topotest

tests: Cleanup bgp config for evpn vxlan topotest

The bgp configuration for the vxlan topotest mixed
and matched some configuration that does not belong
for an IBGP setup.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Merge pull request #6237 from ton31337/fix/show_hostname_in_bgp

bgpd: Show hostname in `show [ip] bgp ...` only if nexthop is connected

tests: Check if the right next-hop is shown (bgp_show_ip_bgp_fqdn)

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

bgpd: Show hostname in `show [ip] bgp ...` only if nexthop is connected

The problem is when using kinda such topologies:
(192.168.1.1/32) r1 <-- eBGP --> r2 <-- iBGP --> r3

Looking at r3's nexthop for 192.168.1.1/32 we have it as r2, but really
it MUST be r1.

Checking if the nexthop is connected solves the problem even for cases
when route-reflectors are used.

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

Merge pull request #6232 from ton31337/fix/validate_lcommunities

bgpd: Validate all large communities if specified more per line

Merge pull request #6229 from donaldsharp/netlink_request_fixup

zebra: Modify netlink_request to statisfy coverity

bgpd: Validate all large communities if specified more per line

```
(config)# bgp large-community-list standard FRR-1 permit 1:1:1:1
% Malformed community-list value
(config)# bgp large-community-list standard FRR-1 permit 1:1:1 1:2
% Malformed community-list value
(config)# bgp large-community-list standard FRR-1 permit 1:1:1 1:2 3:3:2
% Malformed community-list value
(config)# bgp large-community-list standard FRR-1 permit 1:1:1 1:2 3:3:2 0:0:0
% Malformed community-list value
(config)# bgp large-community-list standard FRR-1 permit 0:0:1231321231414
% Malformed community-list value
(config)# bgp large-community-list standard FRR-1 permit 1:1:1 1:2:3 3:3:2 0:0:
% Malformed community-list value
(config)# bgp large-community-list standard FRR-1 permit 1:1:1 1:2:3 3:3:2 0:2:3
(config)# bgp large-community-list standard FRR-1 permit 1:1:1 1:2:3 3:3:2
(config)#
```

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

Merge pull request #6230 from donaldsharp/nhrp_json_silliness

nhrpd: Actually allow json output

Merge pull request #6226 from LabNConsulting/ziemba/ldpd-fix-md5key-length

ldpd: ldp_vty_neighbor_password(): fix auth.md5key_len calculation

nhrpd: Actually allow json output

Add the correct pointer check to see if we should
be doing json output.

Discovered by SA.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

zebra: Modify netlink_request to statisfy coverity

The netlink_request function takes a `struct nlmsghdr *`
pointer from a common pattern that we use:

struct {
struct nlmsghdr n;
struct fib_rule_hdr frh;
char buf[NL_PKT_BUF_SIZE];
} req;

We were calling it `netlink_request(Socket, &req.n)`

The problem here is that coverity, rightly so, sees that
we access the data after the nlmsghdr in netlink_request and
tells us we have an read beyond end of the structure.  While
we know we haven't mangled anything up here because of manual
inspection coverity doesn't have this knowledge implicitly.

So let's modify the code call to netlink_request to pass in the
void pointer of the req structure itself, cast to the appropriate
data structure in the function and do the right thing.  Hopefully
the coverity SA will be happy and we can move on with our life.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

Merge pull request #6154 from donaldsharp/check_interface_working

tests: Add a route-map test to ensure it accepts an unknown intf name

ldpd: ldp_vty_neighbor_password(): fix auth.md5key_len calculation

Per issue #6202

Very long passwords (>79 chars) get truncated: save truncated
length in nbrp->auth.md5key_len instead of original length.

Signed-off-by: G. Paul Ziemba <paulz@labn.net>

Merge pull request #6225 from qlyoung/fix-zebra-counter-printf-specifiers

zebra: use %u for unsigned when printing counters

Merge pull request #6214 from opensourcerouting/bfdd-debug

bfdd: code/logging/debug improvements

Merge pull request #6211 from mjstapp/fix_zebra_cov

zebra: fix some coverity SA warnings

Merge pull request #5510 from opensourcerouting/dplane-fpm-netlink

zebra: netlink FPM interface using zebra data plane

zebra: use %u for unsigned when printing counters

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

Merge pull request #5812 from pguibert6WIND/bgp_stats_all

Bgp stats all

Merge pull request #6218 from qlyoung/fix-ospf-router-lsa-missing-length-check

ospfd: router LSA link info missing length check

zebra: fix hash_backet typo in data plane FPM

Implement the fix made in `master` to the remain pieces of code in the
data plane FPM module.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: hide verbose data plane FPM log messages

To enable them just configure `debug zebra fpm`.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: fix some formatting/style issues

* Break lines longer than 80 columns.
* Remove space after '('.
* Use '%pIX' instead of 'inet_ntop'.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: data plane FPM add support RMAC VNI

Store VNI information in the data plane context so we can use it to
build the FPM netlink update with that information later.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: fix style on data plane FPM module

*   Use 32bit atomic instead of 64bit.
*   Don't use semicolon at the end of macros.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

build: fix data plane FPM netlink module

Changes:

*   Let the package builder scripts know that we have a new module that
    needs to be taken care of.
*   Include the frr atomic header to avoid undeclared atomic operations.
*   Disable build on *BSDs because the code is using some zebra netlink
    functions only available for Linux.
*   Move data plane FPM module outside old FPM automake definition.
*   Fix atomic usage for Ubuntu 14.04 (always use explicit).

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: use atomic operations in FPM

FPM has a thread to encode and enqueue output buffer that might compete
with zebra RIB/RMAC walk on startup, so lets use atomic operations to
make sure we are not getting statistic/counters wrong.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: queue data plane context for FPM

Enqueue all contexts inside FPM to avoid losing updates and to move all
processing to the FPM thread.

This helps in situations with huge amount of routes (e.g. BGP peer
flapping with a million routes).

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: improve FPM output buffer handling

Add counters to debug the output buffer usage and pull down its data
when the remote receiver is slow (so we get more space for writes).

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: simplify FPM buffer full detection

Remove code duplication and document hardcoded values.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: implement FPM counters

Add commands to show and reset FPM counters.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: CLI commands for new FPM interface

Add commands to enable/disable and configure FPM.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: data plane FPM RMAC walk code

Implement the code that walks the RMAC to send routes that are already
inside installed in the OS.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: adapt and export rmac netlink functions

Those functions are going to be used by the new data plane plugin for
netlink FPM.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

Merge pull request #6197 from sworleys/PBR-Atomic

pbrd,zebra: implement `set *` and `match *` replace

Merge pull request #6096 from pjdruddy/vxlan_evpn_topo_test

tests: add basic topotest for VXLAN EVPN

ospfd: router LSA link info missing length check

Fix
- Modulo check on data length not inclusive enough
- Garbage heap read when bounds checking

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

pbrd: fix wording in pbr_send_pbr_map comment

Fix some bad wording in a comment when deciding whether
to send a pbr map sequence to zebra.

Signed-off-by: Stephen Worley <sworley@cumulusnetworks.com>

zebra: data plane FPM RIB walk code

Implement the code that walks the RIB to send routes that are already
inside the RIB.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: data plane plugin for FPM netlink

Initial import of the new zebra data plane plugin for FPM netlink.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: dataplane context reset and init apis

Add a public reset api, so a context can be reset and reused;
add apis to init a context for a route or mac update.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

zebra: export netlink function and change return

Instead of retuning always `0`, lets return the amount of used bytes for
the message. This will be used by the new FPM interface to know how many
bytes we must reserve for the output buffer.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: simplify netlink_route_multipath

*   Remove variable `family`;
*   Remove always false `RTM_DELROUTE` checks;

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: simplify some netlink debug messages

*   Use `inet_ntop` instead of `inet_ntoa`
*   Replace function name with `__func__`
*   Inline functions

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

zebra: generalize netlink route talk function

Generalize the netlink route message building function so it can be used
in the future by the netlink Forwarding Plane Manager (FPM) interface.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

Merge pull request #6201 from adharkar/frr-master-fpm_mac

zebra: Address sequencing issue while sending RMAC via FPM

Merge pull request #6219 from qlyoung/fix-ospf-opaque-so-lsa-uaf

ospfd: fix uaf upon rx of self-originated lsa

Merge pull request #6221 from opensourcerouting/defaults-fix-version-cmp

lib/defaults: fix version number comparison

Merge pull request #6011 from patrasar/pim-no-msdp-group-cmd

pimd: added no ip msdp mesh-group <word>

doc: update BFD debugging section

Show more information about BFD debug feature.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

topotest: enable bfd debugs on all BFD tests

Lets attempt to get the most out of the debug messages.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bfdd: add more zebra debug messages

Uncomment old debug about relayed messages from zebra.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bfdd: constify satostr

Detect modifications to the `sockaddr_any` struct.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bfdd: remove time calculation debugs

These were disabled by default and not used by a long time.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bfdd: simplify code flow

Don't attempt to handle out-of-memory situations: XMALLOC/XCALLOC will
`assert` if there is no memory left.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

bfdd: add debug fine tuning capabilities

Move most of the log messages to debug guards so they only get activated
if the user configured the proper debug level.

Current debug levels:
- Peer events.
- Zebra events.
- Network layer debugs.

Signed-off-by: Rafael Zalamena <rzalamena@opensourcerouting.org>

Merge pull request #6017 from sarav511/ovrride

pimd: Join not sent within prune override time when received non local prune

Merge pull request #6196 from dslicenc/ospf6d-brouter-loop

ospf6d: stop looping thru same Inter-Area Router LSAs

zebra: fix some coverity SA warnings

Fix several coverity scan warnings.

Signed-off-by: Mark Stapp <mjs@voltanet.io>

lib/defaults: don't use "static" in a weird way

This didn't break anything but it's not really correct either.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

lib/defaults: more bool confusion

Sigh.  Initializing a bool to -1 gives 1.

Signed-off-by: David Lamparter <equinox@opensourcerouting.org>

Merge pull request #5988 from xThaid/zebra_vrf_logs

zebra: Add vrf name and id to debugs

Merge pull request #6215 from vivek-cumulus/wtecmp_linkbw_doc

doc: Documentation for weighted ECMP and link bandwidth

ospfd: fix uaf upon rx of self-originated lsa

ospf_opaque_self_originated_lsa_received decrements refcount which can
result in a free, this is followed by a call to ospf_ls_ack_send which
accesses the freed LSA

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

doc: Documentation for weighted ECMP and link bandwidth

Signed-off-by: Vivek Venkatraman <vivek@cumulusnetworks.com>

Merge pull request #5892 from qlyoung/fix-zclient-many

assorted lib / zclient fixes

lib: fix SA warning in vrf creation zapi handler

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

lib: fix if_set_value

Something in there is wrong and causing test failures. Moving it back to
how it was; we'll stil assert if the message was wrong, just in a
different place now.

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

lib: work around enum issue in old gcc

I'd like to keep the explicit check here, but since underlying type of
enum is implementation defined, theres some inconsistency using -Wall
-Werror in older compilers here

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

Merge pull request #6213 from ton31337/fix/moar_bool_stuff

bgpd: Replace 0 to false for bool assignment in bgp_update_martian_ne…

Merge pull request #6210 from donaldsharp/sharp_labels

sharpd: Allow sharpd to specify it's own routes for label changes

bgpd: Replace 0 to false for bool assignment in bgp_update_martian_nexthop()

Signed-off-by: Donatas Abraitis <donatas.abraitis@gmail.com>

lib: re-add accidentally deleted pfx family set

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

lib: improve sanity check on vrf backend value

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

lib: handle failure to change ifindex

This fixes a theoretical bug that could occur when trying to change an
ifindex on an interface to that of an existing interface. We would
remove the interface from the ifindex tree, and change the ifindex, but
when we tried to reinsert the interface, the insert would fail. It was
impossible to know if this failed due to the insertion / deletion macros
capturing the result value of the underlying BSD tree macros. So we
would effectively delete the interface.

Instead of failing on insert, we just check if the prospective ifindex
already exists and return -1 if it does.

Macros have been changed to statement expressions so the result can be
checked, and bubbled up.

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

lib: more zclient fixes; str termination, vrfs...

* Don't crash if we get a request to create an existing VRF
* Ensure interface & vrf names are null terminated...again

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

lib: don't crash on iface add for unknown vrf

If Zebra sends us an interface add notification with a garbage VRF we
crash on an assert(vrf_get(vrf_id, NULL)); let's not

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

lib: ensure iface name is null terminated

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

lib: handle bogus VRF backend type

And use an enum...

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

lib: make all zclient.[ch] stream funcs safe

Use STREAM_GET* variants of stream getters, which all have non-assert
error paths.

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

lib: add STREAM_GETQ, STREAM_GETF

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

lib: remove unnecessary null checks

Signed-off-by: Quentin Young <qlyoung@cumulusnetworks.com>

Merge pull request #6209 from donaldsharp/true_false

bgpd: bools use `true/false` not `TRUE/FALSE`

sharpd: Allow sharpd to specify it's own routes for label changes

With the command using STR_SHARP, the sharp daemon is not allowed
to use it's own routes for label modification.  Switching over
to STR_ZEBRA allows the sharp daemon to modify labels on any
route in the system, since there are no `ROUTE_ZEBRA` types.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>

bgpd: bools use `true/false` not `TRUE/FALSE`

Who knows where these values were coming from.

Signed-off-by: Donald Sharp <sharpd@cumulusnetworks.com>