Update TODO

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] Fix crash and calculation when using crypto

most of the problem was around incorrect typing of variables
and incorrect calculation when using signing without encryption.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[libtap] automatic restore IPv6 address when recovering from MTU flapping

NOTE: if a user manually changes MTU < 1280, your IPv6 addresses
are gone for good.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Update TODO list

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Update TODO list

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[crypto] align crypto_authenticate_and_decrypt API to crypto_encrypt_and_sign

2 issues solved by this change:

1) API were different and crypto_authenticate_and_decrypt would trash the
   incoming packet, that we might want to keep for later usage
   (re-switch for example)

2) By using an extre pre-allocated buffer while decrypting incoming packets
   we save a whole memcpy and that reduces latency on crypto communications:

pre-patch:

[root@kronosnet-node1-br0 ~]# ping 192.168.12.2 -f -c 1000 -s 65000
PING 192.168.12.2 (192.168.12.2) 65000(65028) bytes of data.

--- 192.168.12.2 ping statistics ---
1000 packets transmitted, 1000 received, 0% packet loss, time 5302ms
rtt min/avg/max/mdev = 5.102/5.283/22.679/0.947 ms, pipe 3, ipg/ewma 5.307/5.223 ms

post-patch:

[root@kronosnet-node1-br0 ~]# ping 192.168.12.2 -f -c 1000 -s 65000
PING 192.168.12.2 (192.168.12.2) 65000(65028) bytes of data.

--- 192.168.12.2 ping statistics ---
1000 packets transmitted, 1000 received, 0% packet loss, time 5196ms
rtt min/avg/max/mdev = 4.997/5.154/6.661/0.129 ms, ipg/ewma 5.201/5.173 ms

(using aes256 and sha1)

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[send/recv] init recv buffer array only once

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[internal] define/use PCKT_FRAG_MAX instead of UINT8_MAX

makes the code more readable

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Fix error message

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[send/recv] use recvmmsg on network sockets

On my test systems this change reduces the latency of fragmented packets
from 0.27ms to 0.235ms in average. There are still some optimizations
on how buffers can be initialized that could shave some time on this code
path.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Update TODO

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Update copyright dates

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[build] update configure.ac

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[send/recv] fix data filling in the frag code

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[send/recv] use sendmmsg to reduce latency

On my test systems this change reduces the latency from 0.7ms to 0.25ms
when sending 65000 bytes packet and using internal re-assembly code.

Internally use N buffers to split the incoming data and reduce by N frags
the amount of memcpy between kernel and userland.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[internal] reduce memory footprint further down

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[global] reduce memory footprint by a long shot

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[send/recv] add simplistic packet re-assembly code

this will probably explode if you are using multiple links
in round-robin or active-active mode.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Revert "[global] reduce memory footprint by a long shot"

This reverts commit 4b4290a2fafbeb4d08bf489caa35ea4c205b18b9.

[global] reduce memory footprint by a long shot

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[threads] cleanup header

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[cleanup] remove unused headers around

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[threads] split send recv threads in separate file

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[threads] split dsthandler thread in separate file

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[threads] split pmtud thread in separate file

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[threads] split heartbeat thread in separate file

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[threads] implement outgoing pckt fragmentation based on PMTUd

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Update TODO list

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[global] restrict max packet size to 65536 bytes

and apply workaround in data buf allocation while we cleanup
the whole buffer allocation handling situation

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[test] disable crypto rekey test for now

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[knetd] fix libqb logging filter

Thanks to Chrissie for the awesome work as usual

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[test] fix ping_test data print and add some more info

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[handle] add missing include

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[handle] fix knet_send sock handling to use correct data flow

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[handle] fix init order to have more debug in case of sockpair error

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[commodity] add knet_send/knet_recv api calls

based on readv/writev man page, it is highly discouraged to mix
different kind of write/read operations on a given fd (for example
a read with a writev).

since not many finds using iovec that pleasent, those 2 functions
do wrap the more common buff/buff_len calls into iovec implementations.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[handle] API change warning: add support for knet_handle_new to create proper sockpairs

this is a small facility for applications that don't want/need to create
socketpairs to read/write data to/from knet and avoids lots of duplicated
socket management on the client side.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[threads] add warning on fragmented packets

also prepare ping_test for it

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[ping] fix sockpair creation to deal with sequence of packets and not streaming

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[threads] use iovec calls to read/write from datafd

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[cosmetic] rename net_fd to datafd

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[handle] add missing errno on failure

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[libtap] change error check code to avoid a segfault and make it more readable

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[listener] fix 2 cosmetic checks and keep around a useful debugging fn

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[threads] make ping error message more verbose

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Update TODO list

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

libtap: don't close pipe fd twice

libtap was closing the parent's pipe() fd twice. Sometimes, between the
first and second close, that fd gets reopened by the logging thread as
PF_LOCAL, and used for logging.

Then libtap wakes up again after the fork and closes the fd thinking
it's its pipe fd. knet then opens it again as AF_INET for pinging.

libqb logging then errors on a sendto() and closes it AGAIN, and reopens
it as a PF_LOCAL logging fd. Ping then has a brain haemorrage next time
it comes round to calling sendto().

Signed-off-by: Christine Caulfield <ccaulfie@redhat.com>

Update TODO list

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[host] move dst cache updates to the right logging subsystem

and return error codes

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Update TODO list

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[host] create dst_cache sync and async functions and fix link lookup race condition

Prior to this change, there was a potential race condition in which, when shutting
down a link, the destination cache would not be updated in time and pckts would
be lost in an invalid socket.

This change introduced a sync version of the dst cache update and protects
outgoing traffic socket lookup with a mutex.

The only downside of this change is that, in future, when we will introduce
complex switching algorithms, we might have to spend a bit more time
recalculating the network topology on link shutdown and halt traffic switching.

Pro is that we have a smaller gap in lost traffic when reconfiguring the local
node.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[threads] simplify code to send data to links

in preparation to remove race condition in _dst_cache update,
simplify the access path to common code

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] fix regression in macro expansions

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] introduce khpi_link_status_ defines to make code simpler to parse

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] add define for knet_hostinfo structures size

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] rename kf_plink/kf_psize/kf_pdata to their respective more descriptive versions

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] rename kf_link and kf_time to their respective more descriptive versions

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] rename kf_seq_num and kf_data to their respective more descriptive versions

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] add comment

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] more cleanup around _SIZE define usage

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] rename various KNET_FRAME_ definitions to KNET_HEADER_

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] cleanup and use defines

make it easier to understand values and usage of other status info

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] rename link_up_down struct to knet_hostinfo_payload_link_status

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] rename knet_hinfo_data struct to knet_hostinfo

and add comments around the various fields

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] add comment in ifout section

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] start cleaning host_info data structures

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[debug] add tool to print out network pckt header size

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] clenaup knet_header_payload_data structure naming

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] clenaup knet_header_payload_ping structure naming

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[cleanup] move some values from int to unsigned int

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] clenaup knet_header_payload_pmtud structure naming

and add more comments

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] add more comments

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] add extra comments

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] cleanup knet_header_payload union

use longer name to make it easier to identify nesting of structures

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] rename knet_frame_data to knet_header_payload

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[onwire] rename knet_frame to knet_header

also start renaming variables around to make it easier to understand
the level of nesting and add comments for each field

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[internal] start renaming things to make code look decent

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[internals] Simplify code maintanance by shuffling around some variables

this allows creation of better #define to maintain some parts of the
code related to buffers allocations.

As a bonus, gcc does a better job at packing structs outside of a union
and we save 4 bytes onwire.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[knetd] Fix internal MTU calculation to include tap ethernet frame

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] fix mutex deadlock on socket error

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[listeners] Use IP_FREEBIND options on sockets

this allows us to bind to IPs that are not yet on the system and
survive the infamous ifdown/ifup <device> test

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[pingd] fix ping flood on sock errors

if we get an error on sendto, we would ping flood the link because
the ping_last timestamp was not being updated.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[libknet] rename tap to send to link

plain and simple cleanup

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Update TODO list

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[knetd] add support for pmtud frequency

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMUTd] add call to get pmtud interval value

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[knetd] Use pmtud values to set tap device MTU

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] fix notification callback to add private data

this is necessary to identify the callback when driving multiple
knet instances within the same daemon.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Update TODO list

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] add support for pmtud_get for who doesn't want notifications

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] add support for PMTUd changes notifications

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] distinguish between link_mtu and data_mtu

link_mtu is the pure MTU over the link and doesn't account for knet headers.
data_mtu is what can be really transmitted onwire by the application.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] add support for timer config and fix critical shutdown deadlock in condwait

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUD] change error message

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] fix scary message at startup

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUD] fix threads to work with crypto

temporary disable re-keying test as it seems to be break PMTUd

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUD] change variable names to make it easier to read

still doesn't work with crypto enable, but part of the code is getting
ready for it.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[nss] fix calculation for crypto header to include SALT_SIZE

and propagate block size up in the layers to allow PMTUd thread
to round buffers and do crypted PMTUd packets.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[link] add rudimentary PMTUD support.

1) It won't work with crypto enable yet
2) values are not really used yet for anything
3) no API calls implemented yet

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[listener] check setsockopts return codes

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>