Merge pull request #127 from kronosnet/configure-hardening2

Configure hardening

[build] simplify Doxygen test based on Feri's input

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[build] be consistent

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[build] make man page build optional

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[build] check for all *int types as we use pretty much all of them

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[build] drop redundant check (it's duplicated just a few lines below)

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[build] drop unnecessary function checks

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[build] drop unnecessary include checks

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[build] fail configure if we can't find Doxygen to build man pages

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[build] drop obsolete AC_PROG_LIBTOOL included in LT_INIT

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[build] enable error when checking --enable-new-dtags linker flags

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Merge pull request #132 from kronosnet/cross

Cross-compilation support

build: no binaries in build-aux wander out of the build tree

Signed-off-by: Ferenc Wágner <wferi@debian.org>

build: better separation of flags during cross-compilation

Signed-off-by: Ferenc Wágner <wferi@debian.org>

build: kronosnetd still needs libqb on the host system

Signed-off-by: Ferenc Wágner <wferi@debian.org>

build: compile and link doxyxml for the build host

Signed-off-by: Ferenc Wágner <wferi@debian.org>

build: use build architecture libraries for doxyxml

Signed-off-by: Ferenc Wágner <wferi@debian.org>

Merge pull request #130 from kronosnet/modes

Reword compression API documentation

Better wording suggested by Chrissie

Signed-off-by: Ferenc Wágner <wferi@debian.org>

Reword the documentation of knet_handle_compress_cfg

Signed-off-by: Ferenc Wágner <wferi@debian.org>

We support several compression libraries by now.

Signed-off-by: Ferenc Wágner <wferi@debian.org>

Merge pull request #128 from kronosnet/debian-lz4

Debian lz4

[compress] lz4: fix builds for older lz4 releases

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[compress] lz4: include all required headers

upon reading lz4hc.h, lz4.h should always be included as depedency

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Merge pull request #129 from kronosnet/manpages

[man] drop dist_man_MANS leftover

doxyfile: description of return values may be missing

[man] drop dist_man_MANS leftover

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Merge pull request #125 from kronosnet/gcc8-fixes

[build] make gcc8 buffer boundaries check happy

[build] make gcc8 buffer boundaries check happy

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Merge pull request #123 from kronosnet/doxyflags

doxyxml: use AM_CFLAGS for debugging info, optimization and warnings

doxyxml: use AM_CFLAGS for debugging info, optimization and warnings

The rework of the FLAGS handling and the development of doxyxml happened
on different temporary branches, and this slipped through on the merge.

Signed-off-by: Ferenc Wágner <wferi@debian.org>

Merge pull request #122 from kronosnet/skip_sctp

tests: skip the SCTP test if SCTP is not supported by the kernel

tests: skip the SCTP test if SCTP is not supported by the kernel

For example, module loading is disabled on Debian build daemons.

Signed-off-by: Ferenc Wágner <wferi@debian.org>

Merge pull request #121 from kronosnet/flags

Flags

build: --export-dynamic is needed for dlopened modules only

Not that it matters on ELF platforms the least.  If Kronosnet is ever
ported to Windows, however...

Signed-off-by: Ferenc Wágner <wferi@debian.org>

build: linking with libm is unnecessary on some systems (like OS X)

Inlining of builtin functions can eliminate the libm dependency on other
systems as well, but AC_SEARCH_LIBS can't detect this because it tests
with a false prototype.  Thus we use --as-needed linking already to trim
such unnecessary dependencies.

Signed-off-by: Ferenc Wágner <wferi@debian.org>

build: use --as-needed to avoid unnecessary dependency on libm

I removed --as-needed in 1b96703, but now I found a good reason to use
it after all.

Signed-off-by: Ferenc Wágner <wferi@debian.org>

build: check for the --enable-new-dtags flag before using it

Signed-off-by: Ferenc Wágner <wferi@debian.org>

build: sanitize CFLAGS handling

As for LDFLAGS previously: leave the CFLAGS "user variable" untouched to
enable easy selective overriding of the flags used by the build system.

Using $lt_prog_compiler_pic shouldn't be necessary, let's drop it and
see if anything breaks. WERROR_CFLAGS was undefined, so dropped as well.

Signed-off-by: Ferenc Wágner <wferi@debian.org>

build: we preserve CPPFLAGS, just remove the tempting hooks

Signed-off-by: Ferenc Wágner <wferi@debian.org>

build: sanitize LDFLAGS handling

The Automake manual states that according to the GNU Coding Standards
the so-called "Variables reserved for the user" mustn't be changed by
the build system, and they must override the default settings from the
build system.  The "Flag Variables Ordering" section provides the
recipes on which we build here.

Using $lt_prog_compiler_pic directly shouldn't be necessary, let's try
leaving it out.

Signed-off-by: Ferenc Wágner <wferi@debian.org>

build: LIBS belong to LDADD for binaries

Signed-off-by: Ferenc Wágner <wferi@debian.org>

build: remove unused DEBUG Automake conditional

Signed-off-by: Ferenc Wágner <wferi@debian.org>

Merge pull request #110 from kronosnet/error_propagation

Add some missing error propagation

Propagate NSS initialization errors

EVP_CIPHER_block_size returns size_t, which is unsigned

Propagate OpenSSL initialization errors

Add some missing error propagation

Merge pull request #119 from kronosnet/inhouse-manpage-generation

Inhouse manpage generation

[man] do not ship precompiled doxyxml

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] add build requires on doxygen

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] fix man page generation external deps on doxyxml

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] fix distcheck, build out of tree and tarball generation

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] update .gitignore

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] switch to autogenerated man pages

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

doxyxml: Fix parameter ordering

Also tidy pointer printing and remove extraneous quotes from
the BITS IN CAPS (not sure why I did that, but it helps the diff
from the old pages)

[man] don't output unnecessary .PP sections

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] fix comma separated list in See Also section

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] reduce diff with the old man pages

O...C...D...

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] first attempt to plug doxyxml to replace doxy2man

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] fix args parsing and help text

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Update .gitignore

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] init variable and silence gcc

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] fix casting around

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] define _DEFAULT_SOURCE for new features.h

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] add libqb and libxml2 devel as general buildrequires for man pages

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

doxyxml: Fix compiler warnings

[man] add makefile.am

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] move doxyman to build-aux

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[man] drop redundant update-man-page code

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

manpages: Generate man pages using our own command

This removes the dependncy on doxy2man which is not
packaged.

Signed-off-by: Christine Caulfield <ccaulfie@redhat.com>

Merge pull request #118 from kronosnet/runpath

Use LD_LIBRARY_PATH to find the build tree artifacts

Use LD_LIBRARY_PATH to find the build tree artifacts and disable RPATH across the project

The libtool wrapper scripts of the test binaries set LD_LIBRARY_PATH to
find the libknet library and its modules in the build tree, but RPATH
overrides this setting.  This is why RPATH is deprecated, so we switch
to RUNPATH instead by using --enable-new-dtags, which is already the
linker default on Debian for example.

Based on the original patch from Ferenc.

Signed-off-by: Ferenc Wágner <wferi@debian.org>
Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Merge pull request #117 from kronosnet/ppc64

tests: check for exported symbols in the data section as well

tests: check for exported symbols in the data section as well

The PowerPC64 ELFv1 ABI puts the function descriptor symbols there,
but why restrict the consistency check to the text section anyway?

Signed-off-by: Ferenc Wágner <wferi@debian.org>

Merge pull request #115 from liu4480/typo-fix

typo fix: change the url in spec file

typo fix: change the url in spec file

Merge pull request #112 from kronosnet/man-pages

[docs] Update copyright and man pages pre-1.0

[docs] Update copyright and man pages pre-1.0

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Merge pull request #111 from kronosnet/fixes

Fixes

[PMTUd] drop (now) unnecessary and dangerous usleep

prior to all threads being able to notify PMTUd of EMSGSIZE errors,
we had this random usleep in there to have time to collect data.
It was working at the time, but it's a bad idea.

On super large clusters (>66 nodes) with 4 links on each node, when
applying heavy load (cpghum on all nodes at once), the average latency
between nodes can increase so much that the PMTUd thread usleep
could literally block corosync for seconds at a time.

Drop the usleep and live happily ever after

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] reset value or suffer the pains of DEADLOCKING! errno is per thread, not per function

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] only notify PMTUd when pmtud_running and don't force a run to avoid lock fighting

When we request a writelock, we should notify PMTUd to abort and cond_signal only
if PMTUd is running.

Also, don't request an immediate rerun as we cannot guarantee that the scheduling
is favourable to our request and we could end up waiting forever.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[stats] show loopback links as connected

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Merge pull request #105 from kronosnet/scale

Scale

[PMTUd] more typo fixes

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

meeeehhhhhh fixed on the top comment, forgot the bottom one

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] cleanup variable usage and code around it

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

fix missing space

[PMTUd] amend warning message

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] generate warning when there is a timeout receiving a response

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] if PMTUd is rescheduled, then enforce a new run

the usleep between each PMTUd run will give time to the other threads to grab the wrlock

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] make PMTUd force_run notification more quiet

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PTMUd] if any threads receives a EMSGSIZE outside of a PMTUD run, force PTMUd to run

Scenario:

node X has MTU Y on the interface and application is sending packets with size >= Y.

The interface MTU is suddenly reduced to < Y

Before this change, the kernel would be dropping packets till the next PMTUd run.

After this change, the PMTUd will be informed that it has to rerun (overriding
the pmtud_interval), reducing the packet drop to a minimum.

How to test:

force knet_bench to send 1500 size packets with ping_data (requires code change)
and start it.

reduce MTU on the interface from 1500 to 1300 (for example)

Notice an immediate trigger of PMTUd run in debug mode

Note: going up, from 1300 to 1500 will wait for the next PMTUd re-run as there
is no immediate way to detect this change unless we start listening to kernel
netlink sockets with libnl3 (investigation in progress but not critical enough atm).

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] rename pmtud_running to pmtud_waiting

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PTMUd] by using a safe PMTU to init a link, we can shave down corosync membership creation by 25%

tested on a 9 node cluster with 2 links each node, going down from 4 seconds to 3 seconds

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[PMTUd] Use kernel MTU information to determine next packet size during discovery

Using this information we can, for good links (*), determine and verify the link
MTU with 2 packets.

* good links means:
node X has MTU Y configured on a given interface. Any network object between node X
and destination is capable of handling MTU >= Y.
In no case the kernel will allow us to send packets > Y.

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

[stats] report correct MTU for loopback links

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>

Merge pull request #108 from kronosnet/minor-fixes

Minor fixes

[tests] add missing break (detected by newer gcc)

Signed-off-by: Fabio M. Di Nitto <fdinitto@redhat.com>