tincd on Windows: call srand() after main2()

On Windows, rand() was returning the same sequence on every service
execution, because srand() was initializing its state only for the
short-lived process.

FreeBSD CI: unbreak clang-tidy.

compiledb does not like the BSD make when running the -j flag.
-n (for some weird reason) also produces an empty file list.

Improve failure detection in the test suite.

hash table fix

Bump the timeout for the sanitizer tests.

Avoid warnings from -fsanitize=integer in the hash functions.

Hash functions rely heavily on unsigned integer overflow behavior, but
the sanitizer complains about them. Instead of disabling the sanitizer
(which might prevent us from getting warnings from real errors), silence
it by explicitly upcasting values to 64-bit integers before applying
operations, then explicitly downcasting to 32-bit again. The compiler
will optimize this out.

Subnet Cache hashtable improvements

 - inline & staticly allocated hash table
 - increased hashtable size (32bit: 1024, 64bit: 65536)
 - re-arrange subnet members
 - Add key type
 - reduce clearing of hash table
 - cleanup key pointer operations
 - removed unused hash_search_or_insert
 - add open addressing to hash table
 - type specific hash functions & hash seeding
 - no collisions for 32bit os
 - implement cache flush by SUBNET_MAC

Use splay trees inside node_t directly.

Replace pointers to global splay trees with structs.

re #294

Make apt stop asking questions when building deb package.

Reduce pointer indirection for global list_t variables

Converted cmdline_conf, connection_list, outgoing_list from
pointer-to-structs to structs.

Created list_empty_list for these structs. This is necessary,
because list_delete_list frees the supplied list_t pointer.

Part of https://github.com/gsliepen/tinc/issues/294

Fix -Wsign-compare error in keys.c

Part of https://github.com/gsliepen/tinc/issues/288

Symlink README to README.md when running make dist.

Since Markdown is perfectly human readable, just create a symlink from
README to README.md when make dist wants it. Also add it to .gitignore.

Rename README to make software forges properly render Markdown.

CI: cross-compilation; build packages on every push.

Build tinc for two architectures frequently seen in cheap routers,
and run tests using qemu user virtualization.

Also build deb + rpm packages and a Windows installer on every push to
the main branch (currently it's 1.1), and publish them as a pre-release.

Use libvdeplug.h instead of libvdeplug_dyn.h

Fix https://github.com/gsliepen/tinc/issues/300

The libvdeplug.h from Debian Unstable is almost identical to the
one from Debian Buster. My making this change, the task of linking
the libvdeplug library is passed to the system dynamic linker at
tincd start time, instead of doing it manually with
libvdeplug_dynopen when vde functionality is actually needed.

This fixes the compilation issue in Ubuntu 21.04 and Debian
Unstable.

Improve invite-join.test reliability on Alpine Linux.

Assign more suitable types and fix narrowing conversion warns.

GitHub CI: check project for warnings with clang/gcc.

CI (GitHub & sourcehut): add clang-tidy checks.

Un-ignore .clang-tidy and enable conversion warnings.

... except for cryptographic functions, best leave that to the experts
that have written them. They produce a lot of warnings, so place a
couple of dummy .clang-tidy files there to ignore everything.

Support running tests on NetBSD 8.2.

Remove unused argument from tunemu_write.

Remove unused function rsa_active.

Remove unused types.

Remove unused declarations.

Remove unused struct fields.

Remove unused global variables.

Remove unused '#include's.

Add tests for the fsck command.

Also, allow running tests as non-root and elevate as necessary. This
requires passwordless sudo and the CI envvar set to any non-empty value.

Cleanup and improve `tinc fsck`.

- implement TODOs
- fix an invalid warning:
WARNING: public and private RSA keys do not match
- use the same configuration reading & parsing logic as in tincd
- read keys from all supported variables
- auto fix a few more broken key configurations
- fix a couple of rare memory leaks
- add warnings for host variables in server config and vice versa
- check duplicates for all configuration variables (not the first 50)
- check_conffile had a stack-buffer-underflow with going before the start of the line

Allow using key & configuration parser from tincd in tinc.

GitHub CI: run most tests as a non-privileged user.

We don't really care about the throwaway container running in a throwaway
VM, but it's still better to run tests that do not require elevated
privileges as a normal user, at least to be sure that the ability to do
this is working.

Also, some tests (like the new command-fsck.test) can perform more checks
with a restricted user account.

Add timeouts to CI jobs.

Really avoid trying to send an ANS_KEY request to unreachable nodes.

Commit ed070d754d1b5500b0ec3615ae342178cfd42efb only printed a warning,
but was missing a return statement.

Use inet_pton() to parse Subnets.

Nowadays all operating systems tinc runs on should support IPv6, so we
can rely on inet_pton() and inet_ntop() to convert IPv4 and IPv6
addresses. Use this instead of our own parsing code.

Fix ASAN warning.

The commit fixing the stack overflow for malformed Subnets could compare
against a NULL pointer, which works fine in practice but is undefined
behavior.

Fix `tinc get Subnet` failing.

Let the CLI prevent adding incorrect Subnets.

We did a sanitiy check when trying to add a Subnet, but we only printed
an error message, we still added the incorrect Subnet. This change
ensures we abort with a non-zero exit code.

Avoid a stack overflow when presented with a malformed IPv6 Subnet.

Found by Kirill Isakov using AFL and AddressSanitizer.

Ensure we delete removed BroadcastSubnets when reloading configuration.

GitHub CI: fail sanitizer job if any logs were created.

Fix more memory leaks found by ASAN.

Fix use-after-free in final log message on tincd exit.

Steps to reproduce:

0. build tincd with -fsanitize=address
1. start tincd:
./src/tincd -c . -D
2. capture log output in one tinc client
./src/tinc -c . log
3. this is optional, but seems to flush the bug more often: open another
   tinc client and issue the purge/retry commands:
    ./src/tinc -c .
tinc> purge
tinc> retry
4. stop tincd (using Ctrl+C or the stop command)

Repeat until it fails with a bunch of error messages as below.

------------

==1715850==ERROR: AddressSanitizer: heap-use-after-free on address 0x60300001d950 at pc 0x55a3fdba1fa5 bp 0x7fffbd250470 sp 0x7fffbd250468
READ of size 8 at 0x60300001d950 thread T0
    0 0x55a3fdba1fa4 in real_logger tinc/src/logger.c:101:7
    1 0x55a3fdba188b in logger tinc/src/logger.c:140:2
    2 0x55a3fdc90c22 in main tinc/src/tincd.c:625:2
    3 0x7f826a3eab24 in __libc_start_main (/usr/lib/libc.so.6+0x27b24)
    4 0x55a3fda9087d in _start (tinc/src/tincd+0xd487d)

0x60300001d950 is located 0 bytes inside of 32-byte region [0x60300001d950,0x60300001d970)
freed by thread T0 here:
    0 0x55a3fdb377c9 in free (tinc/src/tincd+0x17b7c9)
    1 0x55a3fdb9e1b4 in list_free tinc/src/list.c:36:2
    2 0x55a3fdba0ed3 in list_delete_list tinc/src/list.c:192:2
    3 0x55a3fdb8385f in exit_connections tinc/src/connection.c:47:2
    4 0x55a3fdbf0427 in close_network_connections tinc/src/net_setup.c:1386:2
    5 0x55a3fdc90c0d in main tinc/src/tincd.c:623:2
    6 0x7f826a3eab24 in __libc_start_main (/usr/lib/libc.so.6+0x27b24)

previously allocated by thread T0 here:
    0 0x55a3fdb37c91 in calloc (tinc/src/tincd+0x17bc91)
    1 0x55a3fdb9e157 in xzalloc tinc/src/./xalloc.h:37:12
    2 0x55a3fdb9e065 in list_alloc tinc/src/list.c:29:17
    3 0x55a3fdb82a43 in init_connections tinc/src/connection.c:40:20
    4 0x55a3fdbea58c in setup_network tinc/src/net_setup.c:1304:2
    5 0x55a3fdc90535 in main tinc/src/tincd.c:573:6
    6 0x7f826a3eab24 in __libc_start_main (/usr/lib/libc.so.6+0x27b24)

More strict failure code checks in integration tests.

Fix all UBSAN warnings triggered by tests.

GitHub CI: enable AddressSanitizer.

Add tests to cover some of the fixed leaks.

Fix memory leaks triggered by integration tests.

Found by AddressSanitizer and Valgrind.

Fix a few memory leaks at exit time.

Found by Valgrind.

Avoid unhelpful warnings about UDP buffer sizes.

Don't log a warning if we never explicitly configured the
SO_RCVBUF/SO_SNDBUF sizes, and don't warn if the system allocates a
larger buffer than the one requested, as at least on Linux, it will
always double the requested size unless you hit the maximum. With this
change, we only warn when we explicitly request a buffer size and the
system allocated a smaller one.

Don't call OPENSSL_cleanup().

Some versions of LibreSSL don't have this function, even if they support
the rest of the OpenSSL 1.1 API. It also doesn't seem to affect the
output of Valgrind, so it looks like it's not necessary at all.

Call ENGINE_load_builtin_engines().

As suggested by Rosen Penev, use ENGINE_load_builtin_engines() to ensure
the AFALG engines get loaded as well. We apparently also don't need to
call OPENSSL_init_crypto() ourself.

CI: Fix installation of OpenSSL on CentOS and AlmaLinux.

CI: Install and use OpenSSL 1.1 on CentOS 7.

Install OpenSSL 1.1 in the CentOS 7 test environment.

Make tinc --batch --force join enable the tinc-up script.

The expected behavior of --batch --force is that all parameters in the
invitation are accepted, whether unsafe or not. Unsafe variables were
already accepted with --force in commit 061362d2f, this commit ensures
the generated tinc-up script is enabled as well.

Fixes #196 on GitHub.

Require OpenSSL 1.1.0 or later.

This gets rid of some backwards compatibility code, and avoids calling
deprecated OpenSSL functions.

Fixes #244 on GitHub.

Avoid trying to send an ANS_KEY request to unreachable nodes.

We could have a REQ_KEY coming from a node that is not reachable; either
because DEL_EDGEs have overtaken the REQ_KEY, or perhaps if TunnelServer
is used and some nodes have a different view of reachability.

This might fix GitHub issue #247.

Slightly better RNG seed for tincctl.

This prevents the Port from being the same when initializing multiple
instances of tinc in a short timespan.

Add compression.test

Add cleanup hook for integration tests

List supported features in tinc/tincd --version

LZ4: try system library first, fallback to builtin

Add LZ4 compression support

Vendor LZ4 source

.gitignore temporary files (configure~, etc)

sr.ht CI: add liblz4

Needed for testing LZ4 compression support when using the system
library.

Some cleanups in GitHub Actions CI

  - run tests on more Linux distributions
  - add test runs with clang sanitizers (TSAN / UBSAN for now)
  - check code formatting only once
  - check test scripts formatting (shfmt)
  - static analysis for test scripts (shellcheck)
  - save more test logs and other debug info
  - add missing pieces to Ubuntu packages
  - test .debs on clean machine before publishing
  - git clone full history for changelog generation
  - support old versions of git on Linux
  - rename some steps

test/splice.c: reformat with astyle

Check that UNIX socket filenames are not too long.

UNIX socket filenames must fit in a struct sockaddr_un, and typically this
only has about 100 bytes of storage. This is perfectly fine for normal use
of tinc, but this caused failures when running make distcheck, which ends
up creating a rather deep directory structure. With this commit, at least
a proper error message is printed instead of silently truncating the
filename.

Fix running the test suite in out-of-tree builds.

Rewrite the test suite for better compat and stability

Keeps all of the previous checks, but uses tinc scripts
instead of sleep(1) delays.

Improves and/or adds compatibility with:
  - Windows (Msys2);
  - FreeBSD;
  - NetBSD;
  - OpenBSD.

Allow running sptps_test on Windows

On Windows, you're not supposed to call select() on anything except
proper BSD sockets, so we can't reuse the same select() loop that's been
working fine on every other operating system.

This is a hack which reads stdin in a separate thread and pushes data to
the main through a TCP socket, which can then be used with select() instead
of reading stdin directly.

Bail out of logging early.

Low hanging fruit, 2% of perf trace.

ci: run for all branches

(cherry picked from commit 5666f0d99e3698bf4b50d243151cb1a445bb81ea)

src/getopt.h: add missing header guard

(cherry picked from commit c97370e5714389ef44cd5682c0916fcc8daddeff)

Fix overrun in prf() if hmac size not divisible into key size

Not seen only due to chacha having a 64byte key and a 64byte HMAC (SHA512) being used

CI: add support for FreeBSD/NetBSD/OpenBSD through sourcehut

src/tincctl.c: inverse exit code for 'tinc stop' on Windows

On Windows, the `tinc stop` command returned 1 on success and 0 on
failure, which is the opposite of what happens everywhere else.

invitation.c: fix socket error checking on Windows

Update THANKS.

Add a SECURITY.md file describing our security policy.

Run tests on pushes and pull requests

test/legacy-protocol.test: fix intermittent "Cannot read greeting from control socket"

Allow running tests on macOS

Warn if system capped requested socket buffer sizes.

Fail early in send_udp_probe_packet().

Check interval bounds for UDP probe size.

Ensure send_udp_probe_packet len is valid for the buffer size.

perform cheap checks first

minor optimization

Releasing 1.1pre18.

Update THANKS.

Update copyright notices.

Fix usage of @code and @samp commands.

Fix spelling errors.

Found by codespell.

tincctl: restrict umask argument for FORTIFY

`umask(mode)` calls that do not verify `(mode & 0777) == mode` are
rejected when the libc FORTIFY checks are enabled [1].

The unrestricted `~perms` was indeed making this assertion fail.

[1]: https://android.googlesource.com/platform/bionic/+/refs/tags/android-11.0.0_r3/libc/bionic/fortify.cpp#404

Don't try to forward packets to a node we don't have a key for.

If we got a packet that's meant to be relayed, don't call
sptps_send_data() if we don't have a valid key yet for the desination
node, but do keep trying to get a working connection to that node. Based
on a patch from thorkill.

Fix for the event loop on Windows.

The code did not take into account that the return value of
WSAWaitForMultipleEvents() is the offset into the event array plus
WSA_WAIT_EVENT_0.

Based on a patch from arsh0r.

Log errors when add_edge() fails to insert into the edge trees.

This should never happen, but if it does we want to have it at least
logged instead of causing issues later on.

Based on a patch from arsh0r.