Rewrite integration test suite in Python

While the previous test suite ran fine in practice, it relied on
subtle differences in behavior of many UNIX tools, and thus needed GNU
Coreutils on many operating systems to work properly, and didn't work on
"pure" Windows at all.

A simple example would be how different versions of tail handle SIGPIPE
if you pipe its output into another process: GNU tail exits on SIGPIPE
since about 2017 (too lazy to look up the exact version, but this
changed recently), while most other tails continue reading the file and
piping the output into god knows where.

Since we need Python to run the new build system (meson) anyway, let's
use it for the test suite, and get rid of all other test dependencies.

It (currently) requires only the standard library of Python 3.6 or newer.

Unlike the original test suite, this one assigns node names and port
numbers randomly to support `meson test --repeat` (because meson can run
the same test multiple times in parallel, and this breaks with the old
approach).

Also remove old integration tests based on shell scripts.

Update old Python code

- reformat old Python scripts with black
- fix pylint warnings
- fix mypy warnings
- wrap all linters in lint.py
- replace reformat.py with lint.py --fix
- add new linting command: `ninja -C build lint`

Adjust CI to new integration tests

Correct close() function when building with MSVC

The original close() was throwing assertion errors from inside the
Windows libraries because we were trying to close OS handles as file
descriptors.

Allow building sptps_{test,keypair} with MSVC

Run shfmt as part of the reformat target.

Add a reformat.py script and call it from the reformat target. It will run
astyle and shfmt from the source directory.

Improve handling invitation read errors.

Fix a file descriptor leak when something goes wrong while reading an
invitation file. Also check that we read it in full before committing.

Found by cppcheck.

Speed up the authentication protocol security tests.

The security test took 70 seconds, mainly because it consisted of
several subtests that each had to wait for a timeout to pass. Split it
into three tests; two for testing a MITM splicing connections between
tinc daemons using the legacy and SPTPS protocols, the remaining tests
are in a single shell script but now run in parallel.

Reduce log level of SPTPS errors.

SPTPS error messages should not always be logged, they are mostly
low-level details, and serious errors like failing to connect to a node
due to SPTPS issues will be logged by higher layers anyway, so move it
down to log level 3.

Fixes #298 on GitHub.

Prevent underflow when sending UDP probes.

Make sure send_udp_probe_packet() never tries to send a packet smaller
than MIN_PROBE_SIZE, otherwise length calculation could potentially wrap.

Fixes #351 on GitHub.

Make sure version.py runs succesfully even if git is not installed.

Fall back to VERSION file if .git is not present

https://github.com/gsliepen/tinc/issues/358

Disable function attributes on unsupported compilers

Add __packed__ attribute on drop-in structs

Add check for __Static_assert() and asserts on struct sizes

meson: use Python script for version detection

Replace MinGW with Windows to avoid ambiguities

Add support for building tinc with MSVC

Tests are not supported because of their strong dependence on running
under Unix-like environment.

GitHub CI: add MSVC jobs

Mention Windows SDK compat in installation docs

Add dirent.h

readdir() / closedir() / etc for Windows by Toni Rönkkö.

Copied from https://github.com/tronkko/dirent

Don't put the --recursive option in .astylerc.

When calling astyle manually without wildcards in the filename(s),
astyle will refuse to work if the --recursive option is used. Remove it
from .astylerc and add the option to the command line when the "reformat"
build target is used.

Fix compiler warning.

Quash a compiler warning by checking the result of snprintf() and
handling truncation.

Fix building tinc and running tests on Solaris

Add unit tests suite using cmocka library

Move integration tests into a subdirectory

Add cmocka packages to CI jobs

Rearrange conflicting tincd globals

Add support for meson build system

GitHub CI: change build system to meson

sourcehut CI: change build system to meson

Update docs with instructions on building with meson

Move sys/mman.h into have.h

Remove vendored LZ4

Remove autotools configs

Extract common logic in OpenSSL-specific code

Add support for OpenSSL 3.0+

Also use centralized logging for OpenSSL errors.

https://github.com/gsliepen/tinc/issues/347

CI: add tests with OpenSSL 3.0

Remove unnecessary status bitfield conversions.

Replace uint32_t bitfields with bool

This fixes a bunch of bugprone-narrowing-conversions from clang-tidy 12
or newer.

CI: fix running clang-tidy on full sources

CI: run `make distcheck` instead of `make check`

Fix `make distcheck`

`make distcheck` builds and then calls both tinc and tincd with two options:

--version
--help

tincd behavior was changed by 28b7a53b6 to print usage information to
stderr, but automake expects to see a non-empty output from stdout, and
fails distcheck if it's empty.

Move -lssp to LIBS.

Append -lssp to LIBS to ensure the correct order of linking.

CI: Ignore gcrypt sources when running clang-tidy.

CI: Fix missing dependencies for macOS and Windows.

Clang-tidy doesn't like the latest OpenSSL libraries available in Brew,
so disable the clang-tidy test on macOS for now.

Enable hardening flags at the end of the configure script.

Unfortunately some of the autoconf checks themselver trigger compiler
warnings when hardening is enabled and if -Werror is also enabled. Avoid
this by only enabling the hardening flags at the end of the configure
script.

CI: Install netcat-openbsd on Debian.

Enable and fix many extra warnings supported by GCC and Clang.

This enables many extra warning options when hardening is enabled, and
fixes the definition of _FORTITY_SOURCE. -Wshadow is not (yet) enabled,
as this generates quite some warnings that are less trivial to fix.

Fix potential crash during failing PMTU discovery.

If we get PACKET_TOO_BIG responses when sending UDP packets, we lower the
maximum MTU we will probe accordingly. However, after enough of those
responses, maxmtu could drop below zero and wrap. Guard against that by
never dropping maxmtu below the minimum required MTU for UDP communication.

Suppress UBSan warnings in the xoshiro implementation.

Xoshiro relies on the well defined overflow behavior of unsigned
integer, but UBSan complains about it unless we force it to ignore it.

Use xoshiro256** to generate pseudo-random numbers.

Also seed it using /dev/random or whatever equivalent is available.

CI: fix archive name for sanitizer results.

CI: improve sanitizer runs; minor cleanups.

- sanitizers now do the full test run, as in every other job.
- run all test flavors even if one of them fails.
- change big-endian cross build to little-endian MIPS.

Restore libgcrypt support.

Move repeating MIN/MAX macros into dropin.h.

Rename base64 funcs to show they're not RFC-compliant.

CI: run tests with libgcrypt.

Fix memcmp() reading out of bounds in the tinc info command.

Use epoll() if available.

Fix UBSAN warnings in linux/device.c.

linux/device.c:149:11: runtime error: implicit conversion from type 'ssize_t' (aka 'long') of value -1 (64-bit, signed) to type 'size_t' (aka 'unsigned long') changed the value to 18446744073709551615 (64-bit, unsigned)
    #0 0x55e3cb851f84 in read_packet /home/runner/work/tinc/tinc/src/linux/device.c:149:11
    #1 0x55e3cb7bb7fe in handle_device_data /home/runner/work/tinc/tinc/src/net_packet.c:1906:5
    #2 0x55e3cb78e6e0 in event_loop /home/runner/work/tinc/tinc/src/event.c:353:5
    #3 0x55e3cb7a6a90 in main_loop /home/runner/work/tinc/tinc/src/net.c:505:6
    #4 0x55e3cb83d241 in main /home/runner/work/tinc/tinc/src/tincd.c:614:11
    #5 0x7fec881950b2 in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x270b2)
    #6 0x55e3cb757dcd in _start (/home/runner/work/tinc/tinc/src/tincd+0x9adcd)

SUMMARY: UndefinedBehaviorSanitizer: undefined-behavior linux/device.c:149:11 in
linux/device.c:163:23: runtime error: unsigned integer overflow: 18446744073709551615 + 10 cannot be represented in type 'unsigned long'
    #0 0x55e3cb852253 in read_packet /home/runner/work/tinc/tinc/src/linux/device.c:163:23
    #1 0x55e3cb7bb7fe in handle_device_data /home/runner/work/tinc/tinc/src/net_packet.c:1906:5
    #2 0x55e3cb78e6e0 in event_loop /home/runner/work/tinc/tinc/src/event.c:353:5
    #3 0x55e3cb7a6a90 in main_loop /home/runner/work/tinc/tinc/src/net.c:505:6
    #4 0x55e3cb83d241 in main /home/runner/work/tinc/tinc/src/tincd.c:614:11
    #5 0x7fec881950b2 in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x270b2)
    #6 0x55e3cb757dcd in _start (/home/runner/work/tinc/tinc/src/tincd+0x9adcd)

SUMMARY: UndefinedBehaviorSanitizer: undefined-behavior linux/device.c:163:23 in

Fix invalid logger() calls in Solaris device code.

Fix more memory leaks and invalid free() in invitation.c.

Replace pointers to cipher_t/digest_t in connection_t with structs.

Part of #294.

CI: downgrade cross-compilation jobs to debian:buster

Simplify signal handling.

Use an array instead of a splay tree.

Fix UBSAN warnings about conversions and overflows.

CI: use explicit Debian release names.

Currently debian:stable fails because the image on Docker Hub is still
buster, but bullseye is the new stable, and the sources.list URLs are
wrong.

tincd on Windows: call srand() after main2()

On Windows, rand() was returning the same sequence on every service
execution, because srand() was initializing its state only for the
short-lived process.

FreeBSD CI: unbreak clang-tidy.

compiledb does not like the BSD make when running the -j flag.
-n (for some weird reason) also produces an empty file list.

Improve failure detection in the test suite.

hash table fix

Bump the timeout for the sanitizer tests.

Avoid warnings from -fsanitize=integer in the hash functions.

Hash functions rely heavily on unsigned integer overflow behavior, but
the sanitizer complains about them. Instead of disabling the sanitizer
(which might prevent us from getting warnings from real errors), silence
it by explicitly upcasting values to 64-bit integers before applying
operations, then explicitly downcasting to 32-bit again. The compiler
will optimize this out.

Subnet Cache hashtable improvements

 - inline & staticly allocated hash table
 - increased hashtable size (32bit: 1024, 64bit: 65536)
 - re-arrange subnet members
 - Add key type
 - reduce clearing of hash table
 - cleanup key pointer operations
 - removed unused hash_search_or_insert
 - add open addressing to hash table
 - type specific hash functions & hash seeding
 - no collisions for 32bit os
 - implement cache flush by SUBNET_MAC

Use splay trees inside node_t directly.

Replace pointers to global splay trees with structs.

re #294

Make apt stop asking questions when building deb package.

Reduce pointer indirection for global list_t variables

Converted cmdline_conf, connection_list, outgoing_list from
pointer-to-structs to structs.

Created list_empty_list for these structs. This is necessary,
because list_delete_list frees the supplied list_t pointer.

Part of https://github.com/gsliepen/tinc/issues/294

Fix -Wsign-compare error in keys.c

Part of https://github.com/gsliepen/tinc/issues/288

Symlink README to README.md when running make dist.

Since Markdown is perfectly human readable, just create a symlink from
README to README.md when make dist wants it. Also add it to .gitignore.

Rename README to make software forges properly render Markdown.

CI: cross-compilation; build packages on every push.

Build tinc for two architectures frequently seen in cheap routers,
and run tests using qemu user virtualization.

Also build deb + rpm packages and a Windows installer on every push to
the main branch (currently it's 1.1), and publish them as a pre-release.

Use libvdeplug.h instead of libvdeplug_dyn.h

Fix https://github.com/gsliepen/tinc/issues/300

The libvdeplug.h from Debian Unstable is almost identical to the
one from Debian Buster. My making this change, the task of linking
the libvdeplug library is passed to the system dynamic linker at
tincd start time, instead of doing it manually with
libvdeplug_dynopen when vde functionality is actually needed.

This fixes the compilation issue in Ubuntu 21.04 and Debian
Unstable.

Improve invite-join.test reliability on Alpine Linux.

Assign more suitable types and fix narrowing conversion warns.

GitHub CI: check project for warnings with clang/gcc.

CI (GitHub & sourcehut): add clang-tidy checks.

Un-ignore .clang-tidy and enable conversion warnings.

... except for cryptographic functions, best leave that to the experts
that have written them. They produce a lot of warnings, so place a
couple of dummy .clang-tidy files there to ignore everything.

Support running tests on NetBSD 8.2.

Remove unused argument from tunemu_write.

Remove unused function rsa_active.

Remove unused types.

Remove unused declarations.

Remove unused struct fields.

Remove unused global variables.

Remove unused '#include's.

Add tests for the fsck command.

Also, allow running tests as non-root and elevate as necessary. This
requires passwordless sudo and the CI envvar set to any non-empty value.

Cleanup and improve `tinc fsck`.

- implement TODOs
- fix an invalid warning:
WARNING: public and private RSA keys do not match
- use the same configuration reading & parsing logic as in tincd
- read keys from all supported variables
- auto fix a few more broken key configurations
- fix a couple of rare memory leaks
- add warnings for host variables in server config and vice versa
- check duplicates for all configuration variables (not the first 50)
- check_conffile had a stack-buffer-underflow with going before the start of the line

Allow using key & configuration parser from tincd in tinc.