我们在公共数据中心租用了许多主机。数据中心不提供专用 VLAN；所有主机都会收到一个（或多个）公共 IPv4/IPv6 地址。这些主机配备了非常现代的 CPU（Haswell 四核，3.4GHz）并具有 Gbit 上行链路。数据中心的不同区域（房间？楼层？建筑物？）相互连接 - 据我所知 - Gbit 或 500Mbit 链路。我们的主机正在运行 debian wheezy。目前，我们运行的主机略高于 10 台，预计在不久的将来会有所增长。
我正在寻找一种让所有主机安全且保密地相互通信的方法。第 3 层很好，第 2 层还可以（但不是必需的）。由于我无法访问 VLAN，因此它必须是某种 VPN。
对我来说重要的是：
- 高吞吐量，理想情况下接近线速
- 分散的网状架构 - 这是为了确保吞吐量不会被中心元素（例如 VPN 集中器）减慢
- CPU 占用并不过分（考虑到 AESNI 和 GCM 密码套件，我希望这不是一个荒谬的要求）
- 操作易用性；设置起来不太复杂；网络可以在不丢失已建立连接的情况下增长
我们目前正在使用tinc。它勾选了 [2] 和 [4]，但我仅达到了 960Mbit/s 线速的大约 600Mbit/s（单工），而且我完全失去了一个核心。此外，目前正在开发的 tinc 1.1 还不是多线程的，所以我坚持使用单核性能。
传统的 IPSec 是不可能的，因为它需要一个中心元素，或者需要配置大量隧道（以实现 [2]）。具有机会加密的 IPsec 将是一种解决方案，但我不确定它是否会成为稳定的生产代码。
我今天偶然发现了tcpcrypt。除了缺少身份验证，它看起来像我想要的。用户空间实施闻起来很慢，但所有其他 VPN 也是如此。他们谈到了内核实现。我还没有尝试过，并且对它在 [1] 和 [3] 中的表现很感兴趣。
还有哪些其他选择？不在AWS 上的人在做什么？
附加信息
我对 GCM 很感兴趣，希望它能减少 CPU 占用。请参阅英特尔关于该主题的论文。在与一位 tinc 开发人员交谈时，他解释说即使使用 AESNI 进行加密，HMAC（例如 SHA-1）在 Gbit 速度下仍然非常昂贵。
最终更新
传输模式下的 IPsec 运行良好，完全符合我的要求。经过多次评估，我选择了 Openswan 而不是 ipsec-tools，仅仅是因为它支持 AES-GCM。在 Haswell CPU 上，我测量了大约 910-920Mbit/秒的单工吞吐量，大约 8-9% 的 CPU 负载为 1.0 kworkerd。