我们在公共数据中心租用了许多主机。数据中心不提供专用 VLAN；所有主机都会收到一个（或多个）公共 IPv4/IPv6 地址。这些主机配备了非常现代的 CPU（Haswell 四核，3.4GHz）并具有 Gbit 上行链路。数据中心的不同区域（房间？楼层？建筑物？）相互连接 - 据我所知 - Gbit 或 500Mbit 链路。我们的主机正在运行 debian wheezy。目前，我们运行的主机略高于 10 台，预计在不久的将来会有所增长。
我正在寻找一种让所有主机安全且保密地相互通信的方法。第 3 层很好，第 2 层还可以（但不是必需的）。由于我无法访问 VLAN，因此它必须是某种 VPN。
对我来说重要的是：
- 高吞吐量，理想情况下接近线速
- 分散的网状架构 - 这是为了确保吞吐量不会被中心元素（例如 VPN 集中器）减慢
- CPU 占用并不过分（考虑到 AESNI 和 GCM 密码套件，我希望这不是一个荒谬的要求）
- 操作易用性；设置起来不太复杂；网络可以在不丢失已建立连接的情况下增长
我们目前正在使用tinc。它勾选了 [2] 和 [4]，但我仅达到了 960Mbit/s 线速的大约 600Mbit/s（单工），而且我完全失去了一个核心。此外，目前正在开发的 tinc 1.1 还不是多线程的，所以我坚持使用单核性能。
传统的 IPSec 是不可能的，因为它需要一个中心元素，或者需要配置大量隧道（以实现 [2]）。具有机会加密的 IPsec 将是一种解决方案，但我不确定它是否会成为稳定的生产代码。
我今天偶然发现了tcpcrypt。除了缺少身份验证，它看起来像我想要的。用户空间实施闻起来很慢，但所有其他 VPN 也是如此。他们谈到了内核实现。我还没有尝试过，并且对它在 [1] 和 [3] 中的表现很感兴趣。
还有哪些其他选择？不在AWS 上的人在做什么？
附加信息
我对 GCM 很感兴趣，希望它能减少 CPU 占用。请参阅英特尔关于该主题的论文。在与一位 tinc 开发人员交谈时，他解释说即使使用 AESNI 进行加密，HMAC（例如 SHA-1）在 Gbit 速度下仍然非常昂贵。
最终更新
传输模式下的 IPsec 运行良好，完全符合我的要求。经过多次评估，我选择了 Openswan 而不是 ipsec-tools，仅仅是因为它支持 AES-GCM。在 Haswell CPU 上，我测量了大约 910-920Mbit/秒的单工吞吐量，大约 8-9% 的 CPU 负载为 1.0 kworkerd。
你不想要的是VPN。您确实想要的是 IPsec，但不是隧道模式。相反，您希望 IPsec 处于传输模式。
在此配置中，每个主机直接与其对等方通信，并且仅对数据包有效负载进行加密，将 IP 标头保留在适当的位置。这样，您无需进行任何路由体操即可使事情正常进行。
是的，每个主机都需要一个 IPsec 连接节（除非您的主机被分组在一个子网中，在这种情况下，您可以通过 CIDR 块来执行此操作），但是这些可以很容易地由您的配置管理系统以编程方式生成。
您没有询问配置细节，但如果您需要一些指示（关于传输模式的可靠信息并不多），您可以参考我最近写的这篇博文。