TJ Zimmerman's questions

TL;DR：我的管理程序存储存在一些性能问题。这里有一堆测试结果来自fio. 跳到该Results部分阅读它们并查看我的问题。

概括

我最近购买了 R730xd，因此在迁移到它之前，我想确保存储性能最佳。我一直在使用fio进行一些基准测试，并发现了一些令人震惊的结果。使用这些结果和fio-plot的组合，我积累了相当多的图形和图表，这些图表和图表展示了我的各种存储后端的问题。

但是，我很难将其转化为可用信息，因为我没有任何东西可以与之比较。而且我认为我遇到了一些非常奇怪的性能问题。

磁盘配置

以下是暴露给我的管理程序 (Proxmox) 的四种存储类型：

╔═══════════╦════════════════════════════════╦═════════════╦════════════════════════════╗
║  Storage  ║            Hardware            ║ Filesystem  ║        Description         ║
╠═══════════╬════════════════════════════════╬═════════════╬════════════════════════════╣
║ SATADOM   ║ 1x Dell K9R5M SATADOM          ║ LVM/XFS     ║ Hypervisor filesystem      ║
║ FlashPool ║ 2x Samsung 970 EVO M.2 SSD     ║ ZFS RAID 1  ║ Hypervisor Compute Storage ║
║ DataPool  ║ 6x HGST 7200RPM HDD            ║ ZFS RAID 10 ║ Redundant Data Storage     ║
║ RAIDPool  ║ 6x Seagate/Hitachi 7200RPM HDD ║ HW RAID 10  ║ General Purpose Storage    ║
╚═══════════╩════════════════════════════════╩═════════════╩════════════════════════════╝

存储详细信息

以下是每个存储后端的更详细细分：

1. SATADOM：SATADOM由 Proxmox 通过 LVM 直接管理。这是来自 的输出lvdisplay pve。SATADOM 通过内部 DVD-ROM SATA 端口连接到服务器，因为它在R730xd模型中未使用。

2. FlashPool：这FlashPool是一个简单的 ZFS RAID 1，由双 NVMe SSD 组成。目标是将其用作我的虚拟机的后备存储。以下是以下输出：

    zpool list  
    zpool status  
    zfs get all
   

   中的每个 SSD都通过安装在 x16 PCIe 插槽中的PCI-E -> M.2 适配器FlashPool连接到服务器。我知道这些是 x4 PCIe 适配器。但是，我很确定 NVMe 只能以这种速度运行，因此不会制造更快的适配器。

3. DataPool：这DataPool是唯一预先存在的数据集。它已有几年的历史，以前用于数据和 VM 存储，从而损害了性能。它也由 Proxmox 作为 ZFS RAID 10 进行管理。

   它最初由6x 4TB HGST Ultrastar 7K4000 7200RPM磁盘组成。但是，当它们开始出现故障时，我决定用更高密度的磁盘替换它们。因此，该数组现在包括：

    2x 6TB HGST Ultrastar He6 7200RPM  
    4x 4TB HGST Ultrastar 7K4000 7200RPM 
   

   我显然打算最终完全迁移到 6TB 磁盘，因为旧磁盘继续出现故障。以下是上面发布的相同命令的输出FlashPool。

   这 6 个磁盘通过背板上的前 6 个托架连接到服务器。此背板连接到 Dell H730 Mini PERC RAID 控制器。

4. RAIDPool：这RAIDPool是一个实验性的存储后端。我以前从未使用过硬件 RAID，所以现在我有一个合适的 RAID 控制器，我为这个机会感到兴奋。与 类似DataPool，这些磁盘安装在背板上的最后 6 个托架中。但是，它们不是传递给 Proxmox，而是由 PERC 管理。它们作为单个磁盘呈现给 Proxmox，然后由 LVM 管理并通过逻辑卷作为 XFS 文件系统呈现给操作系统。这是来自 的输出lvdisplay RAIDPool。

RAID 控制器配置

因此，您可能刚刚注意到DataPool和RAIDPool都由 H730 RAID 控制器安装和管理。但是，DataPool由 Proxmox 通过 ZFSRAIDPool管理，由实际控制器管理。

这是物理磁盘拓扑的屏幕截图。H730 能够将磁盘直接传递到操作系统并同时管理其他磁盘。如您所见，前 6 个磁盘配置为Non-RAIDmode，后 6 个磁盘配置为Onlinemode。

• 以下是 iDRAC UI 中为控制器配置的属性。
• 为虚拟磁盘 ( ) 上的回写和预读启用磁盘缓存RAIDPool。由于这是专门为 VD 配置的，因此不会影响 ZFS 驱动器。
• 非 RAID磁盘的 Dick Cache (ZFS DataPool) 设置为Disable.
• 所有驱动器的链接速度设置为auto。

此外，在再次完成所有设置后，我启用Write Cache了嵌入式 SATA 控制器。因此，这可能会提高SATADOM以下基准中所见的性能。

基准测试：

我以两种方式对所有这些存储后端进行了基准测试。对于这两个测试，我在一个小的 shell 脚本中运行了一系列fio-plot命令，将结果转储到几个文件夹中。

如果您很疯狂并且想自己解析原始结果，那么它们就是. 您需要稍微调整一下我的脚本才能重新运行，因为我在上传之前移动了目录结构来组织它。

简而言之，他们针对每个存储后端进行了一系列测试，评估了其RANDOM带宽、IOPS 和延迟。然后它将这些结果绘制在图表上。一些图表比较了多个后端。其他图表仅显示来自各个后端的结果。我没有执行任何顺序测试。在所有情况下，默认块大小都用于测试。

测试 1)在 Proxmox 中，我将所有存储后端安装到/mnt目录中。ZFS 池被简单地导入操作系统，RAIDPool 和 RAIDPoolSATADOM都通过 LVM 呈现给操作系统。每个都有一个格式化为 XFS 分区的逻辑卷，用于基准测试。注意：我从实时操作系统运行这些基准测试，因此性能SATADOM会受到相应影响。

• 比较图
• 个别图表

使用以下命令生成日志文件：

./bench_fio --target /mnt/SATADOM_Data/bm --type directory --size 450M --mode randread randwrite --output SATADOM
./bench_fio --target /mnt/RAIDPool_Data/bm --type directory --size 1G --mode randread randwrite --output RAIDPOOL
./bench_fio --target /mnt/DataPool/bm/ --type directory --size 1G --mode randread randwrite --output DATAPOOL
./bench_fio --target /mnt/FlashPool/bm/ --type directory --size 1G --mode randread randwrite --output FLASHPOOL

测试 2)我在 Proxmox 中创建了三个虚拟机。FlashPool每个都使用与、DataPool和不同的后备存储RAIDPool。和FlashPoolDataPool VM 在它们自己的 ZFS 数据集中运行。VM 在其RAIDPool自己的厚配置逻辑卷上运行。所有三个虚拟机都被分配了 4 个 vCPU 和 40GB 内存。

• 比较图
• 个别图表

使用以下命令生成日志文件：

./bench_fio     --target /fio     --type file     --size 1G     --mode randread randwrite     --duration 600     --output DATAPOOL_VM
./bench_fio     --target /fio     --type file     --size 1G     --mode randread randwrite     --duration 600     --output RAIDPOOL_VM
./bench_fio     --target /fio     --type file     --size 1G     --mode randread randwrite     --duration 600     --output FLASHPOOL_VM

结果：

上述 Imgur 链接中的图表都应按相同的顺序排列。两个基准测试的结果有很大不同。但是，当您考虑到虚拟化的开销时，这是可以预料的。我没想到的是，它们的行为似乎都差不多。

• 例如，此图表显示，当fio从 VM 内运行时，平均写入带宽约为 125 MB/s。RAID 1 ( ) 中的两个 NVMe SSD 不应该FlashPool大大优于SATADOM吗？相反，您可以看到FlashPoolVM 完成测试所用的时间最长，并且平均写入带宽最慢。在写入 IOPS比较中可以看到相同的情况——平均 IOPS 约为 3,000，FlashPoolVM 执行测试的时间最长！

• 抛开从虚拟机内部获取的基准，转而查看通过直接与虚拟机管理程序的存储交互所获取的基准，我们可以看到一些不同的行为。例如，在这个测试FlashPool中，和的写入带宽DataPool高达 400MB/s。但是，RAIDPool平均性能为 10MB/s 左右。巧合的是，与SATADOM? 当然，RAIDPool应该与DataPool? 鉴于它们由相同 RAID 控制器中存在的类似磁盘组成？与上面类似，Write IOPS显示了同样的离奇故事。

• 来自 Hypervisor 测试的写入延迟似乎也很不寻常。似乎比 ZFS 池的RAIDPool延迟要差十倍？但是，如果你翻到VM 测试，三个存储后端的延迟似乎集中在 300 微秒左右。这与我们在 WORST 演员阵容中看到的非常相似RAIDPool。当测试是从虚拟机而不是管理程序运行时，为什么这种平滑效果会发生在写入延迟上？为什么 ZFS 池的延迟突然变得如此糟糕，并且可以与RAIDPool?

• 查看读取带宽、IOPS 和延迟显示了类似的情况。从 VM 中进行基准测试时，尽管硬件配置大不相同，但所有指标都同样缓慢。但是，一旦从虚拟机管理程序进行基准测试，ZFS 池的性能会突然大大超过其他所有东西吗？

  • 读取带宽 1

  • 读取带宽 2

  • 读取 IOPS 1

  • 读取 IOPS 2

  • 读取延迟 1

  • 读取延迟 2

问题：

1. 这些结果是不正常的……对吧？该网站的基准测试显示970 EVO 实现了超过 900MB/s 的随机写入速度。为什么我的在管理程序上只有150MB/s而在 VM 上只有 10MB/s？当从虚拟机管理程序和虚拟机进行基准测试时，为什么这些速度如此不同？

2. 为什么RAIDPool从 Hypervisor 进行基准测试时突然变得异常缓慢？在这里，我们看到 VM 中的读取带宽平均为 20MB/s。但是，从管理程序，它改为报告 4MB/s。就像我在问题 1 中展示的基准测试一样，这些读取速度不应该接近900MB/s吗？

3. 为什么从虚拟机而不是虚拟机管理程序中进行基准测试时，ZFS 池的性能突然显着变差？例如，在这里我们可以看到平均读取 IOPS 约为 200,000，延迟低于 650us。但是，当从VM 内部进行基准测试时，我们会突然发现读取 IOPS 平均约为 2,500，延迟增加了四倍多？两种情况下的表现不应该差不多吗？

概括

我正在尝试使用 Kubeadm 在 AWS 上引导 Kubernetes 集群。请在您提出建议之前，我对使用 EKS 或其他引导解决方案（如 Kops、Kubespray 等）不感兴趣。

似乎有很多关于正确程序的不准确信息，这是由于云提供商集成不是在树外而不是树内管理的分裂。因此，我一直在努力弄清楚如何正确设置此集成。

要求

官方回购指出了三个要求。

1) 您必须使用参数初始化kubelet、kube-apiserver和。如果我理解正确，这允许您使用 out of tree 提供程序。在这里使用将使用在弃用时间表上的树内提供程序。kube-controller-manager--cloud-provider=externalaws

2) 您必须创建两个 IAM 策略，将它们与 IAM 实例配置文件关联，并启动附加了所述策略的 Kubernetes 节点。

3) 集群中的每个节点必须具有与底层 EC2 实例关联的相同主机名作为其Private DNS名称。

除此之外，我相信曾经需要将以下标签附加到您的 EC2 实例、路由表、安全组和子网。我也做了很好的措施：

"kubernetes.io/cluster/${var.K8S_CLUSTER_NAME}" = "kubernetes.io/cluster/${var.K8S_CLUSTER_NAME}"

问题

然而，尽管如此，当我的工作节点在引导后上线时，它们应用了以下污点：

node.cloudprovider.kubernetes.io/uninitialized: true

这显然意味着节点尚未由云提供商初始化。我真的不知道从这里去哪里。有一个关于如何使用云提供商与 AWS 集成的额外说明的公开请求，但目前不满意。

我的配置

您可能已经注意到我在该问题上发表了评论，并详细说明了我的问题。这是我的环境详细信息的摘要，表明我应该符合列出的要求。

1) 我的 Kubeadm 配置文件将云提供商设置为external四个地方

KubeletConfiguration 和 InitConfiguration

nodeRegistration:
  kubeletExtraArgs:
    cloud-provider: external

集群配置

apiServer:
  extraArgs:
    cloud-provider: external

集群配置

controllerManager:
  extraArgs:
    cloud-provider: external

2) 我的 EC2 实例是使用带有自述文件中概述的 IAM 策略的实例配置文件启动的：

$> aws ec2 describe-instances --instance-ids INSTANCE.ID | jq '.Reservations[].Instances[].IamInstanceProfile[]'
"arn:aws-us-gov:iam::ACCOUNT.ID:instance-profile/PROFILE-NAME"

3) 主机名是 EC2 私有 DNS 名称：

$> hostname -f
ip-10-0-10-91.us-gov-west-1.compute.internal

4) EC2 实例以及我的路由表、子网等标记为：

"kubernetes.io/cluster/${var.K8S_CLUSTER_NAME}" = "kubernetes.io/cluster/${var.K8S_CLUSTER_NAME}"

结果，看起来我符合所有要求，所以我不确定为什么我的节点仍然带有那个污点。任何帮助将不胜感激！

编辑

我已将每个实例上的标签更新为：

"kubernetes.io/cluster/${var.K8S_CLUSTER_NAME}" = "owned"

并将此标签添加到每个子网：

"kubernetes.io/role/internal-elb" = 1

然而，这并没有解决问题。

编辑 2

其他地方的用户建议问题可能是我没有应用repo清单目录中存在的 RBAC 和 DaemonSet 资源cloud-provider-aws。使用此图像执行此操作后，我可以确认这并没有解决我的问题，因为根据 Pod 在启动时生成的日志，aws-cloud-controller-manager似乎期望您使用not external`：aws

Generated self-signed cert in-memory

Neither --kubeconfig nor --master was specified.  Using the inClusterConfig.  This might not work.

Version: v0.0.0-master+$Format:%h$

WARNING: aws built-in cloud provider is now deprecated. The AWS provider is deprecated and will be removed in a future release

Building AWS cloudprovider

Zone not specified in configuration file; querying AWS metadata service

Cloud provider could not be initialized: could not init cloud provider "aws": clusterID tags did not match: "example-14150" vs "True"

编辑 3

我使用提交时的 repo 构建了一个新图像6a14c81。可以在这里找到。aws默认情况下似乎也使用提供程序？

Cloud provider could not be initialized: could not init cloud provider "aws": clusterID tags did not match: "example-14150" vs "True"

我在 RHEL 7 上配置了一个 Kubernetes 集群并将 Calico 部署到它。在我 SSH 到主节点并暂时禁用 iptables 之前，主节点和工作节点上运行的calic-nodepod 不会变为。readysystemctl stop iptables

我已经在主服务器上配置了 iptables 以允许通过 TCP 对6443、2379:2380和的传入访问10250:10252。因此，应根据记录的所需端口正确配置它。毕竟，节点能够加入集群，kubeadm join这需要能够与主节点联网6443。

我正在尝试在 RHEL 7.8 上引导 Kubernetes 集群，但我的防火墙出现了一些问题。

nftablesKubernetes不支持，iptables-legacy必须安装。虽然该iptables-legacy软件包存在于 Debian Buster 等发行版中，但它似乎不适用于 RHEL 7。但是，本文提到了安装iptables-services、禁用firewalld和启用iptables。文章中的相关材料是：

yum install iptables-services.x86_64 -y
systemctl stop firewalld.service
systemctl disable firewalld.service
systemctl mask firewalld.service
systemctl start iptables
systemctl enable iptables
systemctl unmask iptables
iptables -F
service iptables save

在此之后，如果我iptables --version在服务器上运行，我可以看到它1.4.2已安装。由于这比上面链接的 GitHub 问题所暗示的 1.8 旧，所以这个版本应该没问题。

在kubeadm join从我的工作节点运行之前，以下 Ansible 任务针对我的主节点运行以配置iptables：

- iptables:
    chain: INPUT
    destination_port: "{{ port }}"
    jump: ACCEPT
    protocol: tcp
  loop:
    - 6443
    - 2379:2380
    - 10250:10252
  loop_control:
    loop_var: port

- command: service iptables save

- systemd:
    name: iptables
    state: restarted

这对我的节点进行配置iptables：

- iptables:
    chain: INPUT
    destination_port: "{{ port }}"
    jump: ACCEPT
    protocol: tcp
  loop:
    - 10250
    - 30000:32767
  loop_control:
    loop_var: port

- command: service iptables save

- systemd:
    name: iptables
    state: restarted

在此之后，我可以确认该规则存在于内存中：

$> iptables -S | grep 6443
-A INPUT -p tcp -m tcp --dport 6443 -j ACCEPT

然后，当我kubeadm join从工作节点运行时，它无法连接：

I0406 22:07:19.205714    5715 token.go:73] [discovery] Created cluster-info discovery client, requesting info from "https://192.168.50.10:6443"
I0406 22:07:19.206720    5715 token.go:78] [discovery] Failed to request cluster info: [Get https://192.168.50.10:6443/api/v1/namespaces/kube-public/configmaps/cluster-info?timeout=10s: dial tcp 192.168.50.10:6443: connect: no route to host]
I0406 22:07:19.206749    5715 token.go:191] [discovery] Failed to connect to API Server "192.168.50.10:6443": Get https://192.168.50.10:6443/api/v1/namespaces/kube-public/configmaps/cluster-info?timeout=10s: dial tcp 192.168.50.10:6443: connect: no route to host
I0406 22:07:24.207648    5715 token.go:188] [discovery] Trying to connect to API Server "192.168.50.10:6443

但是，如果我systemctl stop iptables在主节点上，那么工作节点可以毫无问题地加入。向我表明主服务器上的防火墙配置错误？

我在我的环境中的服务器上运行了 PowerDNS Authoritative & Recursor。当我将此节点用作我的 DNS 服务器时，它会毫无问题地响应 A 记录查询。但是，当我尝试执行反向查找时，它失败了。知道为什么吗？

以下是展示该行为的一些 DNS 查找的屏幕截图。

这是描述Mars正向查找区域中的 A 记录配置的屏幕截图。

这Mars是一个屏幕截图，描述了在反向查找区域中自动创建的 PTR 记录。

这是pdns.conf文件。

这是recursor.conf文件。

编辑：我应该提到 Pi-Hole 位于前面并将请求中继到 PowerDNS。但是，如果我指示 dig 直接针对 PowerDNS 执行查找，结果是相同的：

向前：

$> dig mars.sol.milkyway @192.168.1.110

; <<>> DiG 9.10.6 <<>> mars.sol.milkyway @192.168.1.110
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 19842
;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;mars.sol.milkyway.     IN  A

;; ANSWER SECTION:
mars.sol.milkyway.  2812    IN  A   192.168.30.10

;; Query time: 3 msec
;; SERVER: 192.168.1.110#53(192.168.1.110)
;; WHEN: Sun Oct 06 18:35:50 PDT 2019
;; MSG SIZE  rcvd: 62

撤销：

$> dig -x 192.168.30.10 @192.168.1.110

; <<>> DiG 9.10.6 <<>> -x 192.168.30.10 @192.168.1.110
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 32029
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 512
;; QUESTION SECTION:
;10.30.168.192.in-addr.arpa.    IN  PTR

;; AUTHORITY SECTION:
168.192.in-addr.arpa.   1687    IN  SOA localhost. root. 1 604800 86400 2419200 604800

;; Query time: 4 msec
;; SERVER: 192.168.1.110#53(192.168.1.110)
;; WHEN: Sun Oct 06 18:31:53 PDT 2019
;; MSG SIZE  rcvd: 104

我遇到了似乎与 DNS 相关的问题，希望能得到一些帮助来解决。

我正在使用 Ansible 在我的 Proxmox 服务器上配置 Kubernetes 集群。该项目以两种方式工作，让用户修改site.yml以使用Linux Containers (LXC)或来自 CentOS7 qcow2 映像的虚拟机进行部署。

使用 LXC 进行部署时，项目没有遇到任何问题并正确引导 Kubernetes 集群。但是，在使用该qcow2图像时，我遇到了似乎与 DNS 相关的问题。当配置我的虚拟机的剧本与第一次连接到它们以准备它们的剧本之间发生转换时，就会发生这种情况。

发生的情况是，该Gathering Facts阶段最终超时并且 Ansible 抛出以下错误：

TASK [Gathering Facts] *******************************************************************************************************************************************************************************************************************************************************
fatal: [pluto.sol.milkyway]: UNREACHABLE! => {"changed": false, "msg": "Failed to connect to the host via ssh: ssh: connect to host pluto.sol.milkyway port 22: Operation timed out\r\n", "unreachable": true}
fatal: [ceres.sol.milkyway]: UNREACHABLE! => {"changed": false, "msg": "Failed to connect to the host via ssh: ssh: connect to host ceres.sol.milkyway port 22: Operation timed out\r\n", "unreachable": true}
fatal: [eris.sol.milkyway]: UNREACHABLE! => {"changed": false, "msg": "Failed to connect to the host via ssh: ssh: connect to host eris.sol.milkyway port 22: Operation timed out\r\n", "unreachable": true}
fatal: [haumea.sol.milkyway]: UNREACHABLE! => {"changed": false, "msg": "Failed to connect to the host via ssh: ssh: connect to host haumea.sol.milkyway port 22: Operation timed out\r\n", "unreachable": true}

如果发生这种情况后，我尝试手动 SSH 连接到服务器，我可以验证 SSH 连接需要很长时间。在这一点上，我想提醒您，使用相同的主机名、IP 地址和名称服务器的 LXC 实例不会发生这种情况。

然后可以通过在每台服务器上的UseDNS no我的文件中设置指令来解决该问题。sshd_config并在重新启动后再次运行剧本sshd.service。

所以，很自然，这看起来像是一个 DNS 问题。但是，由于 LXC 不会发生这种情况，我对此表示怀疑。所以这里有一些关于我的 DNS 配置的数据点。

1)他们都使用的 DNS 服务器是 BIND 并且安装在IO.Sol.Milkyway名为192.168.1.10. 我的 homelab 中没有 VNet 或子网或任何东西，网关已正确设置到我的路由器，192.168.1.1因此该服务器没有路由问题。

2)这是我的 BIND 服务器上 DNS 区域的相关部分。

• 正向查找区
• 反向查找区

3)以下是从 Proxmox 服务器执行的一些nslookups，并附加了time命令以证明我的 BIND 服务器在 <= .01 秒内正确响应。

$> time nslookup pluto.sol.milkyway
Server:     192.168.1.100
Address:    192.168.1.100#53

Name:   pluto.sol.milkyway
Address: 192.168.1.170

nslookup pluto.sol.milkyway  0.00s user 0.02s system 39% cpu 0.042 total

-和-

$> time nslookup 192.168.1.170
Server:     192.168.1.100
Address:    192.168.1.100#53

170.1.168.192.in-addr.arpa  name = pluto.sol.milkyway.

nslookup 192.168.1.170  0.01s user 0.01s system 96% cpu 0.013 total

4)最后，您可以通过此处cloud-init的第104、115、126 和 137 行在VM 上正确配置我的名称服务器。其中引用了此处定义的变量。

-----以下编辑-----

5）我能够从以下成功执行正向和反向 nslookup。每个响应需要 < 1.5 秒：

• 我的个人工作站（执行 Ansible）
• 我的 Proxmox 服务器（运行 Ansible 命令和虚拟机）
• 4 台虚拟机

这是Kubernetes 主服务器的示例。