主页 / server / 问题

问题[write](server)

Martin Hope
Paul Smith
Asked: 2020-03-04 08:55:42 +0800 CST
  • 1

我有一个带有 6 个 SSD 的服务器和一个支持 RAID 10 和 RAID 50 的 RAID 控制器卡，计划将其用作我们的构建服务器。它将引入 NPM 包和许多小代码文件，编译和上传人工制品。

我们目前有一台服务器正在执行此操作，它正在针对 IO 瓶颈运行（它当前使用的是 RAID1 配置中的非 SSD 驱动器）。

RAID 50 和 RAID 10 中哪种 RAID 配置最适合性能？

从用例来看，IO 将主要是小文件的写入（随机写入）。磁盘空间和正常运行时间不是主要问题，因为我们有故障转移并且重建服务器很简单。所以我不关心在拆除阵列之前有多少驱动器故障等，唯一的考虑是性能。

RAID0 已被官僚机构排除在外。

我想真正的问题是奇偶校验的计算是否比总是写入同一个镜像磁盘需要更长的时间？

performance io raid raid10 write
Martin Hope
SvennD
Asked: 2017-01-05 06:06:48 +0800 CST
  • 30

我们将有一台机器在工作，它在峰值性能下应该能够每小时推送50（“写头”）x 75GB的数据。这是约 1100MB/s 写入速度的峰值性能。要从机器上得到它，它需要两条 10GBi 线。我的问题是什么样的服务器+技术可以处理/存储这样的数据流？

目前对于数据存储，我们使用 ZFS，尽管写入速度从来都不是问题。（我们甚至没有接近这些速度）ZFS（Linux 上的 zfs）会是一个选项吗？我们还需要存储大量数据，“IT 指南”建议总共在 50-75 TB 之间。因此，除非我们想提供我们的第一个孩子，否则它可能不会都是 SSD。

基于优秀回复的一些补充：

  • 峰值期间最大值为 50x75GB/小时，小于 24 小时（很可能 <6 小时）
  • 我们预计这不会很快发生，我们很可能会以 5-10x75GB/小时的速度运行
  • 它是一个 pre-alpha 机器，但是应该满足要求（即使有很多问号在起作用）
  • 我们将使用NFS作为从机器到服务器的连接
  • 布局：生成机->存储（这个）->（安全RAID 6）->计算集群
  • 所以读取速度不是必需的，但是从计算集群中使用它会很好（但这完全是可选的）
  • 很可能是大数据文件（不是很多小文件）
performance zfs storage write
Martin Hope
Gruja
Asked: 2016-06-09 04:47:56 +0800 CST
  • 0

我尝试在新文件中写入一些数据时在 nagios3 中创建脚本/命令，但 nagios 不会这样做。我尝试了这个简单的 bash 命令：

printf "something" > /path-to-file/new-file

但是 nagios 不打开/写入文件。我尝试直接定义 nagios 突击队并制作 bash 脚本并从 nagios 开始，但同样 - 没有任何反应。

看起来像：

define command{ command_name service-notify-sms command_line /usr/bin/printf '%s\n\n%s\n%s\n%s' "To: $CONTACTPAGER$ " "Service : $SERVICEDESC$ " "State: $SERVICESTATE$ " "Date/Time: $LONGDATETIME$ " > /var/spool/sms/outgoing/$CONTACTPAGER$ }

define contact{ service_notification_commands service-notify-sms host_notification_commands host-notify-sms

我想在 nagios 需要一些权限来写文件还是我想错了？也许 nagios 不能写入文件或有其他命令，而不是标准的 bash ">"？

它在 /var/log/syslog 中查找：

Jun 13 08:58:00 nagios nagios3: HOST NOTIFICATION: user-sms;Nagios;CUSTOM (UP);host-notify-sms;OK - localhost responds to ICMP. Packet 1, rtt 0.010ms;nagiosadmin;test

我只提出了一个问题：在 Nagios 是否可以写入文件？有人这样做吗？

nagios command write
Martin Hope
Wikser
Asked: 2010-04-13 11:53:35 +0800 CST
  • 3

今天，我粗略地测量了在工作服务器上启用 RAID 控制器回写的好处。它没有 RAID 电池备份单元 (BBU)，因此当前禁用了写入缓存。由于服务器尚未使用容量（到目前为止），因此大多数测试的结果都非常出色，例如：

  • 数据库 CRUD：35s 前，4s 后
  • 保存 1MB Excel 文件：之前：20 秒（！），之后：0.5 秒

当然，始终建议使用 BBU，但是将 BBU 安装到具有冗余电源并连接到 UPS 的系统中的主要好处是什么？这是否取决于系统的类型（数据库、文件、终端）？

BBU 可以防止的实际故障情况是什么？

提前致谢！

cache ups raid write bbu
Martin Hope
racitup
Asked: 2010-01-28 23:10:12 +0800 CST
  • 0

我们编写了一个应用程序，该应用程序在同一个本地卷 (RAID1) 上一次对多个文件执行小 (22kB) 写入（一个线程代表其他线程对多个位置执行异步排队写入）。
99.9% 的写入是低延迟的，但偶尔（可能每分钟或两分钟）我们会收到一两个巨大的延迟写入（我见过 10 秒及以上）而没有任何真正的解释。

平台：带 NTFS 的 Win2003 服务器。
监控：Sysinternals Process Monitor（参见下面的链接）和我们自己的应用程序日志记录。

我们已经尝试了多种方法来尝试解决从一些网站收集到的这个问题，例如：

  • 使文件名的第一部分唯一以帮助 8.3 名称生成

  • 将文件写入多个目录

  • 更改英特尔磁盘写入缓存

  • Windows 文件/打印机共享

    • 最小化内存使用

    • 平衡

    • 最大化文件共享的数据吞吐量

    • 最大化网络应用程序的数据吞吐量

  • 系统->高级->性能->高级

  • NtfsDisableLastAccessUpdate - 使用 fsutil 行为设置 disablelastaccess 1

  • 禁用 8.3 名称生成 - 使用“fsutil 行为集 disable8dot3 1”+ 重新启动

  • 启用大尺寸文件系统缓存

  • 禁用内核代码的分页

  • IO 页面锁定限制

  • 关闭（或打开）索引服务

但似乎没有什么太大的不同。有很多事情我们还没有尝试过，但我们想知道是否有人遇到过同样的问题、原因和解决方案（程序化与否）？

我们可以使用 IOMeter 和简单的设置重现问题：

  1. 启动 IOMeter 并使用断开按钮删除“拓扑”中除第一个工作线程之外的所有工作线程。

  2. 选择 Worker 线程并在 Disk Targets 选项卡中要使用的磁盘旁边的框中打一个叉，然后在 Maximum Disk Size 中输入“2000000”（注意：必须至少有 1GB 可用空间；扇区大小为 512 字节）

  3. 接下来创建一个新的访问规范并将其添加到工作线程：

    • 传输请求大小 = 22kB

    • 100% 连续

    • 访问规范的百分比 = 100%

    • 读/写百分比 = 100% 写

  4. 将结果显示更新频率更改为 5 秒，将测试设置运行时间更改为 20 秒，并将“自动生成的工人数量”设置均为零。

  5. 在 Topology 面板中选择 Worker Thread 并点击 Duplicate Worker 按钮 59 次以创建 60 个具有相同设置的线程。

点击“开始”按钮（绿旗）并监控“结果”选项卡。我们机器上的“最大 I/O 响应时间 (ms)”总是至少达到 3500。我们的机器并不是很慢（具有 4GB 和板载 RAID 的 Xeon 8 核机架服务器）。

我很想看看其他人得到了什么。我们感觉这可能与 NTFS 文件系统有关（我们的文件系统目前 75% 都是碎片文件），我们将围绕这个原则尝试一些事情。但它也与磁盘性能有关，因为我们在 RAMDisk 上看不到它，而且在 RAID10 阵列上也没有那么严重。

任何帮助深表感谢。
理查德

右键单击并选择“在新选项卡中打开链接”：
ProcMon 结果

performance monitoring latency ntfs write