主页 / server / 问题

问题[optimization](server)

Martin Hope
Timothy R. Butler
Asked: 2021-07-06 09:11:11 +0800 CST
  • 2

我有一个程序可以创建优化版本的图片，这些图片会上传到/images/网络服务器上的文件夹中。它遍历子文件夹，并在每个子文件夹中创建一个.optimized包含优化版本的文件夹，如果它至少比原始版本小一定大小。我的目标是检查是否存在这样的优化版本，如果存在则提供它，否则提供原始版本（在某种意义上gzip_static，如果它存在，如何提供文件的 .gz 版本）。

我在 Apache 前面将 NGINX 作为代理运行，所以虽然我习惯于使用 htaccess 处理此类问题，但我试图在 NGINX 中本地执行它以避免服务器不得不将请求移交给 Apache。在.htaccess，我可以做这样的事情：

RewriteCond %{REQUEST_FILENAME} ^(/images/(?:.*/)?)(.*?)$ [OR]
RewriteCond $1.optimized/$2 -f
RewriteRule .* $1/.optimized/$2 [L]

有没有直接在 NGINX 中处理这个问题的好方法？我发现的大多数类似用例都将所有缓存/优化文件保存在一个缓存文件夹中，这与我描述的结构相反。

optimization nginx mod-rewrite
Martin Hope
roman
Asked: 2021-06-06 10:20:14 +0800 CST
  • 6

搭建实验实验室集群，通过10G光纤连接接收数据的写入速度为本地写入速度的10%。

测试两台相同机器之间的传输速度；iperf3显示良好的内存到内存速度为9.43Gbits/s。磁盘（读取）到内存的传输速度为（9.35Gbit/s）：

test@rbox1:~$ iperf3 -s -B 10.0.0.21

test@rbox3:~$ iperf3 -c 10.0.0.21 -F /mnt/k8s/test.3g 
Connecting to host 10.0.0.21, port 5201
        Sent 9.00 GByte / 9.00 GByte (100%) of /mnt/k8s/test.3g
[  5]   0.00-8.26   sec  9.00 GBytes  9.35 Gbits/sec

但是发送超过 10G 的数据并写入另一台机器上的磁盘要慢一个数量级：

test@rbox1:~$ iperf3 -s 10.0.0.21 -F /tmp/foo -B 10.0.0.21

test@rbox3:~$ iperf3 -c 10.0.0.21
Connecting to host 10.0.0.21, port 5201
[  5] local 10.0.0.23 port 39970 connected to 10.0.0.21 port 5201
[ ID] Interval           Transfer     Bitrate         Retr  Cwnd
[  5]   0.00-1.00   sec   103 MBytes   864 Mbits/sec    0    428 KBytes       
[  5]   1.00-2.00   sec   100 MBytes   842 Mbits/sec    0    428 KBytes       
[  5]   2.00-3.00   sec  98.6 MBytes   827 Mbits/sec    0    428 KBytes       
[  5]   3.00-4.00   sec  99.3 MBytes   833 Mbits/sec    0    428 KBytes       
[  5]   4.00-5.00   sec  91.5 MBytes   768 Mbits/sec    0    428 KBytes       
[  5]   5.00-6.00   sec  94.4 MBytes   792 Mbits/sec    0    428 KBytes       
[  5]   6.00-7.00   sec  98.1 MBytes   823 Mbits/sec    0    428 KBytes       
[  5]   7.00-8.00   sec  91.2 MBytes   765 Mbits/sec    0    428 KBytes       
[  5]   8.00-9.00   sec  91.0 MBytes   764 Mbits/sec    0    428 KBytes       
[  5]   9.00-10.00  sec  91.5 MBytes   767 Mbits/sec    0    428 KBytes       
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bitrate         Retr
[  5]   0.00-10.00  sec   959 MBytes   804 Mbits/sec    0             sender
        Sent  959 MByte / 9.00 GByte (10%) of /mnt/k8s/test.3g
[  5]   0.00-10.00  sec   953 MBytes   799 Mbits/sec                  receiver

NVME 驱动器能够更快地在本地dd写入（详细信息和fio测量值如下） - 对于单进程和4k/8k/10m块：fio随机写入速度为330/500/1300 MB/s

我正在尝试实现接近 NVME 驱动器的实际本地写入速度的写入速度（所以是的，很好地阐明了这个假设——我希望能够达到非常相似的速度写入单个 NVME 驱动器。网络；但我什至无法获得其中的 20%）。

在这一点上，我完全被踩住了，看不到还有什么可以尝试的——除了不同的内核/操作系统——任何指针、更正和帮助都将不胜感激。

这里有一些测量/信息/结果：

到目前为止我尝试了什么：

  • 两台机器上的巨型帧（MTU 9000）并验证它们工作（使用ping -mping -M do -s 8972）

  • 消除了网络交换机的干扰，我通过 2m Dumplex OM3 多模光纤电缆直接连接了两台机器（所有机器上的电缆和收发器都是相同的），并将 iperf3 服务器/客户端绑定到这些接口。结果是一样的（慢）。

  • 在测试期间断开所有其他以太网/光纤电缆（以消除路由问题） - 没有变化。

  • 更新了主板和光纤网卡的固件（同样，没有变化）。我还没有更新 NVME 固件 - 似乎已经是最新的了。

  • 甚至尝试将 10G 卡从 PCIE 插槽 1 移动到下一个可用插槽；想知道 NVME 和 10G NIC 是否共享和最大化物理集线器通道带宽（同样，没有可测量的变化）。

发现了一些“有趣”的行为：

  1. 增加并行客户端的数量会增加带宽利用率；有 1 个客户端，目标机器写入 900Mbits/sec；4 个客户端 1.26 Gbits/sec（超过 4 个并行客户端会产生不利影响）
  2. 在具有 AMD Ryzen 5 3600X 和 64G RAM（相同的 NVME 驱动器 + 10G NIC）的更强大的机器上测试写入——1 个客户端可以达到 1.53Gbit/sec，4 个客户端可以达到 2.15Gbits/sec（8 个客户端可以达到 2.13Gbit/sec ）。本例流量流经 Mikrotik CS309 交换机，MTU 为 1500；更强大的机器似乎接收/写入更快
  3. 测试期间没有明显的负载——这适用于小型和大型机器；2核可能是26％

编辑 06/07：

在@shodanshok 评论之后，通过 NFS 安装远程机器；以下是结果：

nfs exports: /mnt/nfs *(rw,no_subtree_check,async,insecure,no_root_squash,fsid=0)

cat /etc/mtab | grep nfs 10.0.0.21:/mnt/nfs /mnt/nfs1 nfs rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,mountaddr=10.0.0.21,mountvers=3,mountport=52335,mountproto=udp,local_lock=none,addr=10.0.0.21 0 0

fio --name=random-write --ioengine=libaio --rw=randwrite --bs=$SIZE --numjobs=1 --iodepth=1 --runtime=30 --end_fsync=1 --size=3g dd if=/dev/zero of=/mnt/nfs1/test bs=$SIZE count=$(3*1024/$SIZE)

            | fio (bs=4k)    | fio (bs=8k)    | fio (bs=1M)   | dd (bs=4k)    | dd (bs=1M)
nfs (udp)   |  153           |    210        |   984            |   907        |962
nfs (tcp)   |    157          |    205        |    947           |   946        |916

所有这些测量结果都是MB/s我很满意 1M 块非常接近 10G 连接的理论速度限制。

看起来iperf3 -F ...不是测试网络写入速度的方法；但我也会尝试让iperf3开发人员接受它。

设置详情：

每台机器都有 AMD Ryzen 3 3200G 和 8GB RAM，MPG X570 GAMING PLUS (MS-7C37) 主板。1 个 1TB NVME 驱动器（消费级 WD Blue SN550 NVMe SSD WDS100T2B0C），位于最靠近 CPU 的 M.2 插槽中。以及 PCIe 插槽中的一张 SolarFlare S7120 10G 光纤卡。

NVME 磁盘信息：

test@rbox1:~$ sudo nvme list
Node             SN                   Model                                    Namespace Usage                      Format           FW Rev  
---------------- -------------------- ---------------------------------------- --------- -------------------------- ---------------- --------
/dev/nvme0n1     21062Y803544         WDC WDS100T2B0C-00PXH0                   1           1.00  TB /   1.00  TB    512   B +  0 B   211210WD

NVME磁盘写入速度（4k/8k/10M）

test@rbox1:~$ dd if=/dev/zero of=/tmp/temp.bin bs=4k count=1000
1000+0 records in
1000+0 records out
4096000 bytes (4.1 MB, 3.9 MiB) copied, 0.00599554 s, 683 MB/s


test@rbox1:~$ dd if=/dev/zero of=/tmp/temp.bin bs=8k count=1000
1000+0 records in
1000+0 records out
8192000 bytes (8.2 MB, 7.8 MiB) copied, 0.00616639 s, 1.3 GB/s


test@rbox1:~$ dd if=/dev/zero of=/tmp/temp.bin bs=10M count=1000
1000+0 records in
1000+0 records out
10485760000 bytes (10 GB, 9.8 GiB) copied, 7.00594 s, 1.5 GB/s

使用 fio-3.16 测试随机写入速度：

test@rbox1:~$ fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=4k --numjobs=1 --iodepth=1 --runtime=30 --time_based --end_fsync=1
random-write: (g=0): rw=randwrite, bs=(R) 4096B-4096B, (W) 4096B-4096B, (T) 4096B-4096B, ioengine=posixaio, iodepth=1

Run status group 0 (all jobs):
  WRITE: bw=313MiB/s (328MB/s), 313MiB/s-313MiB/s (328MB/s-328MB/s), io=9447MiB (9906MB), run=30174-30174msec

Disk stats (read/write):
    dm-0: ios=2/969519, merge=0/0, ticks=0/797424, in_queue=797424, util=21.42%, aggrios=2/973290, aggrmerge=0/557, aggrticks=0/803892, aggrin_queue=803987, aggrutil=21.54%
  nvme0n1: ios=2/973290, merge=0/557, ticks=0/803892, in_queue=803987, util=21.54%



test@rbox1:~$ fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=8k --numjobs=1 --iodepth=1 --runtime=30 --time_based --end_fsync=1
random-write: (g=0): rw=randwrite, bs=(R) 8192B-8192B, (W) 8192B-8192B, (T) 8192B-8192B, ioengine=posixaio, iodepth=1

Run status group 0 (all jobs):
  WRITE: bw=491MiB/s (515MB/s), 491MiB/s-491MiB/s (515MB/s-515MB/s), io=14.5GiB (15.6GB), run=30213-30213msec

Disk stats (read/write):
    dm-0: ios=1/662888, merge=0/0, ticks=0/1523644, in_queue=1523644, util=29.93%, aggrios=1/669483, aggrmerge=0/600, aggrticks=0/1556439, aggrin_queue=1556482, aggrutil=30.10%
  nvme0n1: ios=1/669483, merge=0/600, ticks=0/1556439, in_queue=1556482, util=30.10%



test@rbox1:~$ fio --name=random-write --ioengine=posixaio --rw=randwrite --bs=10m --numjobs=1 --iodepth=1 --runtime=30 --time_based --end_fsync=1
random-write: (g=0): rw=randwrite, bs=(R) 10.0MiB-10.0MiB, (W) 10.0MiB-10.0MiB, (T) 10.0MiB-10.0MiB, ioengine=posixaio, iodepth=1

Run status group 0 (all jobs):
  WRITE: bw=1250MiB/s (1310MB/s), 1250MiB/s-1250MiB/s (1310MB/s-1310MB/s), io=36.9GiB (39.6GB), run=30207-30207msec

Disk stats (read/write):
    dm-0: ios=9/14503, merge=0/0, ticks=0/540252, in_queue=540252, util=68.96%, aggrios=9/81551, aggrmerge=0/610, aggrticks=5/3420226, aggrin_queue=3420279, aggrutil=69.16%
  nvme0n1: ios=9/81551, merge=0/610, ticks=5/3420226, in_queue=3420279, util=69.16%

核心：

test@rbox1:~$ uname -a
Linux rbox1 5.8.0-55-generic #62-Ubuntu SMP Tue Jun 1 08:21:18 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux

光纤网卡：

test@rbox1:~$ sudo sfupdate 
Solarflare firmware update utility [v8.2.2]
Copyright 2002-2020 Xilinx, Inc. 
Loading firmware images from /usr/share/sfutils/sfupdate_images

enp35s0f0np0 - MAC: 00-0F-53-3B-7D-D0
    Firmware version:   v8.0.1
    Controller type:    Solarflare SFC9100 family
    Controller version: v6.2.7.1001
    Boot ROM version:   v5.2.2.1006

The Boot ROM firmware is up to date
The controller firmware is up to date

光纤网卡的初始化和MTU设置：

test@rbox1:~$ sudo dmesg | grep sf
[    0.210521] ACPI: 10 ACPI AML tables successfully acquired and loaded
[    1.822946] sfc 0000:23:00.0 (unnamed net_device) (uninitialized): Solarflare NIC detected
[    1.824954] sfc 0000:23:00.0 (unnamed net_device) (uninitialized): Part Number : SFN7x22F
[    1.825434] sfc 0000:23:00.0 (unnamed net_device) (uninitialized): no PTP support
[    1.958282] sfc 0000:23:00.1 (unnamed net_device) (uninitialized): Solarflare NIC detected
[    2.015966] sfc 0000:23:00.1 (unnamed net_device) (uninitialized): Part Number : SFN7x22F
[    2.031379] sfc 0000:23:00.1 (unnamed net_device) (uninitialized): no PTP support
[    2.112729] sfc 0000:23:00.0 enp35s0f0np0: renamed from eth0
[    2.220517] sfc 0000:23:00.1 enp35s0f1np1: renamed from eth1
[    3.494367] [drm] VCN decode and encode initialized successfully(under DPG Mode).
[ 1748.247082] sfc 0000:23:00.0 enp35s0f0np0: link up at 10000Mbps full-duplex (MTU 1500)
[ 1809.625958] sfc 0000:23:00.1 enp35s0f1np1: link up at 10000Mbps full-duplex (MTU 9000)

主板编号：

# dmidecode 3.2
Getting SMBIOS data from sysfs.
SMBIOS 2.8 present.

Handle 0x0001, DMI type 1, 27 bytes
System Information
    Manufacturer: Micro-Star International Co., Ltd.
    Product Name: MS-7C37
    Version: 2.0

其他硬件信息（主要用于列出物理连接 - 网桥）

test@rbox1:~$ hwinfo --short
cpu:                                                            
                       AMD Ryzen 3 3200G with Radeon Vega Graphics, 1500 MHz
                       AMD Ryzen 3 3200G with Radeon Vega Graphics, 1775 MHz
                       AMD Ryzen 3 3200G with Radeon Vega Graphics, 1266 MHz
                       AMD Ryzen 3 3200G with Radeon Vega Graphics, 2505 MHz
storage:
                       ASMedia ASM1062 Serial ATA Controller
                       Sandisk Non-Volatile memory controller
                       AMD FCH SATA Controller [AHCI mode]
                       AMD FCH SATA Controller [AHCI mode]
network:
  enp35s0f1np1         Solarflare SFN7x22F-R3 Flareon Ultra 7000 Series 10G Adapter
  enp35s0f0np0         Solarflare SFN7x22F-R3 Flareon Ultra 7000 Series 10G Adapter
  enp39s0              Realtek RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller
network interface:
  br-0d1e233aeb68      Ethernet network interface
  docker0              Ethernet network interface
  vxlan.calico         Ethernet network interface
  veth0ef4ac4          Ethernet network interface
  enp35s0f0np0         Ethernet network interface
  enp35s0f1np1         Ethernet network interface
  lo                   Loopback network interface
  enp39s0              Ethernet network interface
disk:
  /dev/nvme0n1         Sandisk Disk
  /dev/sda             WDC WD5000AAKS-4
partition:
  /dev/nvme0n1p1       Partition
  /dev/nvme0n1p2       Partition
  /dev/nvme0n1p3       Partition
  /dev/sda1            Partition
bridge:
                       AMD Matisse Switch Upstream
                       AMD Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
                       AMD Raven/Raven2 Device 24: Function 3
                       AMD Raven/Raven2 PCIe GPP Bridge [6:0]
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Device 24: Function 1
                       AMD Family 17h (Models 00h-1fh) PCIe Dummy Host Bridge
                       AMD FCH LPC Bridge
                       AMD Matisse PCIe GPP Bridge
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Device 24: Function 6
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Root Complex
                       AMD Raven/Raven2 Internal PCIe GPP Bridge 0 to Bus A
                       AMD Raven/Raven2 Device 24: Function 4
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Device 24: Function 2
                       AMD Matisse PCIe GPP Bridge
                       AMD Raven/Raven2 Device 24: Function 0
                       AMD Raven/Raven2 Device 24: Function 7
                       AMD Raven/Raven2 PCIe GPP Bridge [6:0]
                       AMD Raven/Raven2 Device 24: Function 5
optimization fiber 10gbethernet linux-networking nvme
Martin Hope
execash
Asked: 2020-05-08 11:14:57 +0800 CST
  • 0

我无法解决我的数据库错误以及如何优化它。由于我的服务器运行缓慢（我相信主要是查询），我的导入出现了 cloudflare 错误代码。（我记得，Cloudflare 阻止连接超过 15 秒）

需要建议修复它们。

我在 GCP 上托管我的 wordpress 网站，带有 1 个 vcpu、4gb ram、20gb ssd。我使用 OpenLiteSpeed 网络服务器、php 7.4.4、mariadb 15.1。建立一个附属网络站点。在谷歌云存储中托管图像。导入速度有问题。获得超过 50 万种产品。勉强进口20万左右。现在我什至无法一一导入或通过后端进行任何其他编辑。最大尺寸的 xml 带有 100k 的产品，这些产品卡在 96k 并且不能继续移动。

我的数据库大小现在是 3.5gb，有 200k 个产品。+500k 产品将是它的两倍。

这是我的 mysql 日志和慢日志、my.cnf 设置、mysqltuner 建议和全局变量。

今天早上，我意识到在设置跳过名称解析后我没有授予 user@127.0.0.1 的权限，我做到了，我猜我只是收到了 1 个 mysql 错误。

因为 mysqltuner 每天都在提供增加已安装 ram 的数量，所以我将所有 innodb 表转换为 myisam。

我也在寻找使用 wp_postmeta 和 wp_posts 表的索引的帮助。

Preciate 谁有助于解决这些问题。多谢。

MY.CNF https://gist.github.com/execash/d2add8445e48c26b3e369b18bcf8a18e

MySql 错误日志https://gist.github.com/execash/1870e016c5b4794de3a81bc8635d76f9

超过 2 秒的慢日志https://gist.github.com/execash/30fbdeb7650a824e140ead3080fa1931

全局变量https://gist.github.com/execash/b6b241b5dc607e6f99b322debd1bb11a

全局状态https://gist.github.com/execash/604e2b9625f41d31ce9870eda3935ed5

mysqltuner 输出https://gist.github.com/execash/aa269f91b5b08d1a4609d5c03d75916a

mysql optimization wordpress performance-tuning mariadb
Martin Hope
Stonecraft
Asked: 2017-03-09 10:42:10 +0800 CST
  • 1

在虚拟机管理程序与来宾操作系统中运行资源密集型服务对性能和稳定性有何影响？

我想设置一个同时具有 Linux 和 Windows 的工作站，由（可能）KVM 托管。两者都将使用一些相同的服务：例如，VM 将存储在 zvols 上并共享一个专门用于文件存储的 zpool。

我一直在决定哪些服务在管理程序操作系统中运行，哪些服务在虚拟机中运行。如果我将 ZFS 之类的服务放在 VM 中，我担心它们可能会更慢（因为它们必须通过虚拟机管理程序工作）或更容易出错，因为它们将依赖于控制器传递（还有一件事有问题和）。

另一方面，我担心过多的额外任务给虚拟机管理程序带来负担会导致问题，而且我也担心如果我不将 ZFS 放入具有定义限制的虚拟机中会消耗多少内存（我我正在考虑将 32 Gb 用于运行 ZFS 的任何操作系统。而且我担心在管理程序中安装太多东西会导致更可能影响整个系统的冲突（因为这些冲突会发生在管理程序内部）。

optimization kvm-virtualization memory zfs hypervisor
Martin Hope
Dylan Martin
Asked: 2017-01-28 12:45:12 +0800 CST
  • 2

我有一个带有 sssd 的 linux 服务器，使用 ldap 服务器作为身份验证后端。到 ldap 服务器的连接是不稳定的，所以我得到了很好的身份验证，然后突然之间，一个会永远持续并超时，只有在下次尝试时才会好。

我正在尝试调整 sssd 以更频繁、更快地使用缓存。我知道 sssd 在离线和在线模式下都使用缓存，但我怀疑它尝试使用在线模式的次数超出了我的最佳情况。

  • sssd 是如何决定什么时候下线和什么时候重新上线的？
  • 如何调整它的转换速度？

谢谢！

optimization sssd
Martin Hope
RobC
Asked: 2016-10-11 15:57:20 +0800 CST
  • 4

我在 LVM 上运行 ext4 文件系统。我正在研究的两大加速选项是 LVM 缓存和外部 ext4 日志。

听起来如果我为此使用单个 SSD，写回模式下的 LVM 缓存与将 ext4 日志放在外部设备上是一样的……基本上，如果发生任何事情，您将重置为日志前位置。

这是一个正确的解释吗？

lvm optimization cache ext4
Martin Hope
Obiwahn
Asked: 2016-04-15 07:25:08 +0800 CST
  • -2

我找不到关于如何定位我的服务器的初学者教程。

例如，我将 Compose.io 用于我的 MongoDB，将 DigitalOcean 用于我的 Meteor.js 应用程序。

可以说我想在德国获得快速服务。现在我可以通过 Compose 到德国最近的是伦敦。我现在应该把我的 DigitalOcean 后端服务器放在靠近我在伦敦的数据库服务器的地方吗？或者更好地将我的后端放在德国（DO 提供法兰克福作为一个位置）？

optimization hosting
Martin Hope
wbad
Asked: 2012-10-11 15:29:54 +0800 CST
  • 1

在繁忙的 mysql 服务器上，MySQLTuner 1.2.0 总是建议添加 query_cache_size，无论我如何增加该值（我试过高达 512MB）。另一方面，它警告说：

Increasing the query_cache size over 128M may reduce performance

这是最后的结果：

 >>  MySQLTuner 1.2.0 - Major Hayden <major@mhtx.net>
 >>  Bug reports, feature requests, and downloads at http://mysqltuner.com/
 >>  Run with '--help' for additional options and output filtering

-------- General Statistics --------------------------------------------------
[--] Skipped version check for MySQLTuner script
[OK] Currently running supported MySQL version 5.5.25-1~dotdeb.0-log
[OK] Operating on 64-bit architecture

-------- Storage Engine Statistics -------------------------------------------
[--] Status: +Archive -BDB -Federated +InnoDB -ISAM -NDBCluster 
[--] Data in InnoDB tables: 6G (Tables: 195)
[--] Data in PERFORMANCE_SCHEMA tables: 0B (Tables: 17)
[!!] Total fragmented tables: 51

-------- Security Recommendations  -------------------------------------------
[OK] All database users have passwords assigned

-------- Performance Metrics -------------------------------------------------
[--] Up for: 1d 19h 17m 8s (254M q [1K qps], 5M conn, TX: 139B, RX: 32B)
[--] Reads / Writes: 89% / 11%
[--] Total buffers: 24.2G global + 92.2M per thread (1200 max threads)
[!!] Maximum possible memory usage: 132.2G (139% of installed RAM)
[OK] Slow queries: 0% (2K/254M)
[OK] Highest usage of available connections: 32% (391/1200)
[OK] Key buffer size / total MyISAM indexes: 128.0M/92.0K
[OK] Key buffer hit rate: 100.0% (8B cached / 0 reads)
[OK] Query cache efficiency: 79.9% (181M cached / 226M selects)
[!!] Query cache prunes per day: 1033203
[OK] Sorts requiring temporary tables: 0% (341 temp sorts / 4M sorts)
[OK] Temporary tables created on disk: 14% (760K on disk / 5M total)
[OK] Thread cache hit rate: 99% (676 created / 5M connections)
[OK] Table cache hit rate: 22% (1K open / 8K opened)
[OK] Open file limit used: 0% (49/13K)
[OK] Table locks acquired immediately: 99% (64M immediate / 64M locks)
[OK] InnoDB data size / buffer pool: 6.1G/19.5G

-------- Recommendations -----------------------------------------------------
General recommendations:
    Run OPTIMIZE TABLE to defragment tables for better performance
    Reduce your overall MySQL memory footprint for system stability
    Increasing the query_cache size over 128M may reduce performance
Variables to adjust:
  *** MySQL's maximum memory usage is dangerously high ***
  *** Add RAM before increasing MySQL buffer variables ***
    query_cache_size (> 192M) [see warning above]

服务器有 76GB 内存和双 E5-2650。负载通常低于 2。感谢您对解释建议和优化数据库配置的提示。

optimization
Martin Hope
rolands
Asked: 2012-08-17 16:39:40 +0800 CST
  • 2

我正在使用 NFS 共享通过 clonezilla 将图像文件传输到多台实验室机器上，目前我一次只对一台或两台机器进行成像作为测试协议，但每当我同时运行多个成像实例时，第一个实例就会获得收益大约 1.6 GB/分钟的带宽，而第二个得到这个速度的一小部分，严重减慢了这个过程。无论如何平衡分配给每台机器的带宽，以便一旦安装第二个 NFS 共享，它们就会获得相同的传输速率而不是一个获得大部分？

抱歉，如果措辞不当，我不确定如何描述这个过程......

optimization
Martin Hope
Zilvinas
Asked: 2012-06-16 01:38:48 +0800 CST
  • 27

在我工作的一家公司，我们有一个叫做“播放列表”的东西，它是每个 ~100-300 字节的小文件。大约有一百万。每小时大约有 100,000 人换衣服。这些播放列表需要每小时上传到不同大陆的 10 个其他远程服务器，理想情况下需要在 2 分钟内快速完成。在主服务器上删除的文件也会在所有副本上删除，这一点非常重要。我们目前使用 Linux 作为我们的基础设施。

我正在考虑尝试使用 -W 选项的 rsync 来复制整个文件而不比较内容。我还没有尝试过，但也许对 rsync 有更多经验的人可以告诉我它是否是一个可行的选择？

还有哪些其他选择值得考虑？

更新：我选择 lsyncd 选项作为答案，但这只是因为它最受欢迎。其他建议的替代方案也以它们自己的方式有效。

synchronization optimization rsync