主页 / unix / 问题 / 784690
Accepted
Ole Tange
Asked: 2024-10-08 05:18:04 +0800 CST

限制文件 IO 速度

  • 772

我正在寻找类似于ionice和trickle和pv -L和tc- 的命令，但它对文件的 IO 进行了限制。

ionice查看本地机器上的块设备。我希望它能用于一般的文件 I/O。如果它不适用于 NFS 上安装的 encfs，那么它对我来说就毫无用处了。

trickle塑造网络 I/O - 而不是文件系统 I/O。因此，如果我的程序访问 encfs 上的文件，它将不知道该文件是安装在 NFS 还是本地目录上。

tc类似于trickle：它塑造网络 I/O - 而不是文件系统 I/O。

pv -L仅适用于管道。我需要它对程序打开的所有文件起作用。想想 Firefox：它以多个线程打开文件进行读写。

我想要这个：

thecommand --read 5M --write 1M firefox

限制firefox以 5 MB/s 的速度读取文件并以 1 MB/s 的速度写入文件。

firefox只是一个例子：我希望它适用于任何打开不同文件进行读写的程序。

我希望无论是firefox访问本地文件还是 NFS/tmpfs/encfs/SSHFS/RandomFS 上的文件，限制都能起作用。

如果它只对动态链接程序起作用则是可以的（即，如果它执行一些 LD_PRELOAD 魔法则是可以的）。

有这样的野兽吗？

nfs

4 个回答

  1. Best Answer

    糟糕的解决方案：

    #define _GNU_SOURCE
#include <dlfcn.h>
#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/types.h>
#include <time.h>
#include <errno.h>

#define LIMIT_MB_PER_SEC 1
#define LIMIT_BYTES_PER_SEC (LIMIT_MB_PER_SEC * 1024 * 1024)

ssize_t (*real_read)(int fd, void *buf, size_t count) = NULL;
ssize_t (*real_write)(int fd, const void *buf, size_t count) = NULL;

static size_t bytes_transferred = 0;
static struct timespec start_time;

void init() {
    real_read = dlsym(RTLD_NEXT, "read");
    real_write = dlsym(RTLD_NEXT, "write");
    clock_gettime(CLOCK_MONOTONIC, &start_time);
}

void sleep_if_needed(size_t bytes) {
    struct timespec current_time;
    clock_gettime(CLOCK_MONOTONIC, &current_time);

    size_t elapsed_sec = current_time.tv_sec - start_time.tv_sec;
    size_t elapsed_nsec = current_time.tv_nsec - start_time.tv_nsec;

    double elapsed_time = elapsed_sec + elapsed_nsec / 1e9;

    if (elapsed_time >= 1.0) {
        // Reset for next second
        start_time = current_time;
        bytes_transferred = 0;
    }

    bytes_transferred += bytes;

    if (bytes_transferred > LIMIT_BYTES_PER_SEC) {
        double excess_time = (bytes_transferred - LIMIT_BYTES_PER_SEC) / (double)LIMIT_BYTES_PER_SEC;
        usleep((useconds_t)(excess_time * 1e6));  // Sleep to limit speed
    }
}

ssize_t read(int fd, void *buf, size_t count) {
    if (!real_read) init();

    ssize_t result = real_read(fd, buf, count);
    if (result > 0) {
        sleep_if_needed(result);
    }
    return result;
}

ssize_t write(int fd, const void *buf, size_t count) {
    if (!real_write) init();

    ssize_t result = real_write(fd, buf, count);
    if (result > 0) {
        sleep_if_needed(result);
    }
    return result;
}

    跑步：

    gcc -fPIC -shared -o limitrate.so -ldl limitrate.c
LD_PRELOAD=./limitrate.so time wc /tmp/test10M

    主要缺点：它不提供速度选项，但它可能是另一个答案的基础。

    虽然这是一个糟糕的解决方案，但核心功能基本上是正确的：它通过拦截read和处理所有文件write。它不关心文件是存储在本地还是网络文件系统上。它不需要任何需要 root 访问权限的专门设置。

    编辑：

    现在做成了一个小的命令行工具： https://git.data.coop/tange/tangetools/src/branch/master/iothrottle

    • 5

  2. 虽然没有地方可以写出一个很好的答案并给出一个例子，但cgroups可以为您做到这一点；systemd-run当您在资源有限的范围内运行某些东西时，它是您的朋友。

    • 4

  3. 该文档有些过时，但设置交通管制tc可能是一种选择。

    https://lartc.org/howto/

    • 0

  4. trickle将限制用户模式端的速率。大多数情况下非常有效

    • 0

相关问题