主页 / unix / 问题 / 408533
Accepted
Ruslan
Asked: 2017-12-04 04:47:06 +0800 CST

如何遍历 bash 中不断增加的文件列表？

  • 772

我有一个正在运行的文件生成器，其中每个文件的名称都按字母顺序排列在前一个文件之后。起初我像 一样进行循环for file in /path/to/files*; do...，但我很快意识到 glob 只会在循环之前扩展，并且不会处理循环时创建的任何新文件。

我目前这样做的方式非常丑陋：

while :; do
    doneFileCount=$(wc -l < /tmp/results.csv)
    i=0
    for file in *; do
        if [[ $((doneFileCount>i)) = 1 ]]; then
            i=$((i+1))
            continue
        else
            process-file "$file" # prints single line to stdout
            i=$((i+1))
        fi
    done | tee -a /tmp/results.csv
done

有没有任何简单的方法可以循环遍历不断增加的文件列表，而无需上述黑客攻击？

bash files

1 个回答

  1. Best Answer

    我认为通常的方法是让新文件出现在一个目录中，并在处理后重命名/将它们移动到另一个目录，这样它们就不会再次碰到同一个 glob。所以像这样

    cd new/
while true; do 
    for f in * ; do
        process file "$f" move to "../processed/$f"
    done
    sleep 1   # just so that it doesn't busyloop
done

    或者类似地更改文件扩展名：

    while true; do 
    for f in *.new ; do
        process file "$f" move to "${f%.new}.done"
    done
    sleep 1   # just so that it doesn't busyloop
done

    在 Linux 上，您还可以使用inotifywait获取有关新文件的通知。

    inotifywait -q -m -e moved_to,close_write --format "%f" . | while read -r f ; do
    process file "$f"
done

    在任何一种情况下，您都需要观察仍在写入的文件。就地创建的大文件不会以原子方式显示，但您的脚本可能会在它仅写入一半时开始处理它。

    上面的 inotifyclose_write事件将在写入进程关闭时查看文件（但它也会捕获修改后的文件），而该create事件将在文件首次创建时查看文件（但它可能仍会被写入）。moved_to只是捕获移动到正在监视的目录中的文件。

    • 7

相关问题