主页 / coding / 问题 / 79551958
Accepted
localhost
Asked: 2025-04-03 11:49:58 +0800 CST

为什么我使用 flock 的计数器会随机重置？

  • 772

我试图理解为什么我似乎无法成功实现用于flock避免竞争条件的计数器。

我flock从这个 SO 答案中复制了代码。

计数器似乎会随机重置，尽管我不明白为什么它会这样做。counter inc应该永远自动计数。

我的代码旨在让我能够使用同时处理多个文件GNU parallel，但是使用包含递增计数器的每个处理文件来更新状态行。

该计数器保存到由 创建的 RAM 中的临时文件中mktemp。

我在这里把它剪短了，所以它只是一个应该永远计数的无限循环，但它会不断重置。

谁能向我解释为什么计数器有时会重置？

#!/bin/bash

clear_line () {
    echo -ne "\r\033[K"
}

counter () {
  {
    flock -s 200
    read numfiles < "$countfile"
    if [ "$1" = "inc" ]; then
        ((numfiles++))
    fi
    if [ "$1" = "rst" ]; then
        numfiles=0
    fi
    if [ "$1" = "get" ]; then
        echo "$numfiles"
    fi
    echo "$numfiles" > "$countfile"
  } 200> "$countlockfile"
}

process () {
    counter inc
    currfileno=$(counter get)

    clear_line
    echo -n "$currfileno"
}

# from https://unix.stackexchange.com/a/29918/52247
tmpdir=
cleanup () {
  trap - EXIT
  if [ -n "$tmpdir" ] ; then rm -rf "$tmpdir"; fi
  if [ -n "$1" ]; then trap - $1; kill -$1 $$; fi
}
tmpdir=$(mktemp -dt "$(basename $0).XXXXXXXX" --tmpdir=/run/user/$(id -u)) || exit 1
countfile=$(mktemp -t "counter.XXXXXXXX" --tmpdir=$tmpdir) || exit 1
countlockfile=$(mktemp -t "countlockfile.XXXXXXXX" --tmpdir=$tmpdir) || exit 1

trap 'cleanup' EXIT
trap 'cleanup HUP' HUP
trap 'cleanup TERM' TERM
trap 'cleanup INT' INT

export -f clear_line
export -f process
export -f counter
export countfile
export countlockfile

counter rst
while :
do
    echo whatever
done | parallel process
bash

2 个回答

  1. Best Answer

    该脚本基本上存在数据争用counter inc。GNU parallel 为每个作业调用多个进程，因此基本上在您的函数中，在对和的调用之间counter get，可能有另一个进程试图增加或重置计数。

    process () {
    counter inc
    currfileno=$(counter get)  # This creates a race condition
    
    clear_line
    echo -n "$currfileno"
}

    您基本上需要使用 的独占锁flock -x，它可以在持有锁时阻止其他进程进行读取和写入。

    因为您的counter函数在同一个临界区中读取和写入文件。使用共享锁，多个进程可以同时进入临界区，每个进程都从文件中读取相同的值，增加自己的副本，然后写回，从而导致错误的重置。

    • 3

  2. 让 GNU Parallel 来做这件事怎么样？

    process() {
  filename="$1"
  log="$2"
  fileno="$3"
  printf "$3   \r"
  do_stuff "$filename" > "$log"
}
export -f process

printf "%s\n" * | parallel --linebuffer process {} logs/{#}.log {#}

    我个人喜欢这个，我可以得到每个正在运行的作业的最新输出：

    process() {
  do_stuff() {
    seq ${RANDOM}00
  }
  filename="$1"
  echo "starting $1"
  do_stuff "$filename"
}
export -f process

printf "%s\n" * | parallel --ll --color --tagstring {#} process

    或者简单地说，当我根本不关心输出时：

    printf "%s\n" * | parallel --bar "do_stuff >/dev/null"
    • 0

相关问题