Início / coding / Perguntas / 76985268
Accepted
Fravadona
Asked: 2023-08-27 08:03:33 +0800 CST

como classificar um grande número de arquivos com um programa obscuro que apenas exibe sua ordem

  • 772

Um colega meu queria executar um programa FORTRAN que pegasse argumentos de arquivos e gerasse sua ordenação (melhor primeiro) de acordo com algum critério biofísico-químico obscuro. O que ele precisava eram dos 10 melhores resultados.

Embora os arquivos não sejam grandes, o problema é que ele recebeu um bash: /home/progs/bin/ardock: Argument list too long, então criei links simbólicos de 6 dígitos para os arquivos e os dei como argumento, o que funcionou ;-)

Agora, se o número de arquivos for realmente muito grande para que o truque acima funcione, o que você pode fazer para obter o melhor de todos eles? Você precisa classificar os arquivos por partes e comparar os melhores com os melhores com algo assim?

#!/bin/bash

best10() { ardock "$@" | head -n 10; }
export -f best10

find . -name '*.dat' -exec bash -c 'best10 "$@"' _ {} + |
xargs bash -c 'best10 "$@"' _ |
xargs bash -c 'best10 "$@"' _ |
xargs bash -c ... | ... | ...

O problema aqui é que o número necessário xargsnão é conhecido antecipadamente, então como você pode fazer um loop?

bash

2 respostas

  1. Eu sugeriria resolver esse problema por meio de um torneio iterativo.

    A ideia é que na primeira rodada você divida arbitrariamente toda a sua produção em grupos de N. Os 10 primeiros colocados de cada grupo avançam para a próxima rodada, onde você os divide novamente em grupos de N.

    Isso garante que você esteja entre os 10 primeiros, assumindo que Ardock seja determinístico e forneça um pedido total.

    Aqui está o código. Comecei criando uma versão de teste do seu programa Ardock. Ele classifica os argumentos dados pelo hash e os imprime. Isso é só para que eu tenha algo para testar.

    import sys
import hashlib
def md5(s):
    m = hashlib.md5(s.encode('utf8'))
    return m.hexdigest()
args = sys.argv[1:]
args = sorted(args, key=md5)
print('\n'.join(args))

    A seguir, aqui está o script Bash que administra o torneio.

    #!/bin/bash

# Maximum number of arguments ardock can accept at once
export MAX_ARGS=20
# How many of the top candidates should be kept?
export KEEP=10
# How many parallel copies of ardock to run.
# Use 0 to run one for every core you have.
CORES=1

ardock() {
    python3 test462_ardock_substitute.py "$@"
}
ardock_wrapper() {
    # Run ardock, outputting best $KEEP lines
    ardock "$@" | head -n "$KEEP"
}
export -f ardock
export -f ardock_wrapper

# Create temp dir
dir="$(mktemp -d)"
echo "Created temp dir $dir"

level=0
# Make list of all candidates
seq 1 1000 > "$dir/$level.candidates"

while true; do
    # 1) Read in $level candidates
    # 2) Split into groups of $MAX_ARGS and run ardock
    # 3) Output to $level + 1 candidates file
    < "$dir/$level.candidates" \
        xargs -P "$CORES" -n "$MAX_ARGS" bash -c 'ardock_wrapper "$@"' _ > \
        "$dir/$((level + 1)).candidates"
    ((level+=1))
    # Count lines in output
    linecount="$(wc -l < "$dir/$level.candidates")"
    echo "There are $linecount molecules remaining"
    if [[ "$linecount" -le "$KEEP" ]]; then
        break
    fi
done

echo "Final winners:"
cat "$dir/$level.candidates"

    Explicação:

    • Em cada rodada, um arquivo 0.candidatesé criado. Contém os nomes de todos os arquivos possíveis que você deseja testar, separados por novas linhas. No meu caso, são apenas os primeiros 1.000 números inteiros. Como se trata de um arquivo, ele pode ser do tamanho que você desejar.
    • Este arquivo é dividido usando xargs, dando no máximo $MAX_ARGScada invocação do ardock.
    • (Observação sobre $MAX_ARGS: ​​Isso deve ser maior $KEEPpara progredir, mas não precisa ser muito maior. Por exemplo, se forem 20 e 10, a cada rodada do torneio, o número de candidatos diminui por um fator de 2. Aumentar $MAX_ARGStorna o algoritmo mais rápido.)
    • ardock_wrapperé responsável por obter as $KEEPlinhas superiores de cada saída do ardock.
    • A saída é concatenada em outro arquivo, 1.candidates.
    • Repita.
    • Se sobrarem linhas menores ou iguais a $KEEP, o torneio estará encerrado.

    Este código foi testado em Linux usando Bash 5.0.17.

    • 5
  2. Best Answer

    Talvez algo assim (não testado):

    #!/usr/bin/env bash

best10() { ardock "$@" | head -n 10; }
export -f best10

readarray -t files < <(find . -name '*.dat' -exec bash -c 'best10 "$@"' _ {} +)
while (( ${#files[@]} > 10 )); do
    readarray -t files < <(printf '%s\n' "${files[@]}" | xargs bash -c 'best10 "$@"' _)
done
printf '%s\n' "${files[@]}"

    Isso pressupõe que seus nomes de arquivos não contenham novas linhas, pois suas chamadas existentes heade xargsfalhariam se o fizessem. Ele também pressupõe que você esteja usando o shell builtin printf, em vez de uma versão externa dele, portanto não haverá um problema de ARG_MAX.

    • 3

relate perguntas