Detectando dispositivos de memória flash USB com mau comportamento, que bloqueiam o IO do restante

Finalmente encontrei uma maneira de fazer isso.

Aqui está um script Bash que listará as unidades com sua taxa de E/S de leitura/gravação somada a cada segundo. Se uma unidade ou várias unidades estão deixando outras pessoas sem IO - elas podem ser identificadas como as que têm os números mais altos aqui:

#!/bin/bash
# hogs.sh - by Tobiasz 'unfa' Karoń - identify IO hogs in the system

rm hogs.a hogs.b 2>/dev/null

while [ 1=1 ]; do
    mv hogs.a hogs.b 2>/dev/null # store old data and make room for new data

    for i in /sys/block/sd*; do # cycle through all block devices
                # sum two last fields of the stat data and put that into a file along with the drive handle
                echo $(echo -n "$i" | cut -d'/' -f4; cat "$i/stat" | xargs| cut -d' ' -f 10-11 | tr ' ' '+' | bc) >> hogs.a
    done

    # sort files
    sort hogs.a > hogs.a2
    sort hogs.b > hogs.b2
    join hogs.a2 hogs.b2 > hogs.c # combine previous and current data into one file so we can calculate a difference

    rm hogs.d 2>/dev/null
    while read line; do
    echo "$(echo "$line" | cut -d' ' -f1) $(echo "$line" | cut -d' ' -f 2- | tr ' ' '-' | bc)" >> hogs.d
    done < hogs.c

    sort hogs.d > hogs # sort for the final output

    echo "max $(cat hogs | cut -d' ' -f2 | sort -n | tail -n1)" >> hogs # add the highest value
    echo "min $(cat hogs | cut -d' ' -f2 | sort -n | head -n1)" >> hogs # add the lowest value

    clear
    cat hogs # print the final output
    sleep 1

done

O script usa arquivos /sys/block/sd*/stat para exibir E/S/s para cada dispositivo de bloco presente no sistema. Eu não tenho certeza de que unidades são essas, mas se maldita funciona, e isso é tudo que me importa.

Este foi um verdadeiro pesadelo. Teste de imagem de 40 unidades com f3 usando 4 hubs USB. Então tudo pára e você não sabe por quê. Se as unidades tiverem LEDs, geralmente os que deixam o resto de IO estão piscando enquanto o resto não - mas muitos módulos de memória flash não têm isso. Portanto, antes de encontrar isso, não havia como descobrir o que causa o problema.

Observe que isso não é o que relata como taxa de leitura/gravação da unidade - essas leituras são incorretas para essas unidades com mau comportamento. Muitas vezes, todas as leituras estarão em zero, mas usando o script acima você pode distinguir os porcos desagradáveis ​​e removê-los para que o resto possa continuar.

Finalmente!

Aqui está a saída típica indicando um problema:

E aqui está como uma situação relativamente saudável se parece:

Quanto mais uniforme a distribuição - melhor. Talvez calcular o valor médio também ajude. A diferença entre o máximo e a média provavelmente pode indicar um problema.

Observe que as capturas de tela não mostram sda, pois as tirei de uma versão diferente do script que listou apenas as unidades nas quais minha ferramenta de teste em massa opera.