Início / unix / Perguntas / 783032
Accepted
alexmro
Asked: 2024-09-05 05:45:31 +0800 CST

Adicionar N números hexadecimais a um arquivo binário com Bash

  • 772

Eu tenho um script Bash que acrescenta bytes escritos como valores hexadecimais. Eu uso echopara escrever os bytes e funciona

hex="1F"
byte="\x$hex"
echo -en $byte >> "output.bin"

Em algum momento, preciso preencher o arquivo com um byte que pode ser qualquer coisa de 00a FF. Quero especificar o byte como um valor hexadecimal e o total de repetições.

Tentei fazer isso com um forloop, mas demora muito, principalmente porque às vezes preciso adicionar algo como 65.535 bytes.

byte="00"
total=65515
for (( i=1; i<=total; i++ ));
do
    echo -en "\x$byte" >> "output.bin"
done

Estou procurando uma maneira mais performática que não use um forloop. No momento, estou preso com algo entre printfe, echomas em vez de escrever os valores como binários, ele os escreve como texto

result=$(eval printf "\x$byte%0.s" {1..$total})
echo -en $result >> "output.bin"

O resultado no arquivo de saída é 78 30 30, que é o texto "x00", em vez de 00. Se eu usar echo -en "\x00" >> "output.bin", ele escreve um byte contendo o 00valor e não o texto "x00". É aqui que não sei como proceder para fazê-lo escrever o valor binário real

bash

3 respostas

  1. Best Answer

    Você está executando essa substituição de comando com eval, então as aspas e escapes são processados ​​duas vezes.

    Supondo que byte=41 total=3, o que evalvê são os argumentos printf, \x41%0.s, 1, 2, 3. Ele os concatena a printf \x41%0.s 1 2 3, que após o processamento de escape é executado printfcom os quatro argumentos x41%0.s, 1, 2, 3. (Ele deve imprimir x41x41x41, aqui.)

    Você pode corrigir isso adicionando a quantidade correta de barras invertidas, mas provavelmente também não deve usar echo -e, pois isso só bagunçaria o resultado se você estivesse imprimindo barras invertidas.

    De qualquer forma,

    A menos que você queira fazer isso do jeito mais difícil de propósito, seria mais fácil usar outras ferramentas do que apenas o shell. Por exemplo, você poderia usar trpara obter o byte que deseja, mas ele não suporta escapes hexadecimais, apenas octal com \000, então há o problema de conversão.

    $ byte=41 count=15
$ printf "%${count}s" "" | tr ' ' "\\$(printf %o $((0x$byte)) )"
AAAAAAAAAAAAAAA

    Ou você pode usar Perl:

    $ perl -e 'print chr(hex($ARGV[0])) x $ARGV[1]' 41 15
AAAAAAAAAAAAAAA
    • 1

  2. Observe que, se for sobre preenchimento com 0 bytes para alinhar a algum limite, você pode usar ddwith conv=syncpara isso.

    $ echo test | dd bs=128 iflag=fullblock conv=sync | hexdump -Cv
0+1 records in
1+0 records out
128 bytes copied, 5.9459e-05 s, 2.2 MB/s
00000000  74 65 73 74 0a 00 00 00  00 00 00 00 00 00 00 00  |test............|
00000010  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000020  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000030  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000040  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000050  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000060  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000070  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000080

    ( iflag=fullblocké uma extensão GNU¹, mas é necessária apenas para entradas de pipe ou, de forma mais geral, quando pode haver leituras curtas, não para arquivos regulares; com GNU dd, você também pode adicionar status=nonepara remover as informações de transferência).

    Ou você pode usar truncateum arquivo já existente em um tamanho maior, para que o final seja preenchido com NULs (não ocupando mais espaço em disco):

    $ echo test > file
$ truncate -s 1M file
$ hexdump -C file
00000000  74 65 73 74 0a 00 00 00  00 00 00 00 00 00 00 00  |test............|
00000010  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
*
00100000

    Ou o mesmo em fallocate -lvez de truncate -salocar espaço em disco.

    Observe que entre os shells que copiaram zsh's {x..y}, bashé o único que {1..$n}não funciona, então aqui, você também pode alternar para um desses shells ( zsh, ksh93, yash -o brace-expand).

    Em zsh:

    $ hex=00; n=100; printf "\x$hex%.0s" {1..$n} | hexdump -Cv
00000000  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000010  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000020  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000030  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000040  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000050  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000060  00 00 00 00                                       |....|
00000064

    zsh também tem operadores de preenchimento e (ao contrário de bash) pode armazenar bytes arbitrários em sua variável:

    $ string=test n=128 pad=$'\0'; printf %s ${(pr[n][$pad])string} | hexdump -Cv
00000000  74 65 73 74 00 00 00 00  00 00 00 00 00 00 00 00  |test............|
00000010  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000020  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000030  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000040  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000050  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000060  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000070  00 00 00 00 00 00 00 00  00 00 00 00 00 00 00 00  |................|
00000080

    (cuidado, o preenchimento é baseado no número de caracteres, use set +o multibyte-o por byte em locais onde os caracteres podem ser compostos de mais de um byte).

    ¹ Adicionado à edição de 2024 do padrão POSIX , mas atualmente com um erro de digitação infeliz , pois , iflags=fullblockem vez de iflag=fullblock, eles copiaram o erro de digitação da solicitação para adicionar essa extensão GNU ao padrão .

    • 1

  3. GNU/awk tem uma função para converter expressões hexadecimais em um caractere. Ele também criará uma string longa (usando uma opção length para sprintf) e, então, substituirá globalmente seu caractere.

    #! /bin/bash

Awk='{
    #.. Make a long empty string.
    str = sprintf ("%*s", $1, "");
    #.. Make a single char from the hex value.
    hex = sprintf ("%c", strtonum ($2));
    #.. Fill the string with that character.
    gsub (".", hex, str);
    #.. Output the string.
    printf ("%s", str);
}'
    time echo 70552 0x14 | awk "${Awk}" >> doHex.big
    ls -l doHex.big
    od -Ad -t x1a doHex.big

    Ele produz 70 KB em cerca de 1/20 de segundo.

    $ ./doHex

real    0m0.053s
user    0m0.044s
sys 0m0.009s
-rw-rw-r-- 1 paul paul 70552 Sep  5 00:46 doHex.big
0000000  14  14  14  14  14  14  14  14  14  14  14  14  14  14  14  14
        dc4 dc4 dc4 dc4 dc4 dc4 dc4 dc4 dc4 dc4 dc4 dc4 dc4 dc4 dc4 dc4
*
0070544  14  14  14  14  14  14  14  14
        dc4 dc4 dc4 dc4 dc4 dc4 dc4 dc4
0070552
$
    • 0

relate perguntas