Como posso reformatar blocos de dados até chegar ao final do arquivo?

Usando qualquer awk, independentemente de o 3número de linhas em um bloco poder variar ou não:

$ awk '
    NR == 2 { $3=""; saved=$0; next }
    NR == 3 { $0=saved $3 }
    NR  < 4 { print; next }
    !numLines {
        numLines = $2
        printf "%s%s", $1, OFS
        next
    }
    { printf "%s%s", $2, (--numLines ? OFS : ORS) }
' file
# Time-averaged data for fix avetimeall
# TimeStep c_gyrationchunkall
1000 2.09024e-14 4.88628 5.69321
2000 2.10518e-14 8.33702 8.83162
3000 1.96656e-14 12.1396 11.5835

Seguindo uma discussão sob a resposta de Xavier G sobre uma preferência de estilo para legibilidade, aqui está um script awk escrito no mesmo estilo daquele script de shell (e contido em um script de shell para que se comporte da mesma maneira externamente), mas será executado ordens de magnitude mais rápidas* e mais robustas e portáveis ​​que o shell script:

$ cat ./script_filename
#!/usr/bin/env bash

awk '
    BEGIN {
        # Reformat comments:
        getline first_line
        print first_line
        getline; split($0,line2)
        getline; split($0,line3)
        printf "# %s %s\n", line2[2], line3[3]

        # Reformat data:
        while ( getline > 0 ) {
            timestep=$1; number_of_rows=$2
            printf "%s", timestep
            for ( i=1; i<=number_of_rows; i++ ) {
                getline; row_value=$NF
                printf " %s", row_value
            }
            print ""
        }
    }
'

$ ./script_filename < input
# Time-averaged data for fix avetimeall
# TimeStep c_gyrationchunkall
1000 2.09024e-14 4.88628 5.69321
2000 2.10518e-14 8.33702 8.83162
3000 1.96656e-14 12.1396 11.5835

* Aqui estão os resultados do tempo da terceira execução da execução do script bash versus o script awk acima em um arquivo contendo 90.000 registros de OPs:

$ time ./script_bash < file > /dev/null

real    0m9.425s
user    0m5.062s
sys     0m4.139s

$ time ./script_awk < file > /dev/null

real    0m0.265s
user    0m0.171s
sys     0m0.000s

Usando Raku (anteriormente conhecido como Perl_6)

Use skippara esquecer as linhas de cabeçalho por enquanto:

~$ raku -e 'my @a = lines.skip(3).rotor(4, partial => True).map: *.words; .[0,3,5,7].put for @a;'  file

#OR

~$ raku -e 'my @a = lines.skip(3).batch(4).map: *.words; .[0,3,5,7].put for @a;'  file

Acima está uma resposta codificada em Raku, um membro da família Perl de linguagens de programação. Resumidamente, linessão lidos e skipexecutam ping nas três primeiras linhas do cabeçalho. Cada 4 linhas são rotoreditadas/ batcheditadas juntas, incluindo partial"rotorings" finais no final do arquivo. Enquanto estamos nisso, vamos dividir cada rotor/ batchem espaços em branco separados words.

Esses rotores/lotes de 4 linhas, cada um quebrado no espaço em branco, são salvos em uma @matriz -sigilada chamada @a. Finalmente (na segunda instrução), o uso de forcada @aposição é iterado through e out put, tomando cuidado para que elementos indesejados sejam descartados (por meio de colchetes de indexação [0,3,5,7]).

Entrada de amostra:

# Time-averaged data for fix avetimeall
# TimeStep Number-of-rows
# Row c_gyrationchunkall
1000 3
1 2.09024e-14
2 4.88628
3 5.69321
2000 3
1 2.10518e-14
2 8.33702
3 8.83162
3000 3
1 1.96656e-14
2 12.1396
3 11.5835

Saída de amostra:

1000 2.09024e-14 4.88628 5.69321
2000 2.10518e-14 8.33702 8.83162
3000 1.96656e-14 12.1396 11.5835

Em relação às linhas de cabeçalho, poderia ser igualmente fácil iniciar o código Raku com duas putinstruções, por exemplo put "Time-averaged data...";, etc. Mas, de fato, o seguinte funciona para fornecer a saída desejada pelo OP:

~$ raku -e 'lines[0].put; .words[0..1, *-1].put for lines[0..1].rotor(2);  \
            my @a = lines.rotor(4, partial => True).map: *.words;          \
            .[0,3,5,7].put for @a;'  file
## Time-averaged data for fix avetimeall
# TimeStep c_gyrationchunkall
1000 2.09024e-14 4.88628 5.69321
2000 2.10518e-14 8.33702 8.83162
3000 1.96656e-14 12.1396 11.5835

https://raku.org

Usando AWK :

$ awk '
    NR==2{sub(/[[:space:]]+[^[:space:]]+$/,"");rec = $0; next}
    NR==3{$0 = rec OFS $NF};
    NR<4;                                
    NR>3{printf "%s", (NR%4==0) ? ((NR==4) ? "" : ORS) $1 : ($1="")$0 }
   END{if (NR)print ""}' 

$ awk '
   NR==2{sub(/[[:space:]]+[^[:space:]]+$/,"");rec = $0; next}
   NR==3{$0 = rec OFS $NF};
   NR<4;
   $NF ~ /^[0-9]+$/{a=$NF;n=NR+a; sub(/[[:space:]]+[^[:space:]]+$/,""); printf "%s", $0; next}                    
   NR<=n{$1 =""; printf "%s", $0((NR==n) ? ORS : "") }'

Resposta rápida e suja - sinta-se à vontade para executar shellcheckisso:

#!/usr/bin/env bash

# Reformat comments:
read -r first_line
echo "${first_line}"
read -r sharp line2_word1 line2_word2
read -r sharp line3_word1 line3_word2
echo "# ${line2_word1} ${line3_word2}"

# Reformat data:
while read -r timestep number_of_rows; do
    echo -n "${timestep}"
    for (( i=1; i<=number_of_rows; i++ )); do
        read -r row value
        echo -n " ${value}"
    done
    echo
done

Uso:./script_filename < input

Limitações:

• este script assume que as linhas de dados estão ordenadas (ou seja, 1, 2, 3, conforme mostrado no exemplo)
• este script não lida com dados interrompidos (por exemplo, anunciando 3 linhas de dados, mas fornecendo apenas 1)

Com as advertências mencionadas na sua pergunta e usando sua entrada de amostra como arquivo q762948, você pode fazer isso com um simples comando awk:

$ head -2 q762948 >result.txt
# dump the comments as required
$ tail +4 q762948 | awk '{c=(NR-1)%4} c==0{p=$1;print ""} c>0{p=$2}{printf p"  "}'>>result.txt    
$ cat result.txt

# Time-averaged data for fix avetimeall
# TimeStep Number-of-rows

1000  2.09024e-14  4.88628  5.69321  
2000  2.10518e-14  8.33702  8.83162  
3000  1.96656e-14  12.1396  11.5835