Alguma idéia de como calcular o valor médio de cada parte da coluna

Supondo que os dados já estejam classificados lexicograficamente na primeira coluna e que você esteja usando um shell que entenda as substituições de processo com <(...):

$ join file <( datamash -W groupby 1 median 2 <file )
111 5 5
111 6 5
111 1 5
222 8 5.5
222 9 5.5
222 1 5.5
222 3 5.5
555 9 7
555 7 7
555 6 7

Isso executa uma operação de JOIN relacional no primeiro campo do arquivo com o resultado do comando

datamash -W groupby 1 median 2 <file

Este comando calcula a mediana para cada conjunto de valores do segundo campo, agrupados pelos valores do primeiro campo. Com a -Wopção, fazemos com que o GNU datamashtrate a entrada como delimitada por espaços em branco.

O resultado dessa operação é

111     5
222     5.5
555     7

Unindo isso aos dados originais no primeiro campo, você obtém o resultado desejado.

Se os dados ainda não estiverem classificados no primeiro campo:

join <( sort -k 1,1n file ) <( datamash -s -W groupby 1 median 2 <file )

Se você quiser garantir que as linhas com o mesmo primeiro campo não sejam reordenadas uma em relação à outra, certifique-se de que o sort filecomando use um algoritmo de classificação estável . A maioria das sortimplementações permite que você faça isso usando a -sopção não padrão.

Para um shell sem substituição de processo:

• Os dados são classificados:

  datamash -W groupby 1 median 2 <file | join file -
  

• Os dados precisam de classificação:

  sort -o file.sorted -k 1,1n file
  datamash -W groupby 1 median 2 <file.sorted | join file.sorted -
  rm -f file.sorted
  

Usando qualquer sort+awk em qualquer shell em cada caixa unix:

$ cat tst.awk
$1 != prev { if (NR>1) prt(); prev=$1 }
{ vals[++cnt] = $2 }
END { prt() }

function prt(   i,med) {
    med = (vals[int((cnt+1)/2)] + vals[int((cnt/2)+1)]) / 2
    for (i=1; i<=cnt; i++) {
        print prev, vals[i], med
    }
    cnt = 0
}

$ sort -k1,1n -k2,2n file | awk -f tst.awk
111 1 5
111 5 5
111 6 5
222 1 5.5
222 3 5.5
222 8 5.5
222 9 5.5
555 6 7
555 7 7
555 9 7

O acima armazena todos os $2valores para o atual $1em uma matriz chamada vals[], então quando o $1valor muda ou o final do arquivo é atingido, ele chama prt()que descobre o valor mediano para essa matriz, armazena-o em uma variável chamada mede depois em um loop imprime $1mais todos os se associados $2e med.

O acima reordena as linhas para saída. Se isso for um problema, podemos decorar as linhas primeiro para salvar sua ordem original, depois fazer o sort+awk acima, depois ordenar novamente para a ordem original e, finalmente, descorar.

Se você tiver GNU awk e seus valores de chave já estiverem classificados, você poderá chamar asort()dentro da prt()função e não precisará chamar sortantes de awk. Se nada for classificado, você poderá armazenar tudo em arrays e classificar na seção END. Mas apenas chamar sortprimeiro, como mostrado, é mais claro, mais simples, mais eficiente e mais portátil.

Usando GNU awk para a função asort() e independentemente de seus dados serem classificados ou não, mas requerem processar o arquivo de entrada duas vezes; no primeiro processamento, agrupamos cada valor de Id em um e depois calculamos a mediana para cada grupo e na segunda vez do arquivo de processamento estamos apenas imprimindo sua mediana calculada como a última coluna do idarray:

awk -v sep=, 'NR==FNR{ id[$1]=($1 in id ? id[$1] sep : "") $2; next }
     FNR==1 {
                for(x in id){
                    ln=split(id[x], tmp, sep); asort(tmp)
                    id[x]=(ln%2? tmp[int(ln/2)+1]: (tmp[ln/2]+ tmp[ln/2+1])/2 )
                }
            }
{ print $0, id[$1] }' infile infile