Por que o bash dá o seguinte resultado após a expansão de chaves?

Porque você está dizendo isso :) Isto é o que o bash vê:

file{[1,2],3}.txt

O [e ]não têm nenhum significado especial neste contexto, os globs não são expandidos dentro de expansões de chaves: se uma expansão de chaves resultar em um glob, esse glob seria avaliado pelo shell após a expansão de chaves.

Então aqui, o que acontece é que o shell vê três elementos separados por vírgula na chave: [1, 2]e 3. É por isso que ele imprime devidamente file[1.txt, file2].txte file3.txt. Não é diferente de usar algo como file{a,b,c}.txt.

Você pode ver isso acontecendo com set -x:

$ set -x
$ echo file{[1,2],3}.txt
+ echo 'file[1.txt' 'file2].txt' file3.txt
file[1.txt file2].txt file3.txt

Esse comportamento é documentado na EXPANSIONSseção man bashonde a ordem de precedência é fornecida:

A ordem das expansões é: expansão de chaves; expansão de til, expansão de parâmetros e variáveis, expansão aritmética e substituição de comandos (feita da esquerda para a direita); divisão de palavras; e expansão de nomes de caminhos.

Como um aparte, [1,2]é um padrão globbing perfeitamente válido, só não é expandido dentro das chaves. Por exemplo:

$ touch file{1,2,3}.txt
$ ls
file1.txt  file2.txt  file3.txt
$ ls file[1,2].txt
file1.txt  file2.txt

Note que em globs, [a,b]corresponde a qualquer um dos caracteres a, ,ou b. Não significa "a ou b".