Você pode querer pensar um pouco sobre isso em termos de "o que o programa faz quando escaneia o que eu enviei pressionando enter". Em alguns casos, ele inicia uma nova "coisa" (como o cin cat: que é claramente o começo de alguma "palavra" que o shell deve entender), alguns caracteres apenas continuam a "coisa" existente (como o congoing the c-started "thing"), e algumas coisas terminam "coisas" iniciadas anteriormente e as colocam na pilha de "coisas" finalizadas (como o espaço depois de cat, deixando claro que a "coisa" catnão pode continuar).

As "coisas" acima seriam chamadas de "tokens" na ciência do analisador sintático/lexer.

Existe uma lógica para o segundo caso não funcionar? Ou é apenas como o bash funciona internamente?

É assim que a sintaxe do shell funciona, sim; ter um parêntesis aberto e sem correspondência não inicia um token "que absorve nova linha". No entanto, |inicia um novo token que absorve todos os espaços em branco e novas linhas depois.

Então, a "lógica" é: é assim que o shell é definido para funcionar! Desculpe.

Outra coisa que não entendo é que, quando você digita (ls) "{return}, o bash pede outra linha. Existe alguma maneira de finalizar esse comando sem obter um erro de sintaxe?

sua "entrada inicia uma literal de string , então até você digitar outra ", tudo que returnvocê digitar se tornará apenas quebras de linha naquela literal de string.

Aqui:

( (ls) |
  cat )
# and
( (ls) 
| cat )

os subshells são apenas uma distração. Considere o caso mais simples:

ls |
cat
# and
ls
| cat

O primeiro é um pipeline com lsno lado esquerdo, e catno lado direito. A sintaxe do shell permite uma nova linha após o |. (E provavelmente permite, já que sempre foi feito assim. Além disso, não é de forma alguma inequívoco, tudo o que pode vir depois do |é outro comando.)

O segundo é o comando ls, seguido pelo broken pipeline | cat. Eu digo broken pipeline, porque o operador pipeline |requer um comando no lado esquerdo também. Aqui, não há nada que você possa fazer para corrigir esse erro de sintaxe, então, por exemplo, um shell interativo reclama sobre isso imediatamente, sem esperar por outra linha (mesmo se você o tivesse encapsulado em ( )).

Em

(ls) "

o shell não chega ao estágio de realmente verificar a sintaxe do comando. Em termos de sintaxe, a string entre aspas é um único item, e o shell tem que esperar que ela termine antes de poder reconhecer o token correspondente e verificar a sintaxe. Mas sim, não parece que nada na linha a seguir poderia tornar o comando uma sintaxe de shell válida, já que você não pode colocar uma palavra simples depois de um comando composto de subshell.

_{(você poderia ter algo como "foo"abc'bar', com mais de uma parte entre aspas ou sem aspas, produzindo no total apenas um token de "palavra", mas você entendeu.)}

Todas as respostas e comentários acima são bons, mas estou surpreso que ninguém mencionou o "personagem de continuação".

Concordo que os ( )sub-shells são uma distração, você pode "consertar" seu código quebrado adicionando mais um caractere,

ls
| cat

Torna-se

ls \
| cat

Sua outra versão

ls | 
cat

funciona porque o shell vê o |char como um token independente (conforme explicado na resposta de MM) e então permite que ele seja o último item em uma linha, mas esperará por uma segunda linha para fechar a leitura da entrada. (Provavelmente há uma explicação técnica melhor, mas essa é a ideia geral).

Observe que o \char deve ser o último caractere da linha. Qualquer caractere de espaço/tabulação seguinte gerará uma mensagem de erro de sintaxe.

shellcheck é uma boa ferramenta para detectar e explicar erros de sintaxe. Neste caso, ele diz:

paul: ~ $ shellcheck -s bash -
( (ls)
| cat )

In - line 1:
( (ls)
^-- SC1073 (error): Couldn't parse this explicit subshell. Fix to allow more checks.

In - line 2:
| cat )
^-- SC1072 (error): Expected ) closing the subshell. Fix any mentioned problems and try again.
^-- SC1133 (error): Unexpected start of line. If breaking lines, |/||/&& should be at the end of the previous one.

For more information:
  https://www.shellcheck.net/wiki/SC1133 -- Unexpected start of line. If brea...
  https://www.shellcheck.net/wiki/SC1072 -- Expected ) closing the subshell. ...
  https://www.shellcheck.net/wiki/SC1073 -- Couldn't parse this explicit subs...
paul: ~ $