Não há problemas para se conectar a ele de qualquer outro ambiente (o local funciona bem, assim como da nuvem), e o grupo de segurança está totalmente aberto no momento. Uma instância real do PostgreSQL, hospedada na AWS, não apresentou problemas. É apenas uma coisa de Aurora. Eu criei várias instâncias com configurações diferentes. A autenticação SSL está desativada e o próprio SSL está configurado para ser opcional.
"Desculpe, encontramos um erro e não foi possível concluir sua solicitação."
Acontece que o conector PostgreSQL do LookerStudio/Google é incompatível. Consegui conectar usando um conector de terceiros; SyncWith's (mais abaixo na lista), eu acho.
EDIT: Na verdade, parece que, no momento em que tentei conectá-lo, pode não haver tabelas ou bancos de dados ou algum outro problema de infraestrutura, enquanto o conector de terceiros não tinha esse problema. Parece estar se conectando com o conector nativo agora muito bem.