Pergunta no título, mas deixe-me detalhar mais. Excluindo o método ID/Senha no git CLI, geramos uma chave SSH e adicionamos a chave pública ao servidor remoto. Por que não temos métodos de criptografia de chave pública sem SSH? Não estamos nem nos conectando ao terminal remoto de uma máquina, nem precisamos conectar o terminal de uma máquina remota (precisamos?), Então por que ela é chamada de chave SSH? É apenas uma questão de convenção de nomenclatura ou algo mais? Qual é a história por trás disso?
Como diz uma resposta do StackOverflow (mencionada em um comentário), no início da história do Git, o protocolo ssh tinha os benefícios de oferecer suporte ao acesso de leitura e gravação ao repositório de back-end, bem como autenticação e criptografia criptograficamente fortes.
Outro benefício do ssh é que ele permite gerenciar/substituir as chaves independentemente do seu software de implantação. Ou seja, seus scripts de implantação não precisam saber como ler o token de autenticação de algum lugar e entregá-lo ao servidor.
Certamente existem outros protocolos com funcionalidade comparável, mas estas estão entre as razões pelas quais o git+ssh se tornou tão amplamente utilizado nos últimos 10 anos.