É possível configurar o ssh usando, PubkeyAuthentication yesmas apenas permitindo pares de chaves pub/privadas com frases secretas?
AskOverflow.Dev
Não, o servidor não tem conhecimento da proteção usada para a chave SSH no cliente.
Pode ser um arquivo PEM com senha, uma chave carregada em um agente, armazenada em um smartcard, etc -- tudo o que o servidor sabe é que o cliente respondeu com a resposta assinada corretamente.