SSH funciona, SSHFS não e eu não sei por quê

Estou tentando usar SSHFS para montar algumas pastas no meu sistema. Sou basicamente um usuário "normal" tentando acessar meu PC de mídia dessa forma.

Coisas que fiz até agora:

• Configurei um servidor SSH no meu PC de mídia, apenas com verificação de chave pública.

A única coisa que mudei na sshd_configárea

PasswordAuthentication no  
AuthenticationMethods publickey

Isso funcionou bem por meses, agora posso executar comandos do meu PC cliente e consigo acessar meus arquivos via SFTP. Agora eu queria usar SSHFS para montar algumas pastas. Não pensei muito e pensei que funcionaria imediatamente.

Ao tentar conectar pela primeira vez, essa mensagem me confundiu um pouco, pois eu já havia me conectado com ssh antes, então pensei que isso deveria ser conhecido?

ED25519 key fingerprint is  SHA256:xxx.
This key is not known by any other names.
Are you sure you want to continue connecting (yes/no[fingerprint])
read: Connection reset by peer

Desde então, continuo recebendo:

Permission denied (publickey).
read: Connection reset by peer

Eu já verifiquei as coisas óbvias, por exemplo, se minha chave pública foi adicionada ao authorized_keysarquivo, se o SSH ainda está funcionando (o que está) e se os direitos estão configurados corretamente para as .sshpastas. Eu também tentei especificar minha chave pública (embora eu use as configurações padrão) por:

sudo sshfs -o sshfs_debug,IdentityFile=/home/clientpc/.ssh/id_ed25519.pub [email protected]:/home/mediapc/media /home/clientpc/mp3  

O que então acabará me dizendo:

executing <ssh> <-x> <-a> <-oClearAllForwardings=yes> <-oIdentityFile=/home/clientpc/.ssh/id_ed25519.pub> <-2> <[email protected]> <-s> <sftp>
Load key "/home/clientpc/.ssh/id_ed25519.pub": error in libcrypto

O que eu acho que pode ser o motivo desse problema. Ao gerar esse par de chaves, não fiz nada especial além de definir uma senha para o arquivo.

No entanto, não tenho ideia se é isso que está me causando esse problema.