Como posso definir uma política para habilitar a autenticação de chave pública somente se a pubkey tiver uma senha que atenda aos requisitos?

A imposição de proteção decente da chave privada do usuário não pode ser aplicada. Mesmo se você implementar um substituto personalizado para ssh-keygen, não poderá impedir que o usuário extraia a chave privada e a armazene em texto não criptografado em um compartilhamento de rede.

Você simplesmente tem que confiar no usuário para seguir suas diretrizes de segurança. Você pode querer implementar ferramentas personalizadas para orientar o usuário a fazer a coisa certa.

Duas opções:

1. Você pode implementar um processo seguro para provisionar tokens de chave de hardware e bloquear o dispositivo de token. Assim, o usuário não teria que lidar com o arquivo de chave privada. A advertência é que você precisa instalar o software do lado do cliente para oferecer suporte aos tokens de chave.
2. Outra opção é configurar um SSH-CA que emite certificados de usuário OpenSSH de curto prazo (não certificados X.509) que são válidos apenas por algumas horas. Ainda assim, o usuário pode manipular o cliente SSH-CA e extrair a chave privada. Mas só seria abusivo durante o curto tempo de vida do certificado. Isso funciona principalmente apenas para clientes e servidores OpenSSH e coisas baseadas em libssh.