Localização geográfica do AWS Route53 com failover

O que eu tenho atualmente é a seguinte
instância EC2x2 em Tóquio (1 aplicativo proxy 1)
instância EC2x2 em Cingapura (1 aplicativo proxy 1)

Com outro provedor, temos geo dns, então os usuários de Tóquio vão para a instância de Tóquio e Cingapura para Cingapura.

Estou pensando em mudar para o Route53 (já tenho outras zonas DNS com a Amazon) porque gostaria de aproveitar o failover com o Health Check. Tendo visto os exemplos de como configurá-lo, ainda não tenho certeza de como configurar o que desejo, que é o seguinte.

Configurei 2 verificações de integridade, uma para cada local, e elas estão funcionando.
Eu configurei 2 entradas DNS, ambas chamadas proxy.domain.com, cada uma com uma política de roteamento de GeoLocation e selecionei Japão e Cingapura e adicionei o IP EC2 relevante a cada uma.
Agora estou tentando configurar o cname site.domain.com para que, se um dos locais estiver indisponível, os usuários façam failover para a outra instância.

No entanto, o que parece acontecer é o que eu também espero que aconteça. Mesmo quando o DNS falha porque o destino secundário é o mesmo nome DNS do destino primário, a localização do usuário sempre vence e o IP da outra instância nunca é retornado. Exemplo

IP do Japão: 1.1.1.1 IP de Cingapura: 2.2.2.2

De Cingapura Ping site.domain.com > 2.2.2.2
Desativar Cingapura (a verificação de integridade confirma a integridade)
Aguardando a expiração dos TTLs, flushdns.
De Cingapura Ping site.domain.com > 2.2.2.2 (neste ponto, quero que retorne 1.1.1.1)