Existe uma maneira de evitar que o ORDER BY do ROW_NUMBER tenha que repetir a mesma coisa?

Se você estiver procurando reutilizar a definição de janela, você pode defini-la separadamente usando window w1 as(order by..), então row_number()over(..)se torna row_number()over w1e você pode referenciar a mesma definição de janela de qualquer outra função de janela. Você também pode basear novas definições de janela na que você já tem.
_{demo em db<>fiddle}

select row_number()over w1 as index
     , sum(id)over w1 as sum1
     , sum(id)over(w1 rows between 1 preceding
                               and 0 following)as sum2
     , id
     , title
     , age(created_at)
     , priority
     , user_id 
from post 
window w1 as (order by priority DESC NULLS LAST
                     , created_at DESC)
--order by index             --referencing the first column by alias
--order by 1                 --referecing the first column by ordinal position
order by row_number()over w1 --repeating the first column expression

Citando a SELECT..WINDOWcláusula doc :

A WINDOWcláusula opcional tem a forma geral

WINDOW window_name AS ( window_definition ) [, ...]

onde window_nameé um nome que pode ser referenciado a partir de OVERcláusulas ou definições de janela subsequentes e window_definitioné

[ existing_window_name ]
[ PARTITION BY expression [, ...] ]
[ ORDER BY expression [ ASC | DESC | USING operator ] [ NULLS { FIRST | LAST } ] [, ...] ]
[ frame_clause ]

Se an existing_window_namefor especificado, ele deve se referir a uma entrada anterior na WINDOWlista; a nova janela copia sua cláusula de particionamento dessa entrada, bem como sua cláusula de ordenação, se houver. Nesse caso, a nova janela não pode especificar sua própria PARTITION BYcláusula, e pode especificar ORDER BYsomente se a janela copiada não tiver uma. A nova janela sempre usa sua própria cláusula de frame; a janela copiada não deve especificar uma cláusula de frame.

Quanto ao order by, no seu exemplo é suficiente classificar pelo número da linha que você gerou usando aquele que você tem, chegando à mesma ordem efetiva. Você pode repetir a expressão (usar o nome da janela poupa a repetição do seu order by), referenciá-la pelo alias ou pela posição ordinal. Citando o documento sobre SELECT..ORDER BYcláusula :

Cada expressão pode ser o nome ou número ordinal de uma coluna de saída ( SELECTitem da lista) ou pode ser uma expressão arbitrária formada a partir de valores da coluna de entrada.

O número ordinal se refere à posição ordinal (da esquerda para a direita) da coluna de saída. Esse recurso torna possível definir uma ordenação com base em uma coluna que não tem um nome exclusivo. Isso nunca é absolutamente necessário porque é sempre possível atribuir um nome a uma coluna de saída usando a AScláusula.

Também é possível usar expressões arbitrárias na ORDER BYcláusula, incluindo colunas que não aparecem na SELECTlista de saída.

Há uma diferença importante no comportamento entre uma order bydefinição normal, externa e a interna de uma janela. Enquanto a primeira pode usar aliases e posições ordinais, a última não aceita um alias de coluna, mas, mais importante, números nela são aceitos, mas interpretados de forma diferente: a definição de janela entende números em order bycomo literais inteiros, não posições ordinais de coluna .
Isso significa over(order by 1)que é tão útil quanto over(order by true), over(order by 'constant'), ou apenas over().

Basta ordenar pela primeira coluna:

SELECT ROW_NUMBER() OVER (ORDER BY priority DESC NULLS LAST, created_at DESC) AS index
     , id
     , title
     , ago(created_at)
     , priority
     , user_id
FROM post
ORDER BY 1 ASC; -- 1 = first column

Veja também o manual

SELECT 
  ROW_NUMBER() OVER (ORDER BY priority DESC NULLS LAST, created_at DESC) as index,
  id,
  title,
  ago(created_at),
  priority,
  user_id
FROM post
ORDER BY index;

WITH OrderedPosts AS (
    SELECT ROW_NUMBER() OVER (ORDER BY priority DESC NULLS LAST, created_at DESC) AS index,
           id, title, ago(created_at), priority, user_id
    FROM post
)
SELECT * FROM OrderedPosts
ORDER BY priority DESC NULLS LAST, created_at DESC;