O que os pontos neste comando tr fazem: tr ............AZ A-ZA-Z <<< "JVPQBOV" (com 13 pontos)

Funciona da seguinte forma:

SET1-> .............ABCDEFGHIJKLMNOPQRSTUVWXYZ
SET2-> ABCDEFGHIJKLMNOPQRSTUVWXYZABCDEFGHIJKLM

Então trvai traduzir SET1para SET2.

Isso é equivalente ao primeiro porque também está mudando por 13unidades, pois há 13 pontos.

Para incluir as letras minúsculas, você terá que organizá-las SET1com um deslocamento semelhante, ou seja:

.............ABCDEFGHIJKLMNOPQRSTUVWXYZ..........................abcdefghijklmnopqrstuvwxyz

ABCDEFGHIJKLMNOPQRSTUVWXYZABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyzabcdefghijklm

São 26 pontos entre Ze a, abrangendo metade do alfabeto maiúsculo e metade do alfabeto minúsculo. Então o trcomando em si será:

tr .............A-Z..........................a-z A-ZA-Za-za-z

Como @Prvt_Yadv diz em sua resposta, funciona porque existem 13 pontos.

Os conjuntos são

First set:  .............ABCDEFGHIJKLMNOPQRSTUVWXYZ
Second set: ABCDEFGHIJKLMNOPQRSTUVWXYZABCDEFGHIJKLMNOPQRSTUVWXYZ

O ponto não é um caractere especial, portanto, se você tiver um ponto em sua entrada, ele também será traduzido. Na versão trque eu tenho, é o último caractere correspondente no segundo conjunto, neste caso um M:

$ echo URYC ZR CYRNFR. | tr .............A-Z A-ZA-Z
HELP ME PLEASEM

(Eu poderia imaginar que uma versão diferente de trpoderia usar o primeiro caractere correspondente no conjunto 2, o que daria um A.)

Para responder à sua segunda pergunta , você precisa de mais 13 pontos no primeiro conjunto para "usar" as letras maiúsculas restantes no conjunto 2:

First set:  .............ABCDEFGHIJKLMNOPQRSTUVWXYZ.............
Second set: ABCDEFGHIJKLMNOPQRSTUVWXYZABCDEFGHIJKLMNOPQRSTUVWXYZ

então você pode repetir o padrão:

First set:  .............ABCDEFGHIJKLMNOPQRSTUVWXYZ..........................abcdefghijklmnopqrstuvwxyz
Second set: ABCDEFGHIJKLMNOPQRSTUVWXYZABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyzabcdefghijklmnopqrstuvwxyz

que nos dá:

tr .............A-Z..........................a-z A-ZA-Za-za-z

E entao:

$ echo Uryc zr cyrnfr | tr .............A-Z..........................a-z A-ZA-Za-za-z
Help me please

Pessoalmente, acho que a primeira maneira de fazer isso na sua pergunta é mais simples!

A primeira maneira também não transforma nenhum outro caractere na entrada. Por exemplo, compare:

$ echo Uryc zr cyrnfr. | tr .............A-Z..........................a-z A-ZA-Za-za-z  
Help me pleasem

com

$ echo Uryc zr cyrnfr. | tr A-Za-z N-ZA-Mn-za-m
Help me please.

Ok, então, graças a @Prvt_Yadv, consegui entender os pontos. Aqui está a resposta da primeira pergunta:

Qual é a mágica por trás do segundo trcomando?

Os 13 pontos estão simplesmente sendo mapeados para as primeiras 13 letras do segundo conjunto. Então

tr .............A-Z A-ZA-Zproduzirá os seguintes conjuntos:

SET1 -> .............ABCDEFGHIJKLMNOPQRSTUVXWYZ
SET2 -> ABCDEFGHIJKLMNOPQRSTUVXWYZABCDEFGHIJKLMNOPQRSTUVXWYZ

Se sua entrada não contiver um ponto, você pode descartar a sequência inicial, pois não usará essas substituições. Então os conjuntos se tornariam:

SET1 -> ABCDEFGHIJKLMNOPQRSTUVXWYZ
SET2 -> NOPQRSTUVXWYZABCDEFGHIJKLMNOPQRSTUVXWYZ

Mas como o primeiro conjunto já contém todas as 26 letras e o conjunto2 tem letras repetidas à direita, essas também são descartadas, tornando-se finalmente

SET1 -> ABCDEFGHIJKLMNOPQRSTUVXWYZ
SET2 -> NOPQRSTUVXWYZABCDEFGHIJKLM

Que é a substituição rot13 e idêntica ao primeiro comando (exceto por não lidar com letras minúsculas aqui). A mesma lógica pode ser aplicada para o título da pergunta:

tr ...A-Z A-ZA-Z <<< “JVPQBOV”produziria os conjuntos:

SET1 -> ...ABCDEFGHIJKLMNOPQRSTUVXWYZ
SET2 -> ABCDEFGHIJKLMNOPQRSTUVXWYZABCDEFGHIJKLMNOPQRSTUVXWYZ

Descartando a sequência inicial e as letras repetidas à direita, elas se tornam:

SET1 -> ABCDEFGHIJKLMNOPQRSTUVXWYZ
SET2 -> DEFGHIJKLMNOPQRSTUVXWYZABC

Qual é a substituição rot3.

Agora a segunda pergunta:

Como fazer o segundo comando funcionar para letras minúsculas e maiúsculas, assim como o primeiro comando?

Para fazer funcionar você coloca o número desejado de pontos no início, combinando sua rot e 26 pontos entre a sequência superior e a sequência inferior, assim:

tr ........A-Z..........................a-z A-ZA-Za-za-z

Isso criaria com sucesso um rot8 insensível. Para visualizar por que isso funciona, vamos ver os conjuntos:

SET1 -> ........ABCDEFGHIJKLMNOPQRSTUVXWYZ..........................abcdefghijklmnopqrstuvxwyz
SET2 -> ABCDEFGHIJKLMNOPQRSTUVXWYZABCDEFGHIJKLMNOPQRSTUVXWYZabcdefghijklmnopqrstuvxwyzabcdefghijklmnopqrstuvxwyz

Excluindo o mapeamento de pontos e letras à direita:

SET1 -> ABCDEFGHIJKLMNOPQRSTUVXWYZabcdefghijklmnopqrstuvxwyz
SET2 -> IJKLMNOPQRSTUVXWYZABCDEFGHijklmnopqrstuvxwyzabcdefgh

Agora funciona para maiúsculas e minúsculas :)

Outra maneira de fazê-lo funcionar é usar dois trcomandos como segue:

tr .............A-Z A-ZA-Z <<< "ABJ V hqrefgnaq" | tr .............a-z a-za-z

Uma advertência para usar a substituição de pontos foi dada por @iruvar: este comando não funcionará conforme o esperado quando a string de entrada tiver pontos. Isso ocorre porque os pontos estão sendo mapeados para outras letras e ao fazer a substituição, trirá alterar o ponto de entrada para a última letra mapeada. Mas você pode realmente usar qualquer outro caractere além de pontos. Portanto, se usar pontos em seu trcomando é um problema, você pode usar @, por exemplo. Isso funcionaria tão bem:

tr @@@@@@@@@@@@@A-Z A-ZA-Z <<< "GUNAX LBH NYY..."