Como remover caracteres inválidos de nomes de arquivos?

Eu tinha alguns arquivos japoneses com nomes de arquivos quebrados recuperados de um pendrive quebrado e as soluções acima não funcionaram para mim.

Recomendo o pacote detox:

O utilitário de desintoxicação renomeia os arquivos para torná-los mais fáceis de trabalhar. Ele remove espaços e outros aborrecimentos. Ele também traduzirá ou limpará caracteres Latin-1 (ISO 8859-1) codificados em ASCII de 8 bits, caracteres Unicode codificados em UTF-8 e caracteres de escape CGI.

Exemplo de uso:

detox -r -v /path/to/your/files

-r Recurse em subdiretórios
-v Seja detalhado sobre quais arquivos estão sendo renomeados
-n Pode ser usado para uma simulação (mostra apenas o que seria alterado)

Uma maneira seria com sed:

mv 'file' $(echo 'file' | sed -e 's/[^A-Za-z0-9._-]/_/g')

Substitua filepelo nome do seu arquivo, é claro. Isso substituirá qualquer coisa que não seja uma letra, número, ponto, sublinhado ou traço por um sublinhado. Você pode adicionar ou remover caracteres para manter como quiser e/ou alterar o caractere de substituição para qualquer outra coisa, ou nada.

Eu suponho que você esteja na caixa Linux e os arquivos foram feitos em uma caixa Windows. O Linux usa UTF-8 como codificação de caracteres para nomes de arquivos, enquanto o Windows usa outra coisa. Acho que essa é a causa do problema.

Eu usaria "convmv". Esta é uma ferramenta que pode converter nomes de arquivos de uma codificação de caracteres para outra. Para a Europa Ocidental, um desses normalmente funciona:

convmv -r -f windows-1252 -t UTF-8 .
convmv -r -f ISO-8859-1 -t UTF-8 .
convmv -r -f cp-850 -t UTF-8 .

Se você precisar instalá-lo em um Linux baseado em Debian, você pode fazê-lo executando:

sudo apt-get install convmv

Funciona para mim todas as vezes e recupera o nome do arquivo original.

Fonte: LeaseWebLabs

Eu suponho que você quer dizer que deseja percorrer o sistema de arquivos e corrigir todos esses arquivos?

Aqui está a maneira que eu faria isso

find /path/to/files -type f -print0 | \
perl -n0e '$new = $_; if($new =~ s/[^[:ascii:]]/_/g) {
  print("Renaming $_ to $new\n"); rename($_, $new);
}'

Isso encontraria todos os arquivos com caracteres não ASCII e substituiria esses caracteres por sublinhados ( _). Tenha cuidado, porém, se um arquivo com o novo nome já existir, ele o substituirá. O script pode ser modificado para verificar esse caso, mas não coloquei isso para simplificar.

Seguindo as respostas em https://stackoverflow.com/questions/2124010/grep-regex-to-match-non-ascii-characters , você pode usar:

rename 's/[^\x00-\x7F]//g' *

onde *corresponde aos arquivos que você deseja renomear. Se você quiser fazer isso em vários diretórios, você pode fazer algo como:

find . -exec rename 's/[^\x00-\x7F]//g' "{}" \;

Você pode usar o argumento -n renamepara fazer uma simulação e ver o que seria alterado, sem alterá-lo.

Este script de shell limpa um diretório recursivamente, para tornar os arquivos portáteis entre Linux/Windows e FAT/NTFS/exFAT. Ele remove caracteres de controle /:*?"<>\|e alguns nomes reservados do Windows, como COM0.

sanitize() {
  shopt -s extglob;

  filename=$(basename "$1")
  directory=$(dirname "$1")

  filename_clean=$(echo "$filename" | sed -e 's/[\\/:\*\?"<>\|\x01-\x1F\x7F]//g' -e 's/^\(nul\|prn\|con\|lpt[0-9]\|com[0-9]\|aux\)\(\.\|$\)//i' -e 's/^\.*$//' -e 's/^$/NONAME/')

  if (test "$filename" != "$filename_clean")
  then
    mv -v "$1" "$directory/$filename_clean"
  fi
}

export -f sanitize

sanitize_dir() {
  find "$1" -depth -exec bash -c 'sanitize "$0"' {} \;
}

sanitize_dir '/path/to/somewhere'

O Linux é menos restritivo em teoria ( /e \0é estritamente proibido em nomes de arquivos), mas na prática vários caracteres interferem com comandos bash (como *...) então eles também devem ser evitados em nomes de arquivos.

Ótimas fontes para restrições de nomenclatura de arquivos:

• MSDN: Nomeando arquivos
• Wikipedia : Comparação de limitações de nome de arquivo

Eu uso este one-liner para remover caracteres inválidos em arquivos de legendas:

for f in *.srt; do nf=$(echo "$f" |sed -e 's/[^A-Za-z0-9.-]/./g;s/\.\.\././g;s/\.\././g'); test "$f" != "$nf" && mv "$f" "$nf" && echo "$nf"; done

1. Apenas processe arquivos *.srt( * pode ser usado no lugar de *.srt para processar todos os arquivos)
2. Remove todos os outros caracteres, exceto letras A-Za-z, números 0-9, pontos "." e traço "-"
3. Remove possíveis períodos duplos ou triplos
4. Verifica se o nome do arquivo precisa ser alterado
5. Se true, ele renomeia o arquivo com o comando mv e exibe as alterações feitas com o comando echo

Funciona para normalizar os nomes dos diretórios dos filmes:

for f in */; do nf=$(echo "$f" |sed -e 's/[^A-Za-z0-9.]/./g' -e 's/\.\.\././g' -e 's/\.\././g' -e 's/\.*$//'); test "$f" != "$nf" && mv "$f" "$nf" && echo "$nf"; done

Mesmas etapas acima, mas adicionei mais um comando sed para remover um ponto no final do diretório

X-Men Days of Future Past (2014) [1080p]
Modificado para:
X-Men.Days.of.Future.Past.2014.1080p

Se você deseja lidar com novas linhas incorporadas, caracteres multibyte, espaços, traços iniciais, barras invertidas e espaços, precisará de algo mais robusto, consulte esta resposta:
https://superuser.com/a/858671/365691

Eu coloquei o script em code.google.com se alguém estiver interessado: rnf-bash-rename-script

Eu sei que isso é um pouco antigo, mas recentemente descobri que o shell de tradução do Google realmente ajuda com arquivos nomeados estrangeiros com nomes unicode sufocantes. Renomeação de lote útil com tradução em shell.

$ echo скачать  | trans -b
download

https://github.com/soimort/translate-shell

[ATUALIZAÇÃO] A API do Google Tradutor tende a bloqueá-lo se você clicar nela muitas vezes, mas também encontrei uma opção local conveniente que converte entre alfabetos chamada uconv. Útil foneticamente, mas não tradução:

echo скачать | uconv -x 'Any-Latin;Latin-ASCII'
skacat'

para arquivo em *; do mv "$arquivo" $(echo "$arquivo" | sed -e 's/[^A-Za-z0-9. -]/ /g'); feito &