Início / unix / Perguntas / 506506
Accepted
user1032531
Asked: 2019-03-16 05:04:53 +0800 CST

Convertendo recursivamente arquivos do Windows para arquivos Unix

  • 772

Eu tenho um aplicativo PHP com está localizado no Linux com vários diretórios (e subdiretórios) e muitos arquivos PHP, JS, HTML, CSS, etc. Muitos dos arquivos têm caracteres de controle Windows EOL e também estou preocupado que alguns possam não ser codificados em UTF-8, mas talvez ISO-8859-1, Windows-1252, etc. Meu desejo é converter todos os arquivos para UTF-8 com LF só.

Parece que eu posso ter alguns passos.

O dos2unix man fornece esta solução:

find . -name *.txt |xargs dos2unix

https://stackoverflow.com/a/11929475 fornece esta solução:

find . -type f -print0 | xargs -0 dos2unix

https://stackoverflow.com/a/7068241 fornece esta solução:

find ./ -type f -exec dos2unix {} \;

Eu reconheço que o primeiro só converterá arquivos txt que não é o que eu quero, mas posso mudar facilmente para direcionar todos os arquivos usando -type f. Dito isto, uma solução é "melhor" que a outra? Se sim, por quê? É possível dizer quais arquivos serão alterados sem alterá-los? Quando eu finalmente alterá-los, não quero que a data mude e pretendo usar o --keepdatesinalizador do dos2unix. Alguma outra opção deve ser usada?

Em seguida, precisarei lidar com a codificação. https://stackoverflow.com/a/805474/1032531 recomenda enca(ou seu comando irmão encov) e https://stackoverflow.com/a/64889/1032531 recomenda iconv. Também parece que filepode ser aplicável. Novamente, qual deles (ou talvez algo mais) deve ser usado? Instalei encae ao executar enca --list languageso , ele lista vários idiomas, mas não o inglês (talvez escolha "none"?), e questiono sua aplicabilidade. iconvjá foi instalado, porém, não possui uma página de manual (pelo menos man iconvnão resulta em uma). Como isso pode ser usado para verificar e converter recursivamente a codificação?

Confirme/corrija minha solução proposta ou forneça uma solução completa.

files unicode

1 respostas

  1. Best Answer

    Há algumas perguntas aqui reunidas em uma.

    Em primeiro lugar, ao usar find, eu sempre usaria --execem vez de xargs. Como regra geral, é melhor fazer as coisas com o mínimo de comandos possível. Mas também os dois primeiros métodos gravam todos os nomes de arquivos em um fluxo de texto pronto para xargs reinterpretarem de volta em nomes de arquivos. É um passo desnecessário que só adiciona ( reconhecidamente pequeno ) a oportunidade de falhar.

    dos2unixaceitará vários nomes de arquivo, então eu usaria:

    find . -type f -exec dos2unix --keepdate {} +

    Isso empilhará longas listas de arquivos e, dos2unixem seguida, iniciará um monte deles de uma só vez.

    Para descobrir quais arquivos serão tocados, basta soltar as cláusulas exec:

    find . -type f

    As alterações de codificação são muito mais problemáticas. Esteja ciente de que não há como determinar com segurança a codificação atual de qualquer arquivo de texto. Às vezes pode ser adivinhado, mas isso nunca é 100% confiável. Portanto, você só pode processar a codificação em lote se tiver certeza de que todos os arquivos são atualmente a mesma codificação.

    Eu recomendaria usar iconv. É realmente o padrão também para este trabalho. Você pode encontrar uma página de manual para isso aqui:

    https://linux.die.net/man/1/iconv

    Há um exemplo funcional de como usar iconvcom findaqui:

    https://stackoverflow.com/questions/4544669/batch-convert-latin-1-files-to-utf-8-using-iconv

    • 1

relate perguntas