Início / unix / Perguntas / 407252
Accepted
FaxMax
Asked: 2017-11-28 02:24:54 +0800 CST

Alterar uma lista de strings para letras minúsculas

  • 772

Eu tenho dois arquivos, um arquivo contém uma lista de strings.

+stringa +Dog +Cat
+cat +Tux +elephant

e o segundo arquivo (csv) contém algo como:

"123456 Abc","+Stringx +123","something"
"23456 dEf","+cat +Tux +elephant","Other something"
"34524 xyz","+stringa +Dog +Cat","third something"

o resultado deve ser:

"123456 Abc","+Stringx +123","something"
"23456 dEf","+cat +tux +elephant","Other something"
"34524 xyz","+stringa +dog +cat","third something"

Como posso alterar as strings que correspondem à minha lista de padrões para letras minúsculas?

Meu arquivo de valores separados por vírgula tem cerca de 30 colunas e cerca de 1.500 linhas.

text-processing

3 respostas

  1. Best Answer

    Com GNU sed, assume que você não tem nenhum metacaracter na lista de strings, +não é um metacaracter com BRE padrão

    $ # create substitute command for each line
$ sed 's/.*/s|"&"|\\L\&|gi/' f1
s|"+stringa +Dog +Cat"|\L&|gi
s|"+cat +Tux +elephant"|\L&|gi

$ # pass those commands as sed script
$ sed -f <(sed 's/.*/s|"&"|\\L\&|gi/' f1) ip.csv
"123456 Abc","+Stringx +123","something"
"23456 dEf","+cat +tux +elephant","Other something"
"34524 xyz","+stringa +dog +cat","third something"

$ # or save them in a file and use
$ sed 's/.*/s|"&"|\\L\&|gi/' f1 > f2
$ sed -f f2 ip.csv
    • \Lpara converter string para minúsculas
    • gpara substituir todas as ocorrências em uma linha, ipara correspondência sem distinção entre maiúsculas e minúsculas


    Se você não temGNU sed

    $ # \Q to quote metacharacters
$ # but will have issues if you have \ or $ or @
$ sed 's/.*/s|\\Q"&"|\\L$\&|gi;/' f1
s|\Q"+stringa +Dog +Cat"|\L$&|gi;
s|\Q"+cat +Tux +elephant"|\L$&|gi;

$ perl -p <(sed 's/.*/s|\\Q"&"|\\L$\&|gi;/' f1) ip.csv 
"123456 Abc","+Stringx +123","something"
"23456 dEf","+cat +tux +elephant","Other something"
"34524 xyz","+stringa +dog +cat","third something"


    Conforme observado por Stéphane Chazelas, isso pode levar a vulnerabilidades de injeção de código se o conteúdo de f1não estiver sob controle

    • 3

  2. AWKsolução (para sua entrada atual):

    Supondo que o segundo campo seja de interesse principal e os valores no arquivo de pesquisa estejam entre aspas duplas.

    awk 'NR==FNR{ $0="\042"$0"\042"; a[$0]; next }
     $2 in a{ $2=tolower($2) }1' patterns FS=',' OFS=',' file.csv

    • $0="\042"$0"\042"- envolva uma linha padrão com aspas duplas enquanto itera pelas linhas do patternsarquivo

    • a[$0]- captura de uma linha padrão em arraya

    • $2 in a{ $2=tolower($2) }- se o valor do 2º campo da linha do file.csvarquivo estiver na lista de padrões (ou seja, matriz a) - converta todos os caracteres para letras minúsculas$2=tolower($2)

    A saída:

    "123456 Abc","+Stringx +123","something"
"23456 dEf","+cat +tux +elephant","Other something"
"34524 xyz","+stringa +dog +cat","third something"
    • 2

  3. Com perl, supondo que você queira que cada palavra no primeiro arquivo seja transformada em minúsculas:

    perl -pe '
 BEGIN {local $/ = undef; $regex = join "|", map qr{\Q$_\E}i, split " ", <>}
 s/$regex/\L$&/g' file1.words file2.csv

    local $/ = undeftorna o separador de registros para o bloco BEGIN indefinido, de modo que a única invocação de lá elimine todo o <>primeiro arquivo ( file1.words). depois de citá- los com regex e torná-los insensíveis a maiúsculas e minúsculas.split " "perlawk -F " "awk|

    Portanto, temos um enorme regexp que é algo parecido (?i:word1)|(?i:word2)|...com o que aplicamos em cada linha do segundo arquivo no restante do código.

    Se for cada string em cada linha do primeiro arquivo, isso pode ser simplificado para:

    perl -pe '
 BEGIN {chomp (@strings = <STDIN>); $regex = join "|", map qr{\Q$_\E}i, @strings}
 s/$regex/\L$&/g' < file1.strings file2.csv

    Lá, abrimos o primeiro arquivo no stdin em vez de passá-lo como argumento. <STDIN>retorna uma lista de suas linhas das quais removemos os delimitadores com chomp, e juntamos com |como acima.

    Se você não quiser que seja limitado a caracteres ASCII, adicione a -Mopen=localeopção.

    • 2

relate perguntas