Início / unix / Perguntas / 740669
Accepted
NeilWang
Asked: 2023-03-23 08:53:19 +0800 CST

Como substituir certos caracteres por CR+LF entre duas palavras

  • 772

Desejo gerar um arquivo csv para informar quais servidores possuem arquivos e propriedade específicos. Aqui está a saída original que obtive:

server01,server02,server03,owner,/etc/file1
server04,owner,/etc/file2
server05,server06,owner,/etc/file3

Desejo substituir as vírgulas entre os nomes dos servidores pela nova linha do formato do Windows (CF + LR) e adicionar aspas entre eles para que o CSV exiba todos os servidores na mesma caixa.

Saída desejada:

"server01
server02
server03",owner,/etc/file1
"server04",owner,/etc/file2
"server05
server06",owner,/etc/file3

Como alcançá-lo com sed?

sed

3 respostas

  1. Se for tudo o que resta de um literal ,owner,que você deseja agrupar em um campo:

    Com GNU sed:

    sed -E ':1; s/,(.*,owner,)/\r\n\1/; t1; s/(.*)(,owner,)/"\1"\2/' file

    Com perl:

    perl -pe 's{.*?(?=,owner,)}{q(") . ($& =~ s/,/\r\n/gr) . q(")}e' file

    Se for tudo, exceto os dois últimos campos:

    Com GNU sed:

    sed -E ':1; s/(.*),(.*,.*,)/\1\r\n\2/; t1; s/(.*),/"\1",/' file

    Com perl:

    perl -pe 's{(.*)(?=,.*,)}{q(") . ($& =~ s/,/\r\n/gr) . q(")}e' file

    Ou usando o Text::CSVmódulo perl para fazer a análise e formatação CSV corretamente:

    perl -MText::CSV -e '
  $csv = Text::CSV->new({binary => 1, decode_utf8 => 0, eol => $" = "\r\n"});
  while ($row = $csv->getline(STDIN)) {
    if (($last = $#{$row}) > 1) {
      $csv->print(STDOUT, ["@$row[0..$last-2]", @$row[$last-1..$last]]);
    } else {
      $csv->print(STDOUT, $row);
    }
  }' < file

    Se o arquivo estiver codificado em UTF-16 ou UTF-8 com BOM, o que não é inédito para arquivos da Microsoft, você provavelmente terá que se adaptar (consulte perldoc Text::CSVpara essa abordagem) ou talvez prefira fazer a reformatação de uma <file dos2unix | ... | unix2dosmaneira para que você possa processar entrada sã.

    • 4
  2. Best Answer

    Eu não faria isso com sed, eu usaria perlem vez disso (ou talvez awk- mas então eu teria que escrever minhas próprias funções pop()e join()em vez de usar os perl integrados):

    $ perl -F, -lane '$file = pop @F; $owner = pop @F;
                  print join(",", "\"" . join("\r\n", @F) . "\"", $owner, $file)' input.csv 
"server01
server02
server03",owner,/etc/file1
"server04",owner,/etc/file2
"server05
server06",owner,/etc/file3

    Primeiro, ele remove os dois últimos elementos (o proprietário e o nome do arquivo) da @Fmatriz ( @Fé criado automaticamente para cada linha de entrada por causa da -aopção de usar vírgulas como separador de campo conforme especificado pela -F,opção - semelhante a como o awk divide automaticamente sua entrada) e armazena-os em variáveis $file​​e $owner.

    "\"" . join("\r\n", @F) . "\""constrói uma string onde cada elemento de @F é separado por caracteres CR+LF e toda a string é colocada entre aspas duplas.

    Esta string é unida (por vírgulas) com $ownere $file, e impressa.

    • 2

  3. Você deseja combinar o primeiro campo delimitado por vírgula com todos os campos a seguir, até (mas não incluindo) os dois últimos em cada registro, colocando-os entre aspas, produzindo um único campo CSV entre aspas. Em seguida, você deseja substituir as vírgulas incorporadas nesse campo combinado por CR+LF.

    Você pode fazer isso facilmente invertendo o conteúdo de cada linha em seu arquivo, inserindo aspas duplas após a segunda vírgula, invertendo a linha novamente e inserindo aspas duplas no início:

    $ rev file | sed 's/,/,"/2' | rev | sed 's/^/"/'
"server01,server02,server03",owner,/etc/file1
"server04",owner,/etc/file2
"server05,server06",owner,/etc/file3

    Como agora temos um arquivo CSV sem cabeçalho devidamente citado, podemos usar Miller ( mlr; uma ferramenta específica para trabalhar com dados estruturados, como CSV) para substituir todas as vírgulas no primeiro campo por CR+LF:

    $ rev file | sed 's/,/,"/2' | rev | sed 's/^/"/' | mlr --csv -N put '$1 = gsub($1, ",", "\r\f")'
server01
server02
server03,owner,/etc/file1
server04,owner,/etc/file2
server05
server06,owner,/etc/file3

    Observe que não há necessidade de colocar aspas nos campos, pois, em um sistema Unix, os separadores de campo e registro não são incorporados aos campos neste conjunto de dados. Podemos mostrar isso extraindo o segundo campo de cada registro com uma chamada separada para mlr:

    $ rev file | sed 's/,/,"/2' | rev | sed 's/^/"/' | mlr --csv -N put '$1 = gsub($1, ",", "\r\f")' | mlr --csv -N cut -f 2
owner
owner
owner

    Você deseja manter a citação original da saída do último sedcomando e, em seguida, usar --quote-original:

    $ rev file | sed 's/,/,"/2' | rev | sed 's/^/"/' | mlr --csv -N --quote-original put '$1 = gsub($1, ",", "\r\f")'
"server01
server02
server03",owner,/etc/file1
"server04",owner,/etc/file2
"server05
server06",owner,/etc/file3

    Idealmente, porém, você corrigiria qualquer código que produzisse essa saída CSV quebrada para que o campo estivesse correto desde o início, em vez de corrigi-lo em uma etapa de pós-processamento.

    Usando apenas Miller:

    mlr --nidx --fs comma put '
    for (var i=2; NF > 3; i=i+1) {
        $1 .= "\r\f" . $[i];
        unset $[i]
    }
    $1 = "\"" . $1 . "\""' file

    Isso leria o arquivo como um arquivo de texto simples delimitado por vírgulas e implicitamente indexado. Em seguida, ele anexaria o segundo e os campos posteriores ao final do primeiro campo com CR+LF como delimitador, excluindo cada campo anexado até restar apenas três campos. Em seguida, cita explicitamente o primeiro campo.

    • 2

relate perguntas