Início / coding / Perguntas / 79585674
Accepted
ramesh.metta
Asked: 2025-04-22 12:05:22 +0800 CST

Traduzir pontuação UTF-8 com sinais de pontuação ASCII normais

  • 772

Estou tentando limpar dados brutos que possuem \r\n ou \n incorporados em linhas csv. O terminador de linha é \r\n.

  • tentando traduzir sinais de pontuação utf-8 para sinais de pontuação ascii normais.
  • limpando qualquer utf-8 extra do intervalo ascii 00-7f.

Sou capaz de tecer abaixo do código dataweave do Mule 4, exceto a lógica de tradução de pontuação. Usei reduce, mas não está traduzindo corretamente.

código dataweave:

    %dw 2.0
    output application/csv header=true
    var translateMap = {
      "‘": "'", "’": "'", "‚": "'", "‛": "'",
      "“": "\"", "”": "\"", "„": "\"",
      "–": "-", "—": "--", "―": "--",
      "…": "...", "•": "*",
      "′": "'", "″": "\"",
      "‹": "<", "›": ">", "«": "<<", "»": ">>",
      " ": " ", 
      "‐": "-", "‑": "-", "‒": "-", "−": "-",
      "©": "(c)", "®": "(R)", "™": "(TM)"
    }

fun cleanField(value: String) = (
    translateMap reduce ((acc, pair) -> acc replace pair.key with pair.value)
      replace /(\r\n|\n)/ with " "
      replace /[^\x00-\x7F]/ with ""
)
---
payload map (row) ->
  row mapObject (key, value) -> {
     (value) : cleanField(key)
  }

Dados de amostra:

Header1|Header2|Header3|Header4|Header5|Header6\r\n
Value1A|Value1B|Value1C|Value1D|Value1E|Value1F\r\n
Value2A|Value2B|Value2C—with—emdash|Value2D|Value2E|Value2F\r\n
Value3A|Value3B|Value3C|Value3D ␍\f mid-line |Value3E|Value3F\r\n
Value4A|‘Single’Quote|“Double”Quote|Value4D|Value4E|Value4F\r\n
Value5A|Value5B|Value5C|Value5D|Value5E|Value5F‐hyphen\r\n

Explicação dos dados da amostra:

  • Terminador de Linha: Cada linha termina com \r\n, conforme solicitado. Separados por Barras Diretas: Os campos dentro de cada registro são separados pelo símbolo de barra vertical|.

  • Cabeçalho: A primeira linha contém a linha de cabeçalho:
    Cabeçalho1|Cabeçalho2|Cabeçalho3|Cabeçalho4|Cabeçalho5|Cabeçalho6.

  • Cinco registros: há cinco linhas de dados seguindo o cabeçalho.

  • Seis colunas: cada registro tem seis valores separados por barras verticais.

  • Sinais de pontuação UTF-8: A linha 4 contém uma aspa simples à esquerda ' e uma aspa dupla à direita “.

  • \r\n no meio da linha: A linha 3 contém \r\n no meio da linha. Os caracteres \r (retorno de carro) e \n (avanço de página) estão incorporados no campo "Value3D".

  • Emdash: A linha 2 contém um travessão — dentro do campo "Value2C".

  • Hífen UTF-8: A linha 5 contém um hífen não padrão (U+2010, Hífen) no final do campo "Value5F".

Saída esperada:

  • traduzir sinais de pontuação UTF-8 com ASCII

  • remover quebras de linha incorporadas \r\n. preservar o terminador de linha \r\n

  • remova qualquer outro UTF-8 que esteja fora do intervalo ASCII

saída de corrente:

O ASCII está sendo limpo corretamente e as linhas incorporadas. A tradução da pontuação não está funcionando.

nova saída:

Sim. Não consegui anexar a captura de tela.


 1. Header1|Header2|Header3|Header4|Header5|Header6
 2. Value1A|Value1B|Value1C\r\n
|Value1D|Value1E|Value1F\r\n
 3. Value2A|Value2B|Value2C--with--emdash|Value2D|Value2E|Value2F
 4. Value3A|Value3B|Value3C|Value3D mid-line |Value3E|Value3F
 5. Value4A|'Single'Quote|\"Double\"Quote|Value4D|Value4E|Value4F
 6. Value5A|Value5B|Value5C|Value5D|Value5E|Value5F-hyphen

Limpar o \r\n incorporado é complicado, preservando o terminador real. As substituições abaixo não têm nenhum efeito on-line.

replace /(\r\n|\n)/ with " "

insira a descrição da imagem aqui

utf-8

1 respostas

  1. Best Answer

    É difícil dizer sem ver o resultado esperado, mas os problemas parecem ser:

    1. Uso incorreto de reduce(): você quer usar reduce para aplicar todas as chaves do mapa de tradução ao valor e retornar o valor transformado. Alterei o acumulador para ser o valor.
    2. Usando um seletor estático em vez de um seletor dinâmico .

    Corrigi os problemas abaixo. Também usei replaceAll() em vez de replace para o mapa de tradução.

    %dw 2.0
output application/csv header=true
import replaceAll from dw::core::Strings    

var translateMap = {
    "‘": "'", "’": "'", "‚": "'", "‛": "'",
    "“": "\"", "”": "\"", "„": "\"",
    "–": "-", "—": "--", "―": "--",
    "…": "...", "•": "*",
    "′": "'", "″": "\"",
    "‹": "<", "›": ">", "«": "<<", "»": ">>",
    " ": " ", 
    "‐": "-", "‑": "-", "‒": "-", "−": "-",
    "©": "(c)", "®": "(R)", "™": "(TM)"
}

fun cleanField(value: String) = (
    namesOf(translateMap) reduce ((key, out=value) -> replaceAll(out, key, translateMap[key]))
      replace /(\\r\\n|\\n)/ with " "
      replace /[^\x00-\x7F]/ with ""
)
---
payload map (row) ->
  row mapObject (key, value) -> {
     (value) : cleanField(key as String)
  }

    Saída:

    Header1,Header2,Header3,Header4,Header5,Header6\r\n
Value1A,Value1B,Value1C,Value1D,Value1E,Value1F 
Value2A,Value2B,Value2C--with--emdash,Value2D,Value2E,Value2F 
Value3A,Value3B,Value3C,Value3D \\f mid-line ,Value3E,Value3F 
Value4A,'Single'Quote,\"Double\"Quote,Value4D,Value4E,Value4F 
Value5A,Value5B,Value5C,Value5D,Value5E,Value5F-hyphen
    • 1

relate perguntas