Início / coding / Perguntas / 76946539
Accepted
João Pedro Schmitt
Asked: 2023-08-21 23:00:09 +0800 CST

Como ler valores de string entre aspas duplas usando terraform csvdecode?

  • 772

Eu tenho um arquivo CSV que contém o seguinte conteúdo:

id,value
123,{"M":{"name_1":{"S":"value_1"}, "name_2":{"S":"value_2"}}}

Estou tentando ler esse arquivo CSV e criar registros no DynamoDB da seguinte forma:

locals {
  custom_data = csvdecode(file("${path.module}/../custom_data.csv"))
}

resource "aws_dynamodb_table_item" "custom_table_item" {
  for_each = {for row in local.custom_data : row.id => row}

  table_name = aws_dynamodb_table.custom_table.name
  hash_key   = aws_dynamodb_table.custom_table.hash_key

  item = jsonencode({
    "id" : { "S" : each.value.id },
    "value" : jsondecode(each.value.value)
  })

  lifecycle {
    ignore_changes = [item]
  }
}

No entanto, esse código não funciona e não consigo encontrar nenhum exemplo de como ler os valores entre aspas duplas do arquivo CSV de uma forma que jsondecodepossa criar a estrutura JSON apropriada. Alguém sabe como fazer isso?

csv

2 respostas

  1. Best Answer

    Higienize seu arquivo csv:

    id,value
123,"{""M"":{""name_1"":{""S"":""value_1""}, ""name_2"":{""S"":""value_2""}}}"

    então:

    $ terraform-repl
> csvdecode(file("${path.module}/custom_data.csv"))
tolist([
  {
    "id" = "123"
    "value" = "{\"M\":{\"name_1\":{\"S\":\"value_1\"}, \"name_2\":{\"S\":\"value_2\"}}}"
  },
])

> jsondecode(csvdecode(file("${path.module}/custom_data.csv"))[0].value)
{
  "M" = {
    "name_1" = {
      "S" = "value_1"
    }
    "name_2" = {
      "S" = "value_2"
    }
  }
}
    • 2

  2. O documento que você mostrou aqui não é realmente um documento CSV no sentido usual que a função do Terraform pretende analisar, que é o formato definido em RFC 4180 . Seu segundo "campo" parece ser um documento JSON com seus próprios campos, incluindo vírgulas, o que significa que você csvdecodenão entenderá o que este documento pretende significar.

    Em vez disso, consideraria este um formato personalizado e o analisaria usando primitivos mais simples:

    locals {
  custom_data_raw = file("${path.module}/../custom_data.csv")
  custom_data_lines = slice([
    for chunk in split("\n", local.custom_data_raw) : chomp(chunk)
  ], 1, length(local.custom_data_raw))
  custom_data_fields = [
    for line in local.custom_data_lines : regex("^(?P<id>[^,]),(?P<values>.*)$", line)
  ]
  custom_data = {
    for fields in local.custom_data_fields :
    fields.id => jsondecode(fields.value)
  }
}

    O texto acima usa uma mistura de diferentes funções do Terraform para dividir o conteúdo do arquivo em tokens menores:

    • splitpara dividir todo o conteúdo em linhas individuais (para chomplidar com a possibilidade de finais de linha no estilo do Windows, que seriam \r\nem vez de apenas \ne, portanto, precisariam de remoção extra posteriormente).
    • slicepara descartar a primeira linha, que é a linha de "cabeçalho".
    • regexpara separar os campos "id" e "valores" de uma forma que ignore as vírgulas e aspas extras no campo "valores".
    • Finalmente, jsondecodesubstitua a string "valores" pelo objeto que ela está descrevendo usando a sintaxe JSON.

    Dividi isso em várias etapas para facilitar a visualização dos resultados das etapas intermediárias, mas você poderá combinar pelo menos algumas dessas etapas em expressões maiores, se preferir.

    Depois de tudo isso, local.custom_datadeve haver uma estrutura de dados que você possa usar for_each, com o seguinte formato:

    {
  "123" = {
    "M" = {
      "name_1" = {
        "S" = "value_1"
      }
      "name_2" = {
        "S" = "value_2"
      }
    }
  }
}

    resource "aws_dynamodb_table_item" "custom_table_item" {
  for_each = local.custom_data

  table_name = aws_dynamodb_table.custom_table.name
  hash_key   = aws_dynamodb_table.custom_table.hash_key

  item = jsonencode({
    "id" : { "S" : each.key },
    "value" : each.values
  })

  lifecycle {
    ignore_changes = [item]
  }
}

    Se você quiser tratar isso como um documento CSV normal e usá-lo, csvdecodeprimeiro você precisará alterar a codificação dos campos "valor" para escapar das aspas e vírgulas, o que significa:

    • Escrever toda a string JSON no segundo argumento entre aspas ", conforme descrito na RFC 4180 seção 2 item 6.
    • Escrever aspas literais dentro do seu documento JSON como escapadas por duplicação ( ""em vez de apenas "), conforme descrito na seção 2, item 7, da RFC 4180.

    Em princípio, seria possível realizar essa transformação usando o próprio Terraform, mas seria basicamente o mesmo que a análise de nível inferior que mostrei acima para primeiro tokenizar os campos id e valor separadamente, então eu não escolheria esta opção a menos que eu pode alterar qualquer sistema que esteja gerando o documento original para produzir dados CSV válidos, de modo que o Terraform possa contar apenas com arquivos csvdecode.

    • 1

relate perguntas