Início / computer / Perguntas / 1500504
Accepted
nvanhaute
Asked: 2019-11-10 01:15:39 +0800 CST

arquivos para um arquivo json

  • 772

Estou um pouco perdido para criar um json a partir de poucos arquivos. Tenho vários arquivos como: CLT.txt, LYO.txt.... Dentro de nós tenho data + valor: dd/mm/aaaa hh:mm xxxxx

Eu adiciono uma nova linha em cada arquivo a cada 5 minutos

exemplos: CLT.txt

01/01/2020 00:00 45
01/01/2020 00:05 457
01/01/2020 00:10 458
01/01/2020 00:15 402
01/01/2020 00:20 585
...
02/01/2020 00:00 57
02/01/2020 00:05 86
02/01/2020 00:10 45
02/01/2020 00:15 402
02/01/2020 00:20 104
...

LYO.txt

01/01/2020 00:00 70
01/01/2020 00:05 221
01/01/2020 00:10 315
01/01/2020 00:15 57
01/01/2020 00:20 420
...
02/01/2020 00:00 50
02/01/2020 00:05 92
02/01/2020 00:10 32
02/01/2020 00:15 125
02/01/2020 00:20 10
...

Eu tenho cerca de 15 arquivos como esse.

Então, no final, gostaria de obter apenas um arquivo json criado a cada 5 minutos com este formato:

{
  "CLT": {
    "01/01/2020": {
      "00:00": 45,
      "00:05": 457,
      "00:10": 458,
      "00:15": 402,
      "00:20": 585
...
    },
    "02/01/2020": {
      "00:00": 57,
      "00:05": 86,
      "00:10": 45,
      "00:15": 402,
      "00:20": 104
...
    }
  },
  "LYO": {
    "01/01/2020": {
      "00:00": 70,
      "00:05": 221,
      "00:10": 315,
      "00:15": 57,
      "00:20": 420
...
    },
    "02/01/2020": {
      "00:00": 50,
      "00:05": 92,
      "00:10": 32,
      "00:15": 125,
      "00:20": 10
...
    }
  }
}

se você tiver uma ideia simples, estou interessado. Todos os processos são feitos na máquina Ubuntu LTS 19.

Obrigado

bash-scripting json

2 respostas

  1. awké uma boa ferramenta para este propósito. Eu não sou um especialista nisso, mas aqui está o que eu criei:

    #!/bin/sh -e

while true; do
    echo "{" > new.json
    # put other file names here
    for tla in CLT LYO; do
        [ "$tla" = CLT ] || printf ",\n" >> new.json
        printf "\t\"%s\": {" "$tla" >> new.json
        awk '
BEGIN {
    date="other"
}
{
    curd=$1
    if(curd != date) {
        if(date != "other") {
            printf "\n\t\t},"
        }
        printf "\n\t\t\"%s\": {\n", curd
        date = curd
    } else {
        printf ",\n"
    }
    printf "\t\t\t\"%s\": \"%s\"", $2, $3
}
' "$tla.txt" >> new.json
        printf "\n\t\t}\n\t}" >> new.json
    done
    printf "\n}\n" >> new.json
    mv -f new.json output.json
    # repeat approximately every 5 minutes
    sleep 600
done

    Claro, um loop com sleep 600só faz sentido se você chamar esse script interativamente. Caso contrário, apenas remova o loop externo, durma e chame o script do cron (se possível, essa variante é altamente recomendada). Se quiser, você também pode remover a parte "redirecionamento" do script e chamar o script redirecionando toda a sua saída (depende muito do contexto em que você está usando isso).

    • 1
  2. Best Answer

    Não use "bash-scripting" para isso. Escolha um idioma que tenha suporte nativo para estruturas aninhadas. Uma vez disponível, torna-se fácil carregar cada arquivo em um dict com o formato exato do que você deseja e, em seguida, despejar tudo de uma vez como JSON.

    Por exemplo:

    #!/usr/bin/env python3
import glob
import json

data = {}
for txtfile in glob.glob("???.txt"):
    code = txtfile.split("/")[-1].split(".")[0]
    data[code] = {}
    with open(txtfile, "r") as fh:
        for line in fh:
            date, time, count = line.strip().split()
            data[code].setdefault(date, {})
            data[code][date][time] = int(count)

print(json.dumps(data))

    Alternativamente:

    #!/usr/bin/env ruby
require 'json'

data = {}
Dir["???.txt"].each do |txtfile|
    code = File.basename(txtfile, ".txt")
    data[code] = {}
    File.open(txtfile, "r").each do |line|
        date, time, count = line.strip.split
        data[code][date] ||= {}
        data[code][date][time] = count.to_i
    end
end

puts JSON.generate(data)

    Alternativamente:

    #!/usr/bin/env perl
use File::Basename;
use JSON;

my $data = {};
for my $txtfile (glob("???.txt")) {
    my ($code) = basename($txtfile, ".txt");
    if (open(my $fh, "<", $txtfile)) {
        while (my $line = <$fh>) {
            my ($date, $time, $count) = ($line =~ /^(\S+) (\S+) (\S+)/);
            $data->{$code}->{$date}->{$time} = int $count;
        }
        close($fh);
    } else {
        die "cannot open $txtfile: $!";
    }
}

print JSON->new->encode($data);
    • 1

relate perguntas