AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / unix / Perguntas / 477210
Accepted
Sugatur Deekshith S N
Sugatur Deekshith S N
Asked: 2018-10-24 01:08:25 +0800 CST2018-10-24 01:08:25 +0800 CST 2018-10-24 01:08:25 +0800 CST

percorrendo a matriz JSON no script de shell

  • 772

Abaixo está a saída do comando curl (informações do arquivo sobre o branch), precisa de script ou comando para imprimir o nome do arquivo, tipo de arquivo e tamanho.

Eu tentei com, jqmas consegui buscar um valor único ( jq '.values[].size')

{
  "path": {
    "components": [],
    "name": "",
    "toString": ""
  },
  "revision": "master",
  "children": {
    "size": 5,
    "limit": 500,
    "isLastPage": true,
    "values": [
      {
        "path": {
          "components": [
            ".gitignore"
          ],
          "parent": "",
          "name": ".gitignore",
          "extension": "gitignore",
          "toString": ".gitignore"
        },
        "contentId": "c9e472ef4e603480cdd85012b01bd5f4eddc86c6",
        "type": "FILE",
        "size": 224
      },
      {
        "path": {
          "components": [
            "Jenkinsfile"
          ],
          "parent": "",
          "name": "Jenkinsfile",
          "toString": "Jenkinsfile"
        },
        "contentId": "e878a88eed6b19b2eb0852c39bfd290151b865a4",
        "type": "FILE",
        "size": 1396
      },
      {
        "path": {
          "components": [
            "README.md"
          ],
          "parent": "",
          "name": "README.md",
          "extension": "md",
          "toString": "README.md"
        },
        "contentId": "05782ad495bfe11e00a77c30ea3ce17c7fa39606",
        "type": "FILE",
        "size": 237
      },
      {
        "path": {
          "components": [
            "pom.xml"
          ],
          "parent": "",
          "name": "pom.xml",
          "extension": "xml",
          "toString": "pom.xml"
        },
        "contentId": "9cd4887f8fc8c2ecc69ca08508b0f5d7b019dafd",
        "type": "FILE",
        "size": 2548
      },
      {
        "path": {
          "components": [
            "src"
          ],
          "parent": "",
          "name": "src",
          "toString": "src"
        },
        "node": "395c71003030308d1e4148b7786e9f331c269bdf",
        "type": "DIRECTORY"
      }
    ],
    "start": 0
  }
}

a saída esperada deve ser algo como abaixo

.gitignore    FILE     224

Jenkinsfile   FILE     1396
shell scripting
  • 5 5 respostas
  • 71861 Views

5 respostas

  • Voted
  1. Best Answer
    pLumo
    2018-10-24T01:39:03+08:002018-10-24T01:39:03+08:00

    Para o caso de uso fornecido na pergunta, a resposta de @JigglyNaga provavelmente é melhor do que isso, mas para algumas tarefas mais complicadas, você também pode percorrer os itens da lista usando keys:

    de file:

    for k in $(jq '.children.values | keys | .[]' file); do
        ...
    done
    

    ou da string:

    for k in $(jq '.children.values | keys | .[]' <<< "$MYJSONSTRING"); do
        ...
    done
    

    Então, por exemplo, você pode usar:

    for k in $(jq '.children.values | keys | .[]' file); do
        value=$(jq -r ".children.values[$k]" file);
        name=$(jq -r '.path.name' <<< "$value");
        type=$(jq -r '.type' <<< "$value");
        size=$(jq -r '.size' <<< "$value");
        printf '%s\t%s\t%s\n' "$name" "$type" "$size";
    done | column -t -s$'\t'
    

    se você não tiver novas linhas para os valores, poderá fazê-lo com uma única jqchamada dentro do loop, o que o torna muito mais rápido:

    for k in $(jq '.children.values | keys | .[]' file); do
        IFS=$'\n' read -r -d '' name type size \
            <<< "$(jq -r ".children.values[$k] | .path.name,.type,.size" file)"
        printf '%s\t%s\t%s\n' "$name" "$type" "$size";
    done | column -t -s$'\t'
    
    • 28
  2. JigglyNaga
    2018-10-24T01:25:48+08:002018-10-24T01:25:48+08:00

    Extraindo os membros

    jq -c '.children.values[]|[.path.components[0],.type,.size]'
    
    • .children.values[]gera cada membro da matriz .values.
    • |canaliza o resultado anterior através do próximo filtro, como um shell pipe
    • [... ,... ,... ]faz com que todos os termos dentro apareçam em uma única matriz
    • A -copção produz formato "compacto" ou seja. um objeto por linha

    Resultado:

    [".gitignore","FILE",224]
    ["Jenkinsfile","FILE",1396]
    ["README.md","FILE",237]
    ...
    

    Formatando o resultado

    Se você deseja gerar uma tabela bem alinhada, essa é uma tarefa melhor tratada por outras ferramentas, como columnou paste.

    jq -c '.children.values[]|[.path.components[0],.type,.size]' | column -t -s'[],"'
    
    • -tdiz columnpara adivinhar o número de colunas com base na entrada
    • -s...especifica o(s) caractere(s) delimitador(es)

    Resultado:

    .gitignore   FILE       224
    Jenkinsfile  FILE       1396
    README.md    FILE       237
    

    Isso depende dos caracteres [, ], ,e "não aparecendo em seus nomes de arquivos, o que não é uma suposição segura.

    pastetambém pode organizar várias entradas lado a lado. Para isso, podemos remover completamente as estruturas JSON e gerar linhas brutas (dica de chapéu para @muru):

    jq -r '.children.values[]|.path.components[0],.type,.size' | paste - - -
    

    paste - - -significa 3 colunas, todas lidas da mesma fonte. Desta vez, a única suposição é que os nomes dos arquivos não contenham novas linhas.

    • 22
  3. glenn jackman
    2018-10-24T08:37:30+08:002018-10-24T08:37:30+08:00

    jqpode renderizar sua saída em vários formatos: consulte https://stedolan.github.io/jq/manual/#Formatstringsandescaping

    Para saída separada por tabulação:

    $ jq -r '.children.values[] | [.path.name, .type, .size] | @tsv' file.json
    .gitignore  FILE    224
    Jenkinsfile FILE    1396
    README.md   FILE    237
    pom.xml FILE    2548
    src DIRECTORY   
    
    • 7
  4. raine
    2018-10-24T07:34:17+08:002018-10-24T07:34:17+08:00

    Solução com ramda-cli:

    % curl ... | ramda -o tsv '.children.values' 'map flat' 'map props ["path.name", "type", "size"]'
    .gitignore      FILE    224
    Jenkinsfile     FILE    1396
    README.md       FILE    237
    pom.xml FILE    2548
    src     DIRECTORY
    

    Primeiro percorremos a lista de valores, depois mapeamos a lista flatpara converter cada entrada que é uma estrutura de objeto profunda em uma estrutura superficial, com chaves separadas por pontos.

    Então, podemos mapear a lista novamente e escolher as propriedades desejadas com base em seus caminhos, representados por strings.

    Por fim, -o tsvcuida da conversão da lista de listas resultante para o formato tsv.

    Para depurar ou entender melhor o que está acontecendo, você pode verificar o que cada argumento faz removendo-os um por um do final do comando e observando a diferença na saída em cada etapa. Eles são simplesmente operações (ou funções) aplicadas nos dados, um de cada vez, da esquerda para a direita.

    • 1
  5. Dmitry L.
    2019-01-10T09:43:47+08:002019-01-10T09:43:47+08:00

    uma solução de liner baseada em jtce xargs:

    bash $ jtc -x'<values>l[+0]<size>l[-1]' -y'<name>l' -y'<type>l' -y'<size>l' your.json | xargs -n3
    .gitignore FILE 224
    Jenkinsfile FILE 1396
    README.md FILE 237
    pom.xml FILE 2548
    bash $ 
    

    Nota: há uma irregularidade json em seu arquivo (a chave de tamanho não está presente em todos os registros), para excluí-la o primeiro argumento -xé construído dessa forma (processe apenas os registros em que o tamanho está presente).

    • 1

relate perguntas

  • FreeBSD's sh: funções de lista

  • Existe uma maneira de fazer ls mostrar arquivos ocultos apenas para determinados diretórios?

  • o que grep -v grep faz

  • Renomeie (acrescentar) arquivos CSV em massa com base em um valor dentro

  • Como salvar um caminho com ~ em uma variável?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Como exportar uma chave privada GPG e uma chave pública para um arquivo

    • 4 respostas
  • Marko Smith

    ssh Não é possível negociar: "nenhuma cifra correspondente encontrada", está rejeitando o cbc

    • 4 respostas
  • Marko Smith

    Como podemos executar um comando armazenado em uma variável?

    • 5 respostas
  • Marko Smith

    Como configurar o systemd-resolved e o systemd-networkd para usar o servidor DNS local para resolver domínios locais e o servidor DNS remoto para domínios remotos?

    • 3 respostas
  • Marko Smith

    Como descarregar o módulo do kernel 'nvidia-drm'?

    • 13 respostas
  • Marko Smith

    apt-get update error no Kali Linux após a atualização do dist [duplicado]

    • 2 respostas
  • Marko Smith

    Como ver as últimas linhas x do log de serviço systemctl

    • 5 respostas
  • Marko Smith

    Nano - pule para o final do arquivo

    • 8 respostas
  • Marko Smith

    erro grub: você precisa carregar o kernel primeiro

    • 4 respostas
  • Marko Smith

    Como baixar o pacote não instalá-lo com o comando apt-get?

    • 7 respostas
  • Martin Hope
    rocky Como exportar uma chave privada GPG e uma chave pública para um arquivo 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Wong Jia Hau ssh-add retorna com: "Erro ao conectar ao agente: nenhum arquivo ou diretório" 2018-08-24 23:28:13 +0800 CST
  • Martin Hope
    Evan Carroll status systemctl mostra: "Estado: degradado" 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim Como podemos executar um comando armazenado em uma variável? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S Por que /dev/null é um arquivo? Por que sua função não é implementada como um programa simples? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 Como ver as últimas linhas x do log de serviço systemctl 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - pule para o final do arquivo 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla Por que verdadeiro e falso são tão grandes? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis Substitua a string em um arquivo de texto enorme (70 GB), uma linha 2017-12-30 06:58:33 +0800 CST
  • Martin Hope
    Bagas Sanjaya Por que o Linux usa LF como caractere de nova linha? 2017-12-20 05:48:21 +0800 CST

Hot tag

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve