Matriz JSON para bash variáveis ​​usando jq

Sua versão original não será evalcapaz porque o nome do autor contém espaços - seria interpretado como a execução de um comando Doecom a variável de ambiente AUTHORdefinida como John. Também praticamente nunca há necessidade de canalizar jqpara si mesmo - a tubulação interna e o fluxo de dados podem conectar diferentes filtros.

Tudo isso só faz sentido se você confiar totalmente nos dados de entrada (por exemplo, gerados por uma ferramenta que você controla). Existem vários problemas possíveis detalhados abaixo, mas vamos supor que os dados em si certamente estejam no formato que você espera no momento.

Você pode fazer uma versão muito mais simples do seu programa jq:

jq -r '.SITE_DATA | to_entries | .[] | .key + "=" + (.value | @sh)'

quais saídas:

URL='example.com'
AUTHOR='John Doe'
CREATED='10/22/2017'

Não há necessidade de um map: .[]trata de levar cada objeto no array pelo resto do pipeline como um item separado , então tudo depois do último |é aplicado a cada um separadamente. No final, apenas montamos uma string de atribuição de shell válida com +concatenação comum, incluindo aspas apropriadas e escapando em torno do valor com@sh .

Todos os canais são importantes aqui - sem eles, você recebe mensagens de erro bastante inúteis, onde partes do programa são avaliadas em contextos sutilmente diferentes.

Essa string é evalpossível se você confiar totalmente nos dados de entrada e tiver o efeito desejado:

eval "$(jq -r '.SITE_DATA | to_entries | .[] | .key + "=" + (.value | @sh)' < data.json)"
echo "$AUTHOR"

Como sempre, ao usar evalo , tenha cuidado para confiar nos dados que está obtendo, pois se for malicioso ou apenas em um formato inesperado, as coisas podem dar muito errado. Em particular, se a chave contiver metacaracteres de shell como $ou espaço em branco, isso poderá criar um comando em execução. Ele também pode sobrescrever, por exemplo, a PATHvariável de ambiente inesperadamente.

Se você não confia nos dados, não faça isso ou filtre o objeto para conter apenas as chaves que você deseja primeiro:

jq '.SITE_DATA | { AUTHOR, URL, CREATED } | ...'

Você também pode ter um problema no caso de o valor ser uma matriz, então .value | tostring | @shserá melhor - mas esta lista de ressalvas pode ser um bom motivo para não fazer nada disso em primeiro lugar.

Também é possível construir uma matriz associativa onde as chaves e os valores são citados:

eval "declare -A data=($(jq -r '.SITE_DATA | to_entries | .[] | @sh "[\(.key)]=\(.value)"' < test.json))"

Depois disso, ${data[CREATED]}contém a data de criação e assim por diante, independentemente de qual seja o conteúdo das chaves ou valores. Essa é a opção mais segura, mas não resulta em variáveis ​​de nível superior que possam ser exportadas. Ainda pode produzir um erro de sintaxe Bash quando um valor é uma matriz ou um erro jq se for um objeto, mas não executará o código nem substituirá nada.

Com base na resposta de @Michael Homer, você pode evitar evaltotalmente um potencial inseguro lendo os dados em uma matriz associativa.

Por exemplo, se seus dados JSON estiverem em um arquivo chamado file.json:

#!/bin/bash

typeset -A myarray

while IFS== read -r key value; do
    myarray["$key"]="$value"
done < <(jq -r '.SITE_DATA | to_entries | .[] | .key + "=" + .value ' file.json)

# show the array definition
typeset -p myarray

# make use of the array variables
echo "URL = '${myarray[URL]}'"
echo "CREATED = '${myarray[CREATED]}'"
echo "AUTHOR = '${myarray[URL]}'"

Resultado:

$ ./read-into-array.sh 
declare -A myarray=([CREATED]="10/22/2017" [AUTHOR]="John Doe" [URL]="example.com" )
URL = 'example.com'
CREATED = '10/22/2017'
AUTHOR = 'example.com'

Acabei de perceber que posso percorrer os resultados e avaliar cada iteração:

constants=$(cat ${1} | jq '.SITE_DATA' | jq -r "to_entries|map(\"\(.key)=\(.value|tostring)\")|.[]")

for key in ${constants}; do
  eval ${key}
done

Permite-me fazer:

echo ${AUTHOR}
# outputs John Doe

Gostei muito da sugestão do @Michel. Às vezes, você pode apenas extrair o valor de algumas variáveis ​​para executar uma tarefa naquele servidor específico usando o Bash. Então, se as variáveis ​​desejadas são conhecidas, usar essa abordagem é a forma de evitar várias chamadas para jqdefinir um valor por variável ou mesmo usar a readinstrução com várias variáveis ​​em que algumas podem ser válidas e vazias, levando a uma mudança de valor (isso foi meu problema).

Minha abordagem anterior levaria a um erro de deslocamento de valor – se .svID[ ].ID="", svobterá o valor slotID .

-rd '\n' getInfo sv slotID <<< $(jq -r '(.infoCMD // "no info"), (.svID[].ID // "none"), (._id // "eeeeee")' <<< $data)

Se você baixou o objeto usando curl, aqui está minha abordagem para renomear algumas variáveis ​​para um nome amigável como extrair dados de matrizes de dados.

Usar eval e filtros resolverá o problema com uma linha e produzirá variáveis ​​com os nomes desejados.

eval "$(jq -r '.[0] | {varNameExactasJson, renamedVar1: .var1toBeRenamed, varfromArray: .array[0].var, varValueFilter: (.array[0].textVar|ascii_downcase)} | to_entries | .[] | .key + "=\"" + (.value | tostring) + "\""' <<< /path/to/file/with/object )"  

A vantagem neste caso, é o fato de que ele irá filtrar, renomear, formatar todas as variáveis ​​desejadas na primeira etapa. Observe que há .[0] | é muito comum ter se a fonte for de um servidor RESTful API usando GET, dados de resposta como:

[{"varNameExactasJson":"this value", "var1toBeRenamed: 1500, ....}]

Se seus dados não são de um array, ou seja, é um objeto como:

{"varNameExactasJson":"this value", "var1toBeRenamed: 1500, ....}

apenas remova o índice inicial:

eval "$(jq -r '{varNameExactasJson, renamedVar1: .var1toBeRenamed, varfromArray: .array[0].var, varValueFilter: (.array[0].textVar|ascii_downcase)} | to_entries | .[] | .key + "=\"" + (.value | tostring) + "\""' <<< /path/to/file/with/object )"