Perguntas[json](unix)

Às vezes, preciso escrever strings JSON contendo um valor de string que é, em si, uma string JSON. Por exemplo, no seguinte objeto JSON:

echo '{"rec" : " {\"id\": 1, \"name\": \"x\"}" }' | jq .

{
  "rec": " {\"id\": 1, \"name\": \"x\"}"
}

o valor em "rec"é um json em formato de string {\"id\": 1, \"name\": \"x\"}".

É tedioso escrever essas strings JSON com escape, pois é preciso escapar cada aspa dupla "para \".

Minha pergunta é:

Dado o conteúdo { "id": 1, "name": "x"}, existe uma maneira automática usando bash/jq para escapar corretamente as aspas e fazer com que o formato entre aspas possa ser usado como um valor de string JSON "{\"id\": 1, \"name\": \"x\"}"?

Como posso atualizar um arquivo json usando jq em um loop como abaixo? O arquivo json precisa ter o .queryToken atualizado e o array .result anexado usando json no corpo da resposta curl

while true
do
  curl -k --location 'https://api.../queryMore' \
          --user "uname:pswd" \
          --data "$(jq '.queryToken' Process.json)" |
   jq '{
         numberOfResults: .numberOfResults,
         queryToken: .queryToken,
         result: .result
       }'
 #update .queryToken in Process.json and append .result to .result in Process.json
 #break if no .queryToken
done

A resposta do arquivo e do curl são idênticas em estrutura como no exemplo abaixo

{
    "@type": "QueryResult",
    "queryToken": "<base64text>",
    "result": [
      ...
    ]
}

[
  {
    "key": "@timestamp",
    "value": "2024-08-21 03:02:57.871"
  },
  {
    "key": "@message",
    "value": "Aug 21, 2024 1:00:11 PM AEST INFO    [com.boomi.util.LogUtil doLog] Node is using valid java"
  },
  {
    "key": "@timestamp",
    "value": "2024-08-21 03:02:42.332"
  },
  {
    "key": "@message",
    "value": "Aug 21 13:02:37 ip-10-250-122-60 auditd[3013]: Audit daemon rotating log files"
  }
]

Como posso transformar o JSON em um abaixo usando jq

[
  {
    "@timestamp": "2024-08-21 03:02:57.871",
    "@message": "Aug 21, 2024 1:00:11 PM AEST INFO    [com.boomi.util.LogUtil doLog] Node is using valid java"
  },
  {
    "@timestamp": "2024-08-21 03:02:42.332",
    "@message": "Aug 21 13:02:37 ip-10-250-122-60 auditd[3013]: Audit daemon rotating log files"
  }
]

Eu queria usar jq para obter um valor específico bde dois caminhos possíveis ( e apenas esses dois ). Então, basicamente, eu queria dizer

jq '(path1 OR path2) | .b'

que deve funcionar se bestiver em um dos dois caminhos path1ou path2. Se ambos os caminhos tiverem b, o primeiro caminho terá precedência.

Por exemplo, ambos

echo '{"b":2}' | jq '.b'
echo '{"a": {"b":2}}' | jq '.a.b'

extrair bem .e .a.

Posso de alguma forma dizer

echo ... | jq '(MAGIC).b'

para fazê-lo funcionar para ambas as entradas acima?

O que tentei até agora é usar o operador recursivo ..:

jq '[..|.b?|values]|first'

Isso funciona em ambos:

echo '{"b":2}' | jq '[..|.b?|values]|first'
echo '{"a": {"b":2}}' | jq '..|.b?|values|first'

dar 2. Mas não é específico o suficiente e também permite bestar em qualquer lugar da árvore abaixo .. Também é difícil de ler. Além disso, pode não funcionar se os dois caminhos não estiverem relacionados entre pais e filhos.

(Isto é com jq 1.7 no Ubuntu 24.04 LTS)

Para ser claro - eu quero uma saída pseudo-JSON que será escrita em outro arquivo JSON estático aqui ... portanto, não agrupada em uma matriz ou algo assim, simplesmente obtendo as vírgulas ausentes após cada entidade em minha saída.

Atualmente minha consulta é:

.[] | select(.auditId == "categories") |
{
  "type": "section",
  "text": {
    "type": "mrkdwn",
    "text": "*\(.auditProperty):* \(.actual) (expected \(.expected))"
  }
}

Quais saídas:

{
  "type": "section",
  "text": {
    "type": "mrkdwn",
    "text": "*performance:* 1 (expected 0.8)"
  }
}
{
  "type": "section",
  "text": {
    "type": "mrkdwn",
    "text": "*accessibility:* 1 (expected 0.9)"
  }
}
{
  "type": "section",
  "text": {
    "type": "mrkdwn",
    "text": "*best-practices:* 0.96 (expected 0.9)"
  }
}
{
  "type": "section",
  "text": {
    "type": "mrkdwn",
    "text": "*seo:* 0.64 (expected 0.5)"
  }
}

Quando na verdade eu quero:

{
  "type": "section",
  "text": {
    "type": "mrkdwn",
    "text": "*performance:* 1 (expected 0.8)"
  }
},
{
  "type": "section",
  "text": {
    "type": "mrkdwn",
    "text": "*accessibility:* 1 (expected 0.9)"
  }
},
{
  "type": "section",
  "text": {
    "type": "mrkdwn",
    "text": "*best-practices:* 0.96 (expected 0.9)"
  }
},
{
  "type": "section",
  "text": {
    "type": "mrkdwn",
    "text": "*seo:* 0.64 (expected 0.5)"
  }
},

Observe a vírgula após cada entidade! Isso está me deixando maluco, tentei adicionar um join(", ")em vários lugares, mas isso não faz nada na saída final ou não consegue compilar dependendo de onde eu o coloco.

Aqui está o jqplay com dados incluídos https://jqplay.org/s/xx3F_IWn03g

JSON de entrada original:

[
  {
    "name": "minScore",
    "expected": 0.8,
    "actual": 1,
    "values": [
      1,
      1,
      1
    ],
    "operator": ">=",
    "passed": true,
    "auditProperty": "performance",
    "auditId": "categories",
    "level": "error",
    "url": "http://localhost:8080/page2"
  },
  {
    "name": "minScore",
    "expected": 0.9,
    "actual": 1,
    "values": [
      1,
      1,
      1
    ],
    "operator": ">=",
    "passed": true,
    "auditProperty": "accessibility",
    "auditId": "categories",
    "level": "error",
    "url": "http://localhost:8080/page2"
  },
  {
    "name": "minScore",
    "expected": 0.9,
    "actual": 0.96,
    "values": [
      0.93,
      0.96,
      0.96
    ],
    "operator": ">=",
    "passed": true,
    "auditProperty": "best-practices",
    "auditId": "categories",
    "level": "error",
    "url": "http://localhost:8080/page2"
  },
  {
    "name": "minScore",
    "expected": 0.5,
    "actual": 0.64,
    "values": [
      0.64,
      0.64,
      0.64
    ],
    "operator": ">=",
    "passed": true,
    "auditProperty": "seo",
    "auditId": "categories",
    "level": "error",
    "url": "http://localhost:8080/page2"
  }
]

Eu tenho o documento JSON abaixo da API REST do Junos. Estou tentando simplificar o documento para apenas alguns itens selecionados. Como eu conseguiria isso?

JSON esperado:

[
  {  "status": .member-status[0].data,
     "serial": .member-serial-number[0].data,
     "slot": .fpc-slot[0].data
  },
  ...
] 

JSON original:

{
  "member-status": [
    {
      "data": "Prsnt"
    }
  ],
  "member-id": [
    {
      "data": "0"
    }
  ],
  "fpc-slot": [
    {
      "data": "(FPC 0)"
    }
  ],
  "member-serial-number": [
    {
      "data": "serNo1"
    }
  ],
  "member-model": [
    {
      "data": "ex4400-24t"
    }
  ],
  "member-priority": [
    {
      "data": "255"
    }
  ],
  "member-mixed-mode": [
    {
      "data": "N"
    }
  ],
  "member-route-mode": [
    {
      "data": "VC"
    }
  ],
  "member-role": [
    {
      "data": "Master*"
    }
  ],
  "neighbor-list": [
    {}
  ]
}
{
  "member-status": [
    {
      "data": "NotPrsnt"
    }
  ],
  "member-id": [
    {
      "data": "1"
    }
  ],
  "fpc-slot": [
    {
      "data": "(FPC 1)"
    }
  ],
  "member-serial-number": [
    {
      "data": "serNo2"
    }
  ],
  "member-model": [
    {}
  ]
}

Eu tenho o seguinte arquivo JSON chamado pool.json:

{
   "AllocateActions": {},
   "Available": true,
   "Description": "Pool for nodes in cluster - {{CLUSTER_NAME}}",
   "Endpoint": "",
   "EnterActions": {
     "AddProfiles": [
       "{{RC_JOIN_PROFILE}}",
       "image-deploy-profile",
       "rc-controlplane-profile",
       "rc-etcd-profile"
     ],
     "Workflow": "rc-image-deploy"
   },
   "Errors": [],
   "ExitActions": {
     "RemoveProfiles": [
       "{{RC_JOIN_PROFILE}}",
       "image-deploy-profile"
     ],
     "Workflow": "discover-base"
   },
   "Meta": {
     "color": "black",
     "feature-flags": "sane-exit-codes",
     "icon": "object ungroup outline",
     "title": "User added"
   },
   "ReadOnly": true,
   "ReleaseActions": {},
   "Validated": true
 }

No meu script bash, estou usando jqpara passar os valores para estes espaços reservados JSON:

NODE_JSON=$(jq --arg RC_JOIN_PROFILE "$RC_JOIN_PROFILE" --arg CLUSTER_NAME "$CLUSTER_NAME" '.Description = "'$CLUSTER_NAME'"| .ExitActions.RemoveProfiles = [ "'$RC_JOIN_PROFILE'" ] | .EnterActions.AddProfiles = [ "'$RC_JOIN_PROFILE'" ]' pool.json)

Se estou passando RC_JOIN_PROFILE="test-profile"and CLUSTER_NAME="test-cluster", esperava o JSON final da seguinte maneira:

{
   "AllocateActions": {},
   "Available": true,
   "Description": "Pool for nodes in cluster - test-cluster",
   "Endpoint": "",
   "EnterActions": {
     "AddProfiles": [
       "test-profile",
       "image-deploy-profile",
       "rc-controlplane-profile",
       "rc-etcd-profile"
     ],
     "Workflow": "rc-image-deploy"
   },
   "Errors": [],
   "ExitActions": {
     "RemoveProfiles": [
       "test-profile",
       "image-deploy-profile"
     ],
     "Workflow": "discover-base"
   },
   "Meta": {
     "color": "black",
     "feature-flags": "sane-exit-codes",
     "icon": "object ungroup outline",
     "title": "User added"
   },
   "ReadOnly": true,
   "ReleaseActions": {},
   "Validated": true
 }

No entanto, estou recebendo o JSON abaixo:

{
   "AllocateActions": {},
   "Available": true,
   "Description": "test-cluster",
   "Endpoint": "",
   "EnterActions": {
     "AddProfiles": [
       "test-profile",
     ],
     "Workflow": "rc-image-deploy"
   },
   "Errors": [],
   "ExitActions": {
     "RemoveProfiles": [
       "test-profile",
     ],
     "Workflow": "discover-base"
   },
   "Meta": {
     "color": "black",
     "feature-flags": "sane-exit-codes",
     "icon": "object ungroup outline",
     "title": "User added"
   },
   "ReadOnly": true,
   "ReleaseActions": {},
   "Validated": true
 }

Os valores existentes de .ExitActions.AddPofilese .ExitActions.RemoveProfilesforam .Descriptionsubstituídos pelos valores passados. Quero os valores existentes com valores passados. Tentei vários cenários e nada funcionou. Alguém pode me ajudar com isso?

Abaixo está meu código json

[
{
    "kind": "user",
    "version": "v2",
    "metadata": {
      "name": "person1"
    },
    "spec": {
      "roles": [
        "access",
        "auditor",
        "editor",
        "abc-access"
      ],
      "status": {
        "is_locked": false,
        "locked_time": "0001-01-01T00:00:00Z",
        "lock_expires": "0001-01-01T00:00:00Z",
        "recovery_attempt_lock_expires": "0001-01-01T00:00:00Z"
      },
      "expires": "0001-01-01T00:00:00Z",
      "created_by": {
        "time": "2023-06-07T08:50:58.559675944Z",
        "user": {
          "name": "person2"
        }
      }
    }
  },
  {
    "kind": "user",
    "version": "v2",
    "metadata": {
      "name": "person2"
    },
    "spec": {
      "roles": [
        "access",
        "auditor",
        "editor",
        "abc-access"
      ],
      "status": {
        "is_locked": false,
        "locked_time": "0001-01-01T00:00:00Z",
        "lock_expires": "0001-01-01T00:00:00Z",
        "recovery_attempt_lock_expires": "0001-01-01T00:00:00Z"
      },
      "expires": "0001-01-01T00:00:00Z",
      "created_by": {
        "time": "2023-06-06T14:01:15.256905162Z",
        "user": {
          "name": "person5"
        }
      }
    }
  },
  {
    "kind": "user",
    "version": "v2",
    "metadata": {
      "name": "person3"
    },
    "spec": {
      "roles": [
        "access",
        "auditor",
        "editor",
        "abc-access"
      ],
      "status": {
        "is_locked": false,
        "locked_time": "0001-01-01T00:00:00Z",
        "lock_expires": "0001-01-01T00:00:00Z",
        "recovery_attempt_lock_expires": "0001-01-01T00:00:00Z"
      },
      "expires": "0001-01-01T00:00:00Z",
      "created_by": {
        "time": "2023-06-15T12:16:09.35013254Z",
        "user": {
          "name": "person2"
        }
      }
    }
  },
  {
    "kind": "user",
    "version": "v2",
    "metadata": {
      "name": "person3"
    },
    "spec": {
      "roles": [
        "access",
        "auditor",
        "editor",
        "abc-access"
      ],
      "status": {
        "is_locked": false,
        "locked_time": "0001-01-01T00:00:00Z",
        "lock_expires": "0001-01-01T00:00:00Z",
        "recovery_attempt_lock_expires": "0001-01-01T00:00:00Z"
      },
      "expires": "0001-01-01T00:00:00Z",
      "created_by": {
        "time": "2023-06-06T13:45:30.543520308Z",
        "user": {
          "name": "person6"
        }
      }
    }
  },
  {
    "kind": "user",
    "version": "v2",
    "metadata": {
      "name": "person4"
    },
    "spec": {
      "roles": [
        "access",
        "auditor",
        "editor",
        "abc-access"
      ],
      "status": {
        "is_locked": false,
        "locked_time": "0001-01-01T00:00:00Z",
        "lock_expires": "0001-01-01T00:00:00Z",
        "recovery_attempt_lock_expires": "0001-01-01T00:00:00Z"
      },
      "expires": "0001-01-01T00:00:00Z",
      "created_by": {
        "time": "2023-06-07T04:49:41.39245724Z",
        "user": {
          "name": "person5"
        }
      }
    }
  },
  {
    "kind": "user",
    "version": "v2",
    "metadata": {
      "name": "person5"
    },
    "spec": {
      "roles": [
        "access",
        "auditor",
        "editor",
        "abc-access"
      ],
      "traits": {
        "aws_role_arns": null,
        "db_names": null,
        "db_users": null,
        "kubernetes_groups": null,
        "kubernetes_users": null,
        "logins": [
          "ec2-user",
          "root"
        ],
        "windows_logins": null
      },
      "status": {
        "is_locked": false,
        "locked_time": "0001-01-01T00:00:00Z",
        "lock_expires": "0001-01-01T00:00:00Z",
        "recovery_attempt_lock_expires": "0001-01-01T00:00:00Z"
      },
      "expires": "0001-01-01T00:00:00Z",
      "created_by": {
        "time": "2023-06-06T13:51:39.173360152Z",
        "user": {
          "name": "person6"
        }
      }
    }
  },
  {
    "kind": "user",
    "version": "v2",
    "metadata": {
      "name": "person6"
    },
    "spec": {
      "roles": [
        "access",
        "editor",
        "auditor"
      ],
      "traits": {
        "aws_role_arns": null,
        "azure_identities": null,
        "db_names": null,
        "db_roles": null,
        "db_users": null,
        "gcp_service_accounts": null,
        "kubernetes_groups": null,
        "kubernetes_users": null,
        "logins": [
          "root",
          "ubuntu",
          "ec2-user"
        ],
        "windows_logins": null
      },
      "status": {
        "is_locked": false,
        "locked_time": "0001-01-01T00:00:00Z",
        "lock_expires": "0001-01-01T00:00:00Z",
        "recovery_attempt_lock_expires": "0001-01-01T00:00:00Z"
      },
      "expires": "0001-01-01T00:00:00Z",
      "created_by": {
        "time": "2023-06-06T13:41:41.579010534Z",
        "user": {
          "name": "xyz"
        }
      }
    }
  }
]

Estou convertendo para csv com

jq -r '.[] | [ .metadata.name ] ,  [ .spec.roles[] ] | @csv' ind.json

A saída do comando acima é como abaixo

"person1"
"alpha","gamma","beta","abc-access"
"person2"
"alpha","gamma","beta","abc-access"
"person3"
"alpha","gamma","beta","abc-access"
"person3"
"alpha","gamma","beta","abc-access"
"person4"
"alpha","gamma","beta","abc-access"
"person5"
"alpha","gamma","beta","abc-access"
"person6"
"alpha","gamma","beta","auditor"

Quero o nome e as funções em colunas diferentes. Quero o nome e as funções na mesma linha com espaço suficiente para que se copiarmos o paster no excel, serão duas colunas, uma com "nome" e outra com "função". Também estou procurando opções se obtivermos saída sem aspas duplas

Abaixo está o resultado esperado

person1    alpha,gamma,beta,abc-access
person2    alpha,gamma,beta,abc-access
person3    alpha,gamma,beta,abc-access
person3    alpha,gamma,beta,abc-access
person4    alpha,gamma,beta,abc-access
person5    alpha,gamma,beta,abc-access
person6    alpha,gamma,beta,auditor

No seguinte MWE

echo x="1e2" | mlr --ojson cat

minha intenção é que Miller gere um array JSON de um elemento contendo o objeto

{"x": "1e2"}

O objeto realmente retornado (dentro da matriz) é, em vez disso,

{"x": 1e2}

onde o valor é considerado um número, acho que como consequência de sua análise. Como posso dizer ao Miller para gerar o objeto JSON com uma string para seu valor em vez de um número? (A lógica subjacente às aspas em torno de '1e2' no MWE é justamente para destacar essa intenção.)

Preciso converter uma string JSON usando jq, conforme mostrado abaixo, em um formato de tabela para exibir a saída no terminal.

{
  "results": [
    [
      {
        "field": "@timestamp",
        "value": "2023-07-03 08:28:00.000"
      },
      {
        "field": "CpuReserved",
        "value": "8192.0"
      },
      {
        "field": "CpuUtilized",
        "value": "4056.412942708333"
      },
      {
        "field": "MemoryReserved",
        "value": "61440"
      },
      {
        "field": "MemoryUtilized",
        "value": "4311"
      },
      {
        "field": "@ptr",
        "value": "CpABClUKUTE0NjcxNzAzNzI0NzovYXdzL2Vjcy9jb250YWluZXJpbnNpZ2h0cy9pcmwtaW5mcmEtc2hhcmVkLWplbmtpbnMtbWFpbi9wZXJmb3JtYW5jZRABEjUaGAIGSaxosQAAAAAd+TFeAAZKKHIwAAABEiABKIDF9taRMTDA7v3WkTE4BkC9NEjNPFCBIRgAEAAYAQ=="
      }
    ],
    [
      {
        "field": "@timestamp",
        "value": "2023-07-03 08:28:00.000"
      },
      {
        "field": "CpuReserved",
        "value": "8192.0"
      },
      {
        "field": "CpuUtilized",
        "value": "4056.412942708333"
      },
      {
        "field": "MemoryReserved",
        "value": "61440"
      },
      {
        "field": "MemoryUtilized",
        "value": "4311"
      },
      {
        "field": "@ptr",
        "value": "CpABClUKUTE0NjcxNzAzNzI0NzovYXdzL2Vjcy9jb250YWluZXJpbnNpZ2h0cy9pcmwtaW5mcmEtc2hhcmVkLWplbmtpbnMtbWFpbi9wZXJmb3JtYW5jZRABEjUaGAIGSaxosQAAAAAd+TFeAAZKKHIwAAABEiABKIDF9taRMTDA7v3WkTE4BkC9NEjNPFCBIRgAEAEYAQ=="
      }
    ]
  ]
}

O que eu quero exibir no terminal é o seguinte:

@timestamp                CpuReserved  CpuUtilized         MemoryReserved   MemoryUtilized  
==========================================================================================
2023-07-03 08:16:00.000   8192.0       410.5300065104166   61440            1417
2023-07-03 08:15:00.000   8192.0       702.310791015625    61440            792

Alguém pode me guiar na direção certa?