AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • 主页
  • 系统&网络
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • 主页
  • 系统&网络
    • 最新
    • 热门
    • 标签
  • Ubuntu
    • 最新
    • 热门
    • 标签
  • Unix
    • 最新
    • 标签
  • DBA
    • 最新
    • 标签
  • Computer
    • 最新
    • 标签
  • Coding
    • 最新
    • 标签
主页 / unix / 问题 / 777362
Accepted
Victor Gonyo
Victor Gonyo
Asked: 2024-05-30 04:36:18 +0800 CST2024-05-30 04:36:18 +0800 CST 2024-05-30 04:36:18 +0800 CST

与JQ合并

  • 772

我希望将两个不同的 JSON 文件合并到一个文件中 -

文件1

[
  {
    "namespace": "lerjr-rb26-sandbox-keycloak",
    "name": "keycloak",
    "url": "REMOVED"
  },
  {
    "namespace": "prometheus-brr1-sandbox",
    "name": "abacus",
    "url": "REMOVED"
  },
  {
    "namespace": "prometheus-brr1-sandbox",
    "name": "keycloak",
    "url": "REMOVED"
  },
  {
    "namespace": "prometheus-nginxredirect-sandbox",
    "name": "riskpoynt-redirect444",
    "url": "REMOVED"
  },
  {
    "namespace": "prometheus-nginxredirect-sandbox",
    "name": "riskpoynt-redirect447",
    "url": "REMOVED"
  },
  {
    "namespace": "prometheus-x105-sandbox",
    "name": "epas",
    "url": "REMOVED"
  },
  {
    "namespace": "prometheus-x105-sandbox",
    "name": "epas-oidc",
    "url": "REMOVED"
  },
  {
    "namespace": "prometheus-x105-sandbox",
    "name": "keycloak",
    "url": "REMOVED"
  }
]

文件2

[
  {
    "namespace": "ler-rb26-sandbox",
    "labels": {
      "pg.customerName": "prometheus",
      "pg.customerCode": "rb26",
      "pg.product": "keycloak",
      "pg.environment": null
    }
  },
  {
    "namespace": "lerjr-rb26-sandbox-keycloak",
    "labels": {
      "pg.customerName": "lerjr",
      "pg.customerCode": "rb26",
      "pg.product": "keycloak",
      "pg.environment": null
    }
  },
  {
    "namespace": "prometheus-brr1-sandbox",
    "labels": {
      "pg.customerName": "prometheus",
      "pg.customerCode": null,
      "pg.product": null,
      "pg.environment": null
    }
  }
]

预期产出

[
  {
    "namespace": "lerjr-rb26-sandbox-keycloak",
    "labels": {
      "pg.customerName": "lerjr",
      "pg.customerCode": "rb26",
      "pg.product": "keycloak",
      "pg.environment": null
    },
    "ingresses": [
      {
        "name": "keycloak",
        "url": "REMOVED"
      }
    ]
  },
  {
    "namespace": "prometheus-brr1-sandbox",
    "labels": {
      "pg.customerName": "prometheus",
      "pg.customerCode": null,
      "pg.product": null,
      "pg.environment": null
    },
    "ingresses": [
      {
        "name": "abacus",
        "url": "REMOVED"
      },
      {
        "name": "keycloak",
        "url": "REMOVED"
      }
    ]
  },
  {
    "namespace": "prometheus-nginxredirect-sandbox",
    "labels": {
      "pg.customerName": "null",
      "pg.customerCode": null,
      "pg.product": null,
      "pg.environment": null
    },
    "ingresses": [
      {
        "name": "riskpoynt-redirect444",
        "url": "REMOVED"
      },
      {
        "name": "riskpoynt-redirect447",
        "url": "REMOVED"
      }
    ]
  },
  {
    "namespace": "prometheus-x105-sandbox",
    "labels": {
      "pg.customerName": "null",
      "pg.customerCode": null,
      "pg.product": null,
      "pg.environment": null
    },
    "ingresses": [
      {
        "name": "epas",
        "url": "REMOVED"
      },
      {
        "name": "epas-oidc",
        "url": "REMOVED"
      },
      {
        "name": "keycloak",
        "url": "REMOVED"
      }
    ]
  }
]

请注意,最终产品具有标签(如果不存在则为 null),并且如果没有入口,则删除名称空间条目。命名空间键/值对是两个文件之间的链接 - 我想文件 1 是主文件,如果文件 1 中没有命名空间条目,我不希望文件 2 中的命名空间条目。

任何和所有的帮助将不胜感激,我一直在努力解决这个问题。

jq
  • 1 1 个回答
  • 112 Views

1 个回答

  • Voted
  1. Best Answer
    Kusalananda
    2024-05-30T05:45:57+08:002024-05-30T05:45:57+08:00

    首先将“文件 2”文件传递给以下表达式,然后将“文件 1”文件传递给以下表达式,我们使用SQL 样式运算符jq在两个之间执行关系 LEFT JOIN 操作。jq

    JOIN(
            INDEX(input[]; .namespace);
            input | group_by(.namespace)[];
            first.namespace;
            {
                    namespace: first[0].namespace,
                    labels: (
                            last.labels // { 
                                    "pg.customerName": null,
                                    "pg.customerCode": null,
                                    "pg.product": null,
                                    "pg.environment": null
                            }
                    ),
                    ingresses: ( first | map(del(.namespace)) )
            }
    )
    

    该JOIN()函数需要一个为左连接数据集计算的索引、一个表示我们要连​​接的数据集条目的对象数据流、一个从我们要连接的元素中挑选出键的表达式,以及一个表达式从连接对创建结果对象。

    该INDEX()函数作用于“文件 2”文件,将根据该键创建索引namespace。其输出如下(请注意这些namespace值现在如何用作键):

    {
      "ler-rb26-sandbox": {
        "namespace": "ler-rb26-sandbox",
        "labels": {
          "pg.customerName": "prometheus",
          "pg.customerCode": "rb26",
          "pg.product": "keycloak",
          "pg.environment": null
        }
      },
      "lerjr-rb26-sandbox-keycloak": {
        "namespace": "lerjr-rb26-sandbox-keycloak",
        "labels": {
          "pg.customerName": "lerjr",
          "pg.customerCode": "rb26",
          "pg.product": "keycloak",
          "pg.environment": null
        }
      },
      "prometheus-brr1-sandbox": {
        "namespace": "prometheus-brr1-sandbox",
        "labels": {
          "pg.customerName": "prometheus",
          "pg.customerCode": null,
          "pg.product": null,
          "pg.environment": null
        }
      }
    }
    

    我们将来自另一个文件的传入数据分组到namespace键上,这为我们提供了一个数组,其中每个元素都是具有相同值的对象数组namespace。第一个此类对象的值namespace用作连接键。

    该函数的最后一部分JOIN()是一个表达式,它组合了一对对象,一个来自第一个文件,一个来自第二个文件,并按namespace值进行匹配。如果存在标签,则从“文件 2”中选取标签,否则null将插入 -value 标签。

    你可以使用以下命令来运行它

    jq -n -f script.jq file2 file1
    

    ...它会输出以下内容:

    {
      "namespace": "lerjr-rb26-sandbox-keycloak",
      "labels": {
        "pg.customerName": "lerjr",
        "pg.customerCode": "rb26",
        "pg.product": "keycloak",
        "pg.environment": null
      },
      "ingresses": [
        {
          "name": "keycloak",
          "url": "REMOVED"
        }
      ]
    }
    {
      "namespace": "prometheus-brr1-sandbox",
      "labels": {
        "pg.customerName": "prometheus",
        "pg.customerCode": null,
        "pg.product": null,
        "pg.environment": null
      },
      "ingresses": [
        {
          "name": "abacus",
          "url": "REMOVED"
        },
        {
          "name": "keycloak",
          "url": "REMOVED"
        }
      ]
    }
    {
      "namespace": "prometheus-nginxredirect-sandbox",
      "labels": {
        "pg.customerName": null,
        "pg.customerCode": null,
        "pg.product": null,
        "pg.environment": null
      },
      "ingresses": [
        {
          "name": "riskpoynt-redirect444",
          "url": "REMOVED"
        },
        {
          "name": "riskpoynt-redirect447",
          "url": "REMOVED"
        }
      ]
    }
    {
      "namespace": "prometheus-x105-sandbox",
      "labels": {
        "pg.customerName": null,
        "pg.customerCode": null,
        "pg.product": null,
        "pg.environment": null
      },
      "ingresses": [
        {
          "name": "epas",
          "url": "REMOVED"
        },
        {
          "name": "epas-oidc",
          "url": "REMOVED"
        },
        {
          "name": "keycloak",
          "url": "REMOVED"
        }
      ]
    }
    

    请注意,这些是松散对象,不属于数组的一部分。如果您希望将它们收集在数组中,请将整个jq表达式放入 中[...],或者将输出传递给jq -s .。

    • 5

相关问题

  • 使用 jq 获取结构化输出

  • 如何将嵌入(引用)的 json 字符串转换为 json

  • JSON数组使用jq来bash变量

  • jq 打印子对象中所有的键和值

  • jq 使用多个 --arg 添加或更新一个值

Sidebar

Stats

  • 问题 205573
  • 回答 270741
  • 最佳答案 135370
  • 用户 68524
  • 热门
  • 回答
  • Marko Smith

    模块 i915 可能缺少固件 /lib/firmware/i915/*

    • 3 个回答
  • Marko Smith

    无法获取 jessie backports 存储库

    • 4 个回答
  • Marko Smith

    如何将 GPG 私钥和公钥导出到文件

    • 4 个回答
  • Marko Smith

    我们如何运行存储在变量中的命令?

    • 5 个回答
  • Marko Smith

    如何配置 systemd-resolved 和 systemd-networkd 以使用本地 DNS 服务器来解析本地域和远程 DNS 服务器来解析远程域?

    • 3 个回答
  • Marko Smith

    dist-upgrade 后 Kali Linux 中的 apt-get update 错误 [重复]

    • 2 个回答
  • Marko Smith

    如何从 systemctl 服务日志中查看最新的 x 行

    • 5 个回答
  • Marko Smith

    Nano - 跳转到文件末尾

    • 8 个回答
  • Marko Smith

    grub 错误:你需要先加载内核

    • 4 个回答
  • Marko Smith

    如何下载软件包而不是使用 apt-get 命令安装它?

    • 7 个回答
  • Martin Hope
    user12345 无法获取 jessie backports 存储库 2019-03-27 04:39:28 +0800 CST
  • Martin Hope
    Carl 为什么大多数 systemd 示例都包含 WantedBy=multi-user.target? 2019-03-15 11:49:25 +0800 CST
  • Martin Hope
    rocky 如何将 GPG 私钥和公钥导出到文件 2018-11-16 05:36:15 +0800 CST
  • Martin Hope
    Evan Carroll systemctl 状态显示:“状态:降级” 2018-06-03 18:48:17 +0800 CST
  • Martin Hope
    Tim 我们如何运行存储在变量中的命令? 2018-05-21 04:46:29 +0800 CST
  • Martin Hope
    Ankur S 为什么 /dev/null 是一个文件?为什么它的功能不作为一个简单的程序来实现? 2018-04-17 07:28:04 +0800 CST
  • Martin Hope
    user3191334 如何从 systemctl 服务日志中查看最新的 x 行 2018-02-07 00:14:16 +0800 CST
  • Martin Hope
    Marko Pacak Nano - 跳转到文件末尾 2018-02-01 01:53:03 +0800 CST
  • Martin Hope
    Kidburla 为什么真假这么大? 2018-01-26 12:14:47 +0800 CST
  • Martin Hope
    Christos Baziotis 在一个巨大的(70GB)、一行、文本文件中替换字符串 2017-12-30 06:58:33 +0800 CST

热门标签

linux bash debian shell-script text-processing ubuntu centos shell awk ssh

Explore

  • 主页
  • 问题
    • 最新
    • 热门
  • 标签
  • 帮助

Footer

AskOverflow.Dev

关于我们

  • 关于我们
  • 联系我们

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve