问题[text-processing](unix)

我有一个大文件，其格式tab如下：

#CHROM  POS     ID      REF     ALT     QUAL    FILTER  INFO    FORMAT  recombination
chr1    586001  >63041388>63041391      G       A       60      .       AC=80;AF=0.3125;AN=256;AT=>63041388>63041390>63041391,>63041388>63041389>63041391;NS=3;LV=0     GT    1|2|3|

现在，最后一列（第 10 列）出现的数字等于用竖线除以 0 |；但是，我希望实现以下目标：

#CHROM  POS     ID      REF     ALT     QUAL    FILTER  INFO    FORMAT  recombination
chr1    586001  >63041388>63041391      G       A       60      .       AC=80;AF=0.3125;AN=256;AT=>63041388>63041390>63041391,>63041388>63041389>63041391;NS=3;LV=0     GT    1|1    2|2    3|3

tab我设法通过替换符号来分隔列|，这让我知道如何复制它们并添加|数字之间的数字。我尝试了几次for循环，但我能做的最好的就是只打印两列，如下所示：

1    1
2    2
3    3
...

否则printf我会得到一行输出但不能保持计数器与初始列相同的值...非常感谢任何帮助，提前谢谢！

我有一个 RTF 文件，其中包含 pdf 文件路径列表。例如

Category1:
./Folder1/Folder2/1.pdf:18
./Folder3/2.pdf:18
./Folder5/4.pdf:10

Category2:
./Folder3/2.pdf:18
./Folder5/4.pdf:10

Category3:
./Folder1/Folder2/1.pdf:18
./Folder5/4.pdf:10

Category4:
./Folder6/7.pdf:10
./Folder5/4.pdf:10
./Folder3/2.pdf:18

附注： *.pdf:num 后面的数字 num 可以忽略。文件夹的完整路径也可以忽略。感兴趣的实体只是文件的名称.pdf

我想要一个按 pdf 名称及其出现次数排序的输出

输出格式为（文件名：文件在 rtf 中出现的次数），例如：

4.pdf :  4
2.pdf :  3

注2：任何提及次数少于3次的文件都可以被忽略。

我有以下文本文件，需要将其提供给 Discord webhook：

some\nText\nHere

分隔符\n是文字字符，而不是实际的新行（webhook 稍后将它们解析为新行）。

为了删除其中一行（例如此处的“Text”一词，以便我得到some\nHere），我尝试使用 awk 执行以下操作：

awk -F'\\\\n\\(' '{print $1 $2}'

但它仍然会输出some\nText\nhere并忽略分隔符。如果我尝试：

awk -F'\n' '{print $1 $2}'它的作用是一样的。

如何让 awk 使用文字\n作为字段分隔符？

我们有以下文本文件：

172.55.34.48 172.55.33.95
172.55.32.163 172.55.34.48
172.55.32.163 172.55.33.95

我们需要做的是，如果发现第一列包含之前在该列中遇到的值，则交换这两列。对于每个这样的值（在本例中为 IP 地址），最大出现次数为两次。

在上面的例子中，我们需要 172.55.33.95与上一行已经找到的172.55.32.163内容进行交换。172.55.32.163

我试过

awk 'prev && ($1 != prev) {print seen[prev]} {seen[$1] = $0; prev = $1} END {print seen[$1]}' /tmp/new.txt 

但这有助于删除之前已经找到第 1 列条目的行。

我如何让 jq 获取这样的 json：

{
  "responseHeader":{
    "status":0,
    "QTime":1
  },
  "cluster":{
    "collections":{
      "collection1-stored":{
        "pullReplicas":"0",
        "configName":"collection1-stored-conf1",
        "replicationFactor":1,
        "router":{
          "name":"compositeId"
        },
        "nrtReplicas":1,
        "tlogReplicas":"0",
        "shards":{
          "shard1":{
            "range":"80000000-7fffffff",
            "state":"active",
            "replicas":{
              "core_node2":{
                "core":"collection1-stored_shard1_replica_n1",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              }
            },
            "health":"GREEN"
          }
        },
        "health":"GREEN",
        "znodeVersion":3,
        "creationTimeMillis":1727780823546
      },
      "collection2-multi":{
        "pullReplicas":"0",
        "configName":"collection2-multi-conf2",
        "replicationFactor":2,
        "router":{
          "name":"compositeId"
        },
        "nrtReplicas":2,
        "tlogReplicas":"0",
        "shards":{
          "shard1":{
            "range":"80000000-7fffffff",
            "state":"active",
            "replicas":{
              "core_node3":{
                "core":"collection2-multi_shard1_replica_n1",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              },
              "core_node4":{
                "core":"collection2-multi_shard1_replica_n2",
                "node_name":"servername2:8983_solr",
                "type":"NRT",
                "state":"active",
                "force_set_state":"false",
                "base_url":"http://servername2:8983/solr"
              }
            },
            "health":"GREEN"
          }
        },
        "health":"GREEN",
        "znodeVersion":5,
        "creationTimeMillis":1727780813821,
        "aliases":["collection2-multi-query","collection2-multi-upd"]
      },
      "collection4-multi-multi1":{
        "pullReplicas":"0",
        "configName":"collection4-multi-multi-conf4",
        "replicationFactor":2,
        "router":{
          "name":"compositeId"
        },
        "nrtReplicas":2,
        "tlogReplicas":"0",
        "shards":{
          "shard1":{
            "range":"80000000-ffffffff",
            "state":"active",
            "replicas":{
              "core_node5":{
                "core":"collection4-multi-multi1_shard1_replica_n2",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              },
              "core_node8":{
                "core":"collection4-multi-multi1_shard1_replica_n6",
                "node_name":"servername2:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername2:8983/solr"
              }
            },
            "health":"GREEN"
          },
          "shard2":{
            "range":"0-7fffffff",
            "state":"active",
            "replicas":{
              "core_node3":{
                "core":"collection4-multi-multi1_shard2_replica_n1",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              },
              "core_node7":{
                "core":"collection4-multi-multi1_shard2_replica_n4",
                "node_name":"servername2:8983_solr",
                "type":"NRT",
                "state":"active",
                "force_set_state":"false",
                "base_url":"http://servername2:8983/solr"
              }
            },
            "health":"GREEN"
          }
        },
        "health":"GREEN",
        "znodeVersion":7,
        "creationTimeMillis":1727780770838,
        "aliases":["collection4-multi-multi"]
      },
      "collection3-multi":{
        "pullReplicas":"0",
        "configName":"collection3-multi-conf3",
        "replicationFactor":2,
        "router":{
          "name":"compositeId"
        },
        "nrtReplicas":2,
        "tlogReplicas":"0",
        "shards":{
          "shard1":{
            "range":"80000000-7fffffff",
            "state":"active",
            "replicas":{
              "core_node7":{
                "core":"collection3-multi_shard1_replica_n1",
                "node_name":"servername2:8983_solr",
                "type":"NRT",
                "state":"active",
                "force_set_state":"false",
                "base_url":"http://servername2:8983/solr"
              },
              "core_node5":{
                "core":"collection3-multi_shard1_replica_n2",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              }
            },
            "health":"GREEN"
          }
        },
        "health":"GREEN",
        "znodeVersion":6,
        "creationTimeMillis":1727780768553,
        "aliases":["collection3-multi-index","collection3-multi-query"]
      }
    }
  }
}

并生成以下输出：

collection1-stored, collection1-stored-conf1, shard1:core_node2, collection1-stored_shard1_replica_n1, servername1:8983_solr
collection2-multi, collection2-multi-conf2, shard1:core_node3, collection2-multi_shard1_replica_n1, servername1:8983_solr
collection2-multi, collection2-multi-conf2, shard1:core_node4, collection2-multi_shard1_replica_n2, servername2:8983_solr
collection4-multi-multi1, collection4-multi-multi-conf4, shard1:core_node5, collection4-multi-multi1_shard1_replica_n2, servername1:8983_solr
collection4-multi-multi1, collection4-multi-multi-conf4, shard1:core_node8, collection4-multi-multi1_shard1_replica_n6, servername2:8983_solr
collection4-multi-multi1, collection4-multi-multi-conf4, shard2:core_node3, collection4-multi-multi1_shard2_replica_n1, servername1:8983_solr
collection4-multi-multi1, collection4-multi-multi-conf4, shard2:core_node7, collection4-multi-multi1_shard2_replica_n4, servername2:8983_solr
collection3-multi, collection3-multi-conf3, shard1:core_node7, collection3-multi_shard1_replica_n1, servername2:8983_solr
collection3-multi, collection3-multi-conf3, shard1:core_node5, collection3-multi_shard1_replica_n2, servername1:8983_solr

使用 jq 格式化程序。

总而言之，我需要为每个集合名称、它的每个分片和每个副本获取一行，其中包含集合名称、configName 值、核心名称、核心值和 node_name 值。

我只能达到第一级过滤：

jq ".cluster.collections"

谢谢

$ n="foo"; echo "{}" | jq --arg n "$n" '. += { "$n": $n }'
{
  "$n": "foo"
}

我读了https://jqlang.github.io/jq/manual/#types-and-values后发现，这应该可行 —— 但显然不行。这是怎么回事？

我最近发现了jq和gron。对于我的用例来说，gron已经足够了，但我有点担心缺乏开发。有些错误一年来都没有解决，而我看到正在jq积极开发。

所以我想gron使用来模拟jq。我认为这并不太难，但我对 的了解jq有限。

作为示例，我想使用它jq来获得此输出：

T424f7496c3a01  -14889.86
demo    -15030.785

来自此输入：

{
  "T424f7496c3a01": {
    "remaining": -14889.86,
    "ts": 136572.504
  },
  "demo": {
    "remaining": -15030.785,
    "ts": 0.515
  }
}

我想出了这个jq脚本来执行此操作：

jq -r '[keys,([.[]|.remaining|round|"\t"+tostring])]|transpose|.[]|add'

但它的可读性远不如

gron | fgrep '.remaining = '

产生

json.T424f7496c3a01.remaining = -18079.105;
json.demo.remaining = -18220.029;

可以使用IFS=" .=;" read循环轻松解析bash。

因此，我问了一个长期可维护性的问题：是否有一个简单的脚本jq可以给我提供一些易于解析的内容bash？我担心使用jq上述脚本一个月后我将不知道它是如何工作的......

PS 我选择的答案回答了上述查询。我希望对于标题中提到的查询，即gron使用进行模拟，也会有一个同样简单的答案jq。事实上，@Kusalananda 在下面的评论中引用了如何打印 JSON 文件的路径和键值，其中选择的答案足够接近模拟gron。不幸的是，该解决方案太复杂，无法满足我的长期维护和可读性目标。

测试文件：

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmo tempor incididunt ut labore et dolore magna aliqua. Ut enim minim veniam quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum.

如果使用

script.sh input.txt output.txt

sed 's/ - /--/g
     s/ \{0,1\}[—–] \{0,1\}/--/g
     s/…/.../g
     s/\\\*/†/g
     s/*/\//g
     s/\\\././g' $1 |
fold -sw 72 |
sed 's/ *$//g' > $2

输出是

------------------------------------------------------------------------ <- 72 characters
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmo
tempor incididunt ut labore et dolore magna aliqua. Ut enim minim
veniam quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea
commodo consequat. Duis aute irure dolor in reprehenderit in voluptate
velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint
occaecat cupidatat non proident, sunt in culpa qui officia deserunt
mollit anim id est laborum.

但为什么不这样呢？

------------------------------------------------------------------------ <- 72 characters
Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmo
tempor incididunt ut labore et dolore magna aliqua. Ut enim minim veniam
quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo
consequat. Duis aute irure dolor in reprehenderit in voluptate velit
esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat
cupidatat non proident, sunt in culpa qui officia deserunt mollit anim
id est laborum.

也就是说，为什么该词veniam从第二行移到了第三行？ 是不是没有足够的空间？

man fold：

-s：在最后一个空白字符之后折叠行的第一个宽度列位置（或字节）。

我使用foldmacOS 提供的，但如果使用 GNU fold，输出文件是相同的。

我有一台使用 OpenStreet 地图的 Garmin Nuvi。Garmin 提供邮政编码，但苏格兰的邮政编码通常比现在的晚 2-3 年。OSM 不提供英国邮政编码，但邮局提供，并且可以免费下载。此文件不到 1GB。它有 16 列，其中我只想要前 3 列。

我使用 cut 删除了多余的列，因此现在有了邮政编码、纬度和经度。不幸的是，POI 文件应为纬度、经度和邮政编码，即第 1 列应为第 3 列。更糟糕的是，邮政编码必须用引号括起来，例如 EH9 1QG 和 SW12 1AB 应为“EH9 1QG”和“SW12 1AB”。

我相当笨拙地使用了 awk（看看我做了什么？）：

awk 'BEGIN {FS="\t"; OFS=","} {print $2, $3, $1}' pc0.csv > pc.csv

它所做的只是在前面添加了 2 个空列。
如果能用电子表格来做就好了，但有超过 300 万行。

有什么想法吗？

这是我从 cut - pc0.csv 的输出中获得的结果。awk
命令给出的结果相同，但每行前面有两个逗号，以提供 2 个空列。

Postcode Latitude Longitude
AB1 0AA,57.101474,-2.242851  
AB1 0AB,57.102554,-2.246308  
AB1 0AD,57.100556,-2.248342  
AB1 0AE,57.084444,-2.255708  
AB1 0AF,57.096656,-2.258102  
AB1 0AG,57.097085,-2.267513  
AB1 0AJ,57.099011,-2.252854  
AB1 0AL,57.101765,-2.254688

因此，使用上面的“剪切”文件（现在只有 73MB），我需要将其转换为：

Latitude,Longitude,Postcode
57.101474,-2.242851,"AB1 0AA"  
57.102554,-2.246308,"AB1 0AB"  
57.100556,-2.248342,"AB1 0AD"  
57.084444,-2.255708,"AB1 0AE"  
57.096656,-2.258102,"AB1 0AF"  
57.097085,-2.267513,"AB1 0AG"  
57.099011,-2.252854,"AB1 0AJ"  
57.101765,-2.254688,"AB1 0AL"

现在我必须删除制表符才能显示这些行，所以这又是一个问题，因为只能有逗号而没有其他东西 - 甚至没有空格，除非在引号内。

PS Linux（Ubuntu Mate）22.04 LTS

我有以下文件：

<head>
  <title>this is a title</title>
  <style>
    here goes a style sheet
  </style>
</head>

我需要使用<title>来从中剥离元素sed。目前我使用

cat test.html | sed 's/<title>.*<\/title>//'

并且它可以工作，但我不明白如何去掉空白行。也就是说，目前输出是

<head>
  
  <style>
    here goes a style sheet
  </style>
</head>

但我希望如此

<head>
  <style>
    here goes a style sheet
  </style>
</head>

为此，我尝试使用 GNU 和 BSD添加\s*或\n*sed

cat test.html | sed 's/<title>.*<\/title>\s*//'

cat test.html | sed 's/<title>.*<\/title>\n*//'

但这没有帮助。我做错了什么？

编辑：此<title>行不必单独成行。也就是说，有时整个文件可能只有一行：

<head><title>this is a title</title><style>here goes a style sheet</style></head>

在这种情况下，期望的输出是

<head><style>here goes a style sheet</style></head>