主页 / unix / 问题

问题[text-processing](unix)

Martin Hope
Luke
Asked: 2024-12-16 23:42:36 +0800 CST
  • 5

我有一个相当大的个人图书馆，里面有各种格式的书籍。我尝试整理它们的元数据，包括包含目录的文本字段。目前，我正在使用文档阅读器中的“区域文本选择”功能来复制文本。使用 djview 对 DJVU 执行此操作可生成格式良好的目录，如下所示：

CONTENTS
1. EXPERIMENTS
1.1. The definition of an experiment ..... 1
1.2. Algebras of events as Boolean algebras .... 6
1.3. Operations with experiments ...... 9
1.4. Canonical representation of polynomials of events . . 12
....

我强调，我所做的只是将鼠标拖过页面并单击“复制文本”。如果我尝试对 PDF 执行此操作，结构将完全丢失，我必须花一些时间清理文本选择，移动页码和章节编号。我可能会得到如下结果：

Table of Contents
I
 Introduction
1
 Introduction
1.1
 Table of Contents
1.2
 Acknowledgments
1
3
3
6
II
....

我正在寻找一款可以以类似的方式复制文本但保留“结构”的 PDF 阅读器。DJVU 阅读器具有此功能，这告诉我这应该是可能的。

注意：我不是在谈论从书签中提取目录：我的许多 PDF 都没有目录。我还想避免使用必须处理整个文件的 CLI 工具：我只希望它选择我选择的文本，但保留换行符和整体结构。

text-processing
Martin Hope
Vlado B.
Asked: 2024-12-13 17:47:33 +0800 CST
  • 8

我有一个巨大的 JSON 对象，里面有一个对象数组。我必须将键：值对添加到数组中的特定对象。例如，让输入对象为：

{
  "a": {
    "b": [
      {
        "name": "name1",
        "value": 1,
        "param": {
          "p1": "par1"
        }
      },
      {
        "name": "name2",
        "value": 2,
        "param": {
          "p1": "par2"
        }
      },
      {
        "name": "name3",
        "value": 3,
        "param": {
          "p1": "par3"
        }
      }
    ],
    "c": 4,
    "d": 5
  }
}

使用索引，修改很容易：

 jq '.a.b[0].param += {new: "QQQ"}'

但我不能 100% 确定索引。我必须用名称标签指定对象.name == "name1"。

如何修改名称标签所标识的对象？

text-processing
Martin Hope
learningregularexpressions
Asked: 2024-12-09 02:35:46 +0800 CST
  • 6

我有一个非常基本的文件；

15
Chapter name


some text and some more text
some text and some more text

我试图得到这样的东西

Book: 15 Chapter name


some text and some more text
some text and some more text

我尝试使用 sed 和这种模式来做到这一点；

sed 's/^\([[:digit:]]\+\)\n\([[:alpha:]].*$\)\n$/Book: \1 \2\n/g'

显然，这在终端上不起作用，但是在 VIM 版本中可以完美运行sed。

text-processing
Martin Hope
Avenger
Asked: 2024-12-07 03:19:34 +0800 CST
  • 5

这个问题与如何在文件第一行前插入文本？密切相关。我故意将标题设为与该问题相似以突出这一点。

除非目标文件是带有BOM的UTF-8。

因此，我想在文件的第一行中添加一个标题（0xef 0xbb 0xbf字符）中包含 UTF-8 BOM 字节的文件。至少我这里的 UTF-8 带 BOM 文件以此开头。

如果我继续按照相关问题中的解决方案进行操作，

sed "1i My First line is now this." file.txt

我将得到类似这样的结果（在我的情况下是 VSCode）

My First line is now this.
?The first line was this one
Second line and so on

第二行的 UTF-8 字符用来?表达一些不可打印的内容。

正如我们所料，另一个结果是文件不再以带 BOM 的 UTF-8 格式打开，我们现在依靠文本编辑器功能来“猜测”其编码。我们在项目中确定了一种模式，即使用带 BOM 的文件来确保所有内容都采用相同的编码。

如何在添加文本时保留文件中的 BOM 头？

text-processing
Martin Hope
Lurch
Asked: 2024-12-06 16:47:42 +0800 CST
  • 6

我有 2 个文件

文件1

00:00:00:00:00:01

文件2

00:00:00:00:00:02 foo bar
00:00:00:00:00:01 something else

我想要做的是比较这两个文件，并00:00:00:00:00:01从文件 2 中删除，这样我最终得到

文件 2

00:00:00:00:00:02 foo bar

我试过

grep -Fvx file1 file2

但它似乎不适用于部分线匹配。

text-processing
Martin Hope
Matteo
Asked: 2024-11-25 21:34:48 +0800 CST
  • 7

我有一个大文件，其格式tab如下：

#CHROM  POS     ID      REF     ALT     QUAL    FILTER  INFO    FORMAT  recombination
chr1    586001  >63041388>63041391      G       A       60      .       AC=80;AF=0.3125;AN=256;AT=>63041388>63041390>63041391,>63041388>63041389>63041391;NS=3;LV=0     GT    1|2|3|

现在，最后一列（第 10 列）出现的数字等于用竖线除以 0 |；但是，我希望实现以下目标：

#CHROM  POS     ID      REF     ALT     QUAL    FILTER  INFO    FORMAT  recombination
chr1    586001  >63041388>63041391      G       A       60      .       AC=80;AF=0.3125;AN=256;AT=>63041388>63041390>63041391,>63041388>63041389>63041391;NS=3;LV=0     GT    1|1    2|2    3|3

tab我设法通过替换符号来分隔列|，这让我知道如何复制它们并添加|数字之间的数字。我尝试了几次for循环，但我能做的最好的就是只打印两列，如下所示：

1    1
2    2
3    3
...

否则printf我会得到一行输出但不能保持计数器与初始列相同的值...非常感谢任何帮助，提前谢谢！

text-processing
Martin Hope
Ronnie
Asked: 2024-11-06 01:28:27 +0800 CST
  • 6

我有一个 RTF 文件，其中包含 pdf 文件路径列表。例如

Category1:
./Folder1/Folder2/1.pdf:18
./Folder3/2.pdf:18
./Folder5/4.pdf:10

Category2:
./Folder3/2.pdf:18
./Folder5/4.pdf:10

Category3:
./Folder1/Folder2/1.pdf:18
./Folder5/4.pdf:10

Category4:
./Folder6/7.pdf:10
./Folder5/4.pdf:10
./Folder3/2.pdf:18

附注： *.pdf:num 后面的数字 num 可以忽略。文件夹的完整路径也可以忽略。感兴趣的实体只是文件的名称.pdf

我想要一个按 pdf 名称及其出现次数排序的输出

输出格式为（文件名：文件在 rtf 中出现的次数），例如：

4.pdf :  4
2.pdf :  3

注2：任何提及次数少于3次的文件都可以被忽略。

text-processing
Martin Hope
TommyPeanuts
Asked: 2024-10-13 03:43:03 +0800 CST
  • 6

我有以下文本文件，需要将其提供给 Discord webhook：

some\nText\nHere

分隔符\n是文字字符，而不是实际的新行（webhook 稍后将它们解析为新行）。

为了删除其中一行（例如此处的“Text”一词，以便我得到some\nHere），我尝试使用 awk 执行以下操作：

awk -F'\\\\n\\(' '{print $1 $2}'

但它仍然会输出some\nText\nhere并忽略分隔符。如果我尝试：

awk -F'\n' '{print $1 $2}'它的作用是一样的。

如何让 awk 使用文字\n作为字段分隔符？

text-processing
Martin Hope
peng xiao
Asked: 2024-10-09 18:42:01 +0800 CST
  • 4

我们有以下文本文件：

172.55.34.48 172.55.33.95
172.55.32.163 172.55.34.48
172.55.32.163 172.55.33.95

我们需要做的是，如果发现第一列包含之前在该列中遇到的值，则交换这两列。对于每个这样的值（在本例中为 IP 地址），最大出现次数为两次。

在上面的例子中，我们需要 172.55.33.95与上一行已经找到的172.55.32.163内容进行交换。172.55.32.163

我试过

awk 'prev && ($1 != prev) {print seen[prev]} {seen[$1] = $0; prev = $1} END {print seen[$1]}' /tmp/new.txt

但这有助于删除之前已经找到第 1 列条目的行。

text-processing
Martin Hope
Claudio Favaro
Asked: 2024-10-09 17:55:34 +0800 CST
  • 6

我如何让 jq 获取这样的 json：

{
  "responseHeader":{
    "status":0,
    "QTime":1
  },
  "cluster":{
    "collections":{
      "collection1-stored":{
        "pullReplicas":"0",
        "configName":"collection1-stored-conf1",
        "replicationFactor":1,
        "router":{
          "name":"compositeId"
        },
        "nrtReplicas":1,
        "tlogReplicas":"0",
        "shards":{
          "shard1":{
            "range":"80000000-7fffffff",
            "state":"active",
            "replicas":{
              "core_node2":{
                "core":"collection1-stored_shard1_replica_n1",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              }
            },
            "health":"GREEN"
          }
        },
        "health":"GREEN",
        "znodeVersion":3,
        "creationTimeMillis":1727780823546
      },
      "collection2-multi":{
        "pullReplicas":"0",
        "configName":"collection2-multi-conf2",
        "replicationFactor":2,
        "router":{
          "name":"compositeId"
        },
        "nrtReplicas":2,
        "tlogReplicas":"0",
        "shards":{
          "shard1":{
            "range":"80000000-7fffffff",
            "state":"active",
            "replicas":{
              "core_node3":{
                "core":"collection2-multi_shard1_replica_n1",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              },
              "core_node4":{
                "core":"collection2-multi_shard1_replica_n2",
                "node_name":"servername2:8983_solr",
                "type":"NRT",
                "state":"active",
                "force_set_state":"false",
                "base_url":"http://servername2:8983/solr"
              }
            },
            "health":"GREEN"
          }
        },
        "health":"GREEN",
        "znodeVersion":5,
        "creationTimeMillis":1727780813821,
        "aliases":["collection2-multi-query","collection2-multi-upd"]
      },
      "collection4-multi-multi1":{
        "pullReplicas":"0",
        "configName":"collection4-multi-multi-conf4",
        "replicationFactor":2,
        "router":{
          "name":"compositeId"
        },
        "nrtReplicas":2,
        "tlogReplicas":"0",
        "shards":{
          "shard1":{
            "range":"80000000-ffffffff",
            "state":"active",
            "replicas":{
              "core_node5":{
                "core":"collection4-multi-multi1_shard1_replica_n2",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              },
              "core_node8":{
                "core":"collection4-multi-multi1_shard1_replica_n6",
                "node_name":"servername2:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername2:8983/solr"
              }
            },
            "health":"GREEN"
          },
          "shard2":{
            "range":"0-7fffffff",
            "state":"active",
            "replicas":{
              "core_node3":{
                "core":"collection4-multi-multi1_shard2_replica_n1",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              },
              "core_node7":{
                "core":"collection4-multi-multi1_shard2_replica_n4",
                "node_name":"servername2:8983_solr",
                "type":"NRT",
                "state":"active",
                "force_set_state":"false",
                "base_url":"http://servername2:8983/solr"
              }
            },
            "health":"GREEN"
          }
        },
        "health":"GREEN",
        "znodeVersion":7,
        "creationTimeMillis":1727780770838,
        "aliases":["collection4-multi-multi"]
      },
      "collection3-multi":{
        "pullReplicas":"0",
        "configName":"collection3-multi-conf3",
        "replicationFactor":2,
        "router":{
          "name":"compositeId"
        },
        "nrtReplicas":2,
        "tlogReplicas":"0",
        "shards":{
          "shard1":{
            "range":"80000000-7fffffff",
            "state":"active",
            "replicas":{
              "core_node7":{
                "core":"collection3-multi_shard1_replica_n1",
                "node_name":"servername2:8983_solr",
                "type":"NRT",
                "state":"active",
                "force_set_state":"false",
                "base_url":"http://servername2:8983/solr"
              },
              "core_node5":{
                "core":"collection3-multi_shard1_replica_n2",
                "node_name":"servername1:8983_solr",
                "type":"NRT",
                "state":"active",
                "leader":"true",
                "force_set_state":"false",
                "base_url":"http://servername1:8983/solr"
              }
            },
            "health":"GREEN"
          }
        },
        "health":"GREEN",
        "znodeVersion":6,
        "creationTimeMillis":1727780768553,
        "aliases":["collection3-multi-index","collection3-multi-query"]
      }
    }
  }
}

并生成以下输出：

collection1-stored, collection1-stored-conf1, shard1:core_node2, collection1-stored_shard1_replica_n1, servername1:8983_solr
collection2-multi, collection2-multi-conf2, shard1:core_node3, collection2-multi_shard1_replica_n1, servername1:8983_solr
collection2-multi, collection2-multi-conf2, shard1:core_node4, collection2-multi_shard1_replica_n2, servername2:8983_solr
collection4-multi-multi1, collection4-multi-multi-conf4, shard1:core_node5, collection4-multi-multi1_shard1_replica_n2, servername1:8983_solr
collection4-multi-multi1, collection4-multi-multi-conf4, shard1:core_node8, collection4-multi-multi1_shard1_replica_n6, servername2:8983_solr
collection4-multi-multi1, collection4-multi-multi-conf4, shard2:core_node3, collection4-multi-multi1_shard2_replica_n1, servername1:8983_solr
collection4-multi-multi1, collection4-multi-multi-conf4, shard2:core_node7, collection4-multi-multi1_shard2_replica_n4, servername2:8983_solr
collection3-multi, collection3-multi-conf3, shard1:core_node7, collection3-multi_shard1_replica_n1, servername2:8983_solr
collection3-multi, collection3-multi-conf3, shard1:core_node5, collection3-multi_shard1_replica_n2, servername1:8983_solr

使用 jq 格式化程序。

总而言之，我需要为每个集合名称、它的每个分片和每个副本获取一行，其中包含集合名称、configName 值、核心名称、核心值和 node_name 值。

我只能达到第一级过滤：

jq ".cluster.collections"

谢谢

text-processing