主页 / unix / 问题 / 680881
Accepted
user3447014
Asked: 2021-12-10 17:51:25 +0800 CST

根据每 X 个正则表达式模式匹配拆分文件

  • 772

这个问题类似于Splitting text files based on a regular expression，但不完全相同。我的问题是我不想将它拆分为特定数量的文件，但我实际上想根据匹配的数量来拆分它。例如：我有一个 457 MB 的文件，并试图将其拆分为更小的文件。这是目前的工作：

csplit -z Scan.nessus /\<ReportHost/ '{*}'

但是，这为我创建了大约 61.5k 个文件，因为我在这个 457MB 文件中有大量这些<ReportHost条目。最终，我想按每 50 个条目而不是每个条目来分解它。

有没有办法修改它来实现这一点？我在某种程度上尝试在 Ruby 中执行此操作，但尝试使用 Nokogiri 解析文件时似乎最大化了 VM 的内存。

bash

1 个回答

  1. Best Answer

    重用awk- 方法

    BEGIN{outfile="part_0" ; j=-1}
/\<ReportHost/ {j++}
j==50 {outfile="part_"++i ; j=0}
{print > outfile}

    运行方式

    awk -f split.awk Scan.nessus

    处理时不删除旧文件的问题仍然存在。

    对于零填充的输出文件，您可以使用

    outfile="part_"sprintf("%04d",i++)

    和 BEGIN 块中的“part_0000”。然后希望不要超过10,000个文件。或者事先检查您期望的文件数量。

    • 1

相关问题