主页 / unix / 问题 / 414042
Accepted
yukashima huksay
Asked: 2018-01-01 13:27:16 +0800 CST

如何使用 grep 将输出拆分为两个文件？

  • 772

我有一个mycommand.sh无法运行两次的脚本。我想将输出拆分为两个不同的文件，一个文件包含与正则表达式匹配的行，另一个文件包含与正则表达式不匹配的行。我希望拥有的基本上是这样的：

./mycommand.sh | grep -E 'some|very*|cool[regex].here;)' --match file1.txt --not-match file2.txt

我知道我可以将输出重定向到一个文件，然后重定向到两个不同的带有和不带 -v 选项的 grep，并将它们的输出重定向到两个不同的文件。但我只是想知道是否可以用一个 grep 来做到这一点。

那么，是否有可能在一行中实现我想要的？

grep io-redirection

4 个回答

  1. Best Answer

    有很多方法可以做到这一点。

    使用 awk

    以下发送coolregex与 file1 匹配的任何行。所有其他行都转到 file2：

    ./mycommand.sh | awk '/[coolregex]/{print>"file1";next} 1' >file2

    这个怎么运作：

    1. /[coolregex]/{print>"file1";next}

      任何与正则表达式匹配的行都会coolregex打印到file1. 然后，我们跳过所有剩余的命令并跳转到该next行重新开始。

    2. 1

      所有其他行都发送到标准输出。 1是 awk 对 print-the-line 的神秘简写。

    也可以拆分为多个流：

    ./mycommand.sh | awk '/regex1/{print>"file1"} /regex2/{print>"file2"} /regex3/{print>"file3"}'

    使用进程替换

    这不像 awk 解决方案那样优雅，但为了完整起见，我们还可以结合使用多个 grep 和进程替换：

    ./mycommand.sh | tee >(grep 'coolregex' >File1) | grep -v 'coolregex' >File2

    我们还可以拆分为多个流：

    ./mycommand.sh | tee >(grep 'coolregex' >File1) >(grep 'otherregex' >File3) >(grep 'anotherregex' >File4) | grep -v 'coolregex' >File2
    • 22 
  2. sed -n -e '/pattern_1/w file_1' -e '/pattern_2/w file_2' input.txt

    w filename- 将当前模式空间写入文件名。

    如果您希望所有匹配的行都转到file_1，所有不匹配的行都转到file_2，您可以执行以下操作：

    sed -n -e '/pattern/w file_1' -e '/pattern/!w file_2' input.txt

    或者

    sed -n '/pattern/!{p;d}; w file_1' input.txt > file_2

    解释

    1. /pattern/!{p;d};
      • /pattern/!- 否定 - 如果一行不包含pattern.
      • p- 打印当前模式空间。
      • d- 删除模式空间。开始下一个循环。
      • 因此，如果一行不包含模式，它会将这一行打印到标准输出并选择下一行。在我们的例子中，标准输出被重定向到file_2。当行与模式不匹配时，sed脚本的下一部分( ) 未到达。w file_1
    2. w file_1- 如果一行包含模式，/pattern/!{p;d};则跳过该部分（因为它仅在模式不匹配时执行），因此，该行转到file_1.
    • 8

  3. 我喜欢这个sed解决方案，因为它不依赖 bashisms 并且以相同的方式处理输出文件。AFAIK，没有独立的 Unix 工具可以做你想做的事，所以你需要自己编程。如果我们放弃瑞士军刀方法，我们可以使用任何脚本语言（Perl、Python、NodeJS）。

    这就是在 NodeJS 中完成的方式

      #!/usr/bin/env node

  const fs = require('fs');
  const {stderr, stdout, argv} = process;

  const pattern = new RegExp(argv[2] || '');
  const yes = argv[3] ? fs.createWriteStream(argv[3]) : stdout;
  const no = argv[4] ? fs.createWriteStream(argv[4]) : stderr;

  const out = [no, yes];

  const partition = predicate => e => {
    const didMatch = Number(!!predicate(e));
    out[didMatch].write(e + '\n');
  };

  fs.readFileSync(process.stdin.fd)
    .toString()
    .split('\n')
    .forEach(partition(line => line.match(pattern)));

    示例用法

    # Using designated files
./mycommand.sh | partition.js pattern file1.txt file2.txt

# Using standard output streams
./partition.js pattern > file1.txt 2> file2.txt
    • 0

  4. 如果您不介意使用 Python 和不同的正则表达式语法：

    #!/usr/bin/env python3
import sys, re

regex, os1, os2 = sys.argv[1:]
regex = re.compile(regex)
with open(os1, 'w') as os1, open(os2, 'w') as os2:
    os = (os1, os2)
    for line in sys.stdin:
        end = len(line) - line.endswith('\n')
        os[regex.search(line, 0, end) is not None].write(line)

    用法

    ./match-split.py PATTERN FILE-MATCH FILE-NOMATCH

    例子

    printf '%s\n' foo bar baz | python3 match-split.py '^b' b.txt not-b.txt
    • 0

相关问题