主页 / unix / 问题 / 569097
Accepted
Ned64
Asked: 2020-02-23 05:16:16 +0800 CST

如何从出现特定模式的行开始剪切文件？

  • 772

我有大量文件需要缩小。我发现大多数（不是全部）文件都有一个结尾部分，可以在不丢失信息的情况下进行剪切：

Data 1
Data 2
something_unimportant_here END DATA
Rubbish 1
Rubbish 2

如何通过删除包含“END DATA”的行以及所有后续行来编辑文件（因此全部结束），就地，仅更改那些包含该模式的文件，从而最大限度地减少对磁盘的写访问（很多很多文件和慢速磁盘）。

如果可能的话，我想在文件中添加一个新的最后一行（我自己的结束标记），以便文件的语法保持正确——同样，仅在那些包含该模式的文件中。

我正在考虑使用ed，比如

echo ',s/END DATA/ ???? '\\n'q'\\n'wq' | ed "$file"

但似乎无法管理???? 部分正确。

预期输出：

Data 1
Data 2
NEW END
files sed

8 个回答

  1. 您应该能够通过在原地截断文件来做到这一点，而不必像sed -i// perl -i/那样编写文件的新副本ed。gawk -i inplace与perl：

    find . -name '*.txt' -type f -exec perl -ne '
  BEGIN{@ARGV=map{"+<$_"}@ARGV} # open files in read+write mode in the
                                # while(<>) loop implied by -n
  if (/END DATA/) {
    seek ARGV,-length,1; # back to beginning of matching line
    print ARGV "NEW END\n";
    truncate ARGV, tell ARGV;
    close ARGV; # skip to next file
  }' {} +

    这将 I/O 最小化，perl因为一旦找到匹配项就停止读取，并且 NEW END\n是它唯一写入的内容。它还写入到位，因此文件元数据（所有权、权限、acls、稀疏性......）被保留，硬链接不会被破坏。

    -exec {} +我们还可以最大限度地减少perl调用次数。

    • 8
  2. Best Answer

    听起来您正在寻找的命令序列是

    /END DATA/,$d
q
.a
NEW END
.
wq

    或作为单线

    printf '%s\n' '/END DATA/,$d' 'q' '.a' 'NEW END' '.' 'wq'

    （您可以替换wq为,p进行测试。）

    前任。给定

    $ cat file
Data 1
Data 2
something_unimportant_here END DATA
Rubbish 1
Rubbish 2

    然后

    $ printf '%s\n' '/END DATA/,$d' 'q' '.a' 'NEW END' '.' 'wq' | ed -s file

    给

    $ cat file
Data 1
Data 2
NEW END
    • 6

  3. GNU grep和_GNU sed

    grep -lZ 'END DATA' *.txt | xargs -0 sed -i -e '/END DATA/,${//i foo' -e 'd}'

    where假设您的所有文件都在以扩展名*.txt结尾的当前目录中。.txt如果需要递归搜索文件，GNU grep也支持-r/-R选项。

    /END DATA/,$运营线路范围

    //i foo这里将匹配之前使用的正则表达式，//即命令将根据需要添加新的结束标记/END DATA/i

    由于i命令必须用换行符分隔，-e因此选项用于分隔d命令以删除与范围匹配的所有行

    作为替代方案，您也可以使用它，但一次只能将一个文件传递给sed：

    grep -lZ 'END DATA' *.txt | xargs -0 -n1 sed -i -e '/END DATA/{i foo' -e 'Q}'
    • 6

  4. 保持简单，只需将 awk 用于文件操作部分，例如，使用 GNU find、awk、grep 和 xargs：

    find . -type f -exec grep -lZ 'END DATA' {} + |
    xargs -r0 awk -i inplace '/END DATA/{nextfile} 1'

    或在每个文件的末尾打印您自己的结束标签：

    ... |
  xargs -r0 awk -i inplace '/END DATA/{print "NEW END"; nextfile} 1'
    • 3

  5. 这个python3.8 解决方案松散地基于 Stephane 的就地truncate 解决方案，但有几个区别 1. 代码不依赖外部实用程序进行目录遍历 2. 文件是内存映射的，以便于定位END DATA字符串

    将代码放在.py文件中，并将目录名称作为参数传递

    import mmap
import os
import sys
from contextlib import closing

def yield_all_files(dir_):
    for root, dir_, files in os.walk(dir_):
        yield from (os.path.join(root, file_) for file_ in files if file_.endswith('.txt'))

if __name__ == '__main__':
    old = b'END DATA'
    new = b'NEW END\n'
    dir_ = sys.argv[1]
    for file_ in yield_all_files(dir_):
        with open(file_, mode='r+b') as f:
            with closing(mmap.mmap(f.fileno(), length=0, access=mmap.ACCESS_WRITE)) as mm:
                if (loc := mm.find(old)) > -1:
                    mm.seek(loc)
                    mm.write(new)
                    mm.resize(mm.tell())
    • 2

  6. 结合Sundeep 的回答和Ed Morton 的回答，但没有xargs：

    找到. -type f -name '*.txt' ...（其他条件）... -exec grep -q 'END DATA' {} ';'  -a   \
                                -exec sed -i -e '/END DATA/,${//i NEW END' -e 'd}' {} +
    • find，当然，选择文件。默认情况下，它会递归搜索指定的director。要仅搜索当前目录，-maxdepth 1请在 ..
    • grep -q q如果文件包含正在搜索的模式 ( )，则以“成功”退出状态退出，END DATA否则以“假”退出。
    • -a表示“AND”，就像&&在 shell 命令行中一样。它的意思是“如果（仅当）之前的事情成功了，就做下面的事情”。实际上，它是find谓词（测试/操作）之间的默认连接运算符，因此您可以将其省略。我包括它只是为了清楚起见。
    • 因此sed，从 Sundeep 的答案逐字复制的命令（但foo更改为 NEW END）仅在包含END DATA字符串并满足其他find测试的文件上执行。
    • -exec … +导致sed对多个文件调用一次，就像xargs它一样。
      请注意，我们不能-exec … +与该 grep命令一起使用，因为它不允许测试退出状态。
    • 1

  7. 使用 awk 查找模式的偏移量，并dd在该点截断文件并附加新的预告片：

    # usage truncatoo pattern new_end find_args ...
truncatoo(){
    pat=$1; shift; tail=$1; shift
    LC_CTYPE=C TAIL=$tail find "$@" -exec awk -v q="'" "$pat"'{
           gsub(q,q"\\"q q,FILENAME);
           system("printf \"$TAIL\" | dd bs="l" seek=1 of="q FILENAME q" 2>/dev/null");
           exit
       }
       {l+=length()+1}
    ' {} \;
}

truncatoo '/END DATA/' 'NEW END\n' file.txt
truncatoo '/END DATA/' 'NEW END\n' . -type f -name '*.txt'

    nextfile使用支持( gawk, bwk, [1] 的某些版本)的 awk 实现mawk，可以通过将批量文件传递给 awk 来更有效地完成：

    # usage truncatoo pattern new_end find_args ...
truncatoo(){
    pat=$1; shift; tail=$1; shift
    LC_CTYPE=C TAIL=$tail find "$@" -exec awk -v q="'" "$pat"'{
           gsub(q,q"\\"q q,FILENAME);
           system("printf \"$TAIL\" | dd bs="l" seek=1 of="q FILENAME q" 2>/dev/null");
           l=0; nextfile
       }
       {l+=length()+1}
    ' {} +
}

    $ file="a'b\$q  * r"; seq 1 100 >"$file"
$ truncatoo /7/ 'CUT\n' "$file"; cat "$file"
1
2
3
4
5
6
CUT

    代替 icky2>/dev/null status=noxfer可以与dd支持它的实现一起使用。

    引用 kludge 和环境变量传递是一团糟，它可以使用一些改进。

    [1]：根据 GNU awk手册，mawk 也应该支持它。但是，来自 Debian 10 的旧版本的 mawk 不支持它。

    • 0

  8. 如果这是一次性任务，则可以方便地使用vi：

    首先，找到包含所需内容的行（使用搜索/或?）

    要删除当前行之后到文件末尾的所有行，请按d G。

    要删除从文件开头到当前行的所有行，请按d gg。

    保存并退出:wq

    • 0

相关问题