主页 / unix / 问题 / 409085
Accepted
WashichawbachaW
Asked: 2017-12-06 19:02:20 +0800 CST

文本处理 - 如何对具有来自不同目录的重复文件名的查找输出进行唯一排序？

  • 772

我想在任何目录中对 find 命令的输出进行唯一排序，而不需要重复的文件名。

find /path/to/first_directory/* /path/to/second_directory/* /path/to/third_directory/* -mtime -1 -name "filename_pattern*"

示例输出：

/path/to/first_directory/sample_file1_2017Dec25.dat
/path/to/first_directory/sample_file2_2017Nov01.dat
/path/to/first_directory/sample_file3_2017Oct08.dat
/path/to/first_directory/archive/sample_file1_2017Dec25.dat.Z
/path/to/first_directory/archive/sample_file2_2017Nov01.dat.Z
/path/to/second_directory/sample_file4_2017Sep11.dat
/path/to/second_directory/sample_file5_2017Oct05.dat
/path/to/third_directory/sample_file1_2017Dec25.dat
/path/to/third_directory/sample_file2_2017Nov01.dat
/path/to/third_directory/sample_file3_2017Oct08.dat
/path/to/third_directory/sample_file4_2017Sep11.dat
/path/to/third_directory/sample_file5_2017Oct05.dat
/path/to/third_directory/sample_file6_2017July04.dat
/path/to/third_directory/sample_file6_2017June12.dat
/path/to/third_directory/sample_file7_2017May01.dat

从输出中您可以看到 and 中有重复的文件名，/first_directory/并且/first_directory/archive/所有文件都来自/first_directory/*and/second_directory/*也在 inside 中/third_directory/*。意思就是说/third_directory/*是和中找到的所有文件的归档目录，/first_directory/*但/second_directory/*也有只能在/third_directory/*( check sample_file6and sample_file7)中找到的文件

我想要打印的是按此顺序从/first_directory/到/first_directory/archive/到/second_directory/到的文件/third_directory/，没有重复，并且还按日期排序。

期望的输出：

/path/to/first_directory/sample_file1_2017Dec25.dat
/path/to/first_directory/sample_file2_2017Nov01.dat
/path/to/first_directory/sample_file3_2017Oct08.dat
/path/to/second_directory/sample_file4_2017Sep11.dat
/path/to/second_directory/sample_file5_2017Oct05.dat
/path/to/third_directory/sample_file6_2017July04.dat
/path/to/third_directory/sample_file6_2017June12.dat
/path/to/third_directory/sample_file7_2017May01.dat
text-processing find

1 个回答

  1. Best Answer

    如果您的 find 命令的输出保存在名为 的文件中filelist，请尝试：

    $ awk -F/ '{f=$NF; sub(/\.Z$/,"",f)} !a[f]++' filelist
/path/to/first_directory/sample_file1_2017Dec25.dat
/path/to/first_directory/sample_file2_2017Nov01.dat
/path/to/first_directory/sample_file3_2017Oct08.dat
/path/to/second_directory/sample_file4_2017Sep11.dat
/path/to/second_directory/sample_file5_2017Oct05.dat
/path/to/third_directory/sample_file6_2017July04.dat
/path/to/third_directory/sample_file6_2017June12.dat
/path/to/third_directory/sample_file7_2017May01.dat

    如果你想在不创建文件的情况下做同样的事情：

    find /path/to/first_directory/* /path/to/second_directory/* /path/to/third_directory/* -mtime -1 -name "filename_pattern*" | awk -F/ '{f=$NF; sub(/\.Z$/,"",f)} !a[f]++'

    或者，您更喜欢将命令分散到多行中，使用：

    find /path/to/first_directory/* /path/to/second_directory/* \
  /path/to/third_directory/* -mtime -1 -name "filename_pattern*" |
    awk -F/ '{f=$NF; sub(/\.Z$/,"",f)} !a[f]++'

    我们添加\到第一行末尾的地方，因为那是 bash 的行继续字符。因为第二行以 结尾|，所以不需要续行符。

    这个怎么运作

    find首先，按照您的优先顺序在命令中列出目录很重要。我看到你已经这样做了。

    1. -F/

      这告诉 awk/用作字段分隔符。这意味着文件名将是最后一个字段，$NF.

    2. f=$NF; sub(/\.Z$/,"",f)

      这会将文件名分配给变量f，然后如果存在则.Z从中删除最终名称。f

    3. !a[f]++'

      如果f以前没有见过，打印这一行。

    更新 1：删除其他扩展

    根据评论，.Z不是唯一需要删除的扩展。可能还有其他扩展名.dat.edi，.dat.bak应该用简单.dat的 . 在这种情况下：

    awk -F/ '{f=$NF; sub(/\.dat.*/,".dat",f)} !a[f]++' filelist

    更新 2：显示按时间戳排序的文件：

    awk -F/ '{f=$NF; sub(/\.dat.*/,".dat",f)} !a[f]++' filelist | xargs -d'\n' -r ls -t
    • 1

相关问题