主页 / ubuntu / 问题 / 656039
Accepted
steve
Asked: 2015-08-04 05:09:13 +0800 CST

连接多个没有标题的文件

  • 772

我有几个目录（“amazon”、“niger”、...），其中有几个子目录（“gfdl”、“hadgem”、...），其中还有几个子目录（“rcp8p5” “，“rcp4p5”，...）。在这最后一个子目录中，我总是有两个文件夹（“historical”、“projected”），其中包含数千个具有相同框架的表。因此，我想连接这些表（存在于最后一个子目录的两个文件夹中），以便每次连接一个表时只有一个只有一个标题而不是标题的大表。有谁知道该怎么做？

我目前正在使用以下循环结构：

#!/bin/bash
# usage:cat_dat dirname

data_dir=/scratch/01/stevens/climate_scenario/river

for river in tagus
  do
   for gcm in gfdl-esm2m hadgem2-es
     do
      for scenario in rcp8p5 rcp4p5 rcp6p0 rcp2p6
        do
          find "${data_dir}/${river}/${gcm}/${scenario}" name \*.dat -exec cat {} + >> "${data_dir}/${river}/${gcm}/${scenario}.dat"
      done
   done
done

但我不能用那个摆脱标题！非常感谢任何帮助！谢谢！

command-line

2 个回答

  1. Best Answer

    awk在单个文件夹中使用

    awk 'NR==1 {header=$_} FNR==1 && NR!=1 { $_ ~ $header getline; } {print}' *.dat > out

    find如果您需要当前文件夹和awk 子文件夹中的所有文件。您可以替换.为您想要的文件夹。

    find . -type f -name "*.dat" -print0 | \
    xargs -0 awk 'NR==1 {header=$_} FNR==1 && NR!=1 { $_ ~ $header getline; } {print}' > out

    或者，因为getline 不好（thx @fedorqui）

    find . -type f -name "*.dat" -exec awk 'NR==1 || FNR!=1' {} + ;

    例子

    % cat foo1.dat 
a   b   c
1   2   3

% cat foo2.dat
a   b   c
4   5   6

% awk 'NR==1 {header=$_} FNR==1 && NR!=1 { $_ ~ $header getline; } {print}' *.dat > out

% cat out 
a   b   c
1   2   3
4   5   6
    • 3

  2. 您可以使用while由find直通过程替换提供的循环：

    d=0
while IFS= read -r file
do
   [ "$d" -ge 1 ] && tail -n +2 "$file" || cat "$file"
   (( d ++ ))
done < <(find "/dir/folder" name *.dat)

    所以它将cat在第一场比赛和tail -n +2其余比赛中执行。

    或者，如果您将所有文件都放在同一个目录中，您可以说：

    awk 'FNR>1 || NR==1' files*

    这将匹配除 whenFNR==1和之外NR>1的所有内容，也就是说，除了第一个文件之后的文件头之外的所有内容。为什么？因为NR保存的是整体读取的行数，而FNR保存的是当前正在读取的文件的行数。

    • 2

相关问题