主页 / unix / 问题 / 500157
Accepted
Maria Karypidou
Asked: 2019-02-13 04:05:22 +0800 CST

遍历许多文件夹并在 bash 中使用具有相似模式的文件进行计算

  • 772

我有几个文件夹，每个文件夹都包含几个.nc文件。我想遍历所有文件夹，并为每个文件夹使用cdo具有相似模式的文件进行一些计算（合并时间）。到目前为止，我已经写了以下内容：

for dir in /mnt/meteo_a/africa_cordex/historical/0.44/pr/*/     
do 
 dir=${dir%*/}
 echo ${dir##*/} 
 export dir
 cd $dir
 pwd
  for f in `find . -type f -regex /(.*?\day)/*`
  cdo mergetiem io
  done
done

每个文件夹中的文件具有如下名称：

pr_AFR-44_CNRM-CERFACS-CNRM-CM5_historical_r1i1p1_CLMcom-CCLM4-8-17_v1_day_19500101-19501231.nc
pr_AFR-44_CNRM-CERFACS-CNRM-CM5_historical_r1i1p1_CLMcom-CCLM4-8-17_v1_day_19510101-19551231.nc
pr_AFR-44_ICHEC-EC-EARTH_historical_r12i1p1_CLMcom-CCLM4-8-17_v1_day_19491201-19501231.nc
pr_AFR-44_ICHEC-EC-EARTH_historical_r12i1p1_CLMcom-CCLM4-8-17_v1_day_19510101-19551231.nc

我想对之前具有相似模式的所有文件应用 mergetime CDO 命令_day_。

我想合并前两个文件和后两个文件。更具体地说，合并以

"pr_AFR-44_CNRM-CERFACS-CNRM-CM5_historical_r1i1p1_CLMcom-CCLM4-8-17_v1_"

同样合并以

"pr_AFR-44_ICHEC-EC-EARTH_historical_r12i1p1_CLMcom-CCLM4-8-17_v1"

合并时间的输出可能类似于：

 {pattern}_mergetime.nc
bash files

1 个回答

  1. Best Answer

    此脚本片段适用于您的示例文件

    for file in *.nc
do 
    echo "$file"
done | sed 's/_day_.*//' | sort -u | while read -r pattern
do
    cdo mergetime "${pattern}"* "${pattern}_mergetime.nc"
done

    解释：

    • for循环每行echo打印一个文件名。
    • 该sed命令删除_day_所有后续字符。
    • sort -u对部分文件名进行排序并删除重复项。
    • while read -r pattern每行读取一个模式并在模式上循环
    • "${pattern}"*由 shell 扩展为以模式开头的所有文件名

    比可能的for循环更好echo

    find . -maxdepth 1 -type f -name '*.nc'

    这将打印*.nc当前目录中匹配的所有文件名，不包含子目录。

    您可以将其与类似于问题中脚本的所有子目录的循环结合使用

    for dir in /mnt/meteo_a/africa_cordex/historical/0.44/pr/*/     
do 
    dir=${dir%*/}
    echo ${dir##*/} 
    export dir
    pushd $dir
    pwd

    find . -maxdepth 1 -type f -name '*.nc' | sed 's/_day_.*//' | sort -u | while read -r pattern
    do
        cdo mergetime "${pattern}"* "${pattern}_mergetime.nc"
    done

    popd
done

    而不是cd我建议pushd允许popd稍后返回。

    您还可以for将目录上的循环替换为额外的find

    find /mnt/meteo_a/africa_cordex/historical/0.44/pr -maxdepth 1 -mindepth 1 -type d | while read dir
do
    pushd "$dir"

    find . -maxdepth 1 -type f -name '*.nc' | sed 's/_day_.*//' | sort -u | while read -r pattern
    do
        cdo mergetime "${pattern}"* "${pattern}_mergetime.nc"
    done

    popd
done
    • 1

相关问题