主页 / unix / 问题 / 418639
Accepted
mindlessgreen
Asked: 2018-01-22 06:13:49 +0800 CST

Bash：通过匹配数字范围过滤行

  • 772

我有一个包含以下字段的文件测试：cato和pos。

1   7100
1   35000
1   49321
1   49759
2   44842
2   52794
2   53558
3   53859
3   54013
3   55172

我有一个带有字段的文件数据库： cato，start和stop。

1   6408    8000
1   11822   16373
1   18716   23389
1   27690   34330
1   36552   39191
1   39313   44565
2   44839   50247
2   60987   65017
2   65705   71523

我的目标是在文件 db 中选择文件 test 中的字段在文件db的开始和停止范围内的行。有一个限制是匹配必须在一个cato组内进行。这两个文件都按字段 1 和 2 排序。作为旁注，我的两个真实文件还有许多其他字段。pos

使用此示例数据集，我的预期结果将是：

1   6408    8000
2   44839   50247

我有一个我已经捣碎的脚本。

k=1;
data_test=$(cat "test")
data_db=$(cat "db")
while read -r line
do
  # helps to keep count of test rows
  printf "$k \n"

  # get cato
  cato=$(echo $line | awk '{print $1}')
  # get pos
  pos=$(echo $line | awk '{print $2}')
  # get number of chars in pos (to reduce number of lines awk needs to look through later)
  pos_chr=$(echo -n $pos | wc -c)
  # get lines in db that start with cato and pos chars match start or stop
  matched=$(echo "$data_db" | grep -Ew "^$cato" | grep -Ew "[0-9]{$pos_chr}")
  #echo "$db_cat"

  # if matched is not empty
  if [ ! -z "$matched" ]; then
    # use awk to print lines in db where pos > start and pos < stop
    echo "$matched" | awk -v apos='$pos' 'BEGIN{OFS="\t"}{if(apos >= $2 && apos <= $3) print $0}'
    #check
    #echo "$matched" | awk -v apos=$pos 'BEGIN{OFS="\t"}{print apos,$0}'
  fi

  ((k=k+1))
done <<< "$data_test"

似乎awk没有在最后一步进行比较。事情似乎一直工作到最后一步，然后我不确定出了什么问题。也许有人看到了错误。有一个更好的方法吗？

bash text-processing

2 个回答

  1. Best Answer

    使用单个 GNUawk程序（自Gawkv4.0 起）：

    awk 'NR==FNR{ a[$1][$2]; next }
     $1 in a{ 
         for (i in a[$1]) 
             if (i >= $2 && i <= $3) { print $0; break }
     }' test db

    输出：

    1   6408    8000
2   44839   50247
    • 4

  2. 使用join简单的test：

    $ cat is-between.sh
#!/bin/bash

while read cato start stop pos; do
    [ $start -le $pos -a $pos -le $stop ] && echo "$cato $start $stop"
done < <(join db test)

$ ./is-between.sh
1 6408 8000
2 44839 50247

    您有关系数据：一个文件中的键值与另一个文件中的键值逐行匹配。join是将这些组合在一起的工具。运行，您会注意到它与如果数据在数据库中的join db test结果相同。SELECT * FROM db JOIN test on test.cato=db.cato

    有了这个，您现在就有了将 start、stop 和 pos 放在一条线上的行。循环这些，使用 atest检查范围，然后很容易。

    • 0

相关问题