主页 / unix / 问题 / 520873
Accepted
Swarna Gowri
Asked: 2019-05-25 05:50:07 +0800 CST

如何不显示文件中包含所有 NULL 值的列

  • 772

我有一个文件，比如说 5 列（通过重定向 Sybase 选择查询的结果获得）。每列由一个制表符分隔。我需要过滤掉所有为 NULL 的列。五列中的任何列都可以为空。

例如，如果文件中的列如下所示：

1000    NULL    NULL    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL
7       NULL    1000    2       NULL

输出必须是（在删除第 2 列和第 5 列之后），最好在同一个文件中：

1000    NULL    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2    
7       1000    2

我到了：

for i in {1..5}  
do
echo $i
dlr="$"$i
str="{print $dlr}"
echo $str
awk '$str' <input_file> | while read value
    do
        echo $value

        if [ "$value" == "NULL" ]
        then
                echo "inside"
                cut $i 
        fi
    done
done

现在的值，显示所有行！！！另外，我不知道如何切断列。我是一个 shell 脚本初学者，无法继续。

你能告诉我怎么做吗？

shell-script text-processing

4 个回答

  1. 通过GNU 实用程序datamash，您首先反转行，然后删除所有空行并再次反转行：

    $ datamash transpose | sed -Ee '/^(NULL\t)*NULL$/d' | datamash transpose
    • 3

  2. 如果不处理文件两次，您将无法做到这一点。以下是首先使用awk来构造最终cut命令： 

    killnulls(){
    cut -f "$(awk -F'\t' '
        { for(i=1;i<=NF;i++) a[i] += $i!="NULL" }
        END { for(i=1;i in a;i++) if(a[i]) printf j++?","i:i }
    ' "$@")" "$@"
}

$ killnulls file
1000    NULL    2
7       1000    2
7       1000    2
...
    • 1
  3. Best Answer

    我不太喜欢这个解决方案，但它似乎有效：

    #!/bin/bash

input=~/tmp/input
skip=()

c=$(awk '{print NF;exit}' "$input")

for ((i=1;i<=c;i++)); do
    col=$(awk -v c="$i" '{print $c}' "$input" | sort -u)
    if [[ $col == NULL ]]; then
        skip+=( "$i" )
    fi
done
( IFS=,; awk -v S="${skip[*]}" '{ split(S,s,","); for (i=1;i<=length(s);i++) { $s[i]="" } print}' "$input" )
    1. input（您的输入文件）
    2. skip（稍后将填充的数组）
    3. c（将设置为文件中的列数。这假设整个文件具有统一的列数）
    4. 我们现在将遍历文件中的每一列，对其进行排序和唯一化，并检查该列是否仅包含NULL. 如果是这样，我们将该列号添加到skip数组中
    5. 我们现在将 设置IFS为逗号（我使用子外壳的原因）并将skip数组作为逗号分隔值传递给awk变量。这样我们就可以split将该变量转换回awk数组。
    6. awk然后将遍历s数组中的每个数字并将该列设置为空并打印剩余的内容。
    • 0

  4. 命令：

    awk '/NULL/{gsub(/NULL/,"",$0);print $0}' filename| sed -r "s/\s+/ /g"| awk 'NR==1{$3=$2;$2="NULL";}1'

    输出

    awk '/NULL/{gsub(/NULL/,"",$0);print $0}' i.txt| sed -r "s/\s+/ /g"| awk 'NR==1{$3=$2;$2="NULL";}1'
1000 NULL 2
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2 
7 1000 2
    • -1

相关问题