我有一个包含 2 列的文件，如下所示：
apple pear
banana pizza
spoon fork
pizza plate
sausage egg
如果一个单词出现在多行上，我想删除重复单词出现的所有行，如您所见 'pizza' 出现两次，因此应删除 2 行，以下是所需的输出：
apple pear
spoon fork
sausage egg
我知道使用：
awk '!seen[$1]++'
但是，这只会在字符串出现在一列中时删除行，我需要一个命令来检查两列。我怎样才能做到这一点？
我有包含 2 个数字的文件，如下所示：
文件 1
1
0
文件 2
0
1
文件 3
3
3
我想将第一行的数字与第二行的数字进行比较。如果第一行上的数字较高 echo ：Higher
如果第一行上的数字较低 echo ：Lower
如果两行上的数字相同 echo ：Same
我怎样才能做到这一点？
我有一个包含 2000 多个文本文件的目录。我正在尝试制作一个脚本：
ip.txt如果找到关键字，则将关键字和文件名回显到文件中。
输出应该是这样的：
$ cat
results.txt
192.168.2.3 was found in 23233.txt
192.168.4.0 was found in 2323.txt
目前我有这个：
while read p; do
for filename in *.txt; do
if cat $filename | grep "$p"
then echo "$p" is "$filename" | tee result.txt
fi
done
done<ips.txt
但是，这也会将所有文件名回显到结果中。我怎样才能解决这个问题？
我有一个脚本，它使用 wget 并将输出保存到一个名称为递增变量的文件中。
计数器.sh：
number=1
for i in $(cat file)
do
wget $i -S -O $number.html 2>&1
((number++))
sleep 1
echo 'done'
done
我可以从命令行运行脚本，它运行良好。但是，当我从另一个脚本中执行它时：
脚本 2：
./counter.sh
我收到以下输出：
scripts/counter.sh: 5: scripts/counter.sh: number++: not found
done
scripts/counter.sh: 5: scripts/counter.sh: number++: not found
done
scripts/counter.sh: 5: scripts/counter.sh: number++: not found
done
scripts/counter.sh: 5: scripts/counter.sh: number++: not found
done
由于某种原因，计数器 ++ 在从另一个脚本中执行时不起作用。我怎样才能解决这个问题？
我有一个我想不出如何解决的问题。我有一个目录，其中包含 1000 个文件，每个文件都包含一个带有 URL 参数的 URL：
文件 1：
example.com/car/?wheel=tyre
文件 2：
example.com/car/?wheel=rim
文件 3：
test.com/food/?fruit=apple
文件 4：
test.com/food/?fruit=banana
文件 5：
test.co.uk/car/interior=chair
文件 6：
example.co.uk/car/interior=chair
我想删除包含相同域名和参数但保留第一个的重复文件。参数内的项目，例如。轮胎、轮辋、苹果、香蕉和椅子应该被忽略。所以所需的输出如下：
文件 1：
example.com/car/?wheel=tyre
文件 3：
test.com/food/?fruit=apple
文件 5：
test.co.uk/car/interior=chair
文件 6：
example.co.uk/car/interior=chair
文件 2 已被删除，因为它与文件 1 的域名和 URL 参数名称相同。文件 4 已被删除，因为它与文件 3 的域名和 URL 参数名称相同。文件 5 和 6 被保留，因为它们使用不同的域，即使它们使用相同的 URL 参数。
我在想我需要先遍历目录中的所有文件：
FILES=data/urls/*
for i in $FILES
do
cat $i | *Check for matching domain, then matching parameter*
else
rm $i
fi
done
或者可能使用 for 循环搜索域名，然后使用嵌套的 for 循环来检查使用 uniq 的参数。但是我不知道该怎么做。
有什么想法我该怎么做？
编辑： 我已将所有 url 添加到一个文件中，以使它们更易于使用：
sed -i -e '$a\' *.txt
cat * > all.txt
编辑 2： 某些 URL 在路径中包含多个文件夹，例如。
www.example.com/1/2/3/4/5/?l=123
www.example.com/1/2/3/?1=AAA
我有文件 1，其中包含：
AAAAAA
BBBBBB
我有文件 2，其中包含：
11111 22222 33333
和文件 3，其中包含：
22222 11111 33333
我想将文件 1 中的每一行插入到文件 2 和 3 中，替换 '11111' 并每次创建一个新文件。所以最终结果是4个文件：
文件 1：
AAAAAA2222233333
文件 2：
BBBBBB2222233333
文件 3：
22222AAAAAA33333
文件 4：
22222BBBBBB33333
我试图使用嵌套的 for 循环和 sed 来替换值，目前我有这个；但是，它不起作用：（目录/* 包含文件 2 和文件 3）
FILES=/directory/*
cat file1 | while read line ;do
for f in $FILES; do
cat $f | sed 's/11111/$i/g' > newfiles/$f$i.txt
done
done
每次我运行脚本时，可能需要编辑不同数量的文件，所以我想遍历目录以确保所有文件都被覆盖。文件 1 中也会有不同数量的字符串。