mindlessgreen's questions

尝试使用这些说明安装 libclang-dev 。但是，我遇到了这个错误。

sudo apt-get update
sudo apt-get -y install libclang-dev

Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
Package libclang-dev is not available, but is referred to by another package.
This may mean that the package is missing, has been obsoleted, or
is only available from another source

E: Package 'libclang-dev' has no installation candidate

最初的问题实际上是尝试安装 RStudio：

gdebi rstudio-2022.07.2-576-amd64.deb                             
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
Reading state information... Done
This package is uninstallable
Dependency is not satisfiable: libclang-dev

一些有用的信息：

lsb_release -a

No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 22.04.1 LTS
Release:    22.04
Codename:   jammy

sudo cat /etc/apt/sources.list

deb http://se.archive.ubuntu.com/ubuntu/ jammy main restricted
deb http://se.archive.ubuntu.com/ubuntu/ jammy-updates main restricted
deb http://se.archive.ubuntu.com/ubuntu/ jammy multiverse
deb http://se.archive.ubuntu.com/ubuntu/ jammy-updates multiverse
deb http://se.archive.ubuntu.com/ubuntu/ jammy-backports main restricted multiverse

例如，如果我在一个目录中有 n 个文件；

a
b
c

如何获得这些文件的成对组合（非定向）以传递给函数？

预期的输出是

a-b
a-c
b-c

以便可以将其传递给类似的函数

fn -file1 a -file2 b
fn -file1 a -file2 c
...

这就是我现在正在尝试的。

for i in *.txt
 do
  for j in *.txt
   do
    if [ "$i" != "$j" ]
     then
      echo "Pairs $i and $j"
     fi
   done
 done

输出

Pairs a.txt and b.txt
Pairs a.txt and c.txt
Pairs b.txt and a.txt
Pairs b.txt and c.txt
Pairs c.txt and a.txt
Pairs c.txt and b.txt

我仍然有重复项（ab 与 ba 相同），我在想也许有更好的方法来做到这一点。

我想验证一个 URL 是否存在而无需下载。我在下面使用curl：

if [[ $(curl ftp://ftp.somewhere.com/bigfile.gz) ]] 2>/dev/null;
 then
  echo "This page exists."
 else
  echo "This page does not exist."
fi

或使用wget：

if [[ $(wget ftp://ftp.somewhere.com/bigfile.gz) -O-]] 2>/dev/null;
 then
  echo "This page exists."
 else
  echo "This page does not exist."
fi

如果 URL 不存在，这很有效。如果存在，它会下载该文件。就我而言，文件非常大，我不想下载它。我只想知道那个 URL 是否存在。

我的文件有 4 个数字列。下面测试列是否被正确识别。tail -n +2是删除标题。

tail -n +2 file.txt | awk '{print $1,$2,$3,$4}' | head

41261311 41261568 2798880 2799128
-115939711 -115940021 2799541 2799827
-115939159 -115939706 2800137 2800685
-115939033 -115939106 2801113 2801186
-115938419 -115938978 2801191 2801726
-115937404 -115937535 2812511 2812642
-115937075 -115937323 2813756 2814011
-115910025 -115910146 2818095 2818198
-115909932 -115909986 2818205 2818262
-115909723 -115909789 2818703 2818768

我想添加第 5 列，即 col4 减去 col3。

tail -n +2 file.txt | awk '{print $1,$2,$3,$4,$4-$3}' | head

 2481311 41261568 2798880 2799128
 286939711 -115940021 2799541 2799827
 548939159 -115939706 2800137 2800685
 735939033 -115939106 2801113 2801186
 535938419 -115938978 2801191 2801726
 131937404 -115937535 2812511 2812642
 255937075 -115937323 2813756 2814011
 103910025 -115910146 2818095 2818198
 575909932 -115909986 2818205 2818262
 655909723 -115909789 2818703 2818768

它没有添加第 5 列，而是对第一列做了一些奇怪的事情。

我有一个包含以下字段的文件测试：cato和pos。

1   7100
1   35000
1   49321
1   49759
2   44842
2   52794
2   53558
3   53859
3   54013
3   55172

我有一个带有字段的文件数据库： cato，start和stop。

1   6408    8000
1   11822   16373
1   18716   23389
1   27690   34330
1   36552   39191
1   39313   44565
2   44839   50247
2   60987   65017
2   65705   71523

我的目标是在文件 db 中选择文件 test 中的字段在文件db的开始和停止范围内的行。有一个限制是匹配必须在一个cato组内进行。这两个文件都按字段 1 和 2 排序。作为旁注，我的两个真实文件还有许多其他字段。pos

使用此示例数据集，我的预期结果将是：

1   6408    8000
2   44839   50247

我有一个我已经捣碎的脚本。

k=1;
data_test=$(cat "test")
data_db=$(cat "db")
while read -r line
do
  # helps to keep count of test rows
  printf "$k \n"

  # get cato
  cato=$(echo $line | awk '{print $1}')
  # get pos
  pos=$(echo $line | awk '{print $2}')
  # get number of chars in pos (to reduce number of lines awk needs to look through later)
  pos_chr=$(echo -n $pos | wc -c)
  # get lines in db that start with cato and pos chars match start or stop
  matched=$(echo "$data_db" | grep -Ew "^$cato" | grep -Ew "[0-9]{$pos_chr}")
  #echo "$db_cat"

  # if matched is not empty
  if [ ! -z "$matched" ]; then
    # use awk to print lines in db where pos > start and pos < stop
    echo "$matched" | awk -v apos='$pos' 'BEGIN{OFS="\t"}{if(apos >= $2 && apos <= $3) print $0}'
    #check
    #echo "$matched" | awk -v apos=$pos 'BEGIN{OFS="\t"}{print apos,$0}'
  fi

  ((k=k+1))
done <<< "$data_test"

似乎awk没有在最后一步进行比较。事情似乎一直工作到最后一步，然后我不确定出了什么问题。也许有人看到了错误。有一个更好的方法吗？

如果我有两个文件（单列），一个像这样（file1）

34
67
89
92
102
180
blue2
3454

第二个文件（file2）

23
56
67
69
102
200

如何找到两个文件（交集）中共有的元素？此示例中的预期输出为

67
102

请注意，每个文件中的项目（行）数不同。数字和字符串可以混合使用。它们可能不一定是排序的。每个项目只出现一次。

更新：

根据以下一些答案进行时间检查。

# generate some data
>shuf -n2000000 -i1-2352452 > file1
>shuf -n2000000 -i1-2352452 > file2

#@ilkkachu
>time (join <(sort "file1") <(sort "file2") > out1)
real    0m15.391s
user    0m14.896s
sys     0m0.205s

>head out1
1
10
100
1000
1000001

#@Hauke
>time (grep -Fxf "file1" "file2" > out2)
real    0m7.652s
user    0m7.131s
sys     0m0.316s

>head out2
1047867
872652
1370463
189072
1807745

#@Roman
>time (comm -12 <(sort "file1") <(sort "file2") > out3)
real    0m13.533s
user    0m13.140s
sys     0m0.195s

>head out3
1
10
100
1000
1000001

#@ilkkachu
>time (awk 'NR==FNR { lines[$0]=1; next } $0 in lines' "file1" "file2" > out4)
real    0m4.587s
user    0m4.262s
sys     0m0.195s

>head out4
1047867
872652
1370463
189072
1807745

#@Cyrus   
>time (sort file1 file2 | uniq -d > out8)
real    0m16.106s
user    0m15.629s
sys     0m0.225s

>head out8
1
10
100
1000
1000001


#@Sundeep
>time (awk 'BEGIN{while( (getline k < "file1")>0 ){a[k]}} $0 in a' file2 > out5)
real    0m4.213s
user    0m3.936s
sys     0m0.179s

>head out5
1047867
872652
1370463
189072
1807745

#@Sundeep
>time (perl -ne 'BEGIN{ $h{$_}=1 while <STDIN> } print if $h{$_}' <file1 file2 > out6)
real    0m3.467s
user    0m3.180s
sys     0m0.175s

>head out6
1047867
872652
1370463
189072
1807745

perl 版本最快，awk 紧随其后。所有输出文件都具有相同的行数。

为了比较，我对输出进行了数字排序，以便输出相同。

#@ilkkachu
>time (join <(sort "file1") <(sort "file2") | sort -k1n > out1)
real    0m17.953s
user    0m5.306s
sys     0m0.138s

#@Hauke
>time (grep -Fxf "file1" "file2" | sort -k1n > out2)
real    0m12.477s
user    0m11.725s
sys     0m0.419s

#@Roman
>time (comm -12 <(sort "file1") <(sort "file2") | sort -k1n > out3)
real    0m16.273s
user    0m3.572s
sys     0m0.102s

#@ilkkachu
>time (awk 'NR==FNR { lines[$0]=1; next } $0 in lines' "file1" "file2" | sort -k1n > out4)
real    0m8.732s
user    0m8.320s
sys     0m0.261s

#@Cyrus   
>time (sort file1 file2 | uniq -d > out8)
real    0m19.382s
user    0m18.726s
sys     0m0.295s

#@Sundeep
>time (awk 'BEGIN{while( (getline k < "file1")>0 ){a[k]}} $0 in a' file2 | sort -k1n > out5)
real    0m8.758s
user    0m8.315s
sys     0m0.255s

#@Sundeep
>time (perl -ne 'BEGIN{ $h{$_}=1 while <STDIN> } print if $h{$_}' <file1 file2 | sort -k1n > out6)
real    0m7.732s
user    0m7.300s
sys     0m0.310s

>head out1
1
2
3
4
5

现在所有输出都相同。

如果我有一个包含许多行和列 ( data.txt) 的分隔文件：

346 dfd asw  34
565 sd  wdew 34
667 ffg wew  23
473 sa  as   21
533 jhf qwe  54

和另一个我要提取的带有行号的文件 ( positions.txt)

3
5
8

如何使用该positions.txt文件从中提取这些位置data.txt？这是我对此示例的预期结果：

667 ffg wew  23
533 jhf qwe  54