mindlessgreen's questions

Tentando instalar libclang-dev usando estas instruções . Mas, eu me deparo com esse erro.

sudo apt-get update
sudo apt-get -y install libclang-dev

Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
Package libclang-dev is not available, but is referred to by another package.
This may mean that the package is missing, has been obsoleted, or
is only available from another source

E: Package 'libclang-dev' has no installation candidate

O problema original é, na verdade, tentar instalar o RStudio:

gdebi rstudio-2022.07.2-576-amd64.deb                             
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
Reading state information... Done
This package is uninstallable
Dependency is not satisfiable: libclang-dev

Algumas informações úteis:

lsb_release -a

No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 22.04.1 LTS
Release:    22.04
Codename:   jammy

sudo cat /etc/apt/sources.list

deb http://se.archive.ubuntu.com/ubuntu/ jammy main restricted
deb http://se.archive.ubuntu.com/ubuntu/ jammy-updates main restricted
deb http://se.archive.ubuntu.com/ubuntu/ jammy multiverse
deb http://se.archive.ubuntu.com/ubuntu/ jammy-updates multiverse
deb http://se.archive.ubuntu.com/ubuntu/ jammy-backports main restricted multiverse

Se eu tiver n arquivos em um diretório, por exemplo;

a
b
c

Como faço para obter combinações de pares desses arquivos (não direcionais) para passar para uma função?

A saída esperada é

a-b
a-c
b-c

para que possa ser passado para uma função como

fn -file1 a -file2 b
fn -file1 a -file2 c
...

Isso é o que estou experimentando agora.

for i in *.txt
 do
  for j in *.txt
   do
    if [ "$i" != "$j" ]
     then
      echo "Pairs $i and $j"
     fi
   done
 done

Resultado

Pairs a.txt and b.txt
Pairs a.txt and c.txt
Pairs b.txt and a.txt
Pairs b.txt and c.txt
Pairs c.txt and a.txt
Pairs c.txt and b.txt

Ainda tenho duplicatas (ab é o mesmo que ba) e estou pensando que talvez haja uma maneira melhor de fazer isso.

Gostaria de verificar se existe um URL sem fazer o download. Estou usando abaixo com curl:

if [[ $(curl ftp://ftp.somewhere.com/bigfile.gz) ]] 2>/dev/null;
 then
  echo "This page exists."
 else
  echo "This page does not exist."
fi

ou usando wget:

if [[ $(wget ftp://ftp.somewhere.com/bigfile.gz) -O-]] 2>/dev/null;
 then
  echo "This page exists."
 else
  echo "This page does not exist."
fi

Isso funciona muito bem se a URL não existir. Se existir, ele baixa o arquivo. No meu caso, os arquivos são muito grandes e não quero baixar. Eu só quero saber se esse URL existe.

Meu arquivo tem 4 colunas numéricas. Abaixo testando se as colunas estão identificadas corretamente. tail -n +2é remover o cabeçalho.

tail -n +2 file.txt | awk '{print $1,$2,$3,$4}' | head

41261311 41261568 2798880 2799128
-115939711 -115940021 2799541 2799827
-115939159 -115939706 2800137 2800685
-115939033 -115939106 2801113 2801186
-115938419 -115938978 2801191 2801726
-115937404 -115937535 2812511 2812642
-115937075 -115937323 2813756 2814011
-115910025 -115910146 2818095 2818198
-115909932 -115909986 2818205 2818262
-115909723 -115909789 2818703 2818768

Eu quero adicionar uma quinta coluna que é col4 menos col3.

tail -n +2 file.txt | awk '{print $1,$2,$3,$4,$4-$3}' | head

 2481311 41261568 2798880 2799128
 286939711 -115940021 2799541 2799827
 548939159 -115939706 2800137 2800685
 735939033 -115939106 2801113 2801186
 535938419 -115938978 2801191 2801726
 131937404 -115937535 2812511 2812642
 255937075 -115937323 2813756 2814011
 103910025 -115910146 2818095 2818198
 575909932 -115909986 2818205 2818262
 655909723 -115909789 2818703 2818768

Ele não adiciona a 5ª coluna e, em vez disso, faz algo estranho na primeira coluna.

Eu tenho um teste de arquivo com campos: cato e pos .

1   7100
1   35000
1   49321
1   49759
2   44842
2   52794
2   53558
3   53859
3   54013
3   55172

Eu tenho um arquivo db com os campos: cato , start e stop .

1   6408    8000
1   11822   16373
1   18716   23389
1   27690   34330
1   36552   39191
1   39313   44565
2   44839   50247
2   60987   65017
2   65705   71523

Meu objetivo é escolher linhas no arquivo db onde o campo posdo arquivo test cai dentro do intervalo de início e parada do arquivo db . Existe a restrição de que a partida tenha que acontecer dentro de um grupo cato . Ambos os arquivos são classificados pelos campos 1 e 2. Como observação, ambos os meus arquivos reais também têm muitos outros campos.

Com este conjunto de dados de exemplo, meu resultado esperado seria:

1   6408    8000
2   44839   50247

Eu tenho um script que eu esmaguei.

k=1;
data_test=$(cat "test")
data_db=$(cat "db")
while read -r line
do
  # helps to keep count of test rows
  printf "$k \n"

  # get cato
  cato=$(echo $line | awk '{print $1}')
  # get pos
  pos=$(echo $line | awk '{print $2}')
  # get number of chars in pos (to reduce number of lines awk needs to look through later)
  pos_chr=$(echo -n $pos | wc -c)
  # get lines in db that start with cato and pos chars match start or stop
  matched=$(echo "$data_db" | grep -Ew "^$cato" | grep -Ew "[0-9]{$pos_chr}")
  #echo "$db_cat"

  # if matched is not empty
  if [ ! -z "$matched" ]; then
    # use awk to print lines in db where pos > start and pos < stop
    echo "$matched" | awk -v apos='$pos' 'BEGIN{OFS="\t"}{if(apos >= $2 && apos <= $3) print $0}'
    #check
    #echo "$matched" | awk -v apos=$pos 'BEGIN{OFS="\t"}{print apos,$0}'
  fi

  ((k=k+1))
done <<< "$data_test"

Parece awkque não faz a comparação na última etapa. As coisas parecem funcionar até a última etapa e então não tenho certeza do que está errado. Talvez alguém veja o erro. Existe uma maneira melhor de fazer isso?

Se eu tiver dois arquivos (com colunas únicas), um assim (arquivo1)

34
67
89
92
102
180
blue2
3454

E o segundo arquivo (arquivo2)

23
56
67
69
102
200

Como encontro elementos comuns nos dois arquivos (interseção)? A saída esperada neste exemplo é

67
102

Observe que o número de itens (linhas) em cada arquivo é diferente. Números e strings podem ser misturados. Eles podem não ser necessariamente classificados. Cada item aparece apenas uma vez.

ATUALIZAR:

Verificação de tempo com base em algumas das respostas abaixo.

# generate some data
>shuf -n2000000 -i1-2352452 > file1
>shuf -n2000000 -i1-2352452 > file2

#@ilkkachu
>time (join <(sort "file1") <(sort "file2") > out1)
real    0m15.391s
user    0m14.896s
sys     0m0.205s

>head out1
1
10
100
1000
1000001

#@Hauke
>time (grep -Fxf "file1" "file2" > out2)
real    0m7.652s
user    0m7.131s
sys     0m0.316s

>head out2
1047867
872652
1370463
189072
1807745

#@Roman
>time (comm -12 <(sort "file1") <(sort "file2") > out3)
real    0m13.533s
user    0m13.140s
sys     0m0.195s

>head out3
1
10
100
1000
1000001

#@ilkkachu
>time (awk 'NR==FNR { lines[$0]=1; next } $0 in lines' "file1" "file2" > out4)
real    0m4.587s
user    0m4.262s
sys     0m0.195s

>head out4
1047867
872652
1370463
189072
1807745

#@Cyrus   
>time (sort file1 file2 | uniq -d > out8)
real    0m16.106s
user    0m15.629s
sys     0m0.225s

>head out8
1
10
100
1000
1000001


#@Sundeep
>time (awk 'BEGIN{while( (getline k < "file1")>0 ){a[k]}} $0 in a' file2 > out5)
real    0m4.213s
user    0m3.936s
sys     0m0.179s

>head out5
1047867
872652
1370463
189072
1807745

#@Sundeep
>time (perl -ne 'BEGIN{ $h{$_}=1 while <STDIN> } print if $h{$_}' <file1 file2 > out6)
real    0m3.467s
user    0m3.180s
sys     0m0.175s

>head out6
1047867
872652
1370463
189072
1807745

A versão perl foi a mais rápida seguida pela awk. Todos os arquivos de saída tinham o mesmo número de linhas.

Para fins de comparação, classifiquei a saída numericamente para que seja idêntica.

#@ilkkachu
>time (join <(sort "file1") <(sort "file2") | sort -k1n > out1)
real    0m17.953s
user    0m5.306s
sys     0m0.138s

#@Hauke
>time (grep -Fxf "file1" "file2" | sort -k1n > out2)
real    0m12.477s
user    0m11.725s
sys     0m0.419s

#@Roman
>time (comm -12 <(sort "file1") <(sort "file2") | sort -k1n > out3)
real    0m16.273s
user    0m3.572s
sys     0m0.102s

#@ilkkachu
>time (awk 'NR==FNR { lines[$0]=1; next } $0 in lines' "file1" "file2" | sort -k1n > out4)
real    0m8.732s
user    0m8.320s
sys     0m0.261s

#@Cyrus   
>time (sort file1 file2 | uniq -d > out8)
real    0m19.382s
user    0m18.726s
sys     0m0.295s

#@Sundeep
>time (awk 'BEGIN{while( (getline k < "file1")>0 ){a[k]}} $0 in a' file2 | sort -k1n > out5)
real    0m8.758s
user    0m8.315s
sys     0m0.255s

#@Sundeep
>time (perl -ne 'BEGIN{ $h{$_}=1 while <STDIN> } print if $h{$_}' <file1 file2 | sort -k1n > out6)
real    0m7.732s
user    0m7.300s
sys     0m0.310s

>head out1
1
2
3
4
5

Todas as saídas agora são idênticas.

Se eu tiver um arquivo delimitado com muitas linhas e colunas ( data.txt):

346 dfd asw  34
565 sd  wdew 34
667 ffg wew  23
473 sa  as   21
533 jhf qwe  54

e outro arquivo com os números das linhas que desejo extrair ( positions.txt)

3
5
8

Como uso o positions.txtarquivo para extrair essas posições data.txt? Este é o resultado que eu esperaria para este exemplo:

667 ffg wew  23
533 jhf qwe  54