Início / unix / Perguntas / 790845
Accepted
Matt S.
Asked: 2025-02-10 20:41:16 +0800 CST

Lista de ip em loop através do geoiplookup e apaga linhas que não correspondem aos critérios

  • 772

Agradecemos antecipadamente por qualquer ideia que você apresentar.

Meu projeto atual consiste em tentar fazer um loop de um arquivo contendo uma lista de milhares de endereços IP por meio do geoiplookup e direcioná-lo ao sed para excluir todas as linhas que não correspondem aos critérios.

A lista é apenas uma lista de endereços IP:

1.2.3.4
5.6.7.8
9.10.11.12
.
.
.

Em seguida, executo geoiplookup ip.ad.dre.sscomo root e obtenho:

[root@system ipset]# geoiplookup 4.2.2.2
GeoIP Country Edition: US, United States

se o IP estiver dentro dos EUA.

Meu objetivo é excluir todas as linhas do arquivo, se o IP deles não estiver nos EUA.

O que tentei não está funcionando:

#!/bin/bash

for ip in $(cat /tmp/iplist.txt); do
     geoiplookup $ip | sed '/GeoIP Country Edition: US, United States/!d'
done

Alguma sugestão? Recomendações de outra abordagem seriam muito apreciadas.

@terdon Desculpe não ter atualizado antes, estive ocupado.

Adicionar qualquer um a esta pergunta ou comentário bagunça a formatação do texto. Desculpe, novato no Stack...deixe-me descobrir isso.

OK, atualização.

depois de alterar e executar o primeiro código do @terdon:

#!/bin/bash

while read ip; do
  if ! geoiplookup "$ip" | grep -q ': US, United States$'; then
    sed -i "/^$ip$/d" /tmp/iplist.txt
  fi
done < /tmp/iplist.txt

ele roda sem erros, mas endereços IP não americanos ainda estão na lista.

Eu estava usando o último exemplo com odeclare -a badLines

scripts#geoiplookup 172.168.155.63
GeoIP Country Edition: GB, United Kingdom

scripts#grep 172.168.155.63 /tmp/iplist.txt
172.168.155.63

Assim que eu descobrir como fazer o copiar e colar funcionar corretamente na pergunta, atualizarei.

@Ed Morton Ambos os exemplos produzem o mesmo erro na linha "done", linha 7 em um e linha 9 no outro.

./filter_ips.sh: line 7: syntax error near unexpected token `done'
./filter_ips.sh: line 7: `   done < "${@:--}"'

@Miri B Eles funcionam, mas ainda há endereços IP de fora dos EUA na lista.

shell-script

3 respostas

  1. Best Answer

    Você quer fazer um loop sobre as linhas, verificar se elas contêm um IP que mapeia para os EUA e, se não, excluir essa linha do arquivo. Sua abordagem falhou porque você está usando sedna saída do geoiplookupcomando, não no arquivo.

    O que você precisa fazer é verificar cada IP e, então, voltar ao arquivo. Então você pode fazer algo assim (note que não estou usando for i in $(cat file)aqui; veja Bash pitfall #1 para saber por que isso é uma má ideia):

    ## make a backup of your file
cp ip.ad.dre.ss ip.ad.dre.ss.bak
while read ip; do
   if ! geoiplookup "$ip" | grep -q ': US, United States$'; then
      sed -i "/^$ip$/d" ip.ad.dre.ss
   fi
done < ip.ad.dre.ss

    Note que isso também removerá entradas que simplesmente não podem ser mapeadas para sua localização. Por exemplo, algo como este site:

    $ geoiplookup unix.stackexchange.com
GeoIP Country Edition: IP Address not found

    Se você quiser mantê-los, você pode usar isto:

    while read ip; do    
    if ! geoiplookup "$ip" | 
      grep -Eq ': (US, United States|IP Address not found)$'; then
          sed -i "/^$ip$/d" ip.ad.dre.ss
    fi
done < ip.ad.dre.ss

    No entanto, ambos são um pouco ineficientes, pois precisam que o arquivo inteiro seja processado várias vezes. Uma abordagem alternativa seria ler o arquivo uma vez para gerar a lista de linhas que você deseja excluir e, em seguida, excluí-las com uma segunda passagem. Algo assim:

    declare -a badLines
while read ip; do
    ((c++))

    if ! geoiplookup "$ip" | 
      grep -Eq ': (US, United States|IP Address not found)$'; then
          badLines+=($c)
    fi
done < ip.ad.dre.ss

sedCommand=$(sed -E 's/ |$/d;/g' <<<"${badLines[@]}")
sed -i "$sedCommand" ip.ad.dre.ss

    Se você passar sedo comando Ndonde Né um número, ele apagará o número da linha da entrada. Então, se eu executar sed 2d file, isso imprime o conteúdo do arquivo, exceto a segunda linha. Lembre-se, sempre com sed, se você quiser que a alteração seja realmente salva no arquivo , você precisa de -i. So sed -i 2d fileapagará a segunda linha de file.

    Aqui, estou lendo o arquivo uma vez e coletando a lista de números de linha que quero excluir. Então, eu converto essa lista separada por espaços, para o Nd;formato com um pequeno sedcomando e, finalmente, estou passando o comando sed resultante (pareceria com 2d;3d;130d;etc) para sedrealmente modificar o arquivo.

    • 0

  2. Se geoiplookup(o que eu não tenho) só puder processar 1 endereço IP por vez, considere algo como o seguinte (não testado):

    #!/usr/bin/env bash

getUsaIps() {
    local ip re='United States$'
    while IFS= read -r ip
        if [[ "$(geoiplookup "$ip")" =~ $re ]]; then
            printf '%s\n' "$ip"
        fi
    done < "${@:--}"
}

tmp="$(mktemp)" || exit
trap 'rm -f "$tmp"; exit' EXIT

infile='/tmp/iplist.txt'
getUsaIps "$infile" > "$tmp" &&
mv -- "$tmp" "$infile"

    ou:

    #!/usr/bin/env bash

getIpMap() {
    local ip
    while IFS= read -r ip
        printf '%s\t%s\n' "$ip" "$(geoiplookup "$ip")"
    done < "${@:--}"
}

tmp="$(mktemp)" || exit
trap 'rm -f "$tmp"; exit' EXIT

infile='/tmp/iplist.txt'
getIpMap "$infile" | awk '/United States$/{ print $1 }' > "$tmp" &&
mv -- "$tmp" "$infile"
    • 0

  3. Experimente estes dois códigos awk:

    awk '{ 
       cmd=("geoiplookup " $0); cmd | getline s ; 
       close(cmd); 
       if( s ~ /Country Edition: US, United States/ ) print  $0
     }'  file_name

    Ou outro, provavelmente mais rápido:

    awk '{ printf"%s ", $0; system("geoiplookup " $0) }'  file_name | 
   awk '/GeoIP Country Edition: US, United States/{print $1}'
    • 0

relate perguntas