Início / user-266188

SeSa's questions

Martin Hope
SeSa
Asked: 2018-01-31 11:53:43 +0800 CST
  • 6

Gostaria de criar um mecanismo para excluir parênteses, ou parênteses e o texto entre eles. Por exemplo:

antes da:

text0 text1 text2 (text3 text4)

depois:

text0 text1 text2 text3 text4

ou:

text0 text1 text2

Gostaria de testar as duas opções e outros tipos de colchetes, mas não tenho certeza de qual ferramenta devo usar, Awk ou Sed ou talvez outra coisa? Ficaria muito grato por qualquer conselho.

shell-script text-processing
Martin Hope
SeSa
Asked: 2018-01-24 23:51:42 +0800 CST
  • 1

Estou criando um script bash para verificar qual código HTTP uma determinada URL está retornando. Tenho arquivo com cerca de 50k de URLs no formato JSON; é o primeiro (cabeçalho):

"responseHeader":{
    "status":0,
    "QTime":7336},
  "response":{"numFound":50032,"start":0,"maxScore":1.0,"docs":[
      {
        "documentURL":"http....."},

    and so on

Preciso fazer um loop neste arquivo, verificar qual código HTTP cada URL está retornando e salvá-lo em outro arquivo no formato código HTTP + URL. Até agora, tenho apenas este comando curl para verificar o código http

  curl -s -o /dev/null -I -w "%{http_code}\n" URL >> httpCodeFile

Agradeço qualquer ajuda e conselhos sobre quais ferramentas/abordagem (grep,awk,sed) devo usar.

Eu criei esta função para obter o URL do arquivo, mas tenho certeza sobre a sintaxe:

function checkHTTP(){



        cat URL_list | while read line
        do
                var =  $(grep documentURL) URL_list

                curl -s -o /dev/null -I -w "%{http_code}\n" ${var} +  " TEST "  >> httpCodeFile


        done
}

Estou obtendo apenas 000, apesar de muitos URLs retornarem 404.

shell-script curl