主页 / unix / 问题 / 419273
Accepted
SeSa
Asked: 2018-01-24 23:51:42 +0800 CST

从文件中获取 URL 地址并检查 HTTP 代码

  • 772

我正在创建 bash 脚本来检查给定 URL 返回的 HTTP 代码。我有大约 50k 个 JSON 格式的 URL 文件；这是第一个（文件头）：

"responseHeader":{
    "status":0,
    "QTime":7336},
  "response":{"numFound":50032,"start":0,"maxScore":1.0,"docs":[
      {
        "documentURL":"http....."},

    and so on

我需要遍历这个文件，检查每个 URL 返回的 HTTP 代码，并将其保存在另一个文件中，格式为 HTTP 代码 + URL。到目前为止，我只有这个 curl 命令来检查 http 代码

  curl -s -o /dev/null -I -w "%{http_code}\n" URL >> httpCodeFile

对于我应该使用哪些工具/方法（grep、awk、sed），我将不胜感激。

我创建了这个函数来从文件中获取 URL，但我确定语法：

function checkHTTP(){



        cat URL_list | while read line
        do
                var =  $(grep documentURL) URL_list

                curl -s -o /dev/null -I -w "%{http_code}\n" ${var} +  " TEST "  >> httpCodeFile


        done
}

尽管许多 URL 应该返回 404，但我只得到 000。

shell-script curl

1 个回答

  1. Best Answer

    jq+解决方案的正确方法curl：

    样品有效input.json：

    {
  "responseHeader": {
    "status": 0,
    "QTime": 7336
  },
  "response": {
    "numFound": 50032,
    "start": 0,
    "maxScore": 1,
    "docs": [
      {
        "documentURL": "https://unix.stackexchange.com/questions"
      },
      {
        "documentURL": "https://unix.stackexchange.com/problems"
      },
      {
        "documentURL": "https://stackoverflow.com/questions"
      },
      {
        "documentURL": "https://stackoverflow.com/issues"
      }
    ]
  }
}

    加工：

    jq -r '.response.docs[].documentURL 
       | "curl -s -o /dev/null -I -w \"%{http_code} \(.)\n\" --url \(.)"' input.json \
       | sh > http_codes.out

    结果http_codes.out内容：

    $ cat http_codes.out 
200 https://unix.stackexchange.com/questions
404 https://unix.stackexchange.com/problems
200 https://stackoverflow.com/questions
404 https://stackoverflow.com/issues
    • 1

相关问题