主页 / ubuntu / 问题 / 794766
Accepted
Eka
Asked: 2016-07-05 08:47:01 +0800 CST

如何从超链接中提取某些字符串并在 bash 中创建具有相同字符串的文件夹？

  • 772

我有一个文本文件（web.txt），其中包含一长串具有这种模式的 url

http://www.example.com/ab1.htm
http://www.example.com/ab2.htm
http://www.example.com/bc1.htm
http://www.example.com/qw3.htm
.
.
http://www.example.com/xc15.htm

我想获取 URL 列表，然后在 url (ab1,ab2,bc1..xc15) 中提取没有 .htm 的网页最后一个字符串作为变量，然后创建一个具有该名称的新文件夹。然后使用 wget 我想将该网页下载到新创建的文件夹中。

#!/bin/bash
NAMES=`cat web.txt` #urls from web.txt file
for NAME in $NAMES; do
   echo "$NAME"
   NEWNAME=#string from url
   mkdir -p /home/$NEWNAME
   wget $NAME
done

我能够从我的 web.txt 文件中获取 URL，但是我遇到了这两个问题

  1. 如何从url中提取字符串？
  2. 如何循环并将网页下载到新创建的文件夹？
command-line

2 个回答

  1. while read url; do
    newname="$(basename "$url" .htm)"
    mkdir -p "/home/$newname"
    wget -O "/home/$newname/$newname.htm" "$url"
done < web.txt
    • 4
  2. Best Answer

    看来您重读man bash的次数不够多。这很简单： 

    BASEDIR="$HOME"
for myurl in $( cat web.txt ) ; do
    # erase everything "*" up to the last "/"
    mydir="${myurl##*/}"
    # erase the trailing "%"  ".htm"
    mydir=${mydir%.htm}
    mkdir -p $BASEDIR/$mydir
    # run the wget in a subshell, in the new directory
    (cd $BASEDIR/$mydir;wget "$myurl")
done

    恕我直言，一组很好的选项wget（阅读man wget以查看它们是否也对您有好处）是--no-parent --relative --page-requisites --convert-links -nv -t 3 --waitretry=6 --random-wait，但是 YMMV。

    • 2

相关问题