为了使东西自动化,我需要递归下载一个网页。我正在使用 wget,因为它可能是对程序员最友好的工具,它使用 -r 标志来触发链接跟踪。
wget,hovewer,不处理漂亮的网址,即http://webpage/index.php/my/pretty/link,将它们视为子目录。
这个问题有解决方案吗?(我宁愿不修改该网页的源代码)
干杯,MH
编辑:问题已解决
感谢您富有洞察力的回复!
我已经设法解决了这个问题——不过,通过对提到的网页进行微小的修改。
我所做的很简单:我使用了服务器的 url 重写功能并将 url 从http://webpage/my/pretty/link重定向到http://webpage/index.php/my/pretty/link。然后,使用以下 wget 标志:
wget --mirror --page-requisites --html-extension --convert-links http://webpage/
瞧!这一切都完美无缺(在此过程中仍然创建了目录,但是从这一点开始使用某种脚本来处理它是微不足道的)。