想抓取一个站点的所有下载链接,求推荐爬虫工具-_-
比如有一个下载站点,里面的资源都是zip包,我想把所有的zip包下载url都爬出来记录到一个文件里,求推荐工具,多谢大家`
[解决办法]
使用httpclient之类的工具自己写一个呗,很简单啊。
[解决办法]
不清楚如何确定哪些url是资源
[解决办法]
用Jsoup
发布时间: 2013-09-07 14:12:44 作者: rapoo
想抓取一个站点的所有下载链接,求推荐爬虫工具-_-
比如有一个下载站点,里面的资源都是zip包,我想把所有的zip包下载url都爬出来记录到一个文件里,求推荐工具,多谢大家`
[解决办法]
使用httpclient之类的工具自己写一个呗,很简单啊。
[解决办法]
不清楚如何确定哪些url是资源
[解决办法]
用Jsoup