读书人

用开源爬虫arale 实现具有登陆页面的抓

发布时间: 2012-06-08 12:55:24 作者: rapoo

用开源爬虫arale 实现具有登陆页面的抓取
首先请教一下用过开源工具arale的高手,我想修改它的源代码,实现能对具有登陆页
面的网页进行抓取,改怎么改,请给出思路!如果有其它办法,也可以给我具体思路,包括
使用其它的爬虫

[解决办法]
如果该网站验证信息放在COOKIE里,你可以在http中加入cookie内容,这样就能获取需要验证的数据
如果是通过session,先向验证页面提交用户名和密码,再去抓出其它数据

读书人网 >高性能WEB开发

热点推荐