搜索引擎中的爬虫是怎样获取需要认证才能获得的信息的？ - Web 开发 / 其他
例如很多bbs上的帖子是需要认证才能获得的，但是我们看到大部分的搜索引擎是能获取一些这样的内容，请问这相关的技术是怎样实现的？

[解决办法]
可以读到吗？我感觉是读不到啊。


[解决办法]
应该是爬虫在数据传输过程中取到的
[解决办法]
需要认证的肯定不会被百度这样的搜索引擎收录的，http://www.baidu.com/search/guide.html#1有解释,不过用程序登录后再抓取也是可以做到的