搜索引擎是怎么防止恶意搜索抓取页面的，大家探讨下

有人说 是通过 ip 或者 一定时间的访问量 是不是还有什么其他
比如搜狗
我用浏览器直接 搜索 可以
但是用 php或者其他脚本语言 去抓取 就会出现 让你输入验证码的页面
怎么破