读书人

nginx强行障蔽微软(BING)无语

发布时间: 2012-10-24 14:15:58 作者: rapoo

nginx强行屏蔽——微软(BING),无语。。。
微软(BING)完全不遵守robots规则
以下是我的robots文件




从日志来看,bing算法相当差,爬行的频率相当高。

这对于我这种动态的应用简直就是一个噩梦,无奈只能强行屏蔽

服务器使用的是nginx。
在配置文件中,添加如下代码:
site:我的服务器的域名

可以看到已经没有快照了,虽然有大量的地址。。。。

读书人网 >软件架构设计

热点推荐