Nutch 使用入门(一）——准备工作及Intranet抓取

/** *本人亦初学者，如有不正确的地方请多多指教。谢谢！ **/

?

环境要求：

1.JDK1.5 或者更高。

2.Tomcat5.x 或者更高。

3.windows下需要Linux仿真环境Cygwin来提供Shell支持。

?

准备工作：

1.下载安装Nutch，你可以从

3.你需要给你的网络蜘蛛取一个名字，这是必须的。在Nutch目录下找到conf/nutch-default.xml文件，搜索http.agent.name,设置这个属性的值。这个属性值在抓取网页的时候，会携带于HTTP请求的协议头里面，用来表明网络蜘蛛的身份。

?

现在已经准备就绪，可用进行网页的抓取了。

我们有两种方式可以使用。

1.使用一步到位的crawl命令，这通常用于intranet的抓取。操作很简便，但是有许多限制。

2.更加灵活方便的互联网抓取模式。使用一些更加底层的命令，如inject，generate，fetch，updatedb。

?

首先，我们一步一步来实现第一种方式。

1.在Nutch安装目录下新建一个urls目录，在urls目录中添加一个文本文件，其内容可以是你想抓取的网站的url地址。我的示例地址为www.sina.com.cn.

2.修改conf/crawl-urlfilter.txt.过滤规则以“+”表示允许下载。默认的规则如下：

?+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/

如果只允许下载iteye.com的网页，可以更改设置为+^http://([a-z0-9]*\.)*sina.com.cn/

3.执行crawl命令。典型的命令如下：

bin/nutch crawl urls -dir javaeye -depth 3 -topN 100 -threads 3

?-dir ：存放爬行结果的目录

?-depth：抓取的页面深度

?-topN：每一层抓取前N个URL

?=threads：下载的线程数目

?

等这一步完成以后，就可以进行搜索了。

4.搜索。

将Nutch目录下面Nutch-1.0.war部署到tomcat的wepapp目录下，启动tomcat.在解压后的nutch-1.0目录下找到nutch-site.xml文件，修改其内容如下：

<configuration><property><name>http.agent.name</name><value>yourAgentName</value></property><property><name>searcher.dir</name><value>D:/nutch-1.0/javaeye</value></property></configuration>

? 重新启动Tomcat。通过浏览器访问：http://localhost:8080/nutch-1.0 ，将看到如下搜索页面：

? 输入你希望搜索的关键字，开始进行搜索体验吧！

?

?

?还有一些问题需要解决：

?

?1. 搜索中文出现乱码，但这并不是nutch的问题，修改tomcat配置文件tomcat6\conf\server.xml。增加URIEncoding/useBodyEncodingForURI两项。

<Connector port="8080" protocol="HTTP/1.1"connectionTimeout="20000"redirectPort="8443"URIEncoding="UTF-8"useBodyEncodingForURI="true"/>

?2.网页快照出现乱码，修改webapps\

?