ubuntu下nutch-1.2配置

1、下载nutch1.2到指定一个目录下，并打开eclipse新建一个java工程。并选择"Create project?
from existing source"，指向nutch目录。

?

2、下一步操作，切换到"Libraries"选择"Add Class Folder..." 按钮，从列表中选择"conf"，继续操作：切换到"Order and Export"找到"conf"，把它移到顶。

?

3、到"Source"将output folder设置为Nutch /bin/tmp_build，点击finish完成导入。

4、 配置文件：nutch-default.xml，nutch-site.xml，crawl-urlfilter.txt。
1) nutch-default.xml
修改此处：
<property>
? <name>plugin.folders</name>
??<value>./src/plugin</value>?
? <description>Directories where nutch plugins are located.? Each
? element may be a relative or absolute path.? If absolute, it is used
? as is.? If relative, it is searched for on the classpath.</description>
</property>

?

2）nutch-site.xml

在<configuration></configuration>中添加：

?

<property>

? ? ? ? <name>http.agent.name</name>

? ? ? ? <value>my nutch agent</value>

? ? </property>

? ? <property>

? ? ? ? <name>http.agent.version</name>

? ? ? ? <value>1.0</value>

?</property>

?

3)crawl-urlfilter.txt

删除：MY.DOMAIN.NAME

添加：+^http://([a-z0-9]*/.)*qq.com/

在nutch目录新建weburls.txt，并添加入口地址:http://www.qq.com

?

5、执行抓取

运行crawl 可执行类
? ? ? ?配置运行环境：
? ? ? ?Program arguments:
? ? ? bin/nutch crawl weburls.txt -dir localweb -depth 50 -topN 100 -threads 2

?????? VM arguments:
? ? ? ?-Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log