nutch1.4 部署应用

?

nutch1.4在2011年的11月26日正式发布了,nutch1.4之后更新了一些内容和一些配置，但是和1.3差别还是不大，但是和1.2之前的差异就比较大了，在nutch1.3之后，索引就用solr来进行生成了，包括查询也是用solr，所以在nutch1.2之前的web搜索服务也就不需要了。

首先我们去nutch的官网下载最新版的nutch1.4

地址为：

http://www.apache.org/dyn/closer.cgi/nutch/

?

下载apache-nutch-1.4-bin.zip或者apache-nutch-1.4-bin.tar.gz都可以

下载下来后，我们解压，现在先进行linux下的应用，下一节我会写eclipse中进行nutch开发

解压之后，我们会看到如下目录：

然后我们进入nutch/runtime/local的目录下，下目录下会有个conf文件夹，我们进入文件夹会看到如下文件：

?在这里我们只需要知道2个文件即可：

nutch-default.xml和regex-urlfilter.txt

?

nutch-default.xml 是nutch 的配置文件

regex-urlfilter.txt文件内是编辑NUTCH爬取的策略规则的

?

我们这是进行初次爬取，那么我们测试的话不需要对其他设置进行优化，只需要做到如下即可：

在nutch-default.xml文件中找到http.agent.name属性，将其中的value内容加上；

?

?
增加上属性后，我们还需要进行规则的设置，比如我们要爬取www.163.com ,但是我们不是要把里面的所有链接都爬取下来，如sohu的广告，我们就不需要爬，我们只需要爬取163的内容，那么我们就需要设置爬取规则，爬取规则采用正则表达式进行编写（正则表达式在这里不做具体阐述）
?
那么我们在哪里编写规则呢？
?
regex-urlfilter.txt文件中编写规则：
?
如果要以后查看日志的话，那么就在最后加上一个 >& (输出位置）
?
solr需要单独配置，我会在solr一篇文章中讲怎么部署，这里的-solr的位置，只需要输入solr的url地址即可

如想了解solr部署请看solr 部署的文章
?
如果要想在windows下测试或者开发，那么需要首先安装cygwin，安装cygwin我会在eclipse中部署nutch1.4中介绍
?
测试结果：
?
 ,好的，这几天一直在忙乎工作，周一加了通宵，没时间更新，实在不好意思啊……        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252)
        at org.apache.nutch.crawl.Injector.inject(Injector.java:217)
        at org.apache.nutch.crawl.Crawl.run(Crawl.java:127)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.nutch.crawl.Crawl.main(Crawl.java:55)
这个怎么解决了，看到了请速度给个反馈，谢谢！
        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252)
        at org.apache.nutch.crawl.Injector.inject(Injector.java:217)
        at org.apache.nutch.crawl.Crawl.run(Crawl.java:127)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
        at org.apache.nutch.crawl.Crawl.main(Crawl.java:55)
这个怎么解决了，看到了请速度给个反馈，谢谢！

请检查nutch-default.xml的plugin.folders是否修改为./src/plugin，默认为plugins，
修改后启动正常
一般是插件的地址问题！