读书人

Nutch1.0 Ui起步在tomcat中的配置

发布时间: 2012-11-19 10:18:51 作者: rapoo

Nutch1.0 Ui启动在tomcat中的配置

<!--@page { margin: 2cm }P { margin-bottom: 0.21cm }A:link { so-language: zxx }-->

1、下载nutch-1.0.tar.gz. http://apache.etoak.com/lucene/nutch/

2、解压缩nutch-1.0.tar.gz,放在自己熟悉的目录下面,比如workspace.

3、解压完后会有一个目录:webapps.这个目录是hadoop自己所对应的页面。

datanode、hdfs、job、secondary、static、task

4、下载tomcat。5.5版本以上的都行,然后进行配置。Sudogedit /etc/profile 配置你的JAVA_HOME、TOMCAT_HOME.

5、打开tomcat的conf/server.xml。配置一个虚拟的目录

<Contextpath="/crawl"docBase="/home/user/tools/nutch-1.0/webapps/task/"reloadable="true" debug="0"/>

6、在task的目录下面就可有写jsp页面了。在task下有一个WEB-INF.在它下面建立一个classes文件夹。这里面主要放的是.class和lib.

7、nutch所编译生成的.class文件和所需要的lib都要拷贝到/WEB-INF/classes/.

8、最主要的是在nutch1.0的目录下面有一个plugins。这个也要放在/WEB-INF/classes/.

9、同时拷贝完了还不行,因为还没有做一些其它的相应配置:

<a>:hadoop-env.sh 改变JAVA_HOME.

<b>:crawl-urlfilter.txt改变抓取的URL.

<c>:regex-urlfilter.txt屏蔽URL的后缀.

<d>:所拷贝的plugins文件目录需和nutch-default.xml放在同一目录下面,如果不是需要改变nutch-default.xml中配置plugin的路径。

要不然会报plugin.flodersnot find等错误。

10、因为我们是在页面来启动nutch的,当然nutch所抓取的页面得有存放位置。目前我是放在/tomcat/bin/: 在这个目录下面我建立了

myUrls---- > url.txt -----> http://www.163.com/

crawl: 存放抓取完后页面存放路径。

11、页面的部分就很简单了。两个输入框: dept、topN.如果想加thread,也可以。然后就是提交。可以是一个jsp也可以是一个servlet.(注意要把所编译 的.class文件放到/WEB-INF/classes/).

12、打开浏览器启动下试试。不报错说明它已经启动了,或者是去tomcat/bin/crawl/ 看看有没有东东。

1 楼 comsci 2009-12-26 很感谢楼主。。。
不知道NUTCH如果在多台机器上面并行运行,会有什么效果 2 楼 p_x1984 2009-12-26 这个公司还目前在测试呢!

读书人网 >软件架构设计

热点推荐