读书人

开源搜索引擎Lucene.Net-学习札记(2)

发布时间: 2012-09-29 10:30:01 作者: rapoo

开源搜索引擎Lucene.Net---学习笔记(2) 使用Lucene.Net源码进行搜索

下面先通过Lucene.Net简单的例子,来看看Lucene.Net建立索引、查询的操作过程。

1、索引的建立:

索引的建立,我把其方法直接放到了Program.Main()中:

using System;using System.Collections.Generic;using System.Linq;using System.Text;namespace CyhTest{    using Lucene.Net.Analysis;    using Lucene.Net.Analysis.Standard;    using Lucene.Net.Documents;    using Lucene.Net.Index;    using Lucene.Net.QueryParsers;    using Lucene.Net.Search;    using Lucene.Net.Store;    using Lucene.Net.Util;       class Program    {        static void Main(string[] args)        {            //索引的建立             Analyzer analyzer = new StandardAnalyzer();           IndexWriter writer = new IndexWriter("IndexDirection", analyzer, true); //创建索引,"IndexDirection”为索引存放目录             writer.SetUseCompoundFile(false);   //采用非复合式的索引模式             writer.SetMergeFactor(2);           //设置合并频率的大小为2           cyh_CreateIndex(writer);            //创建索引             writer.Optimize();           writer.Close();                     Console.ReadKey();          }        /// <summary>        /// 创建索引         /// </summary>  
        static void cyh_CreateIndex(IndexWriter writer)        {            Document doc1 = new Document();     //创—ocument对象            Field field1 = new Field("Title1", "term1 term2 term3", Field.Store.YES, Field.Index.TOKENIZED);    //索引文件内容            doc1.Add(field1);            writer.AddDocument(doc1);       //将Document对象添加到索引中            Document doc2 = new Document();     //创—ocument对象            Field field2 = new Field("Title1", "term2 term3 term2", Field.Store.YES, Field.Index.TOKENIZED);    //索引文件内容            doc2.Add(field2);            writer.AddDocument(doc2);       //将Document对象添加到索引中            Document doc3 = new Document();     //创—ocument对象            Field field3 = new Field("Title1", "term3 term3", Field.Store.YES, Field.Index.TOKENIZED);    //索引文件内容            doc3.Add(field3);            writer.AddDocument(doc3);       //将Document对象添加到索引中            Document doc4 = new Document();     //创—ocument对象            Field field4 = new Field("Title2", "Hello Lucene!", Field.Store.YES, Field.Index.TOKENIZED);    //索引文件内容            doc4.Add(field4);            writer.AddDocument(doc4);       //将Document对象添加到索引中            Document doc5 = new Document();     //创—ocument对象            Field field5 = new Field("Title2", "I like Lucene!", Field.Store.NO,Field.Index.UN_TOKENIZED,Field.TermVector.WITH_POSITIONS_OFFSETS);    //索引文件内容            doc5.Add(field5);            writer.AddDocument(doc5);       //将Document对象添加到索引中            Document doc6 = new Document();     //创—ocument对象            Field field61 = new Field("Title3", "Do you want to use it?", Field.Store.NO,Field.Index.TOKENIZED,Field.TermVector.YES);    //索引文件内容            Field field62 = new Field("docName", "doc6", Field.Store.YES, Field.Index.UN_TOKENIZED);    //索引文件内容            doc6.Add(field61);          doc6.Add(field62);            writer.AddDocument(doc6);       //将Document对象添加到索引中                    }    }}

可以看到在bin/debug/IndexDirection文件夹下回生成如下一些文件:

开源搜索引擎Lucene.Net-学习札记(2)  使用Lucene.Net源码进行搜索

这些即为Lucene存储的索引。

Lucene的索引结果具有层次结构,主要有以下几个层次:

? 索引(Index):
在Lucene中一个索引是放在一个文件夹中的。
如上图,同一文件夹中的所有的文件构成一个Lucene索引。
? 段(Segment):
一个索引可以包含多个段,段与段之间是独立的,添加新文档可以生成新的段,不同的段可以合并。
如上图,具有相同前缀文件的属同一个段,图中共两个段 "_0" 和 "_1"。
segments.gen和segments_5是段的元数据文件,也即它们保存了段的属性信息。
? 文档(Document):
文档是我们建索引的基本单位,不同的文档是保存在不同的段中的,一个段可以包含多篇文档。
新添加的文档是单独保存在一个新生成的段中,随着段的合并,不同的文档合并到同一个段中。
? 域(Field):

一篇文档包含不同类型的信息,可以分开索引,比如标题,时间,正文,作者等,都可以保存在不同的域里。
不同域的索引方式可以不同,在真正解析域的存储的时候,我们会详细解读。
? 词(Term):
词是索引的最小单位,是经过词法分析和语言处理后的字符串。

Lucene的索引结构中,即保存了正向信息,也保存了反向信息。

所谓正向信息:


? 按层次保存了从索引,一直到词的包含关系:索引(Index) > 段(segment) > 文档(Document) >域(Field) > 词(Term)
? 也即此索引包含了那些段,每个段包含了那些文档,每个文档包含了那些域,每个域包含了那些词。
? 既然是层次结构,则每个层次都保存了本层次的信息以及下一层次的元信息,也即属性信息,比如一本介绍中国地理的书,应该首先介绍中国地理的概况,以及中国包含多少个省,每个省介绍本省的基本概况及包含多少个市,每个市介绍本市的基本概况及包含多少个县,每个县具体介绍每个县的具体情况。
? 如上图,包含正向信息的文件有:
segments_N保存了此索引包含多少个段,每个段包含多少篇文档。
XXX.fnm保存了此段包含了多少个域,每个域的名称及索引方式。
XXX.fdx,XXX.fdt保存了此段包含的所有文档,每篇文档包含了多少域,每个域保存了那些信息。
XXX.tvx,XXX.tvd,XXX.tvf保存了此段包含多少文档,每篇文档包含了多少域,每个域包含了多少词,每个词的字符串,位置等信息。

所谓反向信息:


? 保存了词典到倒排表的映射:词(Term) > 文档(Document)
? 如上图,包含反向信息的文件有:
XXX.tis,XXX.tii保存了词典(Term Dictionary),也即此段包含的所有的词按字典顺序的排序。
XXX.frq保存了倒排表,也即包含每个词的文档ID列表。
XXX.prx保存了倒排表中每个词在包含此词的文档中的位置。

2、进行搜索查询

为了便于今后搜索查询能够方便,因此我将构造一个CyhClass类,并将搜索所用到的一些方法放入这个类:

using System;using System.Collections.Generic;using System.Linq;using System.Text;namespace CyhTest{    using Lucene.Net.Analysis;    using Lucene.Net.Analysis.Standard;    using Lucene.Net.Documents;    using Lucene.Net.Index;    using Lucene.Net.QueryParsers;    using Lucene.Net.Search;    using Lucene.Net.Store;    using Lucene.Net.Util;    public class CyhClass    {        /// <summary>        /// 通过索引,搜索信息         /// </summary>        public static void doSearch(string docName, string keyword, string indexDir)        {            Query query = null;            QueryParser queryParser = null;            try            {                Directory dir = FSDirectory.GetDirectory(indexDir, false);                IndexSearcher searcher = new IndexSearcher(dir);        //打开索引                queryParser = new QueryParser(docName, new StandardAnalyzer());                query = queryParser.Parse(keyword);           //对keyword解析                Hits hits = searcher.Search(query);           //检索索引,hits是用来存储内容的容器                printResult(hits,keyword,docName);                    //打印结果            }            catch (Exception e) {                Console.WriteLine("Wrong!!!----'{0}'",e.ToString());               }        }        /// <summary>        /// 打印结果        /// </summary>        public static void printResult(Hits hits, string keyword,string docName)        {            Console.WriteLine("搜索结果:");             if (hits.Length() != 0)            {                Console.WriteLine("搜索 {0},一共找到 {1} 个文档!",keyword, hits.Length());                Console.WriteLine("您要查的内容可以在下列文档中查找到:");                for (int i = 0; i < hits.Length(); i++)                {                    Console.WriteLine(" 得分:{0}\n信息:{1}\n内部ID: {2}\n", hits.Score(i), hits.Doc(i).Get(docName), hits.Id(i));                }            }            else            {                Console.WriteLine("未搜索到相关内容!");              }        }    }}


有了这些搜索时使用的方法,便可以在Main()中方便的使用了,只需修改上述的Program.Main()函数:

        static void Main(string[] args)        {            //索引的建立              //Analyzer analyzer = new StandardAnalyzer();            //IndexWriter writer = new IndexWriter("IndexDirection", analyzer, true); //创建索引              //writer.SetUseCompoundFile(false);   //采用非复合式的索引模式              //writer.SetMergeFactor(2);           //设置合并频率的大小为2            //cyh_CreateIndex(writer);            //创建索引              //writer.Optimize();            //writer.Close();            //查询过程              string tempDir = "IndexDirection";            CyhClass.doSearch("Title1", "term1", tempDir);            CyhClass.doSearch("Title1", "term2", tempDir);            CyhClass.doSearch("Title1", "term3", tempDir);            CyhClass.doSearch("Title2", "Lucene", tempDir);                        Console.ReadKey();          }


可得到以下结果:

开源搜索引擎Lucene.Net-学习札记(2)  使用Lucene.Net源码进行搜索

以上即为Lucene.Net建立索引与搜索的简单例子,至于细节,将在下一章中进行分析。

读书人网 >开源软件

热点推荐