mmseg4j 中文分词 1.6 版发布
经过几天的开发与调试，mmseg4j 1.6 版可以发布了。1.6 版主要实现与下功能：

实现多分词，在complex基础上，把长的词（大于2）拆出多个词。按二元分词，且把不存在的词去了，如：“西伯利亚” -> "西|伯利|利亚"，"西伯" 不存在词库中；“中国人民银行”-> "中国|国人|人民|银行" 支持多个词库文件，在词库目录中放"words"前缀且".dic"后缀的文件。如：data/words-my.dic 单字的单位独立一个文件(data/units.dic, 已经放入jar包里)，也可以自定义覆盖它。加单字的单位处理分词比较好点，如：“年”在units.dic文件中，“2008年中有很多事情” -> “2008|年|中有|很多|事情”，否则，就分成了“2008|年中|有|很多|事情”。这功能是试行，如果不喜欢它，可以空的units.dic文件覆盖它。

MMSegAnalyzer 和 MMSegTokenizerFactory 默认的分词方式改为max-word。当然你可以单独地使用SimpleAnalyzer、ComplexAnalyzer、MaxWordAnalyzer。

多分词的效果：

google code 已经提供下载。

    1 楼    johnnyhg    2009-04-07              能够跟paoding做一个比较的说明帖子？期待！    2 楼    chenlb    2009-04-13              johnnyhg 写道
能够跟paoding做一个比较的说明帖子？期待！



http://chenlb.iteye.com/blog/366361