【Lucene】TokenStream-语汇单元的项、偏移量、类型和位置增量

从代码示例中看到，可以通过调用addAttribute(class)来获取这些属性；使用tokenStream.incrementToken()递归访问所有的语汇单元，如果该方法到达下一个新的语汇单元则返回true，若已经对stream处理完毕则返回false。然后就可以与先前获取的属性对象进行交互得到针对每个语汇单元的属性值。当incrementToken返回true时，其中所有的属性都会将内部状态修改为下一个语汇单元