Lucene 4.4.0中常用的几个分词器

package bond.lucene.analyzer; ???import org.apache.lucene.analysis.TokenStream; ?import org.apache.lucene.analysis.core.WhitespaceAnalyzer; ?import org.apache.lucene.analysis.tokenattributes.CharTermAttribute; ?import org.apache.lucene.util.Version; ???public class WhitespaceAnalyzerTest { ???????public static void main(String[] args) { ?????????try { ?????????????// 要处理的文本 ?????????????// "lucene分析器使用分词器和过滤器构成一个“管道”，文本在流经这个管道后成为可以进入索引的最小单位，因此，一个标准的分析器有两个部分组成，一个是分词器tokenizer,它用于将文本按照规则切分为一个个可以进入索引的最小单位。另外一个是TokenFilter，它主要作用是对切出来的词进行进一步的处理（如去掉敏感词、英文大小写转换、单复数处理）等。lucene中的Tokenstram方法首先创建一个tokenizer对象处理Reader对象中的流式文本，然后利用TokenFilter对输出流进行过滤处理"; ?????????????String text = "The Lucene PMC is pleased to announce the release of the Apache Solr Reference Guide for Solr 4.4."; ???????????????// 空格分词器(以空格作为切词标准，不对语汇单元进行其他规范化处理) ?????????????WhitespaceAnalyzer wsa = new WhitespaceAnalyzer(Version.LUCENE_44); ???????????????TokenStream ts = wsa.tokenStream("field", text); ?????????????CharTermAttribute ch = ts.addAttribute(CharTermAttribute.class); ???????????????ts.reset(); ?????????????while (ts.incrementToken()) { ?????????????????System.out.println(ch.toString()); ?????????????} ?????????????ts.end(); ?????????????ts.close(); ?????????} catch (Exception ex) { ?????????????ex.printStackTrace(); ?????????} ???????} ?} ?

1. packagebond.lucene.analyzer;
3. importorg.apache.lucene.analysis.TokenStream;
4. importorg.apache.lucene.analysis.core.SimpleAnalyzer;
5. importorg.apache.lucene.analysis.tokenattributes.CharTermAttribute;
6. importorg.apache.lucene.util.Version;
8. publicclassSimpleAnalyzerTest{
10. publicstaticvoidmain(String[]args){
11. try{
12. //要处理的文本
13. //"lucene分析器使用分词器和过滤器构成一个“管道”，文本在流经这个管道后成为可以进入索引的最小单位，因此，一个标准的分析器有两个部分组成，一个是分词器tokenizer,它用于将文本按照规则切分为一个个可以进入索引的最小单位。另外一个是TokenFilter，它主要作用是对切出来的词进行进一步的处理（如去掉敏感词、英文大小写转换、单复数处理）等。lucene中的Tokenstram方法首先创建一个tokenizer对象处理Reader对象中的流式文本，然后利用TokenFilter对输出流进行过滤处理";
14. Stringtext="TheLucenePMCispleasedtoannouncethereleaseoftheApacheSolrReferenceGuideforSolr4.4.";
16. //简单分词器(以非字母符来分割文本信息，并将语汇单元统一为小写形式，并去掉数字类型的字符)
17. SimpleAnalyzersa=newSimpleAnalyzer(Version.LUCENE_44);
19. TokenStreamts=sa.tokenStream("field",text);
20. CharTermAttributech=ts.addAttribute(CharTermAttribute.class);
22. ts.reset();
23. while(ts.incrementToken()){
24. System.out.println(ch.toString());
25. }
26. ts.end();
27. ts.close();
28. }catch(Exceptionex){
29. ex.printStackTrace();
30. }
31. }
33. }

1. packagebond.lucene.analyzer;
3. importjava.util.Iterator;
5. importorg.apache.lucene.analysis.TokenStream;
6. importorg.apache.lucene.analysis.core.StopAnalyzer;
7. importorg.apache.lucene.analysis.tokenattributes.CharTermAttribute;
8. importorg.apache.lucene.analysis.util.CharArraySet;
9. importorg.apache.lucene.util.Version;
11. publicclassStopAnalyzerTest{
13. publicstaticvoidmain(String[]args){
14. try{
15. //要处理的文本
16. //"lucene分析器使用分词器和过滤器构成一个“管道”，文本在流经这个管道后成为可以进入索引的最小单位，因此，一个标准的分析器有两个部分组成，一个是分词器tokenizer,它用于将文本按照规则切分为一个个可以进入索引的最小单位。另外一个是TokenFilter，它主要作用是对切出来的词进行进一步的处理（如去掉敏感词、英文大小写转换、单复数处理）等。lucene中的Tokenstram方法首先创建一个tokenizer对象处理Reader对象中的流式文本，然后利用TokenFilter对输出流进行过滤处理";
17. Stringtext="TheLucenePMCispleasedtoannouncethereleaseoftheApacheSolrReferenceGuideforSolr4.4.";
19. //自定义停用词
20. String[]self_stop_words={"分析","release","Apache"};
21. CharArraySetcas=newCharArraySet(Version.LUCENE_44,0,true);
22. for(inti=0;i<self_stop_words.length;i++){
23. cas.add(self_stop_words[i]);
24. }
26. //加入系统默认停用词
27. Iterator<Object>itor=StopAnalyzer.ENGLISH_STOP_WORDS_SET.iterator();
28. while(itor.hasNext()){
29. cas.add(itor.next());
30. }
32. //停用词分词器(去除一些常有a,the,an等等，也可以自定义禁用词)
33. StopAnalyzersa=newStopAnalyzer(Version.LUCENE_44,cas);
35. TokenStreamts=sa.tokenStream("field",text);
36. CharTermAttributech=ts.addAttribute(CharTermAttribute.class);
38. ts.reset();
39. while(ts.incrementToken()){
40. System.out.println(ch.toString());
41. }
42. ts.end();
43. ts.close();
44. }catch(Exceptionex){
45. ex.printStackTrace();
46. }
47. }
48. }

1. packagebond.lucene.analyzer;
3. importjava.util.Iterator;
5. importorg.apache.lucene.analysis.TokenStream;
6. importorg.apache.lucene.analysis.standard.StandardAnalyzer;
7. importorg.apache.lucene.analysis.tokenattributes.CharTermAttribute;
8. importorg.apache.lucene.analysis.util.CharArraySet;
9. importorg.apache.lucene.util.Version;
11. publicclassStandardAnalyzerTest{
13. publicstaticvoidmain(String[]args){
14. try{
15. //要处理的文本
16. //"lucene分析器使用分词器和过滤器构成一个“管道”，文本在流经这个管道后成为可以进入索引的最小单位，因此，一个标准的分析器有两个部分组成，一个是分词器tokenizer,它用于将文本按照规则切分为一个个可以进入索引的最小单位。另外一个是TokenFilter，它主要作用是对切出来的词进行进一步的处理（如去掉敏感词、英文大小写转换、单复数处理）等。lucene中的Tokenstram方法首先创建一个tokenizer对象处理Reader对象中的流式文本，然后利用TokenFilter对输出流进行过滤处理";
17. Stringtext="TheLucenePMCispleasedtoannouncethereleaseoftheApacheSolrReferenceGuideforSolr4.4.";
19. //自定义停用词
20. String[]self_stop_words={"Lucene","release","Apache"};
21. CharArraySetcas=newCharArraySet(Version.LUCENE_44,0,true);
22. for(inti=0;i<self_stop_words.length;i++){
23. cas.add(self_stop_words[i]);
24. }
26. //加入系统默认停用词
27. Iterator<Object>itor=StandardAnalyzer.STOP_WORDS_SET.iterator();
28. while(itor.hasNext()){
29. cas.add(itor.next());
30. }
32. //标准分词器(Lucene内置的标准分析器,会将语汇单元转成小写形式，并去除停用词及标点符号)
33. StandardAnalyzersa=newStandardAnalyzer(Version.LUCENE_44,cas);
35. TokenStreamts=sa.tokenStream("field",text);
36. CharTermAttributech=ts.addAttribute(CharTermAttribute.class);
38. ts.reset();
39. while(ts.incrementToken()){
40. System.out.println(ch.toString());
41. }
42. ts.end();
43. ts.close();
44. }catch(Exceptionex){
45. ex.printStackTrace();
46. }
47. }
49. }

1. packagebond.lucene.analyzer;
3. importjava.util.Iterator;
5. importorg.apache.lucene.analysis.TokenStream;
6. importorg.apache.lucene.analysis.cjk.CJKAnalyzer;
7. importorg.apache.lucene.analysis.tokenattributes.CharTermAttribute;
8. importorg.apache.lucene.analysis.util.CharArraySet;
9. importorg.apache.lucene.util.Version;
11. publicclassCJKAnalyzerTest{
13. publicstaticvoidmain(String[]args){
14. try{
15. //要处理的文本
17. //"TheLucenePMCispleasedtoannouncethereleaseoftheApacheSolrReferenceGuideforSolr4.4.";
18. Stringtext="lucene分析器使用分词器和过滤器构成一个“管道”，文本在流经这个管道后成为可以进入索引的最小单位，因此，一个标准的分析器有两个部分组成，一个是分词器tokenizer,它用于将文本按照规则切分为一个个可以进入索引的最小单位。另外一个是TokenFilter，它主要作用是对切出来的词进行进一步的处理（如去掉敏感词、英文大小写转换、单复数处理）等。lucene中的Tokenstram方法首先创建一个tokenizer对象处理Reader对象中的流式文本，然后利用TokenFilter对输出流进行过滤处理";
20. //自定义停用词
21. String[]self_stop_words={"使用","一个","管道"};
22. CharArraySetcas=newCharArraySet(Version.LUCENE_44,0,true);
23. for(inti=0;i<self_stop_words.length;i++){
24. cas.add(self_stop_words[i]);
25. }
27. //加入系统默认停用词
28. Iterator<Object>itor=CJKAnalyzer.getDefaultStopSet().iterator();
29. while(itor.hasNext()){
30. cas.add(itor.next());
31. }
33. //CJK分词器(C:China;J:Japan;K:Korea;能对中，日，韩语言进行分析的分词器，对中文支持效果一般,基本不用于中文分词)
34. CJKAnalyzersa=newCJKAnalyzer(Version.LUCENE_44,cas);
36. TokenStreamts=sa.tokenStream("field",text);
37. CharTermAttributech=ts.addAttribute(CharTermAttribute.class);
39. ts.reset();
40. while(ts.incrementToken()){
41. System.out.println(ch.toString());
42. }
43. ts.end();
44. ts.close();
45. }catch(Exceptionex){
46. ex.printStackTrace();
47. }
48. }
50. }

1. packagebond.lucene.analyzer;
3. importjava.util.Iterator;
5. importorg.apache.lucene.analysis.TokenStream;
6. importorg.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
7. importorg.apache.lucene.analysis.tokenattributes.CharTermAttribute;
8. importorg.apache.lucene.analysis.util.CharArraySet;
9. importorg.apache.lucene.util.Version;
11. publicclassSmartChineseAnalyzerTest{
13. publicstaticvoidmain(String[]args){
14. try{
15. //要处理的文本
16. Stringtext="lucene分析器使用分词器和过滤器构成一个“管道”，文本在流经这个管道后成为可以进入索引的最小单位，因此，一个标准的分析器有两个部分组成，一个是分词器tokenizer,它用于将文本按照规则切分为一个个可以进入索引的最小单位。另外一个是TokenFilter，它主要作用是对切出来的词进行进一步的处理（如去掉敏感词、英文大小写转换、单复数处理）等。lucene中的Tokenstram方法首先创建一个tokenizer对象处理Reader对象中的流式文本，然后利用TokenFilter对输出流进行过滤处理";
18. //自定义停用词
19. String[]self_stop_words={"的","了","呢","，","0","：",",","是","流"};
20. CharArraySetcas=newCharArraySet(Version.LUCENE_44,0,true);
21. for(inti=0;i<self_stop_words.length;i++){
22. cas.add(self_stop_words[i]);
23. }
25. //加入系统默认停用词
26. Iterator<Object>itor=SmartChineseAnalyzer.getDefaultStopSet().iterator();
27. while(itor.hasNext()){
28. cas.add(itor.next());
29. }
31. //中英文混合分词器(其他几个分词器对中文的分析都不行)
32. SmartChineseAnalyzersca=newSmartChineseAnalyzer(Version.LUCENE_44,cas);
34. TokenStreamts=sca.tokenStream("field",text);
35. CharTermAttributech=ts.addAttribute(CharTermAttribute.class);
37. ts.reset();
38. while(ts.incrementToken()){
39. System.out.println(ch.toString());
40. }
41. ts.end();
42. ts.close();
43. }catch(Exceptionex){
44. ex.printStackTrace();
45. }
46. }
48. }