我有一大堆大学网页（文档），我的目标是使用维基百科的术语词典在给定的文档中查找这些术语。最后，我应该计算每个维基百科术语的文档频率。（不要求每个文件的期限频率）

维基百科（多词）词典条目如下-

<t id="34780065">Years of the 20th century in Mauritania</t>
<t id="34780066">1960 International Gold Cup</t>
<t id="34780067">Roman Lob songs</t>

我正在尝试使用Lucene来实现这一点。

方法1:使用ShingleAnalyzer对文档中的n元语法标记进行索引。n-grams，因为字典包含多词术语。然后遍历每个字典术语，从索引中找到它们的文档频率。

方法2：使用此处建议的技术，实现一个分析器，用于查找维基百科词典以进行索引。然后使用此分析器为文档中的令牌流编制索引。

问题：这两种方法中哪一种更有效？如果我采用第二种方法，如何实现此自定义Analyzer。我没有找到任何好的资源来帮助解释这样的实现。