快精灵印艺坊 您身边的文印专家
广州名片 深圳名片 会员卡 贵宾卡 印刷 设计教程
产品展示 在线订购 会员中心 产品模板 设计指南 在线编辑
 首页 名片设计   CorelDRAW   Illustrator   AuotoCAD   Painter   其他软件   Photoshop   Fireworks   Flash  

 » 彩色名片
 » PVC卡
 » 彩色磁性卡
 » 彩页/画册
 » 个性印务
 » 彩色不干胶
 » 明信片
   » 明信片
   » 彩色书签
   » 门挂
 » 其他产品与服务
   » 创业锦囊
   » 办公用品
     » 信封、信纸
     » 便签纸、斜面纸砖
     » 无碳复印纸
   » 海报
   » 大篇幅印刷
     » KT板
     » 海报
     » 横幅

使用LUCENE进行全文检索(二)-得到有效的内容

在使用lucene对相关内容进行索引时,会碰到各种格式的内容,例如Html,PDF,Word等等,那么我们如何从这么文档中得到我们需要的内容哪?例如Html的内容,一般我们不需要对Html标签建立索引,因为那不是我们需要搜索的内容.这个时候,我们就需要从Html内容中解析出我们所需要的内容.对于PDF,Word文档,也是类似的要求.

总之,我们只需要从内容中提取出我们需要的文本来建立索引,这样用户就能搜索到需要的内容,然后访问对应的资源即可.
Lucene本身带的例子中有一个解析Html的代码,不过不是纯JAVA的,所以在网上我又找到了另外一个Html解析器,网址如下:http://htmlparser.sourceforge.net.

对PDF解析的相关项目有很多,例如PDFBox.在PDFBox里面提出pdf的文本内容只需要一句话即可:

Document doc = LucenePDFDocument.getDocument( file );


当然假如需要更高级的设置,就要使用PDFBox中PDFTextStripper等类来实现更高级的操作了.


对Word文档解析的相关有POI,网址是 http://jakarta.apache.org/poi/.

HtmlParser本身提供的功能很强盛,我们下面主要来关注我们需要的功能.首先给出几个函数如下:

/**
* 解析一个Html页面,返回一个Html页面类.
*
* @param resource 文件路径或者网址
*/
public static SearchHtmlPage parseHtmlPage(String resource)
{
String title = "";
String body = "";
try
{
Parser myParser = new Parser(resource);

//设置编码:根据实际情况修改
myParser.setEncoding("GBK");

HtmlPage visitor = new HtmlPage(myParser);

myParser.visitAllNodesWith(visitor);

title = visitor.getTitle();

body = combineNodeText(visitor.getBody().toNodeArray());
}
catch (ParserException e)
{
LogMan.error("Parse Html Page " + resource + " Error!");
}

SearchHtmlPage result = new SearchHtmlPage(title, body);

return result;
}

/**
* 解析Html内容,得到普通文本和链接的内容.
*
* @param content 要解析的内容
* @return 返回解析后的内容
*/
public static String parseHtmlContent(String content)
{
Parser myParser;
NodeList nodeList = null;

myParser = Parser.createParser(content, "GBK");

NodeFilter textFilter = new NodeClassFilter(TextNode.class);
NodeFilter linkFilter = new NodeClassFilter(LinkTag.class);

//暂时不处理 meta
//NodeFilter metaFilter = new NodeClassFilter(MetaTag.class);

OrFilter lastFilter = new OrFilter();
lastFilter.setPredicates(new NodeFilter[] { textFilter, linkFilter });

try
{
nodeList = myParser.parse(lastFilter);
}
catch (ParserException e)
{
LogMan.warn("Parse Content Error", e);
}

//中场退出了
if (null == nodeList)
{
return "";
}

Node[] nodes = nodeList.toNodeArray();

String result = combineNodeText(nodes);
return result;
}

//合并节点的有效内容
private static String combineNodeText(Node[] nodes)
{
StringBuffer result = new StringBuffer();

for (int i = 0; i < nodes.length; i++)
{
Node anode = (Node) nodes[i];

String line = "";
if (anode instanceof TextNode)
{
TextNode textnode = (TextNode) anode;
//line = textnode.toPlainTextString().trim();
line = textnode.getText();
}
else if (anode instanceof LinkTag)
{
LinkTag linknode = (LinkTag) anode;

line = linknode.getLink();
//过滤jsp标签
line = StringFunc.replace(line, "<%.*%>", "");
}

if (StringFunc.isTrimEmpty(line)) continue;

result.append(" ").append(line);
}

return result.toString();
}



其中SearchHtmlPage类是表示一个Html页面的模型,包含标题和内容,代码如下:

package com.jscud.www.support.search;

/**
* 搜索时解析Html后返回的页面模型.
*
* @author scud(飞云小侠) http://www.jscud.com
*
*/
public class SearchHtmlPage
{
/**标题*/
private String title;

/**内容*/
private String body;

public SearchHtmlPage(String title, String body)
{
this.title = title;
this.body = body;
}

public String getBody()
{
return body;
}

public void setBody(String body)
{
this.body = body;
}

public String getTitle()
{
return title;
}

public void setTitle(String title)
{
this.title = title;
}
}




当然,使用HtmlParser解析Html资源还有很多其他的方式,可以设置很多的条件来满意用户的解析要求,用户可以阅读其他的文章或者HtmlParser的文档来了解,在此不多介绍.
返回类别: 教程
上一教程: JSP源码实例3(获取JSP各种参数)
下一教程: 基于EJB技术的商务预订系统的开发

您可以阅读与"使用LUCENE进行全文检索(二)-得到有效的内容"相关的教程:
· 使用LUCENE进行全文检索(三)-进行搜索
· 使用LUCENE进行全文检索(一)-处理索引
· 在应用中加入全文检索功能??基于Java的全文索引引擎Lucene简介
· JSP中实现全文检索
· 开发实例:JSP中实现全文检索
    微笑服务 优质保证 索取样品