問讀nutch 1.2 解析html的插件 HtmlParser插件

分爲以下幾個部分：

 

1 解析成Dom 通過sax，

DocumentFragment root;

//把網頁內容content轉化byte
byte[] contentInOctets = content.getContent();

 

//SAX解析抽取外部信息
            InputSource input = new InputSource(new ByteArrayInputStream(
                    contentInOctets));

 

//設置編碼

input.setEncoding(encoding);

 

root = parse(input);

 

2 通過root解析出meta，title等。

 

3 //解析成功標記
        ParseStatus status = new ParseStatus(ParseStatus.SUCCESS);
        if (metaTags.getRefresh()) {
            status.setMinorCode(ParseStatus.SUCCESS_REDIRECT);
            status.setArgs(new String[] { metaTags.getRefreshHref().toString(),
                    Integer.toString(metaTags.getRefreshTime()) });
        }
        //解析ParseData
        ParseData parseData = new ParseData(status, title, outlinks, content
                .getMetadata(), metadata);
       
        ParseResult parseResult = ParseResult.createParseResult(content
                .getUrl(), new ParseImpl(text, parseData));

 

4 // 在解析時，運行過濾器
        ParseResult filteredParse = this.htmlParseFilters.filter(content,
                parseResult, metaTags, root);
        if (metaTags.getNoCache()) { // not okay to cache
            for (Map.Entry<org.apache.hadoop.io.Text, Parse> entry : filteredParse)
                entry.getValue().getData().getParseMeta().set(
                        Nutch.CACHING_FORBIDDEN_KEY, cachingPolicy);
        }