当前位置：Gxlcms > html代码 > HTMLParser使用详解（3）

HTMLParser使用详解（3）

时间：2021-07-01 10:21:17 帮助过：20人阅读

HTMLParser遍历了网页的内容以后，以树（森林）结构保存了结果。HTMLParser访问结果内容的方法有两种。使用Filter和使用Visitor。

（一）Filter类
顾名思义，Filter就是对于结果进行过滤，取得需要的内容。HTMLParser在org.htmlparser.filters包之内一共定义了16个不同的Filter，也可以分为几类。
判断类Filter：

  1. TagNameFilter
  2. HasAttributeFilter
  3. HasChildFilter
  4. HasParentFilter
  5. HasSiblingFilter
  6. IsEqualFilter

逻辑运算Filter：

  1. AndFilter
  2. NotFilter
  3. OrFilter
  4. XorFilter
  5. 其他Filter：
  6. NodeClassFilter
  7. StringFilter
  8. LinkStringFilter
  9. LinkRegexFilter
  10. RegexFilter
  11. CssSelectorNodeFilter

所有的Filter类都实现了org.htmlparser.NodeFilter接口。这个接口只有一个主要函数：

  1. boolean accept (Node node);

（二）判断类FilterHTMLParser使用入门（2）- Node内容，自己添加import部分）

  1. public static void main(String[] args) {
  2. try{
  3. Parser parser = new Parser( (HttpURLConnection) (new URL("http://127.0.0.1:8080/HTMLParserTester.html")).openConnection() );
  4. // 这里是控制测试的部分，后面的例子修改的就是这个地方。
  5. NodeFilter filter = new TagNameFilter ("DIV");
  6. NodeList nodes = parser.extractAllNodesThatMatch(filter); 
  7. if(nodes!=null) {
  8. for (int i = 0; i < nodes.size(); i++) {
  9. Node textnode = (Node) nodes.elementAt(i);
  10. message("getText:"+textnode.getText());
  11. message("=================================================");
  12. }
  13. } 
  14. }
  15. catch( Exception e ) { 
  16. e.printStackTrace();
  17. }
  18. }

输出结果：

  1. getText:div id="top_main"
  2. =================================================
  3. getText:div id="logoindex"
  4. =================================================

可以看出文件中两个Div节点都被取出了。下面可以针对这两个DIV节点进行操作

2.2 HasChildFilter
下面让我们看看HasChildFilter。刚刚看到这个Filter的时候，我想当然地认为这个Filter返回的是有Child的Tag。直接初始化了一个

  1. NodeFilter filter = new HasChildFilter();

修改代码：

  1. NodeFilter innerFilter = new TagNameFilter ("DIV");
  2. NodeFilter filter = new HasChildFilter(innerFilter);
  3. NodeList nodes = parser.extractAllNodesThatMatch(filter);

输出结果：

  1. getText:body 
  2. =================================================
  3. getText:div id="top_main"
  4. =================================================

可以看到，输出的是两个有DIV子Tag的Tag节点。（body有子节点DIV "top_main"，"top_main"有子节点"logoindex"。

注意HasChildFilter还有一个构造函数：

  1. public HasChildFilter (NodeFilter filter, boolean recursive)


如果recursive是false，则只对第一级子节点进行过滤。比如前面的例子，body和top_main都是在第一级的子节点里就有DIV节点，所以匹配上了。如果我们用下面的方法调用：

  1. NodeFilter filter = new HasChildFilter( innerFilter, true );


输出结果：

  1. getText:html xmlns="http://www.w3.org/1999/xhtml"
  2. =================================================
  3. getText:body 
  4. =================================================
  5. getText:div id="top_main"
  6. =================================================

可以看到输出结果中多了一个html xmlns="http://www.w3.org/1999/xhtml"，这个是整个HTML页面的节点（根节点），虽然这个节点下直接没有DIV节点，但是它的子节点body下面有DIV节点，所以它也被匹配上了。

2.3 HasAttributeFilter
HasAttributeFilter有3个构造函数：

  1. public HasAttributeFilter ();
  2. public HasAttributeFilter (String attribute);
  3. public HasAttributeFilter (String attribute, String value);

这个Filter可以匹配出包含制定名字的属性，或者制定属性为指定值的节点。还是用例子说明比较容易。

调用方法1:

  1. NodeFilter filter = new HasAttributeFilter();
  2. NodeList nodes = parser.extractAllNodesThatMatch(filter);

输出结果：

  1. 什么也没有
输出。



调用方法2:

  1. NodeFilter filter = new HasAttributeFilter( "id" );
  2. NodeList nodes = parser.extractAllNodesThatMatch(filter);

输出结果：

  1. getText:div id="top_main"
  2. =================================================
  3. getText:div id="logoindex"
  4. =================================================

调用方法3:

  1. NodeFilter filter = new HasAttributeFilter( "id", "logoindex" );
  2. NodeList nodes = parser.extractAllNodesThatMatch(filter);

输出结果：

  1. getText:div id="logoindex"
  2. =================================================

很简单吧。呵呵

2.4 其他判断列Filter
HasParentFilter和HasSiblingFilter的功能与HasChildFilter类似，大家自己试一下就应该了解了。

IsEqualFilter的构造函数参数是一个Node：

  1. public IsEqualFilter (Node node) {
  2. mNode = node;
  3. }
  4. accept函数也很简单：
  5. public boolean accept (Node node) {
  6. return (mNode == node);
  7. }

不需要过多说明了。

（三）逻辑运算Filter（四）其他Filter：HTMLParser使用入门（2）- Node内容 中我们已经了解了Node的不同类型，这个Filter就可以针对类型进行过滤。
测试代码：

  1. NodeFilter filter = new NodeClassFilter(RemarkNode.class);
  2. NodeList nodes = parser.extractAllNodesThatMatch(filter);

输出结果：

  1. getText:这是注释
  2. =================================================
  3. 可以看到只有RemarkNode（注释）被
输出了。

4.2 StringFilter
这个Filter用于过滤显示字符串中包含制定内容的Tag。注意是可显示的字符串，不可显示的字符串中的内容（例如注释，链接等等）不会被显示。
修改一下例子代码：

  1. <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
  2. <head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>白泽居-title-www.baizeju.com</title></head>
  3. <html xmlns="http://www.w3.org/1999/xhtml">
  4. <body >
  5. <div id="top_main">
  6. <div id="logoindex">
  7. <!--这是注释 白泽居-www.baizeju.com -->
  8. 白泽居-字符串1-www.baizeju.com
  9. <a href="http://www.baizeju.com">白泽居-链接文本-www.baizeju.com</a>
  10. </div>
  11. 白泽居-字符串2-www.baizeju.com
  12. </div>
  13. </body>
  14. </html>

测试代码：

  1. NodeFilter filter = new StringFilter("www.baizeju.com");
  2. NodeList nodes = parser.extractAllNodesThatMatch(filter);

输出结果：

  1. getText:白泽居-title-www.baizeju.com
  2. =================================================
  3. getText:
  4. 白泽居-字符串1-www.baizeju.com
  5. =================================================
  6. getText:白泽居-链接文本-www.baizeju.com
  7. =================================================
  8. getText:
  9. 白泽居-字符串2-www.baizeju.com
  10. =================================================

可以看到包含title，两个内容字符串和链接的文本字符串的Tag都被输出了，但是注释和链接Tag本身没有输出。

4.3 LinkStringFilter
这个Filter用于判断链接中是否包含某个特定的字符串，可以用来过滤出指向某个特定网站的链接。
测试代码：

  1. NodeFilter filter = new LinkStringFilter("www.baizeju.com");
  2. NodeList nodes = parser.extractAllNodesThatMatch(filter);

输出结果：

  1. getText:a href="http://www.baizeju.com"
  2. =================================================

4.4 其他几个Filter
其他几个Filter也是根据字符串对不同的域进行判断，与前面这些的区别主要就是支持正则表达式。这个不在本文的讨论范围以内，大家可以自己实验一下。

前面介绍的都是简单的Filter，只能针对某种单一类型的条件进行过滤。HTMLParser支持对于简单类型的Filter进行组合，从而实现复杂的条件。原理和一般编程语言的逻辑运算是一样的。
3.1 AndFilter
AndFilter可以把两种Filter进行组合，只有同时满足条件的Node才会被过滤。
测试代码：

  1. NodeFilter filterID = new HasAttributeFilter( "id" );
  2. NodeFilter filterChild = new HasChildFilter(filterA);
  3. NodeFilter filter = new AndFilter(filterID, filterChild);

输出结果：

  1. getText:div id="logoindex"
  2. =================================================

3.2 OrFilter
把前面的AndFilter换成OrFilter
测试代码：

  1. NodeFilter filterID = new HasAttributeFilter( "id" );
  2. NodeFilter filterChild = new HasChildFilter(filterA);
  3. NodeFilter filter = new OrFilter(filterID, filterChild);

输出结果：

  1. getText:div id="top_main"
  2. =================================================
  3. getText:div id="logoindex"
  4. =================================================

3.3 NotFilter
把前面的AndFilter换成NotFilter
测试代码：

  1. NodeFilter filterID = new HasAttributeFilter( "id" );
  2. NodeFilter filterChild = new HasChildFilter(filterA);
  3. NodeFilter filter = new NotFilter(new OrFilter(filterID, filterChild));

输出结果：

  1. getText:!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"
  2. =================================================
  3. getText:
  4. =================================================
  5. getText:head
  6. =================================================
  7. getText:meta http-equiv="Content-Type" content="text/html; charset=gb2312"
  8. =================================================
  9. getText:title
  10. =================================================
  11. getText:白泽居-www.baizeju.com
  12. =================================================
  13. getText:/title
  14. =================================================
  15. getText:/head
  16. =================================================
  17. getText:
  18. =================================================
  19. getText:html xmlns="http://www.w3.org/1999/xhtml"
  20. =================================================
  21. getText:
  22. =================================================
  23. getText:body 
  24. =================================================
  25. getText:
  26. =================================================
  27. getText:
  28. =================================================
  29. getText:
  30. =================================================
  31. getText:这是注释
  32. =================================================
  33. getText:
  34. 白泽居-www.baizeju.com
  35. =================================================
  36. getText:a href="http://www.baizeju.com"
  37. =================================================
  38. getText:白泽居-www.baizeju.com
  39. =================================================
  40. getText:/a
  41. =================================================
  42. getText:
  43. =================================================
  44. getText:/div
  45. =================================================
  46. getText:
  47. 白泽居-www.baizeju.com
  48. =================================================
  49. getText:/div
  50. =================================================
  51. getText:
  52. =================================================
  53. getText:/body
  54. =================================================
  55. getText:
  56. =================================================
  57. getText:/html
  58. =================================================
  59. getText:
  60. =================================================

除了前面3.2中输出的几个Tag，其余的Tag都在这里了。

3.4 XorFilter
把前面的AndFilter换成NotFilter
测试代码：

  1. NodeFilter filterID = new HasAttributeFilter( "id" );
  2. NodeFilter filterChild = new HasChildFilter(filterA);
  3. NodeFilter filter = new XorFilter(filterID, filterChild);

输出结果：

  1. getText:div id="top_main"
  2. =================================================

4.1 NodeClassFilter
这个Filter用于判断节点类型是否是某个特定的Node类型。在
2.1 TagNameFilter
TabNameFilter是最容易理解的一个Filter，根据Tag的名字进行过滤。

下面是用于测试的HTML文件：

  1. <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
  2. <head><meta http-equiv="Content-Type" content="text/html; charset=gb2312"><title>白泽居-www.baizeju.com</title>< /head>
  3. <html xmlns="http://www.w3.org/1999/xhtml">
  4. <body >
  5. <div id="top_main">
  6. <div id="logoindex">
  7. <!--这是注释-->
  8. 白泽居-www.baizeju.com
  9. <a href="http://www.baizeju.com">白泽居-www.baizeju.com</a>
  10. </div>
  11. 白泽居-www.baizeju.com
  12. </div>
  13. </body>
  14. </html>

以上就是HTMLParser使用详解（3）的内容，更多相关内容请关注PHP中文网（www.gxlcms.com）！

人气教程排行

本站所有资源全部来源于网络，若本站发布的内容侵害到您的隐私或者利益，请联系我们删除！