一个php文本采集类

2. $C = new Collection();
3. $C->url = 'http://bbs.it-home.org/subject_search?cat=1001&search_text=%E5%B9%B4%E8%BD%BB%E4%BA%BA';
4. $C->startFlag = '
   ';
5. $C->endFlag = '';
6. $C->init();
7. $C->regExp = "|(.*)

   (.*)

   |Uis";
8. $C->parse();
9. print_rr($C->result);
10. */

php文本采集类文件：

3. <%

4. /**
5. 模块名：php文本采集类
6. **/
7. class Collection{
8. //入口 公有
9. var $url; //欲分析的url地址
10. var $content; //读取到的内容
11. var $regExp; //要获取部分的正则表达式
12. var $codeFrom; //原文的编码
13. var $codeTo; //欲转换的编码
14. var $timeout; //采集等待的时间

15. var $startFlag; //文章开始采集的标志 默认为0 在进行采集条目时，只对$startFlag 和 $endFlag之间的文字块进行搜索和采集。

16. var $endFlag; //文章结束采集的标志 默认为文章末尾 在进行采集条目时，只对$startFlag 和 $endFlag之间的文字块进行搜索和采集。
17. var $block; //$startFlag 和 $endFlag之间的文字块
18. //出口 私有
19. var $result; //输出结果

20. //初始化收集器

21. function init(){
22. if(empty($url))
23. $this->getFile();
24. $this->convertEncoding();
25. }
26. //采集所需内容
27. function parse(){
28. $this->getBlock();
29. preg_match_all($this->regExp, $this->block ,$this->result,PREG_SET_ORDER);
30. return $this->block;
31. }
32. //错误处理
33. function error($msg){
34. echo $msg;
35. }
36. //读取远程网页 如果成功，传回文件；如果失败传回false
37. function getFile(){
38. $datalines = @file($this->url);
39. if(!$datalines){
40. $this->error("can't read the url:".$this->url);
41. return false;
42. } else {
43. $importdata = implode('', $datalines);
44. $importdata = str_replace(array ("\r\n", "\r"), "\n", $importdata);
45. $this->content = $importdata;
46. }
47. }
48. //获取所需要的文字块
49. function getBlock(){
50. if(!empty($this->startFlag))
51. $this->block = substr($this->content,strpos($this->content,$this->startFlag));
52. if(!empty($this->endFlag))
53. $this->block = substr($this->block,0,strpos($this->block,$this->endFlag));
54. }
55. //内容编码的转换
56. function convertEncoding(){
57. if(!empty($this->codeTo))
58. $this->codeFrom = mb_detect_encoding($this->content);
59. //如果给定转换方案，才执行转换。
60. if(!empty($this->codeTo))
61. $this->content = mb_convert_encoding($this->content,$this->codeTo,$this->codeFrom) or $this->error("can't convert Encoding");
62. }
63. }//end of class
64. ?>