利用curl和正则表达式做的一个针对磨铁中文网非vip章节的小说抓取器，支持输入小说ID下载小说。
依赖项：curl
可以简单的看下，里面用到了curl ,正则表达式，ajax等技术，适合新手看看。在本地测试，必须保证联网并且确保php开启curl的mode.
- session_start();
- //封装成类 开启这些自动抓取文章
- #header("Refresh:30;http://www.test.com:8080");
- class SpiderTools{
- //////////////////////////////////////////////////////////////////////////////////////////////////////////
- /*传入文章ID 解析出文章标题*/
- //////////////////////////////////////////////////////////////////////////////////////////////////////////
- public function getBookNameById($aid){
- //初始化curl
- $ch= curl_init();
- //url
- $url='http://www.motie.com/book/'.$aid;
- if(is_numeric($aid)){
- //正则表达式匹配
- $ru="/\s*(.*)\s*<\/a>\s*<\/h1>/";
- }
- else{
- //丧尸爆发之全家求生路_第一章 丧尸爆发 为吾友爱乐儿更新~_磨铁
- $ru="/(.*)<\/title>/";<li> }<li> //设置选项，包括URL<li> curl_setopt($ch, CURLOPT_URL, $url);<li> curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动</pre>输出内容<li> curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息<li> curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); <li> //执行curl<li> $output = curl_exec($ch);<li> //错误提示<li> if(curl_exec($ch) === false){<li> die(curl_error($ch));<li> }<li> // 检查是否有错误发生<li> if(curl_errno($ch)){<li> echo 'Curl error: ' . curl_error($ch);<li> }<li> //释放curl句柄<li> curl_close($ch);<li> $arr=array();<li> preg_match_all($ru,$output,$arr);<li> return $arr[1][0];<li> }<li> ////////////////////////////////////////////////////////////////////////////////////////////////////////// <li> /*传入文章ID 解析文章内容*/<li> //////////////////////////////////////////////////////////////////////////////////////////////////////////<li> public function getBookContextById($aid){<li> //开始解析文章<li> $ids=array();<li> $ids=explode("_",$aid);<li> $titleId=trim($ids[0]);<li> $aticleId=trim($ids[1]);<li> $ch= curl_init();<li> $ru="/[\s\S]*<pre ondragstart=\"return false\" oncopy=\"return false;\" oncut=\"return false;\" oncontextmenu=\"return false\" class=\"note\" id=\"html_content_\d*\">[\s\S]*(.*)<img src=\"\/ajax\/chapter\/$titleId\/$aticleId\" class=\"hidden\" \/><\/pre>/ui"; <li> $url='http://www.motie.com/book/'.$aid;<li> //正则表达式匹配<li><li> //设置选项，包括URL<li> curl_setopt($ch, CURLOPT_URL, $url);<li> curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动</pre>输出内容<li> curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息<li> curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); <li> //执行curl<li> $output = curl_exec($ch);<li> //错误提示<li> if(curl_exec($ch) === false){<li> die(curl_error($ch));<li> }<li> // 检查是否有错误发生<li> if(curl_errno($ch)){<li> echo 'Curl error: ' . curl_error($ch);<li> }<li> $arr=array();<li> $arr2=array();<li> preg_match_all($ru,$output,$arr);<li> curl_close($ch);<li> #var_dump($arr);<li> $s=$arr[0][0];<li> $s=substr($s,180);<li> $arr2=explode("<img",$s);<li> return trim($arr2[0]);<li> }<li><li> ////////////////////////////////////////////////////////////////////////////////////////////////////////// <li> /*静态方法 @生成小说文件 可以直接调用 */<li> //////////////////////////////////////////////////////////////////////////////////////////////////////////<li> public static function createBookById($id){<li> <li> if(!is_numeric($id)){<li><li> echo "<br/>INIT BEGIN START WRITE!";<li> $st=new self();<li> $cons=$st->getBookContextById($id);<li> $title=$st->getBookNameById($id);<li> $cons=trim($cons);<li> $t=explode(" ",$title);<li> //构造目录<li> $dir=array();<li> $dir=explode("_",$t[0]);<li> $wzdir=$dir[0]; //书名称 作为目录名称<li> $wzchapter=$dir[1]; //第几章<li> //创建目录<li> $wzdir2=iconv("UTF-8", "GBK", $wzdir);//目录编码 注意这里保留对$wzdir字符串的引用，用来构造文件名，不能用此处，防止二次编码<li> if(!file_exists($wzdir2)){<li> mkdir($wzdir2); //创建目录<li> }<li> //构造文件名<li> $wztitle="./".$wzdir."/"."$t[0]".".txt";<li> //保证保存的文件名称不是乱码<li> $wztitle=iconv("UTF-8", "GBK", $wztitle);<li> $f=fopen($wztitle,"w+");<li> fwrite($f,$cons);<li> echo "<font color='green'>$wzdir </font>".$wzchapter."<font color='red'>写入成功</font>";<li> fclose($f); <li> <li> } <li> else{<li> $ids=self::getBookIdsById($id); <li> <li> //这里服务器可能会掉线，所以最好用session记录循环<li> #for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"]++,$i++){<li> <li> #self::createBookById($id."_".$ids[$_SESSION["$id"."_fid"]++]);//构造id<li> #}<li> <li> for($i=$_SESSION["$id"."_fid"];$i<=count($ids);$_SESSION["$id"."_fid"]++,$i++){<li> <li> self::createBookById($id."_".$ids[$i]);//构造id<li> }<li> <li> #echo "<hr/><hr/><br/><h2>写入工作全部完成</h2>";<li> #echo $id."_".$ids[0]."<br/>"; <li> #var_dump($ids);<li> <li> }<li><li> }<li> /*<li> 获取小说的所有ID<li> @param $id 文章ID<li> @return array;<li> */<li> public static function getBookIdsById($aid){ <li> $ch= curl_init();<li> $url='http://www.motie.com/book/'.$aid."/chapter";<li> //注意这里的?可以获取最少匹配项<li> $ru='/[\s\S]*?<li class=\"\" createdate=\"\d{4}\-\d{2}\-\d{2} \d{2}:\d{2}:\d{2}\">[\s\S]*?.*?<\/a>.*?/u';//正则表达式匹配<li> //设置选项，包括URL<li> curl_setopt($ch, CURLOPT_URL, $url);<li> curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//不自动</pre>输出内容<li> curl_setopt($ch, CURLOPT_HEADER, 0);//不返回头部信息<li> curl_setopt($ch, CURLOPT_CONNECTTIMEOUT_MS, 0); <li> //执行curl<li> $output = curl_exec($ch);<li> // 检查是否有错误发生<li> if(curl_errno($ch)){<li> echo 'Curl error: ' . curl_error($ch);<li> }<li> //释放curl句柄<li> curl_close($ch);<li> $arr=array();<li> preg_match_all($ru,$output,$arr,PREG_PATTERN_ORDER);<li> return $arr[1];<li> }<li> }<li><li><li> <li> <li> <li> <li> <li> <li>?></ol><em onclick="copycode($('code_Sfk'));"></em>
<ol><li><?php<li> session_start();<li>require_once("SpiderTools.class.php");<li>if($_REQUEST["bid"]){<li>if(is_numeric($_REQUEST["bid"])){<li> SpiderTools::createBookById(trim($_REQUEST["bid"]));<li> }<li> else{<li> echo "<br/>请输入正确的文章ID<br/>";<li> }<li>}<li>?><li></ol><em onclick="copycode($('code_Zt6'));"></em>
<ol><li><html><li><head><meta charset="utf-8"/></head><li><title>下载小说啦
输入磨铁中文网你想看到的小说ID号就可以下载小说啦
|
