当前位置:Gxlcms > PHP教程 > php爬虫抓取信息及反爬虫相干

php爬虫抓取信息及反爬虫相干

时间:2021-07-01 10:21:17 帮助过:24人阅读

php爬虫抓取信息及反爬虫相关
58爬虫了百姓,赶集和58互爬,最后各种信息相同,都是爬虫后的数据库调用,潜规则啊,几家独大还暗中各种攻击,赶驴网的幽默事例我不想多评价。这个时代是砸.钱*养.钱的时代,各种姚晨杨幂葛优,各种地铁公车广告,各种卫视广告,铺天盖地~~~
来谈php爬虫抓取信息~~

php爬虫首推Curl函数了,先来认识下它。
0x01.curl扩展的安装:
1.确保php子文件夹ext里面有php_curl.dll(一般都有的,一般配置时候会设置环境变量的)
2.将php.ini里面的;extension=php_curl.dll反注释为extension=php_curl.dll
3.重启apache完了。
4.如果还不行,把php5/libeay32.dll,ssleay32.dll复制到系统目录windows/下,这2个dll的描述是OpenSSL Shared Library。

否则会出现
Fatal error: Call to undefined function curl_init() in XX:\XX\XX\XX.php on line 3?
这样未定义,找不到库的错误,大家懂的。

0x02.先来熟悉下curl再去采集抓取,信息时代,大爆炸,爬虫个信息不是难事。顺便测试登陆,COOKIE。

PHP中的CURL函数库(Client URL Library Function)是个强大的库。

curl_close — 关闭一个curl会话
curl_copy_handle — 拷贝一个curl连接资源的所有内容和参数
curl_errno — 返回一个包含当前会话错误信息的数字编号
curl_error — 返回一个包含当前会话错误信息的字符串
curl_exec — 执行一个curl会话
curl_getinfo — 获取一个curl连接资源句柄的信息
curl_init — 初始化一个curl会话
curl_multi_add_handle — 向curl批处理会话中添加单独的curl句柄资源
curl_multi_close — 关闭一个批处理句柄资源
curl_multi_exec — 解析一个curl批处理句柄
curl_multi_getcontent — 返回获取的输出的文本流
curl_multi_info_read — 获取当前解析的curl的相关传输信息
curl_multi_init — 初始化一个curl批处理句柄资源
curl_multi_remove_handle — 移除curl批处理句柄资源中的某个句柄资源
curl_multi_select — Get all the sockets associated with the cURL extension, which can then be "selected"
curl_setopt_array — 以数组的形式为一个curl设置会话参数
curl_setopt — 为一个curl设置会话参数
curl_version — 获取curl相关的版本信息

curl_init()函数的作用初始化一个curl会话,curl_init()函数唯一的一个参数是可选的,表示一个url地址。
curl_exec()函数的作用是执行一个curl会话,唯一的参数是curl_init()函数返回的句柄。
curl_close()函数的作用是关闭一个curl会话,唯一的参数是curl_init()函数返回的句柄。

简单实例:
$url = "http://yxmhero1989.blog.163.com/";//不建议爬大型网站,一般都有反爬虫机制,被封了IP别怪我~~
$ch = curl_init($url);//初始curl会话
$fp = fopen("homepage.txt", "w");//这里是把抓取的网页内容写入一个txt文件,下面会告诉你操作数据库。
curl_setopt($ch, CURLOPT_FILE, $fp);//为一个curl设置会话参数
curl_setopt($ch, CURLOPT_HEADER, 0);//设置header
curl_exec($ch);//执行curl会话
curl_close($ch);//关闭curl会话
fclose($fp);
?>

0x03.关于CURL_SETOPT()函数的设置

bool curl_setopt (int ch, string option, mixed value)

curl_setopt()函数将为一个CURL会话设置选项。option参数是你想要的设置,value是这个选项给定的值。

下列选项的值将被作为长整形使用(在option参数中指定):

* CURLOPT_INFILESIZE: 当你上传一个文件到远程站点,这个选项告诉PHP你上传文件的大小。
* CURLOPT_VERBOSE: 如果你想CURL报告每一件意外的事情,设置这个选项为一个非零值。
* CURLOPT_HEADER: 如果你想把一个头包含在输出中,设置这个选项为一个非零值。
* CURLOPT_NOPROGRESS: 如果你不会PHP为CURL传输显示一个进程条,设置这个选项为一个非零值。注意:PHP自动设置这个选项为非零值,你应该仅仅为了调试的目的来改变这个选项。
* CURLOPT_NOBODY: 如果你不想在输出中包含body部分,设置这个选项为一个非零值。
* CURLOPT_FAILONERROR: 如果你想让PHP在发生错误(HTTP代码返回大于等于300)时,不显示,设置这个选项为一人非零值。默认行为是返回一个正常页,忽略代码。
* CURLOPT_UPLOAD: 如果你想让PHP为上传做准备,设置这个选项为一个非零值。
* CURLOPT_POST: 如果你想PHP去做一个正规的HTTP POST,设置这个选项为一个非零值。这个POST是普通的 application/x-www-from-urlencoded 类型,多数被HTML表单使用。
* CURLOPT_FTPLISTONLY: 设置这个选项为非零值,PHP将列出FTP的目录名列表。
* CURLOPT_FTPAPPEND: 设置这个选项为一个非零值,PHP将应用远程文件代替覆盖它。
* CURLOPT_NETRC: 设置这个选项为一个非零值,PHP将在你的 ~./netrc 文件中查找你要建立连接的远程站点的用户名及密码。
* CURLOPT_FOLLOWLOCATION: 设置这个选项为一个非零值(象 “Location: “)的头,服务器会把它当做HTTP头的一部分发送(注意这是递归的,PHP将发送形如 “Location: “的头)。
* CURLOPT_PUT: 设置这个选项为一个非零值去用HTTP上传一个文件。要上传这个文件必须设置CURLOPT_INFILE和CURLOPT_INFILESIZE选项.
* CURLOPT_MUTE: 设置这个选项为一个非零值,PHP对于CURL函数将完全沉默。
* CURLOPT_TIMEOUT: 设置一个长整形数,作为最大延续多少秒。
* CURLOPT_LOW_SPEED_LIMIT: 设置一个长整形数,控制传送多少字节。
* CURLOPT_LOW_SPEED_TIME: 设置一个长整形数,控制多少秒传送CURLOPT_LOW_SPEED_LIMIT规定的字节数。
* CURLOPT_RESUME_FROM: 传递一个包含字节偏移地址的长整形参数,(你想转移到的开始表单)。
* CURLOPT_SSLVERSION: 传递一个包含SSL版本的长参数。默认PHP将被它自己努力的确定,在更多的安全中你必须手工设置。
* CURLOPT_TIMECONDITION: 传递一个长参数,指定怎么处理CURLOPT_TIMEVALUE参数。你可以设置这个参数为TIMECOND_IFMODSINCE 或 TIMECOND_ISUNMODSINCE。这仅用于HTTP。
* CURLOPT_TIMEVALUE: 传递一个从1970-1-1开始到现在的秒数。这个时间将被CURLOPT_TIMEVALUE选项作为指定值使用,或被默认TIMECOND_IFMODSINCE使用。

下列选项的值将被作为字符串:

* CURLOPT_URL: 这是你想用PHP取回的URL地址。你也可以在用curl_init()函数初始化时设置这个选项。
* CURLOPT_USERPWD: 传递一个形如[username]:[password]风格的字符串,作用PHP去连接。
* CURLOPT_PROXYUSERPWD: 传递一个形如[username]:[password] 格式的字符串去连接HTTP代理。
* CURLOPT_RANGE: 传递一个你想指定的范围。它应该是”X-Y”格式,X或Y是被除外的。HTTP传送同样支持几个间隔,用逗句来分隔(X-Y,N-M)。
* CURLOPT_POSTFIELDS: 传递一个作为HTTP “POST”操作的所有数据的字符串。
* CURLOPT_REFERER: 在HTTP请求中包含一个”referer”头的字符串。
* CURLOPT_USERAGENT: 在HTTP请求中包含一个”user-agent”头的字符串。
* CURLOPT_FTPPORT: 传递一个包含被ftp “POST”指令使用的IP地址。这个POST指令告诉远程服务器去连接我们指定的IP地址。这个字符串可以是一个IP地址,一个主机名,一个网络界面名 (在UNIX下),或是‘-’(使用系统默认IP地址)。
* CURLOPT_COOKIE: 传递一个包含HTTP cookie的头连接。
* CURLOPT_SSLCERT: 传递一个包含PEM格式证书的字符串。
* CURLOPT_SSLCERTPASSWD: 传递一个包含使用CURLOPT_SSLCERT证书必需的密码。
* CURLOPT_COOKIEFILE: 传递一个包含cookie数据的文件的名字的字符串。这个cookie文件可以是Netscape格式,或是堆存在文件中的HTTP风格的头。
* CURLOPT_CUSTOMREQUEST: 当进行HTTP请求时,传递一个字符被GET或HEAD使用。为进行DELETE或其它操作是有益的,更Pass a string to be used instead of GET or HEAD when doing an HTTP request. This is useful for doing or another, more obscure, HTTP request. 注意: 在确认你的服务器支持命令先不要去这样做。下列的选项要求一个文件描述(通过使用fopen()函数获得):
* CURLOPT_FILE: 这个文件将是你放置传送的输出文件,默认是STDOUT.
* CURLOPT_INFILE: 这个文件是你传送过来的输入文件。
* CURLOPT_WRITEHEADER: 这个文件写有你输出的头部分。
* CURLOPT_STDERR: 这个文件写有错误而不是stderr。用来获取需要登录的页面的例子,当前做法是每次或许都登录一次,有需要的人再做改进了.

PHP实现最简单爬虫原型(话说原作者的正则注释反了,出现错误哈哈)


代码如下



function _getUrlContent($url){
$handle = fopen($url, "r");
if($handle){
$content = stream_get_contents($handle,1024*1024);
return $content;
}else{
return false;
}
}

function _filterUrl($web_content){
$reg_tag_a = "/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\ ]*).*?>/";
//$result = preg_match_all($reg_tag_a,$web_content,$match_result);
$result = preg_match_all("/]*?name=[\'\"]?description[\'\"]?[^>]*?>/is",$web_content,$match_result);
if($result){
return $match_result[1];
}
}


function _reviseUrl($base_url,$url_list){
$url_info = parse_url($base_url);
$base_url = $url_info["scheme"].'://';
if($url_info["user"]&&$url_info["pass"]){
$base_url .= $url_info["user"].":".$url_info["pass"]."@";
}
$base_url .= $url_info["host"];
if($url_info["port"]){
$base_url .= ":".$url_info["port"];
}
$base_url .= $url_info["path"];
print_r($base_url);
if(is_array($url_list)){
foreach ($url_list as $url_item) {
if(preg_match('/^http/',$url_item)){
//已经是完整的url
$result[] = $url_item;
}else {
//不完整的url
$real_url = $base_url.'/'.$url_item;
$result[] = $real_url;
}
}
return $result;
}else {
return;
}
}

function crawler($url){
$content = _getUrlContent($url);
if($content){
$url_list = _reviseUrl($url,_filterUrl($content));
if($url_list){
return $url_list;
}else {
return ;
}
}else{
return ;
}
}

function main(){
$current_url = "http://hao123.com/";//初始url
$fp_puts = fopen("url.txt","ab");//记录url列表
$fp_gets = fopen("url.txt","r");//保存url列表
do{
$result_url_arr = crawler($current_url);
if($result_url_arr){
foreach ($result_url_arr as $url) {
fputs($fp_puts,$url."/r/n");
}
}
}while ($current_url = fgets($fp_gets,1024));//不断获得url

}
main();
?>





代码如下

  1. class CurlComponent{
  2. var $headers;
  3. var $user_agent;
  4. var $compression;
  5. var $cookie_file;
  6. var $proxy;
  7. functionset_value($cookies=TRUE,$cookie='cookies.txt',$compression='gzip',$proxy='') {
  8. $this->headers[] = "Accept: image/gif, image/x-bitmap, image/jpeg, image/pjpeg";
  9. $this->headers[] = "Connection: Keep-Alive";
  10. $this->headers[] = "Content-type: application/x-www-form-urlencoded";
  11. $this->user_agent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.0.3705; .NET CLR 1.1.4322; Media Center PC 4.0)";
  12. $this->compression=$compression;
  13. $this->proxy=$proxy;
  14. $this->cookies=$cookies;
  15. if ($this->cookies == TRUE) $this->cookie($cookie);
  16. }
  17. function cookie($cookie_file) {
  18. if (file_exists($cookie_file)) {
  19. $this->cookie_file=$cookie_file;
  20. } else {
  21. @fopen($cookie_file,'w')or$this->error("The cookie file could not be opened. Make sure this directory has the correct permissions");
  22. $this->cookie_file=$cookie_file;
  23. @fclose($cookie_file);
  24. }
  25. }
  26. function get($url,$refer='') {
  27. $process =curl_init($url);
  28. curl_setopt($process,CURLOPT_REFERER, $refer);
  29. curl_setopt($process,CURLOPT_HTTPHEADER, $this->headers);
  30. curl_setopt($process,CURLOPT_USERAGENT, $this->user_agent);
  31. if ($this->cookies == TRUE)curl_setopt($process,CURLOPT_COOKIEFILE, $this->cookie_file);
  32. if ($this->cookies == TRUE)curl_setopt($process,CURLOPT_COOKIEJAR, $this->cookie_file);
  33. curl_setopt($process,CURLOPT_ENCODING, $this->compression);
  34. curl_setopt($process,CURLOPT_TIMEOUT, 30000);
  35. if ($this->proxy

人气教程排行