php依据URL获得网页内容

php 中根据url来获得网页内容非常的方便，可以通过系统内置函数file_get_contents(),传入url,即可返回网页的内容，比如获得百度首页的内容代码为：

<!--?php$html = file_get_contents('http://www.baidu.com/');echo $html;</pre--><span style="font-family:Microsoft YaHei; font-size:18px"><br>就可以显示出百度首页的内容，但是，这个函数不是万能的，因为有些服务器会禁用掉这个函数，或者说这个函数因为没有传给服务器某些必要的参数，而被服务器拒绝响应，举个例子：</span><p></p><p><span style="font-family:Microsoft YaHei; font-size:18px"><br></span></p><p></p><pre code_snippet_id="438112" snippet_file_name="blog_20140729_2_5648324" name="code" class="php layui-box layui-code-view layui-code-notepad"><ol class="layui-code-ol"><li><!--?php$html = file_get_contents('http://www.163.com/');echo $html;</pre--><span style="font-family:Microsoft YaHei; font-size:18px"><br></span><p><span style="font-family:'Microsoft YaHei'; font-size:18px">这个代码就不能得到网易的首页完全的代码，会返回如下的页面，这时我们就需要想其他的办法了。</span><br></p><p><span style="font-family:'Microsoft YaHei'; font-size:18px"><img src="" alt=""><br></span></p><p><span style="font-family:'Microsoft YaHei'; font-size:18px"><img src="https://www.gxlcms.com/img/2014/07/30/1107462.png" alt=""><br></span></p><p><span style="font-family:'Microsoft YaHei'; font-size:18px">这里我们引入php的cURL 库，</span><span style="font-family:'Microsoft YaHei'; font-size:18px">可以简单和有效地去抓网页。你只需要运行一个脚本，然后分析一下你所抓取的网页，然后就可以以程序的方式得到你想要的数据了。无论是你想从从一个链接上取部分数据，或是取一个XML文件并把其导入数据库，那怕就是简单的获取网页内容，cURL 是一个功能强大的PHP库</span><span style="font-family:'Microsoft YaHei'; font-size:18px">。</span><span style="font-family:'Microsoft YaHei'; font-size:18px">使用它首先你得在php的配置文件中开启它，开启的时候,在windows中可能需要一些 dll,这里就不相信介绍了，查看是否开启了curl,可以调用phpinfo()；来查看，如果开启了，会在“Loaded Extensions”中显示。</span></p><p><span style="font-family:Microsoft YaHei; font-size:18px"><br></span></p><p><span style="font-family:Microsoft YaHei; font-size:18px">下面给出使用curl获取网页代码的简单例子：</span></p><p></p><pre code_snippet_id="438112" snippet_file_name="blog_20140729_3_1187439" name="code" class="php layui-box layui-code-view layui-code-notepad"><ol class="layui-code-ol"><li><!--?php$ch = curl_init();$timeout = 10; // set to zero for no timeoutcurl_setopt ($ch, CURLOPT_URL,'http://www.163.com/');curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); <span style="color:#990000;"-->curl_setopt ($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36');curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);$html = curl_exec($ch);echo $html;</li></ol></pre><span style="font-family:Microsoft YaHei; font-size:18px"><br></span><p></p><p><span style="font-family:Microsoft YaHei; font-size:18px">通过这段代码就可以</span></p></li></ol></pre>输出网易首页的内容了，这里标记红颜色的代码是关键，因为他模拟了浏览器的agent,这样服务器就会以为它是浏览器去访问的，所以给他返回正确的html.<p></p><p><span style="font-family:Microsoft YaHei; font-size:18px"><br></span></p><p><span style="font-family:Microsoft YaHei; font-size:18px"><br></span></p><p><span style="font-size:24px; white-space:pre"><span style="font-family:SimSun"></span></span></p>