当前位置：Gxlcms > PHP教程 > 利用curl抓取网页数据，phantomjs..请神人解

利用curl抓取网页数据，phantomjs..请神人解

时间：2021-07-01 10:21:17 帮助过：9人阅读

小弟昨天有发文请教，有很多的神人给我小弟很大的帮忙，目前只剩下一小块的数据未抓到。

有大大说用 phantomjs来抓取html
目前的js如
var page = require('webpage').create();
var url = 'http://www.cbssports.com/mlb/gametracker/live/MLB_20140528_CLE@CHW';

  1. <code>page.open(url, function (status) {
  2. var js = page.evaluate(function () {
  3. return document;
  4. });
  5. console.log(js.all[0].outerHTML);
  6. phantom.exit();
  7. });
  8. </code>

误错，显示不出正确的hmtl
另 phontomjs是一个执行档，我要怎么每秒让他自动执行，用 php ? 因为在php 里我目前只能用
exec("start d:\phantomjs script.js ")
让它自动产生本文档，然后针对本文档作解析，但一直没有办法执行，求神人解

2014 05 23 更新

之前在网站上有提出，有抓到几个数据。
先看一下我的程序如下：
$url ="http://www.cbssports.com/mlb/gametracker/live/MLB_20140529_SF@STL";
$ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.172 Safari/537.22");
curl_setopt($ch, CURLOPT_FOLLOWLOCATION ,1);
curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 0);
$data = curl_exec($ch);
preg_match_all('/(.?)<\/span>/is',$data,$teamCity);
preg_match_all('/(.?)<\/span>/is',$data,$teamName);…….以下为正规化

未抓出的资料部份如下：(红字为抓不出来的)(以下只是部份)

  1. <code><p>里面会有一个 </p><p>或是</p><p><</p><p>div class=”batter-pitcher fleft”></p><p><</p><p>table>里面的 </p>的资料都抓不出来
  2. <p>重点在于，部份的数据，不管你用什么浏览器的「另存新檔」 save as 或是 「检视原始码」，都看不到上列的这数据。 而 div class=”batter-pitcher fleft” 这部份的资料目前已知是 JS  的 batter_ingame_stats function是跑「进行比赛中的」</p><p>而另一个function  function() { CBSi.app.BaseRunners = function(args  则是跑 「谁在垒上」右下角那个 「球场的图标」的数据 ，目前只剩这几个部份抓不出。</p><p>很多神人大大说，「就抓js呀」，但是，就问不到要如何抓。</p><p>跪求各位大大给个方向。</p><p>这一个话题的 讨论在：http://segmentfault.com/q/1010000000522277</p><p>目前直播赛事：http://www.cbssports.com/mlb/gametracker/live/MLB_20140529_SF@STL</p><p></p><h2>回复内容：</h2><p>小弟昨天有发文请教，有很多的神人给我小弟很大的帮忙，目前只剩下一小块的数据未抓到。</p><p>有大大说用 phantomjs来抓取html<br>
  3. 目前的js如<br>
  4.     var page = require('webpage').create();<br>
  5.     var url = 'http://www.cbssports.com/mlb/gametracker/live/MLB_20140528_CLE@CHW';</p><pre class="brush:php;toolbar:false layui-box layui-code-view layui-code-notepad"><ol class="layui-code-ol"><li><code>page.open(url, function (status) {</li><li>var js = page.evaluate(function () {</li><li>return document;</li><li>});</li><li>console.log(js.all[0].outerHTML);</li><li>phantom.exit();</li><li>});</li><li></code></li></ol></pre><p>误错，显示不出正确的hmtl<br>
  6. 另 phontomjs是一个执行档，我要怎么每秒让他自动执行，用 php ? 因为在php 里我目前只能用<br>
  7.     exec("start d:\phantomjs script.js ")<br>
  8. 让它自动产生本文档，然后针对本文档作解析，但一直没有办法执行，求神人解</p><p>2014 05 23 更新</p><p>之前在网站上有提出，有抓到几个数据。<br>
  9. 先看一下我的程序如下：<br>
  10.     $url ="http://www.cbssports.com/mlb/gametracker/live/MLB_20140529_SF@STL";<br>
  11.     $ch = curl_init();<br>
  12.     curl_setopt($ch, CURLOPT_HEADER, 0);<br>
  13.     curl_setopt($ch, CURLOPT_URL, $url);<br>
  14.     curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);<br>
  15.     curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.172 Safari/537.22");<br>
  16.     curl_setopt($ch, CURLOPT_FOLLOWLOCATION ,1);<br>
  17.     curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 0);<br>
  18.     $data = curl_exec($ch);<br>
  19.     preg_match_all('/<span class="teamLocation">(.<em>?)<\/span>/is',$data,$teamCity);<br>
  20.     preg_match_all('/<span class="teamNickname">(.</span></em>?)<\/span>/is',$data,$teamName);…….以下为正规化</span></p><p>未抓出的资料部份如下：(红字为抓不出来的)(以下只是部份)</p><pre class="brush:php;toolbar:false layui-box layui-code-view layui-code-notepad"><ol class="layui-code-ol"><li><code></code></li></ol></pre><table class="data condensed stacked" width="100%">
  21. <tbody><tr class="”row1">
  22. </tr>
  23. <tr>
  24. </tr>
  25.                             
  26.                         
  27.                                                                                                                         
  28.                      
  29.                       
  30.                                                             
  31. </tbody></table><p>里面会有一个 </p><p>或是</p><p><</p><p>div class=”batter-pitcher fleft”></p><p><</p><p>table>里面的 </p>的资料都抓不出来
  32. <p>重点在于，部份的数据，不管你用什么浏览器的「另存新檔」 save as 或是 「检视原始码」，都看不到上列的这数据。 而 div class=”batter-pitcher fleft” 这部份的资料目前已知是 JS  的 batter_ingame_stats function是跑「进行比赛中的」</p><p>而另一个function  function() { CBSi.app.BaseRunners = function(args  则是跑 「谁在垒上」右下角那个 「球场的图标」的数据 ，目前只剩这几个部份抓不出。</p><p>很多神人大大说，「就抓js呀」，但是，就问不到要如何抓。</p><p>跪求各位大大给个方向。</p><p>这一个话题的 讨论在：http://segmentfault.com/q/1010000000522277</p><p>目前直播赛事：http://www.cbssports.com/mlb/gametracker/live/MLB_20140529_SF@STL</p><p class="answer fmt" data-id="1020000000523721">
  33.                                     
  34. </p><p>这么写</p><pre class="brush:php;toolbar:false layui-box layui-code-view layui-code-notepad"><ol class="layui-code-ol"><li><code>var page = require('webpage').create();</li><li>page.open('http://segmentfault.com/', function(status) {</li><li>  var ua = page.evaluate(function() {</li><li>    return document.body.outerHTML;</li><li>  });</li><li>  console.log(ua);</li><li>  phantom.exit();</li><li>});</li><li></code></li></ol></pre><div class="">
  35.                         <ul class="m-news-opt fix">
  36.                             <li class="opt-item">
  37.                                 <a href="/PHPjiqiao-104365.html" target="_blank"><p>< 上一篇</p><p class="ellipsis">大家帮忙推荐几本好书吧</p></a>
  38.                             </li>
  39.                             <li class="opt-item ta-r">
  40.                                  <a href="/PHPjiqiao-104367.html" target="_blank"><p>下一篇 ></p><p class="ellipsis">关于表单上传的建议</p></a>
  41.                             </li>
  42.                         </ul>
  43.                     </div><div class="g-title fix">
  44.                         <h2 class="title-txt">人气教程排行</h2>
  45.                     </div><div class="m-rank u-dashed mb40">
  46.                         <ul>
  47.  <li class="rank-item">
  48.                                 <a href="/PHPjiqiao-379253.html" title="php如何获取跳转前的url" class="item-name ellipsis" target="_blank">
  49.                                     <span class="g-art-count fr">174次</span>
  50.                                     <span class="g-sort-num top">1</span>
  51.                                    php如何获取跳转前的url                                </a>
  52.                             </li>
  53.   
  54.   
  55.   <li class="rank-item">
  56.                                 <a href="/PHPjiqiao-379019.html" title="php格林威治时间转换成当前时间的方法" class="item-name ellipsis" target="_blank">
  57.                                     <span class="g-art-count fr">174次</span>
  58.                                     <span class="g-sort-num second">2</span>
  59.                                    php格林威治时间转换成当前时间的方法                                </a>
  60.                             </li>
  61.   
  62.   
  63.   <li class="rank-item">
  64.                                 <a href="/PHPjiqiao-366629.html" title="为什么php不能做大型系统？" class="item-name ellipsis" target="_blank">
  65.                                     <span class="g-art-count fr">174次</span>
  66.                                     <span class="g-sort-num third">3</span>
  67.                                    为什么php不能做大型系统？                                </a>
  68.                             </li>
  69.   
  70.   
  71. <li class="rank-item">
  72.                                 <a href="/PHPjiqiao-207623.html" title="range函数怎么用" class="item-name ellipsis" target="_blank">
  73.                                     <span class="g-art-count fr">174次</span>
  74.                                     <span class="g-sort-num ">4</span>
  75.                                    range函数怎么用                                </a>
  76.                             </li>
  77.   
  78.   
  79. <li class="rank-item">
  80.                                 <a href="/PHPjiqiao-162433.html" title="php中计算页面加载时间几种方法总结_PHP教程" class="item-name ellipsis" target="_blank">
  81.                                     <span class="g-art-count fr">174次</span>
  82.                                     <span class="g-sort-num ">5</span>
  83.                                    php中计算页面加载时间几种方法总结_PHP教程                                </a>
  84.                             </li>
  85.   
  86.   
  87. <li class="rank-item">
  88.                                 <a href="/PHPjiqiao-140221.html" title="求帮助，关于paypal支付返回值修改订单状态" class="item-name ellipsis" target="_blank">
  89.                                     <span class="g-art-count fr">174次</span>
  90.                                     <span class="g-sort-num ">6</span>
  91.                                    求帮助，关于paypal支付返回值修改订单状态                                </a>
  92.                             </li>
  93.   
  94.   
  95. <li class="rank-item">
  96.                                 <a href="/PHPjiqiao-103588.html" title="typecho怎么配置文章内容页?" class="item-name ellipsis" target="_blank">
  97.                                     <span class="g-art-count fr">174次</span>
  98.                                     <span class="g-sort-num ">7</span>
  99.                                    typecho怎么配置文章内容页?                                </a>
  100.                             </li>
  101.   
  102.   
  103. <li class="rank-item">
  104.                                 <a href="/PHPjiqiao-99213.html" title="PhpStorm左侧structure不显示文件的方法列表是这么回事？" class="item-name ellipsis" target="_blank">
  105.                                     <span class="g-art-count fr">174次</span>
  106.                                     <span class="g-sort-num ">8</span>
  107.                                    PhpStorm左侧structure不显示文件的方法列表是这么回事？                                </a>
  108.                             </li>
  109.   
  110.   
  111. <li class="rank-item">
  112.                                 <a href="/PHPjiqiao-92208.html" title="查看PHP的环境变量_PHP" class="item-name ellipsis" target="_blank">
  113.                                     <span class="g-art-count fr">174次</span>
  114.                                     <span class="g-sort-num ">9</span>
  115.                                    查看PHP的环境变量_PHP                                </a>
  116.                             </li>
  117.   
  118.   
  119. <li class="rank-item">
  120.                                 <a href="/PHPjiqiao-170.html" title="PHP Primary script unknown 解决方法总结" class="item-name ellipsis" target="_blank">
  121.                                     <span class="g-art-count fr">174次</span>
  122.                                     <span class="g-sort-num ">10</span>
  123.                                    PHP Primary script unknown 解决方法总结                                </a>
  124.                             </li>
  125.   
  126.   
  127. <li class="rank-item">
  128.                                 <a href="/PHPjiqiao-148.html" title="php的命名空间与自动加载实现方法" class="item-name ellipsis" target="_blank">
  129.                                     <span class="g-art-count fr">174次</span>
  130.                                     <span class="g-sort-num ">11</span>
  131.                                    php的命名空间与自动加载实现方法                                </a>
  132.                             </li>
  133.   
  134.   
  135. <li class="rank-item">
  136.                                 <a href="/PHPjiqiao-133.html" title="解决laravel 出现ajax请求419(unknown status)的问题" class="item-name ellipsis" target="_blank">
  137.                                     <span class="g-art-count fr">174次</span>
  138.                                     <span class="g-sort-num ">12</span>
  139.                                    解决laravel 出现ajax请求419(unknown status)的问题                                </a>
  140.                             </li>
  141.   
  142.   
  143. <li class="rank-item">
  144.                                 <a href="/PHPjiqiao-462817.html" title="php 如何删除mysql记录" class="item-name ellipsis" target="_blank">
  145.                                     <span class="g-art-count fr">173次</span>
  146.                                     <span class="g-sort-num ">13</span>
  147.                                    php 如何删除mysql记录                                </a>
  148.                             </li>
  149.   
  150.   
  151. <li class="rank-item">
  152.                                 <a href="/PHPjiqiao-388448.html" title="PHP如何替换数组中的指定元素" class="item-name ellipsis" target="_blank">
  153.                                     <span class="g-art-count fr">173次</span>
  154.                                     <span class="g-sort-num ">14</span>
  155.                                    PHP如何替换数组中的指定元素                                </a>
  156.                             </li>
  157.   
  158.   
  159. <li class="rank-item">
  160.                                 <a href="/PHPjiqiao-124270.html" title="怎么去除字符串中非汉字、非字母、非数字的字符" class="item-name ellipsis" target="_blank">
  161.                                     <span class="g-art-count fr">173次</span>
  162.                                     <span class="g-sort-num ">15</span>
  163.                                    怎么去除字符串中非汉字、非字母、非数字的字符                                </a>
  164.                             </li>
  165.   
  166.   
  167. <li class="rank-item">
  168.                                 <a href="/PHPjiqiao-112291.html" title="mysql如何一次执行多条SQL语句" class="item-name ellipsis" target="_blank">
  169.                                     <span class="g-art-count fr">173次</span>
  170.                                     <span class="g-sort-num ">16</span>
  171.                                    mysql如何一次执行多条SQL语句                                </a>
  172.                             </li>
  173.   
  174.   
  175. <li class="rank-item">
  176.                                 <a href="/PHPjiqiao-110669.html" title="修改header里面的Connection为close解决方法" class="item-name ellipsis" target="_blank">
  177.                                     <span class="g-art-count fr">173次</span>
  178.                                     <span class="g-sort-num ">17</span>
  179.                                    修改header里面的Connection为close解决方法                                </a>
  180.                             </li>
  181.   
  182.   
  183. <li class="rank-item">
  184.                                 <a href="/PHPjiqiao-153.html" title="PHP基于session.upload_progress 实现文件上传进度显示功能详解" class="item-name ellipsis" target="_blank">
  185.                                     <span class="g-art-count fr">173次</span>
  186.                                     <span class="g-sort-num ">18</span>
  187.                                    PHP基于session.upload_progress 实现文件上传进度显示功能详解                                </a>
  188.                             </li>
  189.   
  190.   
  191. <li class="rank-item">
  192.                                 <a href="/PHPjiqiao-125.html" title="php5.6.x到php7.0.x特性小结" class="item-name ellipsis" target="_blank">
  193.                                     <span class="g-art-count fr">173次</span>
  194.                                     <span class="g-sort-num ">19</span>
  195.                                    php5.6.x到php7.0.x特性小结                                </a>
  196.                             </li>
  197.   
  198.   
  199. <li class="rank-item">
  200.                                 <a href="/PHPjiqiao-378118.html" title="php为什么会出现504错误" class="item-name ellipsis" target="_blank">
  201.                                     <span class="g-art-count fr">172次</span>
  202.                                     <span class="g-sort-num ">20</span>
  203.                                    php为什么会出现504错误                                </a>
  204.                             </li>
  205.                         </ul>
  206.                     </div><div class="footer">
  207.    本站所有资源全部来源于网络，若本站发布的内容侵害到您的隐私或者利益，请联系我们删除！</div><div style="display:none">
  208. <div class="login-box" id="login-dialog">
  209. <div class="login-top"><a class="current" rel="nofollow" id="login1" onclick="setTab('login',1,2);">登录</a></div>
  210. <div class="login-form" id="nav-signin">
  211.  <!-- <div class="login-ico"><a rel="nofollow" class="qq" id="qqlogin" target="_blank" href="/user-center-qqlogin.html"> QQ </a></div>  -->
  212. <div class="login-box-form" id="con_login_1">
  213. <form id="loginform" action="/user-center-login.html" method="post" onsubmit="return false;"></form>
  214. <p class="int-text">
  215. <input class="email" id="username" name="username" type="text" value="用户名或Email" onfocus="if(this.value=='用户名或Email'){this.value='';}" onblur="if(this.value==''){this.value='用户名或Email';};"></p>
  216. <p class="int-text">
  217. <input class="password1" type="password" id="password" name="password" value="******" onblur="if(this.value=='') this.value='******';" onfocus="if(this.value=='******') this.value='';">
  218. </p>
  219. <p class="int-info">
  220.                 <label class="ui-label"> </label>
  221.                 <label for="agreement" class="ui-label-checkbox">
  222.                 <input type="checkbox" value="" name="cookietime" id="cookietime" checked="checked">
  223.                 <input type="hidden" name="notforward" id="notforward" value="1">
  224.                 <input type="hidden" name="dosubmit" id="dosubmit" value="1">记住我的登录 </label>                           
  225.        <a rel="nofollow" class="aright" href="/user-center-forgetpwd.html" target="_blank"> 忘记密码？ </a></p>
  226.   <p class="int-btn"><a rel="nofollow" id="loginbt" class="loginbtn"><span>登录</span></a></p> 
  227.   
  228. </div>
  229. <form id="regform" action="/user-center-reg.html" method="post"></form>
  230. <div class="login-reg" style="display: none;" id="con_login_2">
  231. <input type="hidden" name="t" id="t">
  232.   <p class="int-text">
  233.     <input id="email" name="email" type="text" value="Email" onfocus="if(this.value=='Email'){this.value='';}" onblur="if(this.value==''){this.value='Email';};"></p>
  234.     <p class="int-text">
  235.     <input id="uname" name="username" type="text" value="用户名或昵称" onfocus="if(this.value=='用户名或昵称'){this.value='';}" onblur="if(this.value==''){this.value='用户名或昵称';};"></p>
  236.   <p class="int-text">
  237.   <input type="password" id="pwd" name="password" value="******" onblur="if(this.value=='') this.value='******';" onfocus="if(this.value=='******') this.value='';"> </p>
  238.   <p class="int-text1"><span class="inputbox">
  239.     <input id="validate" name="validate" type="text" value="验证码" onfocus="if(this.value=='验证码'){this.value='';}" onblur="if(this.value==''){this.value='验证码';};">
  240.     </span><span class="yzm-img"><img src="/user-checkcode-index" alt="看不清楚换一张" id="indexlogin"></span></p>
  241.   <p class="int-info">
  242.     <label>
  243.       <input value="" name="agreement" id="agreement" checked="checked" type="checkbox">
  244.       我已阅读<a rel="nofollow" href="/user-center-agreement.html">用户协议</a>及<a rel="nofollow" href="/user-center-agreement.html">版权声明</a></label>
  245.   </p>
  246.   <p class="int-btn"><input type="hidden" name="dosubmit">
  247. <a rel="nofollow" class="loginbtn" id="register"><span>注册</span></a></p>
  248. </div>
  249.  
  250. </div>
  251. </div>
  252. </div><div data-type="4" data-plugin="aroundbox" data-plugin-aroundbox-x="left" data-plugin-aroundbox-y="bottom" data-plugin-aroundbox-iconsize="60x60" data-plugin-aroundbox-fixed="1" data-plugin-aroundbox-offsetx="10"></div><table class="data condensed stacked" width="100%">
  253. <tbody><tr class="”row1">
  254. </tr>
  255. <tr>
  256. </tr>
  257.                             
  258.                         
  259.             
  260.                     
  261.                   
  262.  
  263.                     
  264.                     
  265.                     
  266.                     
  267.                     
  268.                 
  269.               
  270.                     
  271.                 
  272.                   
  273.                     
  274.                     
  275.                 
  276.             
  277.             <!-- / 教程内容页 -->
  278.         
  279.     
  280.   
  281. <!-- 页尾 -->
  282. <!-- / 页尾 -->
  283.  
  284.  
  285.    
  286. <script src="https://hm.baidu.com/hm.js?6dc1c3c5281cf70f49bc0bc860ec24f2"></script><script>
  287. var _hmt = _hmt || [];
  288. (function() {
  289.   var hm = document.createElement("script");
  290.   hm.src = "https://hm.baidu.com/hm.js?6dc1c3c5281cf70f49bc0bc860ec24f2";
  291.   var s = document.getElementsByTagName("script")[0]; 
  292.   s.parentNode.insertBefore(hm, s);
  293. })();
  294. </script>
  295.  <script type="text/javascript" src="/layui/layui.js"></script>
  296.     <script>
  297.     layui.use('code', function() {
  298.         layui.code({
  299.             elem: 'pre', //默认值为.layui-code
  300.             about: false,
  301.             skin: 'notepad',
  302.             title: 'php怎么实现数据库验证跳转代码块',
  303.             encode: true //是否转义html标签。默认不开启
  304.         });
  305.     });
  306.     </script>
  307. </tbody></table></code>