抓取搜狐视频中所有用户的专辑名
时间：2021-07-01 10:21:17
帮助过：28人阅读
抓取搜狐视频中所有用户的专辑名。如果记录全部获取过来以后，可以方便的检索出相关关键词的视频专辑。但是由于用户数目太多，一个线程跑的话不知道要跑多少年。可以通过设置多表、ID分段来实现多通道的同时抓取。
可通过修改$user_id的开始和结束，来分段同时多通道。
sleep(1)仅为个人测试，可以修改
- header("Content-Type:text/html; Charset=UTF-8");
- set_time_limit(0);
- $col_title = ''; //标题
- $col_url = ''; //URL编号
- $user_id = 26; //起始抓取用户编号
- //MySQL预操作
- $mysqli = new mysqli("p:localhost", 'root', '', 'sohutv');
- if ($mysqli->connect_errno) {
- printf("Connect failed: %s\n", $mysqli->connect_error);
- exit();
- }
- $mysqli->set_charset("utf8");
- $sql = "INSERT INTO album (userid,title,url) VALUES(?,?,?)";
- $stmt = $mysqli->prepare($sql);
- $stmt->bind_param("sss",$user_id ,$col_title ,$col_url);
- //循环抓取
- while (true) {
- $url = "http://my.tv.sohu.com/user/a/playlist/ta/list.do?userId=".$user_id;
- $temp_html = file_get_contents($url);
- $temp_json = json_decode($temp_html);
- $column_no = $temp_json->{'data'}->{'count'};
-
- if ($column_no) {
- //var_dump($temp_json->{'data'});
- $temp_array = $temp_json->{'data'}->{'list'};
-
- for($i=0; $i<$column_no; $i++)
- {
- $temp_obj = $temp_array[$i];
- //var_dump($temp_obj);
- $col_title = $temp_obj->{'title'};
- $col_url = substr($temp_obj->{'url'}, 25, -6);
-
- $stmt->execute();
- }
- }
- //休眠1秒
- sleep(1);
- $user_id++;
- }
- /*
- 访问方式
- http://my.tv.sohu.com/pl/URL编号.shtml
- */
- ?>
|
