7牛远程抓取图片

公司网站之前的用户头像是存储在自己的服务器，后来管理不便，新增用户头像上传到七牛，为了方便管理，数据统一，领导说把本地服务器的头像全部迁移到七牛。

1.梳理下思路

先判断用户的头像是否在七牛，若不存在，本地如果有则抓取到七牛，然后进行批量抓取

2.七牛判断图片是否存在

 1  /** 2      * 查看七牛url是否存在 3      * @param string $url 4      */ 5     function url_exists($url) { 6         require_once(COMMON_PATH."qiniu/rs.php"); 7         require_once(COMMON_PATH."qiniu/http.php"); 8         $parts=parse_url($url); 9         $bucket ；//桶10         $key=substr($parts['path'], 1);//七牛文件名11        //密钥12         $accessKey ; 13         $secretKey ;14         Qiniu_SetKeys($accessKey, $secretKey);15         $client = new Qiniu_MacHttpClient(null);16         list($ret, $err) = Qiniu_RS_Stat($client, $bucket, $key);//查看单个文件信息17         if ($err !== null) {18             return false;19         } else {20             return true;21         }22     }    

3.移动单个文件到七牛

 1 /** 2      * 移动单个头像到七牛 3      * @param string  $remotePath 远程文件在服务器上的物理地址 4      * @param string  $qiniuPath  七牛文件地址 5      */ 6     function oneFetch($remotePath,$qiniuPath){ 7         if(!$this->url_exists($qiniuPath) && file_exists($remotePath)){ 8             require_once(COMMON_PATH."qiniu/rs.php"); 9             require_once(COMMON_PATH."qiniu/http.php");10             require_once(COMMON_PATH."qiniu/conf.php");11             12             $client = new Qiniu_MacHttpClient(NULL);13             /*$accessUrl 远程文件访问地址14             *$bucket桶15             *$key 存储在七牛的文件名16             */17             $ret = Qiniu_RS_Fetch($client,$accessUrl, $bucket, $key);18             19             if($ret != NULL)20             {21                 $errlog = 'fail.log';//写错误日志22                 file_put_contents($errlog,    "{$key}\n", FILE_APPEND);23             }24             else25             {26                 var_dump($ret);27             }28         }else{29             var_dump('已有头像');30         }31         32     }

4.批量抓取

function t(){        header("Content-type: text/html; charset=utf-8");        set_time_limit(0);        $start = intval($_GET['num']);//开始位置        $str =  '';        /*从数据库查询记录*/        $link = mysql_connect("localhost", "root", "root") or die("error");        $db_selected = mysql_select_db("test", $link);        mysql_query ("SET NAMES UTF8");        $limit = 10;//每次查询数         $sql = "SELECT * FROM test order by id desc limit {$start},{$limit}";           $result = mysql_query($sql) or die(mysql_error());                if(mysql_num_rows($result))        {            while($row=mysql_fetch_assoc($result)){                    oneFetch($row['remotePath'], $row['qiniuPath']);            }                $start += 10;            $url = "/t?num={$start}";            $str = '已经更新'.$start.'条
';            $str .= '';//更新$limit条，跳转防止脚本无响应        }        else        {            echo '结束';        }                 echo $str;        ob_flush();        flush();        sleep(2);        unset($sql,$result,$row);    }