抓取“维库电子市场”供应商程序_PHP教程

/**
* 根据页面获取供应商 url 数组
* @param string $re
* @return ArrayObject
*/
private function shopUrlMatchReArr($re) {
$re = preg_replace('//', '', $re);
$re = preg_replace('//', '', $re);
$re = preg_replace('/[A-Z]<\/a>/', '', $re);
$re = preg_replace('/[0-9]<\/a>/', '', $re);
$re = preg_replace('/.*<\/a>/', '', $re);
$re = preg_replace('/.*<\/a>/', '', $re);
$re = preg_replace('/营业执照<\/a>/', '', $re);
$re = preg_replace('/该企业更多资质>><\/a>/', '', $re);
$re = preg_replace('/点此反馈<\/a>/', '', $re);
$re = preg_replace('/首页<\/a>/', '', $re);
$re = preg_replace('/IC<\/a>/', '', $re);
$re = preg_replace('/简洁<\/a>/', '', $re);
$re = preg_replace('/信用<\/a>/', '', $re);
$re = preg_replace('/.*更多报价信息>><\/a>/', '', $re);
$re = preg_replace('/.*<\/a>/', '', $re);
$re = preg_replace('/.*/', '', $re);
preg_match_all('/.+<\/a>/Usi', $re, $arr);
$arr = $this->formatUrlArr(array_unique($arr[1]));
return $arr;
}

/**
* 格式化数组
* @param Array $arr
* @return ArrayObject
*/
private function formatUrlArr($arr) {
$newArr = array();
foreach ($arr as $key=>$value) {
if ($this->isExistsHttp($value)) {
$newArr[$key] = $value;
}
}
return $newArr;
}

/**
* 格式化 QQ
* @param string $str
* @return string
*/
private function formatQqMsn($str, $e='QQ') {
if (empty($str)) return '';
preg_match_all('/alt="'.$e.'\:(.+)"/Usi', $str, $arr);
if (count($arr[1])==1) return $arr[1][0];
$newStr = null;
foreach ($arr[1] as $value) {
$newStr .= $value . ' ';
}
return rtrim($newStr, ' ');
}

/**
* 供应商店铺链接添加 contact.html
* @param array $arr
* @return string
*/
private function shopAddContact($arr) {
foreach ($arr as $k=>$v) {
$arr[$k] = $v . '/contact.html';
}
return $arr;
}

/**
* 去掉网址的 A 标签
* @param string $site
* @return string
*/
private function stripATags($site) {
$site = preg_replace('/(.+)<\/a>/', '\1', $site);
return $site;
}

/**
* 检查 url 是否有 http
* @param string $url
* @return bool
*/
private function isExistsHttp($url) {
if (stristr($url, 'http://')) {
return true;
} else {
return false;
}
}

/**
* 获取页面内容
* @param Number $page
* @return string
*/
private function getContent($page=1) {
$re = file_get_contents($this->getUrl($this->key, $page));
return $re;
}

/**
* 获取页码
* @return Number
*/
private function getPageNum() {
$i = 1;
while (true) {
$re = $this->getContent($i);
# 处理单页避免处理死循环
if (!strstr($re, '下一页')) {
break;
} else {
# 多页，计算出页码
if (stristr($re, '下一页')) break;
$i++;
}
}
return $i;
}

/**
* 获取 URL 链接
* @param string $str
* @param int $page 页码
* @return string
*/
private function getUrl($str, $page=1) {
retrn "http://www.dzsc.com/ic/sell_search.html?keyword={$str}&ic_sel=supplygoods&Submit=%26%23160%3B&page={$page}"u;

}

/**
* 获取页面内容
* @param string $url
* @return string
*/
private function getUrlInfo($url) {
$re = file_get_contents($url);
return $re;
}
}

/*
程序运行思路：根据“华强电子网”的IC搜索功能，输入型号进行搜索，然后抓取供应商信息

数据库结构
CREATE TABLE `weiku` (
`id` mediumint(8) unsigned NOT NULL auto_increment COMMENT 'ID',
`company` varchar(300) default NULL COMMENT '公司名称',
`person` varchar(200) default NULL COMMENT '联系人',
`phone` varchar(300) default NULL COMMENT '电话',
`fax` varchar(300) default NULL COMMENT '传真',
`mobile` varchar(300) default NULL COMMENT '手机',
`qq` varchar(200) default NULL COMMENT 'QQ',
`msn` varchar(200) default NULL COMMENT 'MSN',
`email` varchar(300) default NULL COMMENT '邮箱',
`address` varchar(500) default NULL COMMENT '公司地址',
`shopUrl` varchar(200) default NULL COMMENT '维库网店铺地址',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=gb2312
*/

$k = new weiku();
$arr = array_unique(array('MAX3232', 'AML8613', 'MT6225A', 'OM8373PS/N3/A', 'PT7313', 'MAX8212ESA', 'TL431', 'S3C2440', 'TMS320F2812PGFA', 'PCM1704', 'AN6717', 'CA3162E', 'CA3161E', 'LM393N', 'DS18B20', 'SHT10', 'AML8613', 'AN6717', 'LM393N', 'CA3161E', 'CA3162E', 'PCM1704', 'STK392-040', 'K1667', 'MAX232', 'STM32F103', 'LM358'));
foreach ($arr as $v) {
$k->go($v);
}
?>


摘自 Lee.的专栏

http://www.bkjia.com/PHPjc/478400.htmlwww.bkjia.comtruehttp://www.bkjia.com/PHPjc/478400.htmlTechArticle?php /** * 抓取维库电子市场供应商主程序 * author Lee. * Last modify $Date: 2012-2-3 9:30:21 $ * 注：本程序按照编码 GB2312 执行，因为维库电子市场网站...