当前位置:Gxlcms > PHP教程 > curl的一些小问题

curl的一些小问题

时间:2021-07-01 10:21:17 帮助过:16人阅读

怎样用curl抓取最新的数据?
比如,我抓取了一个网站的全部信息,然后那个网站更新了,我怎样才能抓取更新的那几条,而不重复抓取。


回复讨论(解决方案)

抓取到了之后保存到本地数据库。 然后找下,最新那几条有什么规律。如果能区分开来,则之前本地数据库有的就修改一下。 实在是区别不来,把所有抓取的都保存一次,如果保存成功了,清理掉以前的数据即可。

只有看到了,才知道是否是新的

curl 用属性 CURLOPT_WRITEFUNCTION
可在回调函数中判断抓取是否可以提前结束

哦,取数据库最大的一个id,然后得到那条信息的id,然后网页得到的id比数据库取出来大的就是最新的。
可是这样不是所有数据都要判断一次,效率不是很低?

我懂了,这些时间可以忽略不计,结贴,感谢

人气教程排行