时间:2021-07-01 10:21:17 帮助过:16人阅读
抓取到了之后保存到本地数据库。 然后找下,最新那几条有什么规律。如果能区分开来,则之前本地数据库有的就修改一下。 实在是区别不来,把所有抓取的都保存一次,如果保存成功了,清理掉以前的数据即可。
只有看到了,才知道是否是新的
curl 用属性 CURLOPT_WRITEFUNCTION
可在回调函数中判断抓取是否可以提前结束
哦,取数据库最大的一个id,然后得到那条信息的id,然后网页得到的id比数据库取出来大的就是最新的。
可是这样不是所有数据都要判断一次,效率不是很低?
我懂了,这些时间可以忽略不计,结贴,感谢