一次性读取出所有数据和limit分批读出数据哪个好啊

回复讨论(解决方案)

采集和分析分离么？
如果一边采集一边分析就分批
如果分离就一次，当然看机器承受能力

如果你?存允?,?什?不一次?出呢

10万条一次读取很快的，用limit是怎么想出来的，多麻烦，也不会提高效率。

这个要加limit干嘛，又不是数据库查询。能提高什么效率么。

一般我会建议分批读取。如果一定要对一个大数据集进行统计，那么最好的方法是在服务器端用存储过程进行统计后返回统计结果。虽然说，目前网络速度和稳定性都大幅提高，能在服务器端做的就在服务器端做一般而言总是一个不会错的做法。

不过按照你描述的场景，你需要对服务器端10万个网址进行采集，那么我建议你还不如在当地保存一个该数据库的缓存，可能会更好。

10万条数据，一次性读取，没什么问题，关键是你采集程序效率怎么样。