时间:2021-07-01 10:21:17 帮助过:16人阅读
假设:100亿行数据存在文件中,每行数据有一个数字,提取前100个最大数字,怎么搞? (PHP+mysql实现 思路即可)
不需要mysql吧。
新建一个数组存结果,逐行读文件,读出来的数字如果比数组里最后(小)的数字大就把这个数字插入数组合适的位置(二分查找),插入之后如果结果数组超过100个元素就删除最后(小)一个元素。
内存消耗可以忽略,速度的话应该主要瓶颈在磁盘IO。
最简单的:
arsort($array);
array_slice($array,0,100);
逐行读取文件,用正则匹配数据,将结果存在一个数组里面,对数组进行降序排序,从数组开头取出100个值就行了吧
读取200条 排序,取前一百, 读取100条 连接排序,取前100。。。。循环
取100行存入数组,逐行取数字和已有数组中最小值比较,如果大就删除数组中最小的,把新取的数字放到数组中,如果小于就抛弃继续取下一行比较。