请问数据量较大的用户统计方案
时间:2021-07-01 10:21:17
帮助过:3人阅读
请教数据量较大的用户统计方案
比如某个应用有500W的用户。
每天会生成500个txt文件,每个文件对应一个用户的操作记录,文件内容包括(用户名,ip,访问页面,mac,访问时长等字段)
现在要对这500W个文件内容进行数据统计筛选,有什么好的解决方案吗。
我现在能想到的是将这些数据导入到MYSQL数据库,然后再统计筛选,但数据量太大,不知道是否可行。还有如何快速导入数据库也是个问题。
------解决方案--------------------
学习一下 还没遇到过这种数量级的用户