mysql导入百万级数据方案总结

业务数据来自公司总部，后台数据设置是按天导出csv，但分析业务需要看整个时间趋势，excel已经不行了，只能上mysql，用sql语句查询。其实本来load data local infile 可以搞定，麻烦的是表头字段太多，而且可能会变化，不是很想每次都写脚本先创建表结构再导数据。有什么办法可以自动处理表头？

一、 使用nevicat 或者workbench

有导入数据的选项，可以帮助自动检测数据类型，生成表头。
经测试，使用图形界面导入数据，速度极慢，这个方案不行。

二、 写命令行交互提示的脚本

Python 脚本读csv 头文件，然后根据字段名称和第一行数据，生成sql语句，然后连mysql。 总之就是用Python做个自动化。这个方案可以，需要写代码。

三、综合法

只读表前三个数据，另存文件，然后workbench 导入，生成表数据，然后在load local data infile.

mysql导入百万级数据方案总结

标签：自动化   设置   行数据   交互   方案   post   创建表   表数   file