当前位置:Gxlcms > mysql > 关于数据优化的详细介绍

关于数据优化的详细介绍

时间:2021-07-01 10:21:17 帮助过:113人阅读

最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL来说很尴尬,因为合理的创建索引速度还是挺快的,再怎么优化速度也得不到多大提升。不过这些数据有大量的冗余字段和错误信息,极不方便做统计和分析。所以我需要创建一张新表,把旧表中的数据一条一条取出来优化后放回新表;一. 清除冗余数据,优化字段结构2000W数据中,能作为查询条件的字段我们是预知的。所以将这部分数据单独创建新的字段,对于有规则的数据合理改变字段结构,比如身份证就是varchar(18)。对于不重要的数据我们合并后存在一个结构为text的字段。对于一些有关联的数据我们需要计算,常见的比如身份证种能获取到准确的性别,出生地、生日、年龄。二. 数据迁移我们从数据库中取出一条旧数据,再通过计算处理后得到想要的新数据,最后将新数据插入新表。不过在获取新数据时遇到如下问题。数据量太大,无法一次获取(2000W数据扔到

1. 怎样将MySQL中两千万数据进行优化与迁移

简介:最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL来说很尴尬,因为合理的创建索引速度还是挺快的,再怎么优化速度也得不到多大提升。不过这些数据有大量...

2. Mysql优化实验(一)-- 分区

简介:开发项目过程中总是提到优化的概念,本篇文章是对Mysql数据优化实践的一次探索旅程,简要介绍了分区原因,方法,分区表管理方法和一次简单的实践。

3. MySQL两千万数据优化&迁移

简介:最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL来说很尴尬,因为合理的创建索引速度还是挺快的,再怎么优化速度也得不到多大提升。不过这些数据有大量...

4. Thinkphp where() 方法的 查找数据优化

简介:第一种方式 {代码...} 第二种方式 {代码...} 这两种方法都可以实现我想要的操作但是 第一种方法是否会对服务器或数据库造成压力 第二种是可以多写这一行代码 {代码...} 纠结中(⊙﹏⊙)

5. 为某XXX手机公司删除重复数据优化一例

简介:这是他们一个开发写的SQL,目的是删除重复数据,且id是最小值的行不删除:deletefromjd_chapterawherea.`id`in(select`id`fromjd_chaptergroup&nbs..

6. Oracle 优化统计数据之直方图(histograms)

简介:直方图是一种按数据出现的频率来进行分类存储的方法.在oracle中直方图是用来描述表中列数据的分布情况.每一个sql在被执行前都要经

7. 如何借助HTML5微数据优化网页?

8. mysql 数据库-mysql问题:从三个表查询数据优化

简介:我有三个表,三个表的数据全部查询出来再排序,三个表的数据都很大,如何查询才能最节省资源,最优。

9. mysql-MySql 数据统计Update Select优化

简介:请教下各位大神,mysq update数据优化 遇到的问题是这样的。 表a有2个字段,ready_count,download_count 表b是统计表,有type,id 两个表的储存引擎都是MYISAM 需要把表b的数据count(1) group by(type)之后update到表a的那两个字段中。 我现在的SQL是这样的: update a _t1 set _t1.ready_count = ( SELECT count(1) FROM b _t2 WHERE _t2.tid = ...

10. MySQL写入插入数据优化配置_MySQL

简介:MySQL写入插入数据优化配置

【相关问答推荐】:

mysql 比较两个表数据优化问题

Thinkphp where() 方法的 查找数据优化

以上就是关于数据优化的详细介绍的详细内容,更多请关注Gxl网其它相关文章!

人气教程排行