当前位置:Gxlcms > mysql > 怎样提高MySQL装载数据的效率讲解

怎样提高MySQL装载数据的效率讲解

时间:2021-07-01 10:21:17 帮助过:15人阅读

如何改善MySQL数据装载操作效率? 成批装载较单行装载更快,在装载每个记录后,不需要刷新索引高速缓存;可在成批记录装入后才刷

如何改善MySQL数据装载操作效率?

成批装载较单行装载更快,在装载每个记录后,不需要刷新索引高速缓存;可在成批记录装入后才刷新。

在表无索引时装载比索引后装载更快。如果有索引,不仅必须增加记录到数据文件,而且还要修改每个索引以反映增加了的新记录。

较短的SQL 语句比较长的SQL 语句要快,因为它们涉及服务器方的分析较少,而且还因为将它们通过网络从客户机发送到服务器更快。这些因素中有一些似乎微不足道(特别是最后一个因素), 但如果要装载大量的数据,即使是很小的因素也会产生很大的不同结果。

1>LOAD DATA(包括其所有形式)比INSERT 效率高,因为其成批装载行。索引刷新较少,并且服务器只需分析和解释一条语句而不是几条语句。

2>LOAD DATA 比LOAD DATA LOCAL 效率更高。利用LOAD DATA,文件必须定位在服务器上,而且必须具有FILE 权限,但服务器可从磁盘直接读取文件。利用LOAD DATA LOCAL,客户机读取文件并将其通过网络发送给服务器,这样做很慢。

3>如果必须使用INSERT,应该利用允许在单个语句中指定多行的形式,

例如:可在语句中指定的行越多越好。这样会减少所需的语句数目,降低索引刷新量。如果使用mysqldump 生成数据库备份文件,应该使用--extended-insert 选项,使转储文件包含多行INSERT 语句。

反之,应该避免使用mysqldump 的--complete-insert 选项;此选项会导致INSERT 语句为单行,执行时间更长,比不用--complete-insert 选项生成的语句需要更多的分析。

4>使用压缩了的客户机/服务器协议以减少网络数据流量。

对于大多数MySQL客户机,可以用--compress 命令行选项来指定。它一般只用于较慢的网络,因为压缩需要占用大量的处理器时间。

5>让MySQL插入缺省值 不要在INSERT 语句中指定将以任意方式赋予缺省值的列。平均来说,,这样做语句会更短,能减少通过网络传送给服务器的字符数。此外,语句包含的值较少,服务器所进行的分析和转换就会较少。

6>如果表是索引的,则可利用批量插入( LOAD DATA 或多行的INSERT 语句)来减少索引的开销。这样会最小化索引更新的影响,因为索引只需要在所有行处理过时才进行刷新,而不是在每行处理后就刷新。

7>如果需要将大量数据装入一个新表,应该创建该表且在未索引时装载,装载数据后才创建索引,这样做较快。一次创建索引(而不是每行修改一次索引)较快。

8>如果在装载之前删除或禁用索引,装入数据后再重新创建或启用索引可能使装载更快。

如果想对数据装载使用删除或禁用策略,一定要做一些实验,看这样做是否值得(如果将少量数据装入一个大表中,重建和索引所花费的时间可能比装载数据的时间还要长)。

可用DROP INDEX 和CREATE INDEX 来删除和重建索引。

linux

人气教程排行