时间:2021-07-01 10:21:17 帮助过:15人阅读
-- 更改表结构 alter table user_index -- 创建一个first_name和last_name的复合索引,并命名为name add key name (first_name,last_name), -- 创建一个id_card的唯一索引,默认以字段名作为索引名 add UNIQUE KEY (id_card), -- 鸡肋,全文索引不支持中文 add FULLTEXT KEY (information); 复制代码
show create table user_index
:
CREATE TABLE user_index2 (
id INT auto_increment PRIMARY KEY,
first_name VARCHAR (16),
last_name VARCHAR (16),
id_card VARCHAR (18),
information text,
KEY name (first_name, last_name),
FULLTEXT KEY (information),
UNIQUE KEY (id_card)
);
复制代码
根据索引名删除普通索引、唯一索引、全文索引:alter table 表名 drop KEY 索引名
alter table user_index drop KEY name;
alter table user_index drop KEY id_card;
alter table user_index drop KEY information;
复制代码
删除主键索引:alter table 表名 drop primary key
(因为主键只有一个)。这里值得注意的是,如果主键自增长,那么不能直接执行此操作(自增长依赖于主键索引):
需要取消自增长再行删除:
alter table user_index
-- 重新定义字段
MODIFY id int,
drop PRIMARY KEY
复制代码
但通常不会删除主键,因为设计主键一定与业务逻辑无关。
CREATE TABLE innodb1 (
id INT auto_increment PRIMARY KEY,
first_name VARCHAR (16),
last_name VARCHAR (16),
id_card VARCHAR (18),
information text,
KEY name (first_name, last_name),
FULLTEXT KEY (information),
UNIQUE KEY (id_card)
);
insert into innodb1 (first_name,last_name,id_card,information) values (‘张‘,‘三‘,‘1001‘,‘华山派‘);
复制代码
我们可以通过explain selelct
来分析SQL语句执行前的执行计划:
由上图可看出此SQL语句是按照主键索引来检索的。
执行计划是:当执行SQL语句时,首先会分析、优化,形成执行计划,在按照执行计划执行。
上图中,根据id
查询记录,因为id
字段仅建立了主键索引,因此此SQL执行可选的索引只有主键索引,如果有多个,最终会选一个较优的作为检索的依据。
-- 增加一个没有建立索引的字段
alter table innodb1 add sex char(1);
-- 按sex检索时可选的索引为null
EXPLAIN SELECT * from innodb1 where sex=‘男‘;
复制代码
可以尝试在一个字段未建立索引时,根据该字段查询的效率,然后对该字段建立索引(
alter table 表名 add index(字段名)
),同样的SQL执行的效率,你会发现查询效率会有明显的提升(数据量越大越明显)。
当我们使用order by
将查询结果按照某个字段排序时,如果该字段没有建立索引,那么执行计划会将查询出的所有数据使用外部排序(将数据从硬盘分批读取到内存使用内部排序,最后合并排序结果),这个操作是很影响性能的,因为需要将查询涉及到的所有数据从磁盘中读到内存(如果单条数据过大或者数据量过多都会降低效率),更无论读到内存之后的排序了。
但是如果我们对该字段建立索引alter table 表名 add index(字段名)
,那么由于索引本身是有序的,因此直接按照索引的顺序和映射关系逐条取出数据即可。而且如果分页的,那么只用取出索引表某个范围内的索引对应的数据,而不用像上述那取出所有数据进行排序再返回某个范围内的数据。(从磁盘取数据是最影响性能的)
对
join
语句匹配关系(on
)涉及的字段建立索引能够提高效率
如果要查询的字段都建立过索引,那么引擎会直接在索引表中查询而不会访问原始数据(否则只要有一个字段没有建立索引就会做全表扫描),这叫索引覆盖。因此我们需要尽可能的在select
后==只写必要的查询字段==,以增加索引覆盖的几率。
这里值得注意的是不要想着为每个字段建立索引,因为优先使用索引的优势就在于其体积小。
在满足索引使用的场景下(
where/order by/join on
或索引覆盖),索引也不一定被使用
比如下面两条SQL语句在语义上相同,但是第一条会使用主键索引而第二条不会。
select * from user where id = 20-1;
select * from user where id+1 = 20;
复制代码
like
查询,不能以通配符开头比如搜索标题包含mysql
的文章:
select * from article where title like ‘%mysql%‘;
复制代码
这种SQL的执行计划用不了索引(like
语句匹配表达式以通配符开头),因此只能做全表扫描,效率极低,在实际工程中几乎不被采用。而一般会使用第三方提供的支持中文的全文索引来做。
但是 关键字查询 热搜提醒功能还是可以做的,比如键入mysql
之后提醒mysql 教程
、mysql 下载
、mysql 安装步骤
等。用到的语句是:
select * from article where title like ‘mysql%‘;
复制代码
这种like
是可以利用索引的(当然前提是title
字段建立过索引)。
建立复合索引:
alter table person add index(first_name,last_name);
复制代码
其原理就是将索引先按照从first_name
中提取的关键字排序,如果无法确定先后再按照从last_name
提取的关键字排序,也就是说该索引表只是按照记录的first_name
字段值有序。
因此select * from person where first_name = ?
是可以利用索引的,而select * from person where last_name = ?
无法利用索引。
那么该复合索引的应用场景是什么?==组合查询==
比如对于select * person from first_name = ? and last_name = ?
,复合索引就比对first_name
和last_name
单独建立索引要高效些。很好理解,复合索引首先二分查找与first_name = ?
匹配的记录,再在这些记录中二分查找与last_name
匹配的记录,只涉及到一张索引表。而分别单独建立索引则是在first_name
索引表中二分找出与first_name = ?
匹配的记录,再在last_name
索引表中二分找出与last_name = ?
的记录,两者取交集。
一但有一边无索引可用就会导致整个SQL语句的全表扫描
如性别、支付状态等状态值字段往往只有极少的几种取值可能,这种字段即使建立索引,也往往利用不上。这是因为,一个状态值可能匹配大量的记录,这种情况MySQL会认为利用索引比全表扫描的效率低,从而弃用索引。索引是随机访问磁盘,而全表扫描是顺序访问磁盘,这就好比有一栋20层楼的写字楼,楼底下的索引牌上写着某个公司对应不相邻的几层楼,你去公司找人,与其按照索引牌的提示去其中一层楼没找到再下来看索引牌再上楼,不如从1楼挨个往上找到顶楼。
where、order by、join
字段上建立索引。语法:index(field(10))
,使用字段值的前10个字符建立索引,默认是使用字段的全部内容建立索引。
前提:前缀的标识度高。比如密码就适合建立前缀索引,因为密码几乎各不相同。
==实操的难度==:在于前缀截取的长度。
我们可以利用select count(*)/count(distinct left(password,prefixLen));
,通过从调整prefixLen
的值(从1自增)查看不同前缀长度的一个平均匹配度,接近1时就可以了(表示一个密码的前prefixLen
个字符几乎能确定唯一一条记录)
btree(多路平衡查找树)是一种广泛应用于==磁盘上实现索引功能==的一种数据结构,也是大多数数据库索引表的实现。
以add index(first_name,last_name)
为例:
BTree的一个node可以存储多个关键字,node的大小取决于计算机的文件系统,因此我们可以通过减小索引字段的长度使结点存储更多的关键字。如果node中的关键字已满,那么可以通过每个关键字之间的子节点指针来拓展索引表,但是不能破坏结构的有序性,比如按照first_name
第一有序、last_name
第二有序的规则,新添加的韩香
就可以插到韩康
之后。白起 < 韩飞 < 韩康 < 李世民 < 赵奢 < 李寻欢 < 王语嫣 < 杨不悔
。这与二叉搜索树的思想是一样的,只不过二叉搜索树的查找效率是log(2,N)
(以2为底N的对数),而BTree的查找效率是log(x,N)
(其中x为node的关键字数量,可以达到1000以上)。
从log(1000+,N)
可以看出,少量的磁盘读取即可做到大量数据的遍历,这也是btree的设计目的。
聚簇结构(也是在BTree上升级改造的)中,关键字和记录是存放在一起的。
在MySQL中,仅仅只有Innodb
的==主键索引为聚簇结构==,其它的索引包括Innodb
的非主键索引都是典型的BTree结构。
在索引被载入内存时,使用哈希结构来存储。
缓存
select
语句的查询结果
windows上是my.ini
,linux上是my.cnf
在[mysqld]
段中配置query_cache_type
:
select sql-no-cache
提示来放弃缓存select sql-cache
来主动缓存(==常用==)更改配置后需要重启以使配置生效,重启后可通过show variables like ‘query_cache_type’;
来查看:
show variables like ‘query_cache_type‘;
query_cache_type DEMAND
复制代码
通过配置项query_cache_size
来设置:
show variables like ‘query_cache_size‘;
query_cache_size 0
set global query_cache_size=6410241024;
show variables like ‘query_cache_size‘;
query_cache_size 67108864
复制代码
select sql_cache * from user;
reset query cache;
当数据表改动时,基于该数据表的任何缓存都会被删除。(表层面的管理,不是记录层面的管理,因此失效率较高)
query cache
的使用情况。可以尝试使用,但不能由query cache
决定业务逻辑,因为query cache
由DBA来管理。一般情况下我们创建的表对应一组存储文件,使用MyISAM
存储引擎时是一个.MYI
和.MYD
文件,使用Innodb
存储引擎时是一个.ibd
和.frm
(表结构)文件。
当数据量较大时(一般千万条记录级别以上),MySQL的性能就会开始下降,这时我们就需要将数据分散到多组存储文件,==保证其单个文件的执行效率==。
最常见的分区方案是按id
分区,如下将id
的哈希值对10取模将数据均匀分散到10个.ibd
存储文件中:
create table article(
id int auto_increment PRIMARY KEY,
title varchar(64),
content text
)PARTITION by HASH(id) PARTITIONS 10
复制代码
查看data
目录:
==服务端的表分区对于客户端是透明的==,客户端还是照常插入数据,但服务端会按照分区算法分散存储数据。
==分区依据的字段必须是主键的一部分==,分区是为了快速定位数据,因此该字段的搜索频次较高应作为强检索字段,否则依照该字段分区毫无意义
相同的输入得到相同的输出。输出的结果跟输入是否具有规律无关。==仅适用于整型字段==
和hash(field)
的性质一样,只不过key
是==处理字符串==的,比hash()
多了一步从字符串中计算出一个整型在做取模操作。
create table article_key(
id int auto_increment,
title varchar(64),
content text,
PRIMARY KEY (id,title) -- 要求分区依据字段必须是主键的一部分
)PARTITION by KEY(title) PARTITIONS 10
复制代码
是一种==条件分区==算法,按照数据大小范围分区(将数据使用某种条件,分散到不同的分区中)。
如下,按文章的发布时间将数据按照2018年8月、9月、10月分区存放:
create table article_range(
id int auto_increment,
title varchar(64),
content text,
created_time int, -- 发布时间到1970-1-1的毫秒数
PRIMARY KEY (id,created_time) -- 要求分区依据字段必须是主键的一部分
)charset=utf8
PARTITION BY RANGE(created_time)(
PARTITION p201808 VALUES less than (1535731199), -- select UNIX_TIMESTAMP(‘2018-8-31 23:59:59‘)
PARTITION p201809 VALUES less than (1538323199), -- 2018-9-30 23:59:59
PARTITION p201810 VALUES less than (1541001599) -- 2018-10-31 23:59:59
);
复制代码
注意:条件运算符只能使用==less than==,这以为着较小的范围要放在前面,比如上述p201808,p201819,p201810
分区的定义顺序依照created_time
数值范围从小到大,不能颠倒。
insert into article_range values(null,‘MySQL优化‘,‘内容示例‘,1535731180);
flush tables; -- 使操作立即刷新到磁盘文件
复制代码
由于插入的文章的发布时间1535731180
小于1535731199
(2018-8-31 23:59:59
),因此被存储到p201808
分区中,这种算法的存储到哪个分区取决于数据状况。
也是一种条件分区,按照列表值分区(in (值列表)
)。
create table article_list(
id int auto_increment,
title varchar(64),
content text,
status TINYINT(1), -- 文章状态:0-草稿,1-完成但未发布,2-已发布
PRIMARY KEY (id,status) -- 要求分区依据字段必须是主键的一部分
)charset=utf8
PARTITION BY list(status)(
PARTITION writing values in(0,1), -- 未发布的放在一个分区
PARTITION published values in (2) -- 已发布的放在一个分区
);
复制代码
insert into article_list values(null,‘mysql优化‘,‘内容示例‘,0);
flush tables;
复制代码
前文中我们尝试使用range
对文章按照月份归档,随着时间的增加,我们需要增加一个月份:
alter table article_range add partition(
partition p201811 values less than (1543593599) -- select UNIX_TIMESTAMP(‘2018-11-30 23:59:59‘)
-- more
);
复制代码
alter table article_range drop PARTITION p201808
复制代码
注意:==删除分区后,分区中原有的数据也会随之删除!==
alter table article_key add partition partitions 4
复制代码
alter table article_key coalesce partition 6
复制代码
key/hash
分区的管理不会删除数据,但是每一次调整(新增或销毁分区)都会将所有的数据重写分配到新的分区上。==效率极低==,最好在设计阶段就考虑好分区策略。
当数据表中的数据量很大时,分区带来的效率提升才会显现出来。
只有检索字段为分区字段时,分区带来的效率提升才会比较明显。因此,==分区字段的选择很重要==,并且==业务逻辑要尽可能地根据分区字段做相应调整==(尽量使用分区字段作为查询条件)。
水平分割:通过建立结构相同的几张表分别存储数据
垂直分割:将经常一起使用的字段放在一个单独的表中,分割后的表记录之间是一一对应关系。
5.1
之后mysql
才支持分区操作)memcache、redis
的id
自增器id
一个字段的表,每次自增该字段作为数据记录的id
横向扩展:从根本上(单机的硬件处理能力有限)提升数据库性能 。由此而生的相关技术:==读写分离、负载均衡==
Red Hat Enterprise Linux Server release 7.0 (Maipo)
(虚拟机)mysql5.7
(下载地址)解压到对外提供的服务的目录(我自己专门创建了一个/export/server
来存放)
tar xzvf mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz -C /export/server
cd /export/server
mv mysql-5.7.23-linux-glibc2.12-x86_64 mysql
复制代码
添加mysql
目录的所属组和所属者:
groupadd mysql
useradd -r -g mysql mysql
cd /export/server
chown -R mysql:mysql mysql/
chmod -R 755 mysql/
复制代码
创建mysql
数据存放目录(其中/export/data
是我创建专门用来为各种服务存放数据的目录)
mkdir /export/data/mysql
复制代码
初始化mysql
服务
cd /export/server/mysql
./bin/mysqld --basedir=/export/server/mysql --datadir=/export/data/mysql --user=mysql --pid-file=/export/data/mysql/mysql.pid --initialize
复制代码
如果成功会显示
mysql
的root
账户的初始密码,记下来以备后续登录。如果报错缺少依赖,则使用yum instally
依次安装即可
配置my.cnf
vim /etc/my.cnf
[mysqld]
basedir=/export/server/mysql
datadir=/export/data/mysql
socket=/tmp/mysql.sock
user=mysql
server-id=10 # 服务id,在集群时必须唯一,建议设置为IP的第四段
port=3306
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd
[mysqld_safe]
log-error=/export/data/mysql/error.log
pid-file=/export/data/mysql/mysql.pid
#
# include all files from the config directory
#
!includedir /etc/my.cnf.d
复制代码
将服务添加到开机自动启动
cp /export/server/mysql/support-files/mysql.server /etc/init.d/mysqld
复制代码
启动服务
service mysqld start
复制代码
配置环境变量,在/etc/profile
中添加如下内容
# mysql env
MYSQL_HOME=/export/server/mysql
MYSQL_PATH=$MYSQL_HOME/bin
PATH=$PATH:$MYSQL_PATH
export PATH
复制代码
使配置即可生效
source /etc/profile
复制代码
使用root
登录
mysql -uroot -p
# 这里填写之前初始化服务时提供的密码
复制代码
登录上去之后,更改root
账户密码(我为了方便将密码改为root),否则操作数据库会报错
set password=password(‘root‘);
flush privileges;
复制代码
设置服务可被所有远程客户端访问
use mysql;
update user set host=‘%‘ where user=‘root‘;
flush privileges;
复制代码
这样就可以在宿主机使用
navicat
远程连接虚拟机linux上的mysql了
以linux
(192.168.10.10
)上的mysql
为master
,宿主机(192.168.10.1
)上的mysql
为slave
配置主从复制。
修改master
的my.cnf
如下
[mysqld]
basedir=/export/server/mysql
datadir=/export/data/mysql
socket=/tmp/mysql.sock
user=mysql
server-id=10
port=3306
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd
log-bin=mysql-bin # 开启二进制日志
expire-logs-days=7 # 设置日志过期时间,避免占满磁盘
binlog-ignore-db=mysql # 不使用主从复制的数据库
binlog-ignore-db=information_schema
binlog-ignore-db=performation_schema
binlog-ignore-db=sys
binlog-do-db=test #使用主从复制的数据库
[mysqld_safe]
log-error=/export/data/mysql/error.log
pid-file=/export/data/mysql/mysql.pid
#
# include all files from the config directory
#
!includedir /etc/my.cnf.d
复制代码
重启master
service mysqld restart
复制代码
登录master
查看配置是否生效(ON
即为开启,默认为OFF
):
mysql> show variables like ‘log_bin‘;
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin | ON |
+---------------+-------+
复制代码
在master
的数据库中建立备份账号:backup
为用户名,%
表示任何远程地址,用户back
可以使用密码1234
通过任何远程客户端连接master
grant replication slave on *.* to ‘backup‘@‘%‘ identified by ‘1234‘
复制代码
查看user
表可以看到我们刚创建的用户:
mysql> use mysql
mysql> select user,authentication_string,host from user;
+---------------+-------------------------------------------+-----------+
| user | authentication_string | host |
+---------------+-------------------------------------------+-----------+
| root | *81F5E21E35407D884A6CD4A731AEBFB6AF209E1B | % |
| mysql.session | *THISISNOTAVALIDPASSWORDTHATCANBEUSEDHERE | localhost |
| mysql.sys | *THISISNOTAVALIDPASSWORDTHATCANBEUSEDHERE | localhost |
| backup | *A4B6157319038724E3560894F7F932C8886EBFCF | % |
+---------------+-------------------------------------------+-----------+
复制代码
新建test
数据库,创建一个article
表以备后续测试
CREATE TABLE `article` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`title` varchar(64) DEFAULT NULL,
`content` text,
PRIMARY KEY (`id`)
) CHARSET=utf8;
复制代码
重启服务并刷新数据库状态到存储文件中(with read lock
表示在此过程中,客户端只能读数据,以便获得一个一致性的快照)
[root@zhenganwen ~]# service mysqld restart
Shutting down MySQL.... SUCCESS!
Starting MySQL. SUCCESS!
[root@zhenganwen mysql]# mysql -uroot -proot
mysql> flush tables with read lock;
Query OK, 0 rows affected (0.00 sec)
复制代码
查看master
上当前的二进制日志和偏移量(记一下其中的File
和Position
)
mysql> show master status \G
*************************** 1. row ***************************
File: mysql-bin.000002
Position: 154
Binlog_Do_DB: test
Binlog_Ignore_DB: mysql,information_schema,performation_schema,sys
Executed_Gtid_Set:
1 row in set (0.00 sec)
复制代码
File
表示实现复制功能的日志,即上图中的Binary log
;Position
则表示Binary log
日志文件的偏移量之后的都会同步到slave
中,那么在偏移量之前的则需要我们手动导入。
主服务器上面的任何修改都会保存在二进制日志Binary log里面,从服务器上面启动一个I/O thread(实际上就是一个主服务器的客户端进程),连接到主服务器上面请求读取二进制日志,然后把读取到的二进制日志写到本地的一个Realy log里面。从服务器上面开启一个SQL thread定时检查Realy log,如果发现有更改立即把更改的内容在本机上面执行一遍。
如果一主多从的话,这时主库既要负责写又要负责为几个从库提供二进制日志。此时可以稍做调整,将二进制日志只给某一从,这一从再开启二进制日志并将自己的二进制日志再发给其它从。或者是干脆这个从不记录只负责将二进制日志转发给其它从,这样架构起来性能可能要好得多,而且数据之间的延时应该也稍微要好一些
手动导入,从master
中导出数据
mysqldump -uroot -proot -hlocalhost test > /export/data/test.sql
复制代码
将test.sql
中的内容在slave
上执行一遍。
修改slave
的my.ini
文件中的[mysqld]
部分
log-bin=mysql
server-id