日志

错误日志

错误日志是 MySQL 中最重要的日志之一，它记录了当 mysqld 启动和停止时，以及服务器在运行过程中发生任何严重错误时的相关信息当数据库出现任何故障导致无法正常使用时，建议首先查看此日志
该日志是默认开启的，默认存放目录 /var/log/，默认的日志文件名为 mysqld.log。查看日志位置:

1
2
show variables like '%log error%';
tail -f /var/log/mysqld.log;

二进制日志

二进制日志(BINLOG)记录了所有的 DDL(数据定义语言)语句和 DML(数据操纵语言)语句，但不包括数据查询(SELECT、SHOW)语句

作用:①.灾难时的数据恢复;②.MySQL的主从复制。在MySQL8版本中，默认二进制日志是开启着的，涉及到的参数如下:

1
show variables like '%log_bin%';

日志格式

1
show variables like '%binlog_format%';

日志删除

也可以在mysql的配置文件中配置二进制日志的过期时间，设置了之后，二进制日志过期会自动删除

1
show variables like "%binlog_expire_logs_seconds%';

查询日志

查询日志中记录了客户端的所有操作语句，而二进制日志不包含查询数据的SQL语句。默认情况下，查询日志是未开启的。如果需要开启查询日志，可以设置以下配置:

1
show variables like '%general%';

修改MySQL的配置文件 /etc/my.cnf文件，添加如下内容

1
2
3
4
#该选项用来开启查询日志，可选值:0或者1;0代表关闭，1代表开启
general_log=1
#设置日志的文件名 ，如果没有指定，默认的文件名为host_name.log
general_log_file=mysql_query.log

慢查询日志

慢查询日志记录了所有执行时间超过参数long_query_time 设置值并且扫描记录数不小于 min_examined_row_limit的所有的SQL语句的日志，默认未开启。long_query_time 默认为 10秒，最小为0，精度可以到微秒

1
2
3
4
5
6
7
8
#慢查询日志
slow_query_log = 1
#执行时间参数
long_query_time = 2
#记录执行较慢的管理语句
log_slow_admin_statements = 1
#记录执行较慢的未使用索引的语句
log_queries_not_using_indexes = 1

主从复制

主从复制是指将主数据库的DDL和 DML 操作通过二进制日志传到从库服务器中，然后在从库上对这些日志重新执行(也叫重做)，从而使得从库和主库的数据保持同步

MySQL支持一台主库同时向多台从库进行复制，从库同时也可以作为其他从服务器的主库，实现链状复制

MySQL复制的有点主要包含以下三个方面:

  1. 主库出现问题，可以快速切换到从库提供服务
  2. 实现读写分离，降低主库的访问压力
  3. 可以在从库中执行备份，以避免备份期间影响主库服务

原理

复制分成三步:

  1. Master 主库在事务提交时，会把数据变更记录在二进制日志文件 Binlog 中
  2. 从库读取主库的二进制日志文件 Binlog ，写入到从库的中继日志 Relay Log
  3. slave重做中继日志中的事件，将改变反映它自己的数据

搭建

服务器准备

1
2
3
4
5
6
7
8
开放指定的3306端口号
firewall-cmd --zone=public --add-port=3306/tcp -permanent
firewall-cmd -reload
关闭服务器的防火墙
systemctl stop firewalld
systemctl disable firewalld
查看状态
systemctl status mysqld

主库配置

修改配置文件 /etc/my.cnf

1
2
3
4
5
6
7
8
9
10
#mysql服务ID，保证整个集群环境中唯一，取值范围:1-232-1，默认为1
server-id=1
#是否只读,1 代表只读,0 代表读写
read-only=0
#忽略的数据,指不需要同步的数据库
binlog-ignore-db=mysql
#指定同步的数据库
binlog-do-db=db01
// 重启
systemctl restart mysqld

登录mysql，创建远程连接的账号，并授予主从复制权限

1
2
3
4
#创建itcast用户，并设置密码，该用户可在任意主机连接该MySOL服务
CREATE USER 'itcast'@'%' IDENTIFIED WITH mysql_native_password BY 'Root@123456';
#为'itcast'@'%' 用户分配主从复制权限
GRANT REPLICATION SLAVE ON *.* TO 'itcast'@'%';

查看二进制日志坐标

1
show master status;

字段含义说明

  • file:从哪个日志文件开始推送日志文件
  • position:从哪个位置开始推送日志
  • binlog_ignore_db:指定不需要同步的数据库

从库配置

修改配置文件 /etc/my.cnf

1
2
3
4
5
6
7
8
#mysql服务ID，保证整个集群环境中唯一，取值范围:1-232-1，和主库不一样即可
server-id=2
#是否只读,1 代表只读,0 代表读写
read-only=1
#让超级管理员也只读(可选)
super_read_only=1
// 重启
systemctl restart mysqld

设置主库配置

1
CHANGE REPUCATION SOURCE TO SOURCE_HOST= 'xxx.xxx', SOURCE_USER= 'xxx',SOURCE_PASSWORD='xxx' ,SOURCE_LOG_FILE='xxx' SOURCE_LOG_POS=xxx;

开启同步操作

1
2
start replica;   #8.0.22之后
start slave;     #8.0.22之前

查看主从同步状态

1
2
show replica status;     #8.0.22之后
show slave status;       #8.0.22之前

分库分表

随着互联网及移动互联网的发展，应用系统的数据量也是成指数式增长，若采用单数据库进行数据存储，存在以下性能瓶颈

  1. I0瓶颈:热点数据太多，数据库缓存不足，产生大量磁盘I0，效率较低。请求数据太多，带宽不够，网络I0瓶颈
  2. CPU瓶颈:排序、分组、连接查询、聚合统计等SQL会耗费大量的CPU资源，请求数太多，CPU出现瓶颈

拆分策略

垂直拆分

垂直分库:以表为依据，根据业务将不同表拆分到不同库中

特点:

  1. 每个库的表结构都不一样
  2. 每个库的数据也不一样
  3. 所有库的并集是全量数据

垂直分表

垂直分表:以字段为依据，根据字段属性将不同字段拆分到不同表中

特点:

  1. 每个表的结构都不一样
  2. 每个表的数据也不一样，一般通过一列(主键/外键)关联
  3. 所有表的并集是全量数据

水平分库

水平分库:以字段为依据，按照一定策略，将一个库的数据拆分到多个库中

特点:

  1. 每个库的表结构都一样
  2. 每个库的数据都不一样
  3. 所有库的并集是全量数据

水平分表

水平分表:以字段为依据，按照一定策略，将一个表的数据拆分到多个表中

特点:

  1. 每个表的表结构都一样
  2. 每个表的数据都不一样
  3. 所有表的并集是全量数据

实现技术

  • shardingjDBC:基于AOP原理，在应用程序中对本地执行的SQL进行拦截，解析、改写、路由处理。需要自行编码配置实现，只支持java语言，性能较高
  • MyCat:数据库分库分表中间件，不用调整代码即可实现分库分表，支持多种语言，性能不及前者

Mycat

Mycat是开源的、活跃的、基于Java语言编写的MySQL数据库中间件。可以像使用mysql一样来使用mycat，对于开发人员来说根本感觉
不到mycat的存在

优势:

  1. 性能可靠稳定
  2. 强大的技术团队
  3. 体系完善
  4. 社区活跃

目录结构

  • bin:存放可执行文件，用于启动停止mycat
  • conf:存放mycat的配置文件
  • lib:存放mycat的项目依赖包(jar)
  • logs:存放mycat的日志文件

分片配置(schema.xml)

分片配置(server.xml)

启动服务

1
2
3
4
5
6
bin/mycat start
bin/mycat stop
// 占用端口8066

// 连接并登入Mycat
像连接mysql一样

Mycat配置

schema.xml

schema.xml作为MyCat中最重要的配置文件之一,涵盖了MyCat的逻辑库 、逻辑表 、分片规则、分片节点及数据源的配置

schema标签

核心属性:

  • name:指定自定义的逻辑库库名
  • checksOLschema:在SOL语句操作时指定了数据库名称，执行时是否自动去除;true:自动去除，false:不自动去除
  • sqlMaxLimit:如果未指定limit进行查询，列表查询模式查询多少条记录

table标签

核心属性:

  • name:定义逻辑表表名，在该逻辑库下唯一
  • dataNode:定义逻辑表所属的dataNode，该属性需要与dataNode标签中name对应;多个dataNode逗号分隔
  • rule:分片规则的名字，分片规则名字是在rule.xml中定义的
  • primaryKey:逻辑表对应真实表的主键
  • type:逻辑表的类型，目前逻辑表只有全局表和普通表，如果未配置，就是普通表;全局表，配置为 global

dataNode标签

核心属性:

  • name:定义数据节点名称
  • dataHost:数据库实例主机名称，引用自 dataHost 标签中name属性
  • database:定义分片所属数据库

dataHost标签

核心属性:

  • name:唯一标识，供上层标签使用
  • maxCon/minCon:最大连接数/最小连接数
  • balance:负载均衡策略，取值 0,1,2,3
  • writeType:写操作分发方式(0:写操作转发到第一个writeHost，第一个挂了，切换到第二个;1:写操作随机分发到配置的writeHost)
  • dbDriver:数据库驱动，支持native、jdbc

rule.xml

rule.xml中定义所有拆分表的规则,在使用过程中可以灵活的使用分片算法,或者对同一个分片算法使用不同的参数,它让分片过程可配
置化。主要包含两类标签:tableRule、Function

user标签

分片

垂直拆分

1
2
查询用户的收件人及收件人地址信息(包含省、市、区)。
select ua.user_id, wa.contact, p.province, c.city, r.area , ua.address from tb_ user_address ua tb_areas_city c,tb _areas_provinces p,tb_areas_region r where ua.province_ id = p.provinceid and ua.city_id = c.cityid and ua.town _id = r.areaid;

全局表配置

对于省、市、区/县表tb_areas_provinces,tb_areas_city,tb_areas_region，是属于数据字典表，在多个业务模块中都可能会遇到，可以将其设置为全局表，利于业务操作

水平拆分

在业务系统中,有一张表(日志表),业务系统每天都会产生大量的日志数据,单台服务器的数据存储及处理能力是有限的,可以对数据库表
进行拆分

分片规则

范围

根据指定的字段及其配置的范围与数据节点的对应情况，来决定该数据属于哪一个分片

取模

根据指定的字段值与节点数量进行求模运算，根据运算结果，来决定该数据属于哪一个分片

一致性hash(例如主键是uuid)

枚举

通过在配置文件中配置可能的枚举值,指定数据分布到不同数据节点上,本规则适用于按照省份、性别、状态拆分数据等业务

枚举值 1：0

枚举值 2：1

枚举值 3：2

应用指定

运行阶段由应用自主决定路由到那个分片，直接根据字符子串(必须是数字)计算分片号

00xxxx：0

01xxxx：1

02xxxx：2

固定分片hash算法

该算法类似于十进制的求模运算，但是为二进制的操作，例如，取id的二进制低10位与 1111111111进行位&运算

特点：

  • 如果是求模，连续的值，分别分配到各个不同的分片;但是此算法会将连续的值可能分配到相同的分片，降低事务处理的难度
  • 可以均匀分配，也可以非均匀分配
  • 分片字段必须为数字类型

字符串hash解析

截取字符串中的指定位置的子字符串,进行hash算法，算出分片

分片规则-按(天)日期分片

分片规则-自然月

Mycat管理及监控

Mycat管理

Mycat默认开通2个端口，可以在server.xml中进行修改

  • 8066 数据访问端口，即进行 DML和 DDL操作
  • 9066 数据库管理端口，即 mycat 服务管理控制功能，用于管理mycat的整个集群状态
1
mysql -h 192.168.200.210 -p 9066 -u root -p 123456

Mycat监控

Mycat-eye

介绍

Mycat-web(Mvcat-eve)是对mycatserver提供监控服务，功能不局限于对mycat:server使用。他通过JDBC连接对Mvcat、Mysql监控，监控远程服务器(目前仅限于linux系统)的cpu、内存、网络、磁盘

Mycat-eye运行过程中需要依赖zookeeper，因此需要先安装zookeeper

安装

  • 安装zookeeper
  • 安装Mycat-web

读写分离

读写分离,简单地说是把对数据库的读和写操作分开,以对应不同的数据库服务器。主数据库提供写操作er，从数据库提供读操作，这样能有效地减轻单台数据库的压力
通过MyCat即可轻易实现上述功能，不仅可以支持MySQL，也可以支持Oracle和SQLServer

一主一从读写分离

配置

MyCat控制后台数据库的读写分离和负载均衡由schema.xml文件datahost标签的balance属性控制

问题:主节点Master宕机之后，业务系统就只能够读，而不能写入数据了

双主双从

一个主机 Master1用于处理所有写请求，它的从机Slave1和另一台主机 Master2还有它的从机Slave2负责所有读请求。当 Master1主机宕机后，Master2主机负责写请求，Master1、Master2 互为备机

配置

关闭以上所有服务器的防火墙:

  • systemctl stop firewalld
  • systemctl disable firewalld

主库配置

1.修改配置文件 /etc/my.cnf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#第一个主库
#mysql 服务ID，保证整个集群环境中唯一，取值范围:1-232-1，默认为1
server-id=1
#指定同步的数据库
binlog-do-db=db01
binlog-do-db=db02
binlog-do-db=db03
# 在作为从数据库的时候，有写入操作也要更新二进制日志文件
log-slave-updates

#第二个主库
#mysql 服务ID，保证整个集群环境中唯一，取值范围:1-232-1，默认为1
server-id=3
#指定同步的数据库
binlog-do-db=db01
binlog-do-db=db02
binlog-do-db=db03
# 在作为从数据库的时候，有写入操作也要更新二进制日志文件
log-slave-updates

2.重启MySQL服务器

1
systemctl restart mysqld

两台主库创建账户并授权

1
2
3
4
#创建itcast用户，并设置密码，该用户可在任意主机连接该MySOL服务
CREATE USER 'itcast'@'%' IDENTIFIED WITH mysql_native_password BY 'Root@123456';
#为'itcast'@'%'用户分配主从复制权限
GRANT REPLICATION SLAVE ON *.* TO 'itcast'@'%';

通过指令，查看两台主库的二进制日志坐标

1
show master status;

从库配置

1.修改配置文件 /etc/my.cnf

1
2
3
4
5
6
7
#第一个从库
#mysql 服务ID，保证整个集群环境中唯一，取值范围:1-232-1，默认为1
server-id=2

#第二个从库
#mysql 服务ID，保证整个集群环境中唯一，取值范围:1-232-1，默认为1
server-id=4

2.重启MySQL服务器

1
systemctl restart mysqld

两台从库配置关联的主库

1
CHANGE MASTER TO MASTER_HOST='xxx.xxx.xxx.xxx', MASTER_USER='xxx', MASTER_PASSWORD='xxx',MASTER_LOG_ FILE='xxx',MASTER_LOG_POS=xxx;

需要注意slave1对应的是master1，slave2对应的是master2
启动两台从库主从复制，查看从库状态

1
2
start slave;
show slave status \G;

两台主库相互复制

参考两台从库配置关联的主库

双主双从读写分离

MyCat控制后台数据库的读写分离和负载均衡由schema.xml文件datahost标签的balance属性控制，通过writeType及switchType来完成失
败自动切换的