一、问题:
MySQL5.7.38主从架构,主节点唯一索引上(唯一索引不是主键)有重复值,全部从节点报1062,SQL线程状态异常,根据SQL线程报的binlog位置点,insert 数据时有重复值,插入失败
二、原因:
unique_checks=0时导致,在bug(106121)列表中官方解释的原因:该参数关闭,维护唯一索引时,不会进行物理读,只会进行内存读,来确保唯一索引的唯一性,即如果内存中有冲突数据就报1062,如果内存中没有冲突数据插入成功,不会进行io来将唯一索引相关的数据页拉取到内存。
官方的回复“IMHO this is not a bug”,我理解的意思“不要你觉得,我要我觉得,我就是这么玩的”。
三、故障解决方案:
一、临时解决方案
- 恢复主从:在从节点开启会话set sql_log_bin=0删除表的唯一索引重新启动复制线程
缺点是:不能够解决数据重复的问题,切换主从后会面临更多重复数据的问题,如果从节点接收查请求且使用到了原唯一索引的字段,那sql效率会严重下降,但是可以解决主从复制停止的问题
二、永久解决方案
- 业务自己去重,不要插入重复数据
- 参数unique_checks保持为1
- 关于重复的业务数据:与业务交流,确定重复数据的处理方式
四、复现步骤:
1. 表结构:
mysql> create database wl;mysql> show create table wl.lgf\G*************************** 1. row *************************** Table: lgfCreate Table: CREATE TABLE `lgf` ( `id` int(11) NOT NULL AUTO_INCREMENT, `k` int(11) NOT NULL DEFAULT '0', `c` char(120) NOT NULL DEFAULT '', `pad` char(60) NOT NULL DEFAULT '', PRIMARY KEY (`id`), UNIQUE KEY `c` (`c`,`pad`)) ENGINE=InnoDB AUTO_INCREMENT=2147483647 DEFAULT CHARSET=utf8
Python生成随机数据,插入表,并另起会话观察总数据量约10w条左右(保证聚簇索引中的前边的数据与后边的数据所在的叶子节点的页相差很远):
rand.pyimport randomimport oswhile True: i=str(random.randint(1000,8000000)) a=str(random.randint(1000000000000000,8000000000000000)) b=str(random.randint(1000000000000000,8000000000000000)) c=str(random.randint(100000,800000)) sql="insert ignore into lgf(id,k,c,pad) values(%s,%s,%s,%s) " % (i,c,a,b) os.system('mysql -uroot -p123456 -h127.0.0.1 -P3306 -e "use wl;%s"' % (sql))
2. 查询数据:
查询前10条数据:mysql> select * from wl.lgf order by id limit 10;+------+--------+------------------+------------------+| id | k | c | pad |+------+--------+------------------+------------------+| 1058 | 162327 | 1693367460515515 | 4503256156555111 || 1072 | 581438 | 7079984640802065 | 3180334749170868 || 1139 | 160022 | 5072986485096872 | 4163430310554381 || 1193 | 780611 | 4790797228737408 | 2940698105313885 || 1234 | 395757 | 4904177529354516 | 4353197763651083 || 1243 | 725513 | 5525166443023382 | 5731401212245669 || 1262 | 749163 | 1132694876665847 | 5159069792931202 || 1280 | 415220 | 2770815803363126 | 3979264947141008 || 1316 | 329253 | 6088415865037450 | 6035685143204331 || 1360 | 403078 | 3344825394389018 | 7962994492618902 |+------+--------+------------------+------------------+10 rows in set (0.00 sec)id=1360 c=3344825394389018 pad=7962994492618902
3. 拼接SQL
c与pad的值与id=1360值相等,id=1000000000(表中无该id行)
insert into wl.lgf(id,c,pad) values(10000000,'3344825394389018','7962994492618902') ;
4. 重启mysqld
目的是清除缓存 为了清空MySQL缓存容,还可结合以下几个参数 修改my.cnf文件,重启MySQL实例
- innodb_buffer_pool_load_at_startup = 0
- innodb_buffer_pool_dump_at_shutdown = 0
5. 重新插入重复唯一索引数据:
mysql> set unique_checks=0;mysql> use wlmysql> insert into wl.lgf(id,c,pad) values(10000000,'3344825394389018','7962994492618902') ;Query OK, 1 row affected (0.00 sec)
6. 查询:force index指定主键查询数据
mysql> select * from wl.lgf force index(primary) where c='3344825394389018' and pad='7962994492618902';+----------+--------+------------------+------------------+| id | k | c | pad |+----------+--------+------------------+------------------+| 1360 | 403078 | 3344825394389018 | 7962994492618902 || 10000000 | 0 | 3344825394389018 | 7962994492618902 |+----------+--------+------------------+------------------+2 rows in set (0.37 sec)
金九银十快到了很多朋友对面试不够了解,不知道如何准备,对面试环节的设置以及目的不了解,尤其是面试题还很难,自己看解析都有点不明白。这里也推荐一个前京东架构师讲解的:
《2小时精讲最新Java高频面试题》(文末免费领)
教程中除了框架、数据库、中间件、场景解析等Java高频面试题的详细讲解,还有老师结合自身经历让你如何更好的面试:评论区点赞关注评论免费领取!!!!
- 面试的流程
- 什么样的简历受欢迎?
- 针对不同的岗位面试官主要考察什么?
- 如何回答面试官的问题比较好?
- 自己做的项目如何讲才能体现出自己的实力?
- 教程里配的全套资料我也都打包好了,可以直接免费领取。就算你没有面试的打算,这套资料也能帮你查漏补缺,完善自己的 Java 技术体系,好好提升一下自己的核心竞争力!
评论区点赞关注评论免费领取!!!!
原文:https://www.cnblogs.com/greatsql/p/17129847.html
版权声明:内容来源于互联网和用户投稿 如有侵权请联系删除