MySQL的insert into select 引发锁表

本人花费半年的时间总结的《Java面试指南》已拿腾讯等大厂offer,已开源在github ,欢迎star!

本文GitHub https://github.com/OUYANGSIHAI/JavaInterview 已收录,这是我花了6个月总结的一线大厂Java面试总结,本人已拿大厂offer,欢迎star

原文链接:blog.ouyangsihai.cn >> MySQL的insert into select 引发锁表

上周五HaC我要上线,有一个脚本需要执行,执行前需要备份一个表。
运维大佬:“这个表的备份为什么要这么久,,??”
1秒过去了……2秒过去了……
期间运营反馈系统出现大量订单超时情况。
大佬找到我,问:“你怎么备份的?”
我:“ insert into select * from 呀!”
大佬:“??你是不是不想混了?”

又是被大佬嫌弃的一天,为了不卷铺盖走人,我决定去学习一下表备份的常见方法。

MySQL一般我们在生产上备份数据通常会用到 这两种方法:

  1. INSERT INTO SELECT1. CREATE TABLE AS SELECT

    注:本文仅针对MySQL innodb引擎,事务是可重复读RR,数据库版本为5.5

1.INSERT INTO SELECT


insert into Table2(field1,field2,...) select value1,value2,... from Table1

注意

(1)要求目标表Table2必须存在,并且字段field,field2…也必须存在

(2)注意Table2的主键约束,如果Table2有主键而且不为空,则 field1, field2…中必须包括主键

在执行语句的时候,MySQL是逐行加锁的(扫描一个锁一个),直至锁住所有符合条件的数据,执行完毕才释放锁。所以当业务在进行的时候,切忌使用这种方法。

在RR隔离级别下,还会加行锁和间隙锁

举个栗子吧:


CREATE TABLE `t` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `c` int(11) DEFAULT NULL,
  `d` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `c` (`c`)
) ENGINE=InnoDB;

insert into t values(null, 1,1);
insert into t values(null, 2,2);
insert into t values(null, 3,3);
insert into t values(null, 4,4);

create table t2 like t;

执行


begin;
insert into t2(c,d) select c,d from t;

先不commit;这个语句对表 t 主键索引加了 (-∞,1] 这个 next-key lock

新开一个Navicat窗口,模拟新事务进入,此时执行下面这句sql就需要等待


insert into t values(-1,-1,-1);

真就锁表了~无法写进去了,我终于知道为什么订单超时了。

背锅背锅。

如果实在要使用 INSERT INTO SELECT 这种方法,可以使用下面的方法进行优化:

  1. 加条件,强制走索引,不要全表扫描,例如
    ```
    INSERT INTO Table2 SELECT
        * 
    FROM
        Table1 FORCE INDEX (create_time)
    WHERE
        update_time <= ‘2020-03-08 00:00:00’;

1. 加上limit 100,100 这种,限制数量
## 2. CREATE TABLE AS SELECT

`create table as select`  会创建一个不存在的表,也可以用来复制一个表。

1. create table t3 as select * from t where 1=2;
– 创建一个表结构与t一模一样的表,只复制结构不复制数据;

2.create table t3 as select * from t ;
– 创建一个表结构与t一模一样的表,复制结构同时也复制数据;(索引不会创建)

3.create table t3( id, a)  as select  id, c from t;
– 创建一个表结构与t一模一样的表,复制结构同时也复制数据,但是指定新表的列名;



后面两种格式,如果后面跟上合适的查询条件,可以只复制符合条件的数据到新的表中。比如:

create  table table1  as  select * from table2  where columns1>=1;



针对大表多字段的表复制,考虑是否每一个字段都是必需的,如果不是必需的,可以自定义选择字段吗,这样复制的时间会大大提升。

CREATE table table1 as SELECT id FROM table2; – 只复制id这一列



注意**此建表过程全程锁表**。语句执行完毕,才释放**元数据锁**> 
  MDL全称为metadata lock,即元数据锁。MDL锁主要作用是维护表元数据的数据一致性,在表上有活动事务(显式或隐式)的时候,不可以对元数据进行写入操作。因此从MySQL5.5版本开始引入了MDL锁,来保护表的元数据信息,用于解决或者保证DDL操作与DML操作之间的一致性。
 

注意:
1. 新表不会自动创建创建和原表相同的索引。(即复制表的索引会消失)
## 3 .区别
- 首先,最大的区别是二者属于不同类型的语句,`INSERT INTO SELECT` 是DML语句(数据操作语言,SQL中处理数据等操作统称为数据操纵语言),完成后需要提交才能生效,`CREATE TABLE AS SELECT` 是DDL语句(数据定义语言,用于定义和管理 SQL 数据库中的所有对象的语言 ),执行完直接生效,不提供回滚,效率比较高。- 其次,功能不同,`INSERT INTO SELECT`只是插入数据,必须先建表;`CREATE TABLE AS SELECT` 则建表和插入数据一块完成。- 当有大量数据的时候不推荐使用Insert into as,因为该语句的插入的效率很慢。
## 4.总结

以上对复制表来说,都不是很好的选择,分享几种平时常用的方法:
1. 导出成excel,然后拼sql 成 insert into values(),(),()的形式。1. 定时任务,任务的逻辑是查询100条记录,然后多个线程分到几个任务执行,比如是个线程,每个线程10条记录,插入后,在查询新的100条记录处理。<li>mysqldumb方法,例如<pre class="has"><code class="language-go">mysqldump -h&lt;span class="katex-html" aria-hidden="true" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;"&gt;&lt;span class="strut" style="height:0.69444em;vertical-align:0em;" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;"&gt;&lt;span class="mord mathit" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;"&gt;h&lt;span class="mord mathit" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;"&gt;o&lt;span class="mord mathit" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;"&gt;s&lt;span class="mord mathit" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;"&gt;t&lt;span class="mord mathit" style="margin-right:0.05764em;" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;"&gt;E&lt;span class="mord mathit" style="margin-right:0.05764em;" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;"&gt;E&lt;span class="mord mathit" style="margin-right:0.13889em;" style="font-size: inherit;color: inherit;line-height: inherit;margin: 1px;overflow-wrap: inherit !important;word-break: inherit !important;"&gt;Pport -u$user --add-locks=0 --no-create-info --single-transaction  --set-gtid-purged=OFF db1 t --where="a&gt;900" --result-file=/client_tmp/t.sql
&lt;/span class="mord mathit" style="margin-right:0.13889em;"&gt;&lt;/span class="mord mathit" style="margin-right:0.05764em;"&gt;&lt;/span class="mord mathit" style="margin-right:0.05764em;"&gt;&lt;/span class="mord mathit"&gt;&lt;/span class="mord mathit"&gt;&lt;/span class="mord mathit"&gt;&lt;/span class="mord mathit"&gt;&lt;/span class="strut" style="height:0.69444em;vertical-align:0em;"&gt;&lt;/span class="katex-html" aria-hidden="true"&gt;</code></pre></li>1. 导出 CSV 文件

select * from db1.t where a>900 into outfile ‘/server_tmp/t.csv’;

34两种方法适合整个表导出。

5. 业务少的情况(深夜什么的)下,可以使用 `create table as select`  。

知识又增加了。

<img src="https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9waWNRSFBvckxoNURwNGRZRFR2WTZ5aWNBeW5vbmxpY2FJaWNDRGpaR2ljSG9OSFZCYWliVmR1MzNoOU5vaHQwWGljSWN1UE0xOTJZZG1qbmpEYkJwNmlicWlhcldxQS82NDA?x-oss-process=image/format,png">

原创电子书历时整整一年总结的 Java 面试 + Java 后端技术学习指南,这是本人这几年及校招的总结,各种高频面试题已经全部进行总结,按照章节复习即可,已经拿到了大厂offer。
原创思维导图扫码或者微信搜 程序员的技术圈子 回复 面试 领取原创电子书和思维导图。

```

原文地址:https://sihai.blog.csdn.net/article/details/109505286

本人花费半年的时间总结的《Java面试指南》已拿腾讯等大厂offer,已开源在github ,欢迎star!

本文GitHub https://github.com/OUYANGSIHAI/JavaInterview 已收录,这是我花了6个月总结的一线大厂Java面试总结,本人已拿大厂offer,欢迎star

原文链接:blog.ouyangsihai.cn >> MySQL的insert into select 引发锁表


 上一篇
硬刚一周,3W字总结,一年的经验告诉你如何准备校招,拿大厂offer 硬刚一周,3W字总结,一年的经验告诉你如何准备校招,拿大厂offer
前期准备校招在我看来是一件时间特别长的战争,为什么这么说呢,因为从你开始准备校招的那一刻开始,到你正式拿到offer的,并且确定去哪一家公司时,时间差不多一年左右,这个时间其实比考研、公务员等都要长,你可能会问为什么需要这么长的时间,当然,
2021-04-04
下一篇 
redis五大数据类型使用场景 redis五大数据类型使用场景
点击上方 **好好学java **,选择 **星标 **公众号 重磅资讯、干货,第一时间送达 今日推荐:个人原创100W+访问量博客:点击前往,查看更多 Redis是一种基于键值对的NoSQL数据库,它的值主要由string(字符串),ha
2021-04-04