当前位置:首页 > mysql技术文章 > MySQL 5.7临时表空间如何玩才能不掉坑里详解

解析怎么玩MySQL 5.7临时表空间不掉坑

  • 发布时间:
  • 作者:码农之家原创
  • 点击:132

这篇文章主要知识点是关于MySQL5.7、临时表空间、深度解析MySQL 5.7之临时表空间 的内容,如果大家想对相关知识点有系统深入的学习,可以参阅以下电子书

MySQL 8从入门到精通
  • 类型:MySQL8大小:168 MB格式:PDF作者:王英英
立即下载

MySQL 5.7临时表空间如何玩才能不掉坑里详解

导读

MySQL 5.7的目标是成为发布以来最安全的MySQL服务器,其在SSL/TLS和全面安全开发方面有一些重要的改变。

MySQL 5.7起支持独立临时表空间,但个别时候也可能会踩坑的。

MySQL 5.7起,开始采用独立的临时表空间(和独立的undo表空间不是一回事哟),命名ibtmp1文件,初始化12M,且默认无上限。

选项 innodb_temp_data_file_path 可配置临时表空间相关参数。

innodb_temp_data_file_path = ibtmp1:12M:autoextend

临时表空间的几点说明

  • 临时表空间不像普通InnoDB表空间那样,不支持裸设备(raw device)。
  • 临时表空间使用动态的表空间ID,因此每次重启时都会变化(每次重启时,都会重新初始化临时表空间文件)。
  • 当选项设置错误或其他原因(权限不足等原因)无法创建临时表空间时,mysqld实例也无法启动。
  • 临时表空间中存储这非压缩的InnoDB临时表,如果是压缩的InnoDB临时表,则需要单独存储在各自的表空间文件中,文件存放在 tmpdir(/tmp)目录下。
  • 临时表元数据存储在 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO 视图中。

有时执行SQL请求时会产生临时表,极端情况下,可能导致临时表空间文件暴涨,帮人处理过的案例中最高涨到快300G,比以前遇到的 ibdata1 文件暴涨还要猛…

临时表使用的几点建议

  • 设置 innodb_temp_data_file_path 选项,设定文件最大上限,超过上限时,需要生成临时表的SQL无法被执行(一般这种SQL效率也比较低,可借此机会进行优化)。
  • 检查 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO,找到最大的临时表对应的线程,kill之即可释放,但 ibtmp1 文件则不能释放(除非重启)。
  • 择机重启实例,释放 ibtmp1 文件,和 ibdata1 不同,ibtmp1 重启时会被重新初始化而 ibdata1 则不可以。
  • 定期检查运行时长超过N秒(比如N=300)的SQL,考虑干掉,避免垃圾SQL长时间运行影响业务。

附:临时表测试案例

表DDL

CREATE TEMPORARY TABLE `tmp1` (
 `id` int(10) unsigned NOT NULL DEFAULT '0',
 `name` varchar(50) NOT NULL DEFAULT '',
 `aid` int(10) unsigned NOT NULL AUTO_INCREMENT,
 `nid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) VIRTUAL NOT NULL,
 `nnid` int(11) unsigned GENERATED ALWAYS AS ((`id` + 1)) STORED NOT NULL,
 PRIMARY KEY (`aid`),
 KEY `name` (`name`),
 KEY `id` (`id`),
 KEY `nid` (`nid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8

原表大小只有 120MB,从这个表直接 INSERT…SELECT 导数据到tmp1表。

-rw-r----- 1 yejr imysql 120M Apr 14 10:52 /data/mysql/test/sid.ibd

生成临时表(去掉虚拟列,临时表不支持虚拟列,然后写入数据),还更大了(我也不解,以后有机会再追查原因)。

-rw-r----- 1 yejr imysql 140M Jun 25 09:55 /Users/yejinrong/mydata/ibtmp1

查看临时表元数据信息

yejr@imysql.com [test]>select * from 
 INFORMATION_SCHEMA.INNODB_TEMP_TABLE_INFO\G
*********************** 1. row ***********************
   TABLE_ID: 405
    NAME: #sql14032_300000005_3
    N_COLS: 6
    SPACE: 421
PER_TABLE_TABLESPACE: FALSE
  IS_COMPRESSED: FALSE

再删除索引,结果,又更大了

-rw-r----- 1 yejr imysql 204M Jun 25 09:57 /data/mysql/ibtmp1

第二次测试删除索引后,变成了200M(因为第二次测试时,我设置了临时表最大200M)

innodb_temp_data_file_path = ibtmp1:12M:autoextend:max:200M
-rw-r----- 1 yejr imysql 200M Jun 25 10:15 /data/mysql/ibtmp1

执行一个会产生临时表的慢SQL。

注:MySQL 5.7起,执行UNION ALL不再产生临时表(除非需要额外排序)。

yejr@imysql.com [test]>explain select * from tmp1 union 
 select id,name,aid from sid\G
*************************** 1. row ***************************
   id: 1
 select_type: PRIMARY
  table: tmp1
 partitions: NULL
   type: ALL
possible_keys: NULL
   key: NULL
  key_len: NULL
   ref: NULL
   rows: 3986232
  filtered: 100.00
  Extra: NULL
*************************** 2. row ***************************
   id: 2
 select_type: UNION
  table: sid
 partitions: NULL
   type: ALL
possible_keys: NULL
   key: NULL
  key_len: NULL
   ref: NULL
   rows: 802682
  filtered: 100.00
  Extra: NULL
*************************** 3. row ***************************
   id: NULL
 select_type: UNION RESULT
  table: <union1,2>
 partitions: NULL
   type: ALL
possible_keys: NULL
   key: NULL
  key_len: NULL
   ref: NULL
   rows: NULL
  filtered: NULL
  Extra: Using temporary

文件涨到588M还没结束,我直接给卡了

-rw-r----- 1 yejr imysql 588M Jun 25 10:07 /data/mysql/ibtmp1

第二次测试时,设置了临时表空间文件最大200M,再执行会报错:

yejr@imysql.com [test]>select * from tmp1 union 
 select id,name,aid from sid;
ERROR 1114 (HY000): The table '/var/folders/bv/j4tjn6k54dj5jh1tl8yn6_y00000gn/T/#sql14032_5_8' is full

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对码农之家的支持。

参考

[MySQL FAQ]系列 — 什么情况下会用到临时表

FAQ系列 | 如何避免ibdata1文件大小暴涨

https://dev.mysql.com/doc/refman/5.7/en/temporary-files.html

https://dev.mysql.com/doc/refman/5.7/en/internal-temporary-tables.html

https://dev.mysql.com/doc/refman/5.7/en/innodb-parameters.html#sysvar_innodb_temp_data_file_path

https://dev.mysql.com/doc/refman/5.7/en/innodb-temporary-tablespace.html

深度解析MySQL 5.7之临时表空间

临时表

临时表顾名思义,就是临时的,用完销毁掉的表。 数据既可以保存在临时的文件系统上,也可以保存在固定的磁盘文件系统上。

临时表有下面几种:

1、全局临时表

这种临时表从数据库实例启动后开始生效,在数据库实例销毁后失效。在MySQL里面这种临时表对应的是内存表,即memory引擎。

2、会话级别临时表

这种临时表在用户登录系统成功后生效,在用户退出时失效。在MySQL里的临时表指的就是以create temporary table 这样的关键词创建的表。

3、事务级别临时表

这种临时表在事务开始时生效,事务提交或者回滚后失效。 在MySQL里面没有这种临时表,必须利用会话级别的临时表间接实现。

4、检索级别临时表

这种临时表在SQL语句执行之间产生,执行完毕后失效。 在MySQL里面这种临时表不是很固定,跟随MySQL默认存储引擎来变化。比如默认存储引擎是MyISAM,临时表的引擎就是MyISAM,并且文件生成形式以及数据运作形式和MyISAM一样,只是数据保存在内存里;如果默认引擎是INNODB,那么临时表的引擎就是INNODB,此时它的所有信息都保存在共享表空间ibdata里面。

MySQL 5.7之临时表空间

MySQL 5.7对于InnoDB存储引擎的临时表空间做了优化。在MySQL 5.7之前,INNODB引擎的临时表都保存在ibdata里面,而ibdata的贪婪式磁盘占用导致临时表的创建与删除对其他正常表产生非常大的性能影响。在MySQL5.7中,对于临时表做了下面两个重要方面的优化:

1、MySQL 5.7 把临时表的数据以及回滚信息(仅限于未压缩表)从共享表空间里面剥离出来,形成自己单独的表空间,参数为innodb_temp_data_file_path

2、在MySQL 5.7 中把临时表的相关检索信息保存在系统信息表中:information_schema.innodb_temp_table_info. 而MySQL 5.7之前的版本想要查看临时表的系统信息是没有太好的办法。

需要注意的一点就是:虽然INNODB临时表有自己的表空间,但是目前还不能自己定义临时表空间文件的保存路径,只能是继承innodb_data_home_dir。此时如果想要拿其他的磁盘,比如内存盘来充当临时表空间的保存地址,只能用老办法,做软链。举个小例子:

我现在用的OS是 Ubuntu12.X,想用tmpfs文件系统充当临时表空间,

root@ytt-master-VirtualBox:/usr/local/mysql/data# ln -s/run/shm/ /usr/local/mysql/data/tmp_space2

root@ytt-master-VirtualBox:/usr/local/mysql/data#ls -l | grep 'shm'
lrwxrwxrwx1 root root  9 Nov 13 10:28tmp_space2 -> /run/shm/

然后把innodb_temp_data_file_path=tmp_space2/ibtmp2:200M:autoextend添加到my.cnf里的[mysqld]下面一行, 重启MySQL服务后:

mysql>select @@innodb_temp_data_file_path\G
***************************1. row ***************************
@@innodb_temp_data_file_path:tmp_space2/ibtmp2:200M:autoextend
1 rowin set (0.00 sec)

先写一个批量创建临时表的存储过程:

DELIMITER$$

USE`t_girl`$$

DROPPROCEDURE IF EXISTS `sp_create_temporary_table`$$

CREATEDEFINER=`root`@`localhost` PROCEDURE `sp_create_temporary_table`(
  IN f_cnt INT UNSIGNED )
BEGIN
   DECLARE i INT UNSIGNED DEFAULT 1;

   WHILE i <= f_cnt
   DO
    SET @stmt = CONCAT('create temporarytable tmp',i,' ( id int, tmp_desc varchar(60));'); 
    PREPARE s1 FROM @stmt;
    EXECUTE s1;
    SET i = i + 1;
   END WHILE;
   DROP PREPARE s1;
  END$$

DELIMITER;

现在来创建10张临时表:

mysql>call sp_create_temporary_table(10);
QueryOK, 0 rows affected (0.07 sec)

如果在以前,我们只知道创建了10张临时表,但是只能凭记忆或者手工记录下来临时表的名字等信息。

现在可以直接从数据字典里面检索相关数据。

mysql> select * frominformation_schema.innodb_temp_table_info;
+----------+--------------+--------+-------+----------------------+---------------+
|TABLE_ID | NAME   | N_COLS | SPACE| PER_TABLE_TABLESPACE | IS_COMPRESSED |
+----------+--------------+--------+-------+----------------------+---------------+
|  56 | #sql1705_2_9 |  5 | 36 | FALSE    |FALSE   |
|  55 | #sql1705_2_8 |  5 | 36 | FALSE    |FALSE   |
|  54 | #sql1705_2_7 |  5 | 36 | FALSE    |FALSE   |
|  53 | #sql1705_2_6 |  5 | 36 | FALSE    |FALSE   |
|  52 | #sql1705_2_5 |  5 | 36 | FALSE    |FALSE   |
|  51 | #sql1705_2_4 |  5 | 36 | FALSE    |FALSE   |
|  50 | #sql1705_2_3 |  5 | 36 | FALSE    |FALSE   |
|  49 | #sql1705_2_2 |  5 | 36 | FALSE    |FALSE   |
|  48 | #sql1705_2_1 |  5 | 36 | FALSE    |FALSE   |
|  47 | #sql1705_2_0 |  5 | 36 | FALSE    |FALSE   |
+----------+--------------+--------+-------+----------------------+---------------+
10rows in set (0.00 sec)

总结

功能性我就写到这里,大家性能方面如果有兴趣可以找时间去测试。希望本文的内容对大家学习或者使用mysql5.7能带来一定的帮助,如果有疑问大家可以留言交流。

以上就是本次给大家分享的关于java的全部知识点内容总结,大家还可以在下方相关文章里找到相关文章进一步学习,感谢大家的阅读和支持。

推荐内容

idea2020注册激活码(激活到2100年)

实例分析Java实现的zip压缩及解压缩工具类

python3 pandas 如何读取MySQL数据和插入

ThinkPHP3.2.3框架如何实现分页功能

深入理解JS函数stack size计算方法

展开 +

收起 -

MySQL 5.7临时表空间 相关电子书
学习笔记
网友NO.689967

mysql5.7.21安装配置教程

mysql5.7.21的简单安装配置,具体如下 一、MySQL安装 1、官网下载社区版 2、解压缩到C盘:C:\mysql-5.7.21-winx64 3、以管理员身份运行命令行,进入目录C:\mysql-5.7.21-winx64\bin 4、注册服务:C:\mysql-5.7.21-winx64\bin mysqld install mysql5.7.21 5、初始化数据库:C:\mysql-5.7.21-winx64\bin mysqld --initialize 6、启动数据库:C:\mysql-5.7.21-winx64\bin net start mysql5.7.21 7、登录数据库:C:\mysql-5.7.21-winx64\bin mysql -u root -p 注意,登录密码从mysql安装目录*.err文件中找,例如标红字符:2018-01-17T09:26:11.260249Z 1 [Note] A temporary password is generated for root@localhost: _=(H,?pX.7yZ 8、修改root用户密码:C:\mysql-5.7.21-winx64\bin mysqladmin -uroot -p_=(H,?pX.7yZ password 1234 二、MySQL配置 1、 自行创建C:\mysql-5.7.21-winx64\my.ini,文件内容如下: [mysqld]#设置3306端口port = 3306# 设置mysql的安装目录basedir=C:\mysql-5.7.21-winx64# 设置mysql数据库的数据……

网友NO.976023

Win10下免安装版MySQL5.7的安装和配置教程详解

1、MySQL5.7解压 2、新建配置文件 my.ini 放在 D:\Free\mysql-5.7.26-winx64 目录下 [mysql]# 设置mysql客户端默认字符集default-character-set=utf8[mysqld]#设置3306端口port = 3306# 设置mysql的安装目录basedir=D:\Free\mysql-5.7.26-winx64# 设置mysql数据库的数据的存放目录datadir=D:\Free\mysql-5.7.26-winx64\data# 允许最大连接数max_connections=200# 服务端使用的字符集默认为8比特编码的latin1字符集character-set-server=utf8# 创建新表时将使用的默认存储引擎default-storage-engine=INNODB# 忽略密码skip-grant-tables 如图: 3、配置MySQL环境变量 MYSQL_HOME=D:\Free\mysql-5.7.26-winx64PATH后加入%MYSQL_HOME%\bin; 4、以管理员身份安装MySQL mysqld --install 5、初始化数据文件 mysqld --initialize-insecure --user=mysql 无报错就OK 6、启动MySQL服务 net start mysql 留意:如果启动MySQL服务时报错,如下图所示,其错误原因一般是由于服务的路径与安装的路径不一……

网友NO.618705

Windows系统下mysql5.7.21安装详细教程

MySQL安装程序为您所有的MySQL软件需求提供了一个易于使用,基于向导的安装体验。产品中包含以下最新版本: MySQL服务器 MySQL连接器 MySQL Workbench和示例模型 示例数据库 MySQL for Excel MySQL通知程序 用于Visual Studio的MySQL 文档 工具/原料: mysql-installer-community-5.7.21.0.msi 链接: https://pan.baidu.com/s/1nxmngff 密码: g4si 方法/步骤: 1、百度搜索MySQL官网下载 mysql-installer-web-community在线安装 mysql-installer-community本地安装 注意:MySQL安装程序是32位,但会安装32位和64位二进制文件。 2、在线安装:Windows (x86, 32-bit), MSI Installer5.7.21 打开运行: mysql-installer-community-5.7.21.0.msi 勾选I accept ,点击next 3、选择选择安装方式,Choosing a Setup Type 这里选择默认安装方式第一个开发,点击下一步(只是需要mysql作为数据库服务器的话,选择第二个Server Only,全部安装选择第四个Full) 4、检测……

网友NO.615739

mysql5.7.18解压版启动mysql服务

mysql5.7.18解压版启动mysql服务,具体内容如下 1.下载mysql社区版 2.解压到D:\Program Files 3.在D:\Program Files\mysql-5.7.18-winx64\bin下,新建文件my.ini,内容如下: [client] port=3306 default-character-set=utf8 [mysqld] bind-address = 127.0.0.1 port=3306 character_set_server=utf8 basedir ="D:\Program Files\mysql-5.7.18-winx64" datadir ="D:\Program Files\mysql-5.7.18-winx64\data" tmpdir ="D:\Program Files\mysql-5.7.18-winx64\data" socket ="D:\Program Files\mysql-5.7.18-winx64\data\mysql.sock" log-error="D:\Program Files\mysql-5.7.18-winx64\data\mysql_error.log" max_connections=100 table_open_cache=256 query_cache_size=1M tmp_table_size=32M thread_cache_size=8 innodb_data_home_dir="D:\Program Files\mysql-5.7.18-winx64\data\" innodb_flush_log_at_trx_commit =1 innodb_log_buffer_size=128M innodb_buffer_pool_size=128M innodb_log_file_size=10M innodb_thread_concurrency=16 innodb-autoextend-increment=1000 join_buffer_size = 128M sort_buffer_size = 32M read_rnd_bu……

网友NO.242845

mysql 5.7.17 zip安装配置教程 mysql启动失败的解决方法

MySQL5.7.17,现在看来是最新版本,下载地址 在这里可以选择自己的平台版本,选择自己的下载,我的是windows版本。应该大同小异。 下载的文件在这里讲一下ZIP版本的,MIS版本的我没试过也不知道。 在这里提醒一下,最好是 下载没有debug的版本 ,因为我下过一次,最后安装失败了,因为没有一个ini文件,导致出现了很多问题。 解压完成后放到一个建立好的文件上就好。 解压后的文件有默认的配置文件(my-default.ini),在解压后的路径下新建文件:my.ini(复制my-default.ini文件,再在上边改动就好),将以下代码复制进去,代码中出现两次F:\mysql,这是我的MySQL的解压路径,各位根据自己的路径替换掉即可。 [mysql]# 设置mysql客户端默认字符集default-character-set=utf8 [mysqld]#设置3306端口port = 3306 # 设置mysql的安装目录basedir="F:\mysql"# 设置mysql数据库的数据的存放目……

<
1
>

电子书 编程教程 文档 软件 源码 视频

Copyright 2018-2020 xz577.com 码农之家

本站所有电子书资源不再提供下载地址,只分享来路

免责声明:网站所有作品均由会员网上搜集共同更新,仅供读者预览及学习交流使用,下载后请24小时内删除

版权投诉 / 书籍推广 / 赞助:QQ:520161757