当前位置：主页 > mysql教程 > mysql数据库如何实现亿级数据快速清理

mysql数据库实现亿级数据快速清理的方法

  • 更新时间：2020-07-17 09:47:13
  • 编辑：宦天音
我们帮大家精选了相关的编程文章，网友充白夜根据主题投稿了本篇教程内容，涉及到mysql、数据清理、mysql数据库如何实现亿级数据快速清理相关内容，已被457网友关注，下面的电子资料对本篇知识点有更加详尽的解释。

参考资料

正文内容

mysql数据库如何实现亿级数据快速清理

今天收到磁盘报警异常，50G的磁盘被撑爆了，分析解决过程如下：

1. 进入linux服务器，查看mysql文件夹中各个数据库所占的磁盘空间大小

看到了吗，光olderdb就占了25G

2. 用SQLyog登录mysql数据库，查看数据库各个表的占用空间情况

SELECT CONCAT(table_schema,'.',table_name) AS 'aaa',  
  table_rows AS 'Number of Rows',  
  CONCAT(ROUND(data_length/(1024*1024*1024),6),' G') AS 'Data Size',  
  CONCAT(ROUND(index_length/(1024*1024*1024),6),' G') AS 'Index Size' ,  
  CONCAT(ROUND((data_length+index_length)/(1024*1024*1024),6),' G') AS'Total' 
FROM information_schema.TABLES  
WHERE table_schema LIKE 'olderdb';

3. 查询主键索引

SHOW INDEX FROM orbit

采取策略

前提：目前需要删除80%的数据

① delete语句

我们知道delete语句的删除速度与索引量成正比，此表中的索引量已经很大了，而且数据量非常之巨大，若采用常规delete语句删除，必定会话费几天的时间。

Delete语句删除不会释放出磁盘空间，所以肯定还是会出现报警，所以此种方式不可取。

② drop掉表

新建结构相同的表，命名“cc”,'将需要保存的数据插入到此表中，然后drop掉老表。

Sql语句如下：

基于老表新建新表

CREATE TABLE cc LIKE orbit ;

插入数据（几百万的数据量一定要分批插入，一次30万-40万为最佳，毕竟mysql的数据处理能力有限）

按日期查询后插入（每天大概会产生30多万数据量，所以采用日期插入）

INSERT INTO cc SELECT * FROM orbit WHERE xttime > '2018-04-16 00:00:00' AND xttime<='2018-04-17 00:00:00';

结果如下：

可以看到50多万的数据量用了不到5分钟，还是比较快的。

清理后数据表空间得以释放

然后drop掉老表

DROP TABLE orbit

目测只用了3秒左右

重命名新表“cc”

ALTER TABLE cc RENAME TO orbit

总结

以上所述是小编给大家介绍的mysql数据库如何实现亿级数据快速清理 ，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对码农之家网站的支持！

相关教程

  • mysql数据库优化总结

    本篇文章是对优化mysql数据库的经验进行了详细的总结介绍，需要的朋友参考下

    发布时间：2020-01-09

  • 如何将Ghost从SQLite3数据库迁移到MySQL数据库

    如果网站流量小，直接使用 Ghost 默认的 SQLite 数据库还是很方便的，能够省去安装、配置数据库的繁琐步骤。但是，随着网站流量的增加， SQLite 就慢慢顶不住了，这时最好的选择就是使用 My

    发布时间：2020-03-05

  • 深入理解MySql数据表之间的连接、查询

    这篇文章主要介绍了MySql数据表之间的连接、查询，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

    发布时间：2020-03-06

  • my.ini优化mysql数据库性能的重要参数

    这篇文章主要介绍了my.ini优化mysql数据库性能的十个参数(推荐),需要的朋友可以参考下

    发布时间：2019-11-26

  • node.js中mysql数据库配置及连接知识点分享

    本文主要介绍了node.js平台下的mysql数据库配置及连接的相关知识。具有很好的参考价值，下面跟着小编一起来看下吧

    发布时间：2020-02-04

  • 如何解决MYSQL数据库导入数据时出现乱码的问题

    我是用的最后一种方法，前面三种解决MYSQL导入数据乱码的方法没试过，东莞SEO推荐大家直接使用第四种方法处理MYSQL导入中文数据时的乱码问题。

    发布时间：2020-02-02

  • mysqldump加-w参数备份数据时需要留意的地方

    这篇文章主要介绍了mysqldump加-w参数备份数据时需要注意的事项,需要的朋友可以参考下

    发布时间：2020-01-29

  • Python爬取数据并写入MySQL数据库操作示例

    今天小编就为大家分享一篇Python爬取数据并写入MySQL数据库的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

    发布时间：2020-03-17

  • 如何解决linux配置mysql数据库远程连接失败的问题

    这篇文章主要为大家详细介绍了linux配置mysql数据库远程连接失败的解决方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下

    发布时间：2019-11-14

  • 详解使用MySQL中数据类型binary和varbinary

    binary和varbinary与char和varchar类型有点类似，不同的是binary和varbinary存储的是二进制的字符串，而非字符型字符串。下面这篇文章主要给大家介绍了关于MySQL中数据类型binary和varbinary的相关资料，

    发布时间：2020-01-15

  • PHP和MySQL Web开发（第5版）

    PHP和MySQL Web开发（第5版）

    在《PHP和MySQL Web开发》书中，我们将把使用PHP与MySQL的经验和心得体会毫无保留地分享给你，PHP和MySQL是目前热门的两个Web开发工具。

    大小：27 MB网站开发电子书

  • MySQL从入门到项目实践

    MySQL从入门到项目实践

    MySQL从入门到项目实践 (超值版)采用基本知识关键运用关键技术高級运用应用领域新项目实践活动构造和循序渐进，由深到精的学习方式开展解读。本书分成6篇29章。最先解读MySQL的安裝与配备

    大小：314.8 MBMySQL电子书

  • MySQL 8 Cookbook

    MySQL 8 Cookbook

    MySQL 8的更新幅度在MySQL历史上可谓空前，增添很多重磅新特性——“数据字典”取消了已存在几十年的frm文件，将插件式数据库的重心偏向InnoDB，极大提高meta data的访问性能，并支持了DDL原子性

    大小：206.5 MBMySQL电子书

  • PHP&MySQL跨设备网站开发实例精粹

    PHP&MySQL跨设备网站开发实例精粹

    这本书从易学实用的角度详细讲解了PHP、HTML5语法，MySQL数据库存取，网页之间的信息传递、表单的后端处理等，提供了丰富的网站开发范例，欢迎下载

    大小：80.9 MBPHP编程电子书

  • MySQL必知必会

    MySQL必知必会

    大小：5.7 MBMySQL电子书

用户留言

发布评论

最新更新

热门推荐