百度360必应搜狗淘宝本站头条
tomcat 乱码无法与服务器建立安全连接是什么意思sysv-rc-confdocker映射容器目录到宿主机internet explorer 增强的安全配置已启用
当前位置：网站首页 > 技术文章 > 正文

MySQL空间报警后的一揽子解决方案

nanshan 2024-11-27 18:14 10 浏览 0 评论

这是学习笔记的第 2261篇文章

读完需要

5

分钟

速读仅需7分钟

昨天下午的时候，收到一条报警信息，提示是一个异机房的从库出现了磁盘空间问题，这类问题看起来蛮好处理的，空间不够清理就是了，比如清理binlog,比如清理一些周期表等等。

但是在经过分析之后，发现这个问题比预想的要严重。

这是一套一主两从的环境，Slave2的配置相对较低，存储配置也略低一些，目前发生了磁盘空间的报警。

经过分析发现，原来是里面的一张表的数据量有了很大的变化，之前相对来说比较稳定，每天会生成50M~100M左右的数据，但是从近几天来看，数据量翻了好几百倍，每天乎有20~30G左右的数据写入，这样一来原来的存储模式就显得捉襟见肘了。

怎么处理呢，一种模式就是磁盘扩容，这个时候我和业务侧做了沟通，准备细致了解一下。大体的需求是因为一些业务调整，需要记录的数据内容更全更丰富了，而这也是最近的一个新需求（此处的一个明显问题就是这个需求竟然和DBA没有任何沟通），因为目前采用的是日表，日表的保留周期是20天左右，最后能存储1个月，而从业务使用的角度来说，长期来看希望保留半年，这样一个需求，在目前的情况下几乎是不可实现的。 我们来简单算算，如果是保留20天，那么就需要至少600G以上的空间，外加一些冗余空间，差不多得在700~800G左右，而如果保留1个月就需要1T左右，而如果保留半年就需要大约6T左右。

所以脑海里闪出几个方案：

1）对InnoDB的表进行压缩存储，压缩率高的话差不多能有40~50%左右，但是不能根本解决问题

2）使用数据库+数据仓库结合的方案，比如MySQL+Infobright的方案，MySQL中保留近2天的数据，数据按照T+1转储到数据仓库中，业务统计查询都从数仓中提取，优点是查询效率较高，缺点是查询复杂度比较高，比如有1个月的表，按照月，天的维度统计还是有些复杂的。

3）使用基于中间件的分布式集群来进行数据写入水平扩展，整个集群的资源需求至少需要主从9个实例。

4）考虑使用MySQL+大数据流转的方案，即在MySQL中实时写入，数据通过Maxwell流转到Kafka中，然后进入大数据体系中进行消费，比如使用Impla等方案，可以做到比较高效的数据统计效果

整体经过讨论，最后采用了第4中方案，毕竟第2种方案需要重新配置和构建脚本逻辑，方案3没有解决统计查询的瓶颈问题，方案4解决了存储和统计查询的大问题。

QQ群号

相关推荐

今晚拿下PHP反序列化的一系列操作

引言在CTF中反序列化类型的题目还是比较常见的，之前有学习过简单的反序列化，以及简单pop链的构造。这次学习内容为php内置的原生类的反序列化以及一点进阶知识。在题目给的的代码中找不到可利用的类时，这...

Win10安装Apache和PHP（apache安装php模块）

说明：虽然PHPStudy之类的软件给我们提供了方便的集成环境，但是其使用的是非线程安全的PHP版本（NotThreadSafe，NTS），某些功能不可以使用。所以，我们还需要自己再安装一个Apa...

腾讯云云函数部署laravel项目（腾讯云函数 selenium）

1、购买函数套餐包在Serverless控制台，选择函数套餐包进行购买2、新建函数服务2.1、模板创建选择函数URL：新建函数URL，启用公网访问：2.1.1、postman访问首页2.1.2、pos...

站长教你搭建属于自己的网站（站长教你搭建属于自己的网站是什么）

每个人都希望可以有自己的网站，因为那样高端大气上档次，低调奢华有内涵，尤其是公司用户，一般会有自己的网站。而个人呢，也可以搭建自己的网站博客，论坛等，但是一般个人都是搭建博客的。好了，那么下面站长教你...

微信公众号开发出现 cURL error 60: SSL certificate problem ssl证书

在phpstudy的环境下如果出现这样的报错cURLerror60:SSLcertificateproblem:unabletogetlocalissuercertificat...

【网络安全】关于PHP Study nginx解析高危漏洞的预警通报

网络安全近日，山石网科安全研究院监测发现PHPStudyWindows最新版本存在nginx解析漏洞，可以造成任意代码执行。一、漏洞情况phpStudy是一个PHP调试环境的程序集成包，该程序包集成...

PHP 环境 搭建教程（php环境搭建教程linux）

PHP是一种编程语言，很多网站都用PHP语言编写，我们有时候需要测试一个网站，就需要PHP环境才能运行，又要安装Apache、又要安装MySQL……真的非常麻烦。其实我们可以使用PHP集成...

黑客搭建钓鱼平台，手把手教你如何钓鱼?

跨站脚本攻击XSS：通过HTML注入篡改了网页，插入了恶意的脚本，从而用户浏览网页时，控制用户浏览器的一种攻击那么，我们搭建一个XSS钓鱼平台吧，注意：这个平台仅用于学习和测试，小伙伴们不要动有坏心思...

php源码网站搭建方法和过程（php网站源码完整）

web网站是我们上网的窗口，而网站是如何搭建的呢？今天我们来做一个介绍，以php代码为例来进行介绍（后续会介绍一下java代码搭建，如果想要我这里涉及的工具或源码请私信我）。1、首先你需要去网上下载你...

使用VS Code调试PhpStudy环境里的代码

最近几个月把所有项目都迁过来VSCode了（除了因为Unity调试问题反而用回了VisualStudio），PHP也就抛弃了最强的PhpStorm。这段时间抽空在帮朋友处理PHP项目，然...

phpstudy搭建PHP+Mysql服务（用phpstudy搭建服务器）

PHP是一种创建动态交互性站点的强有力的服务器端脚本语言。PHP是免费的，并且使用非常广泛。同时，对于像微软ASP这样的竞争者来说，PHP无疑是另一种高效率的选项。（1）PHP环境搭建使用V...

Windows安装phpstudy（Windows安装mysql）

说明：phpstudy是一个PHP+MySQL+Apache的集成环境，可以减少单独部署各个所需软件的麻烦，以及更加方便地切换版本。phpenv、wamp等软件的作用一样。由于环境的不同，安装过程中可...

phpstudy安装及简单使用教程（phpstudy安装教程详解）

phpstudy前不久爆出有后门，我的看法是，去看下是哪个版本有后门，为啥会有后门，怎么解决掉这个后门，而不是听到后门就弃用了。毕竟phpstudy绿色安装，配置简单，多版本融合，真香。前言：关于开发...

如何对dedeCMS的开源程序进行二次开发

二次开发，简单的说就是在现有的软件上进行定制修改，功能的扩展，然后达到自己想要的功能和效果，一般来说都不会改变原有系统的内核。为了让更多人了解二次开发，并更方便的了解DedeCMS的二次开发，下面将会...

mysql基础问题三问(底层逻辑;正在执行;日志观察)

背景：经常面试会遇到且实际工作中也会应用到的三个场景：目录：一.mysql查询时的底层原理是什么？二.如何查看正在执行的mysql语句？三.如何观察mysql运行过程中的日志信息？-----...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表