百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

不要让关系型数据库限制了你的监控规模

nanshan 2024-10-15 11:28 37 浏览 0 评论

多余的话就不说了,关系型数据库在大规模读写的缺点网上一大把,zabbix4.2时代已经可支持时序数据库了,在5.0版本时代方案更加成熟。

TimescaleDB 介绍

TimescaleDB 是基于 PostgreSQL 的时序数据库插件,完全继承了 PostgreSQL 的功能,对于复杂查询,各种类型(GIS,json,k-v,图像特征值,range,数组,复合类型,自定义类型,…..)的支持非常丰富,非常适合工业化的时序数据库场景需求。具有以下特点:

  1. 基于时序优化
  2. 自动分片(按时间、空间自动分片(chunk))
  3. 全 SQL 接口
  4. 支持垂直于横向扩展
  5. 支持时间维度、空间维度自动分区。空间维度指属性字段(例如传感器 ID,用户 ID 等)
  6. 支持多个 SERVER,多个 CHUNK 的并行查询。分区在 TimescaleDB 中被称为 chunk。
  7. 自动调整 CHUNK 的大小
  8. 内部写优化(批量提交、内存索引、事务支持、数据倒灌)。
    内存索引,因为 chunk size 比较适中,所以索引基本上都不会被交换出去,写性能比较好。
    数据倒灌,因为有些传感器的数据可能写入延迟,导致需要写以前的 chunk,timescaleDB 允许这样的事情发生(可配置)。
  9. 复杂查询优化(根据查询条件自动选择 chunk,最近值获取优化(最小化的扫描,类似递归收敛),limit 子句 pushdown 到不同的 server,chunks,并行的聚合操作)
  10. 利用已有的 PostgreSQL 特性(支持 GIS,JOIN 等),方便的管理(流复制、PITR)
  11. 支持自动的按时间保留策略(自动删除过旧数据)
    看介绍是很适合监控数据的存储。之前对于监控数据的存储,建议进行分区表操作,进行管理。Zabbix从4.2时代就开始支持TimescaleDB,这应该说是一个好消息,至于具体性能提升,还有待测试。

TimescaleDB 安装

TimescaleDB 基于 PostgreSQL,因此我们需要先安装 PostgreSQL,由于之前很少用,因此这里简单描述以下安装过程
基本环境:

Centos 7.6 PG版本11.2

由于是测试环境,还是老操作,关闭防火墙和禁用seLinux,怎么关建议自行百度,不麻烦

添加 PostgreSQL 的 yum 源

yum install -y https://download.postgresql.org/pub/repos/yum/11/redhat/rhel-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

安装数据库

yum install postgresql11 -y

yum install postgresql11-server

添加 TimescaleDB 的 yum 源

cat > /etc/yum.repos.d/timescale_timescaledb.repo <<EOL
[timescale_timescaledb]
name=timescale_timescaledb
baseurl=https://packagecloud.io/timescale/timescaledb/el/7/\$basearch
repo_gpgcheck=1
gpgcheck=0
enabled=1
gpgkey=https://packagecloud.io/timescale/timescaledb/gpgkey
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt
metadata_expire=300
EOL

安装包

yum update -y
yum install -y timescaledb-postgresql-11

初始化数据库

/usr/pgsql-11/bin/postgresql-11-setup initdb

启动 PostgreSQL

systemctl start postgresql-11
systemctl enable postgresql-11

使用以下命令初始化 postgresql 配置文件

timescaledb-tune --pg-config=/usr/pgsql-11/bin/pg_config

初学者建议一切按照推荐数值,全部按 Y 同意即可完成配置。由于我的 Zabbix Server 和 PostgreSQL 为不同机器,因此需要开启 PostgreSQL 远程连接(默认关闭)
修改 PostgreSQL 默认配置文件/var/lib/pgsql/11/data/postgresql.conf
修改 listen 地址为所有地址(即*),默认监听 127.0.0.1

listen_addresses = '*'



修改客户端认证配置文件:/var/lib/pgsql/11/data/pg_hba.conf 添加如下

host    all   all    0.0.0.0/0    md5



配置好之后,重启 PostgreSQL 使配置生效

systemctl restart postgresql-11

Zabbix 使用 TimescaleDB

目前只有 Zabbix Server 支持 TimescaleDB,Zabbix Proxy 不支持 TimescaleDB。
配置成功 TimescaleDB 之后,建立 Zabbix 相关用户,并导入 Zabbix 数据库

sudo -u postgres psql
create user zabbix with password 'zabbixpwd123';
create database zabbix owner zabbix;
grant all privileges on database zabbix to zabbix;

以上命令建立名为 zabbix 的用户,密码为 zabbixpwd123,并建立了 zabbix 数据库,并授权于所有权限给 zabbix 用户。
下载 zabbix 5 源码,并解压,进入 postgresql 目录

tar zxvf zabbix-5.0.2.tar.gz
cd zabbix-5.0.2/database/postgresql/

以此按照顺序,导入数据库

echo "CREATE EXTENSION IF NOT EXISTS timescaledb CASCADE;" | sudo -u postgres psql zabbix
cat schema.sql | sudo -u zabbix psql zabbix
cat images.sql | sudo -u zabbix psql zabbix
cat data.sql | sudo -u zabbix psql zabbix
cat timescaledb.sql | sudo -u zabbix psql zabbix

与平常不同,这里开启了 TimescaleDB 插件支持,并使用 timescaledb.sql 为历史和趋势数据创建了 hypertable 表.hypertable 表是 timescaledb 抽象的 一张表,让用户操作 hypertable 就像 操作 postgres 的普通表一样,在内部,timescaledb 自动将 hypertable 分割成块, timescaledb 会自动操作和管理 hypertable 的分区表,对于用户来说是透明的.create_hypertable 有两个参数,第一个参数是表名,第二个参数 是分区列,一般为 TIMESTAMPTZ 类型.这里看到为历史数据的 clock 列。

SELECT create_hypertable('history', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_uint', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_log', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_text', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('history_str', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('trends', 'clock', chunk_time_interval => 86400, migrate_data => true);
SELECT create_hypertable('trends_uint', 'clock', chunk_time_interval => 86400, migrate_data => true);
UPDATE config SET db_extension='timescaledb',hk_history_global=1,hk_trends_global=1;

完成之后,在 Zabbix Server 里配置相关数据库连接参数即可,与支持 postgresql 的配置一致,具体连接图,可以参考其他zabbix搭建文章,接下来我也会写一篇安装的文档。

基本测试

使用 TimescaleDB 之后,观察机器情况。


Zabbix Server



TimescaleDB



总结

本次主要介绍了 Zabbix 使用 TimescaleDB,安装配置比较简单,至于性能是否有大的提升,还需要后续进行测试和验证,有任何疑问可以提出,谢谢。

相关推荐

服务器数据恢复—Raid5数据灾难不用愁,Raid5数据恢复原理了解下

Raid5数据恢复算法原理:分布式奇偶校验的独立磁盘结构(被称之为raid5)的数据恢复有一个“奇偶校验”的概念。可以简单的理解为二进制运算中的“异或运算”,通常使用的标识是xor。运算规则:若二者值...

服务器数据恢复—多次异常断电导致服务器raid不可用的数据恢复

服务器数据恢复环境&故障:由于机房多次断电导致一台服务器中raid阵列信息丢失。该阵列中存放的是文档,上层安装的是Windowsserver操作系统,没有配置ups。因为服务器异常断电重启后,rai...

服务器数据恢复-V7000存储更换磁盘数据同步失败的数据恢复案例

服务器数据恢复环境:P740+AIX+Sybase+V7000存储,存储阵列柜上共12块SAS机械硬盘(其中一块为热备盘)。服务器故障:存储阵列柜中有磁盘出现故障,工作人员发现后更换磁盘,新更换的磁盘...

「服务器数据恢复」重装系统导致XFS文件系统分区丢失的数据恢复

服务器数据恢复环境:DellPowerVault系列磁盘柜;用RAID卡创建的一组RAID5;分配一个LUN。服务器故障:在Linux系统层面对LUN进行分区,划分sdc1和sdc2两个分区。将sd...

服务器数据恢复-ESXi虚拟机被误删的数据恢复案例

服务器数据恢复环境:一台服务器安装的ESXi虚拟化系统,该虚拟化系统连接了多个LUN,其中一个LUN上运行了数台虚拟机,虚拟机安装WindowsServer操作系统。服务器故障&分析:管理员因误操作...

「服务器数据恢复」Raid5阵列两块硬盘亮黄灯掉线的数据恢复案例

服务器数据恢复环境:HPStorageWorks某型号存储;虚拟化平台为vmwareexsi;10块磁盘组成raid5(有1块热备盘)。服务器故障:raid5阵列中两块硬盘指示灯变黄掉线,无法读取...

服务器数据恢复—基于oracle数据库的SAP数据恢复案例

服务器存储数据恢复环境:某品牌服务器存储中有一组由6块SAS硬盘组建的RAID5阵列,其中有1块硬盘作为热备盘使用。上层划分若干lun,存放Oracle数据库数据。服务器存储故障&分析:该RAID5阵...

「服务器虚拟化数据恢复」Xen Server环境下数据库数据恢复案例

服务器虚拟化数据恢复环境:Dell某型号服务器;数块STAT硬盘通过raid卡组建的RAID10;XenServer服务器虚拟化系统;故障虚拟机操作系统:WindowsServer,部署Web服务...

服务器数据恢复—RAID故障导致oracle无法启动的数据恢复案例

服务器数据恢复环境:某品牌服务器中有一组由4块SAS磁盘做的RAID5磁盘阵列。该服务器操作系统为windowsserver,运行了一个单节点Oracle,数据存储为文件系统,无归档。该oracle...

服务器数据恢复—服务器磁盘阵列常见故障表现&amp;解决方案

RAID(磁盘阵列)是一种将多块物理硬盘整合成一个虚拟存储的技术,raid模块相当于一个存储管理的中间层,上层接收并执行操作系统及文件系统的数据读写指令,下层管理数据在各个物理硬盘上的存储及读写。相对...

「服务器数据恢复」IBM某型号服务器RAID5磁盘阵列数据恢复案例

服务器数据恢复环境:IBM某型号服务器;5块SAS硬盘组成RAID5磁盘阵列;存储划分为1个LUN和3个分区:第一个分区存放windowsserver系统,第二个分区存放SQLServer数据库,...

服务器数据恢复—Zfs文件系统下误删除文件如何恢复数据?

服务器故障:一台zfs文件系统服务器,管理员误操作删除服务器上的数据。服务器数据恢复过程:1、将故障服务器所有磁盘编号后取出,硬件工程师检测所有硬盘后没有发现有磁盘存在硬件故障。以只读方式将全部磁盘做...

服务器数据恢复—Linux+raid5服务器数据恢复案例

服务器数据恢复环境:某品牌linux操作系统服务器,服务器中有4块SAS接口硬盘组建一组raid5阵列。服务器中存放的数据有数据库、办公文档、代码文件等。服务器故障&检测:服务器在运行过程中突然瘫痪,...

服务器数据恢复—Sql Server数据库数据恢复案例

服务器数据恢复环境:一台安装windowsserver操作系统的服务器。一组由8块硬盘组建的RAID5,划分LUN供这台服务器使用。在windows服务器内装有SqlServer数据库。存储空间LU...

服务器数据恢复—阿里云ECS网站服务器数据恢复案例

云服务器数据恢复环境:阿里云ECS网站服务器,linux操作系统+mysql数据库。云服务器故障:在执行数据库版本更新测试时,在生产库误执行了本来应该在测试库执行的sql脚本,导致生产库部分表被tru...

取消回复欢迎 发表评论: