为什么要备份

定时备份MySQL数据库是数据库管理中的一个重要实践，原因包括：

1. 数据保护：备份是防止数据丢失的重要手段。硬件故障、软件错误、人为操作失误都可能导致数据丢失，定期备份可以确保数据的安全性。

2. 灾难恢复：在发生灾难性事件（如火灾、洪水、地震等）时，备份可以帮助快速恢复数据库，减少业务中断时间。

3. 审计和合规性：某些行业法规要求企业必须定期备份数据，以满足审计和合规性要求。

4. 数据迁移：在系统升级或迁移时，备份可以帮助轻松迁移数据到新系统。

5. 数据分析和报告：备份可以用于创建数据的只读副本，用于数据分析和报告，而不会影响生产数据库的性能。

6. 开发和测试：备份可以用来创建数据库的测试副本，供开发和测试使用，这样可以在不影响生产环境的情况下进行开发和测试工作。

7. 版本控制：备份可以作为数据库的版本控制，帮助追踪数据和结构的变化。

8. 业务连续性：确保在任何情况下业务都能持续运行，备份是实现业务连续性计划的关键组成部分。

因此，定时备份MySQL数据库是确保数据安全、满足合规要求、支持业务连续性的重要步骤；定期的备份，特别是跨机房地域的定期备份，可以减少遇到不可抗力因素（如：某云新加坡机房火灾）导致的损失；同时定时的备份也在出现人为操作失误删库跑路时能够恢复数据。

Mysql可否用docker来运行？

于当下的技术范畴之内，一个颇受瞩目的议题乃是：Mysql 能否借由 Docker 予以运行？欲对此问题予以回应，我们首要之务在于洞悉 Mysql 与 Docker 各自所具之特质。Mysql 身为一款被广泛运用的关系型数据库管理系统，凭借其稳定性、可靠性以及强大的功能而声名远扬。而 Docker 则属新兴的容器化技术，其能够达成应用的迅速部署、隔离以及可移植性。就技术层面加以审视，诸多实践及研究皆表明，Mysql 确可借由 Docker 进行运行。譬如，部分大型互联网企业于其部分业务当中成功地将 Mysql 部署于 Docker 容器之中，并获取了优良的成效。诸如谷歌、亚马逊等科技巨擘的相关经验，为这一可能性提供了坚实有力的佐证。

笔者的一个客户的mysql数据库就是使用docker运行的，在去年的618和双十一期间，成功的扛下了最大6000QPS的流量，期间并未出现数据库查询缓慢，无法响应的问题。所以从笔者的经历来看，并没有出现网上说的中间件特别是数据库不能使用docker来运行，性能和稳定性会大打折扣的情况。

另外用docker运行mysql还有其他的一些好处，当需要制作副本时，通过备份和docker能快速创建一个副本，几乎不受服务器本身系统环境的限制；当需要扩容节点时，只需要修改下增加机器，复制docker配置文件，修改下mysql的配置文件，即可快速启动；当你遇到一个喜欢折腾的公司时，在跨云迁移等各种场景时，docker特别的方便，而如果是传统的物理机，云商提供的镜像功能要跨云使用可能性几乎没有，docker的镜像确可以随意拷贝，不用担心兼容性等问题。

常见的mysql备份方案

常见的MySQL备份方案主要有逻辑备份和物理备份两种，以下是它们的优缺点：

逻辑备份（如mysqldump）

优点：

1. 恢复简单：可以使用管道将备份文件直接输入到MySQL中进行恢复。
2. 与存储引擎无关：备份文件是从MySQL服务器中提取数据生成的，因此消除了底层数据存储的不同。
3. 避免数据损坏：如果磁盘驱动器有故障，复制原始文件可能会得到一个损坏的备份，而逻辑备份可以避免这个问题。
4. 跨平台使用：适用于不同MySQL版本之间的数据迁移。
5. 数据直观：备份出来的数据非常直观，可以使用文本处理工具进行数据提取或修改。

缺点：

1. 占用更多CPU资源：备份时需要数据库服务器完成逻辑工作。
2. 备份和恢复速度慢：需要MySQL加载和解释语句、转化存储格式、重建引擎。
3. 备份文件可能较大：文本存储的数据不总是比存储引擎更高效，尤其是当索引较多时。

物理备份（如xtrabackup）

优点：

1. 备份和恢复速度快：基于文件的物理备份，不需要执行任何MySQL语句，不需要构建索引。
2. 容易跨平台：跨操作系统和MySQL版本进行备份和恢复。
3. 恢复简单：对于某些存储引擎，如MyISAM，不需要停库，只需简单地复制进数据目录就可以。

缺点：

1. 文件可能较大：InnoDB表空间包含很多未被使用的空间，文件中除了数据还包含了索引、日志等信息。
2. 操作复杂：尤其是增量备份的管理，没有官方物理热备份工具的支持，意味着出问题的概率较大。
3. 依赖于操作系统和MySQL版本：不适合跨平台使用。

选择合适的备份方案需要根据具体的业务需求、数据库大小、恢复时间要求等因素综合考虑。

xtrabackup备份实操

docker-compose.yml文件

# Use root/example as user/password credentials
version: '3.5'

services:
  mysql:
    image: mysql:8.0.22
    command: --default-authentication-plugin=mysql_native_password
    restart: always
    ulimits:
      nofile:
        soft: "1048576"
        hard: "1048576"
      nproc:
        soft: "1048576"
        hard: "1048576"
      memlock:
        soft: -1
        hard: -1
    volumes:
      - mysqldata:/var/lib/mysql
      - /workspace/cateye/log-mysql:/data/log
      - /workspace/cateye/log-mysql:/var/log/mysql
      - ./conf.d:/etc/mysql/conf.d:ro
    environment:
      MYSQL_ROOT_PASSWORD: 5T5zwdFsney
    ports:
      - "3306:3306"
    security_opt:
      - seccomp:unconfined
    networks:
      fenwo:
        ipv4_address: 10.200.222.1
  backup:
    build:
      context: ./
      dockerfile: Dockerfile-backup
    volumes:
      - mysqldata:/var/lib/mysql
      - /workspace/cateye/log-mysql:/data/log
      - /workspace/cateye/log-mysql:/var/log/mysql
      - ./conf.d:/etc/mysql/conf.d:ro
      - /workspace/mysql-backup/:/workspace/mysql-backup/
      - /etc/localtime:/etc/localtime:ro
    environment:
      TZ: Asia/Shanghai
    networks:
      fenwo:
        ipv4_address: 10.200.222.2
    
networks:
  fenwo:
    external: true
    name: cateye
volumes:
  mysqldata:
    driver: local
    driver_opts:
      type: none
      device: /workspace/cateye/mysql
      o: bind

Dockerfile-backup，xtrabackup镜像构建文件，需要注意版本号，需要和mysql的版本一致：

FROM percona/percona-xtrabackup:8.0.22-15

RUN rm -rf /etc/yum.repos.d && mkdir -p /etc/yum.repos.d/ && ls -al /etc/yum.repos.d/
COPY Centos-8.repo /etc/yum.repos.d/Centos-8.repo
RUN yum makecache && yum update -y && rm -rf /etc/yum.repos.d/CentOS*
RUN yum install -y cronie vim wget rsyslog && yum clean all
WORKDIR /
ADD startCrond.sh /
RUN chmod +x startCrond.sh
ADD crontab /etc/
ADD mysqlBackup.sh /usr/local/bin/
RUN chmod +x /usr/local/bin/mysqlBackup.sh
ENTRYPOINT ["./startCrond.sh"]

xtrabackup定时执行备份的脚本文件mysqlBackup.sh：

#!/bin/bash
#
#********************************************************************
#Author:                lushuncheng
#Date:                  2024-11-11
#FileName：             mysqlBackup.sh
#Description：          使用xtrabackup备份和恢复mysql数据库
#Docker 跑的mysql8.0.21版本测试成功
#Copyright (C):        2024 All rights reserved
#********************************************************************

# xtrabackup 备份后数据的存储目录
base_dir=/workspace/mysql-backup

# mysql的数据目录，恢复的时候用
data_dir=/data/mysql

sql_user='root'
sql_host='10.200.222.1'
sql_pass='5T5zwdFsney'
sql_login="--user=$sql_user --host=$sql_host --password=$sql_pass"

# xtrabackup 要求版本和mysql版本一致。小版本至少大于等于mysql的版本，比如mysql为版本为8.0.21，则xtrabackup至少为8.0.21，不能大于等于8.1.X

#判断脚本参数
case $1 in
--all|-a)
#--all 手动执行全备份
    [ -d $base_dir ] || mkdir -p $base_dir
    xtrabackup $sql_login --backup --target-dir=$base_dir/base
    ;;

--increment|-i)
#--incrementd 手动执行增量备份
    end_dir=`ls $base_dir | tail -1`

    #如果数据目录中只有base，那么就针对base目录进行增量备份
    if [ "$end_dir" == "base" ];then
        xtrabackup $sql_login --backup --target-dir=$base_dir/inc1 --incremental-basedir=$base_dir/base
    #如果数据目录中已经含有inc的目录，那么根据inc数字最大的目录进行增量备份
    elif  [[ "$end_dir" =~ "inc" ]];then
        num=`echo $end_dir | grep -o [0-9]*`
        let num_add=num+1
        xtrabackup $sql_login --backup --target-dir=$base_dir/inc$num_add --incremental-basedir=$base_dir/inc$num
    fi
    ;;

--manualrecovery|-m)
#手动恢复数据,判断数据库的目录是否是空，不为空退出
    [ "`ls $data_dir`" == "" ] || { echo MySQL data dir is not null !!!;exit 2; }
    inc_num=`ls -d $base_dir/inc* 2> /dev/null | wc -l`
    #如果没有增量数据直接还原
    if [ "$inc_num" -eq 0 ];then
        xtrabackup --prepare --target-dir=$base_dir/base
    #有增量数据的时候，根据增量数据的文件夹个数，循环恢复
    elif [ "$inc_num" -ge 1 ];then
        xtrabackup --prepare --apply-log-only --target-dir=$base_dir/base
        for i in `seq 1 $inc_num`;do
            if [ $i -eq $inc_num ];then
                xtrabackup --prepare  --target-dir=$base_dir/base --incremental-dir=$base_dir/inc$i
                break
            fi
            xtrabackup --prepare --apply-log-only --target-dir=$base_dir/base --incremental-dir=$base_dir/inc$i
        done
    fi
    xtrabackup --copy-back --target-dir=$base_dir/base
    # 修改数据目录所有文件的用户名为mysql
    chown -R mysql:mysql $data_dir
    ;;

--autobackup|b)
# 可以放在cron计划任务里，每天执行自动备份任务，周一生成全量数据，周二至周日生成增量数据
# 数据目录格式/data/backup/2024/44/1 表示2024年第44周，周一
    year=`date +%Y`
    # 注意周日算一周的第1天，还是周一算一周的第一天是不一样的。
    week_number=`date +%V`
    date_of_week=`date +%u`
    full_dir=$base_dir/$year/$week_number
    mkdir -p $base_dir/$year/$week_number
    if [ $date_of_week -eq 1 ];then
        # 周1进行全备份
        xtrabackup $sql_login --backup --target-dir=$full_dir/$date_of_week
        # 删除两周前的备份，只保留上周的
        rm_dir=`date -d '-15 day' '+%Y/%U'`
        rm -rf $base_dir/$rm_dir
    else
        # 周2-7,针对前一天的数据做增量备份
        let yesterday=$date_of_week-1

        # 前一天的目录如果不存在，证明没有备份数据
        [ -d $base_dir/$year/$week_number/$yesterday ] || { echo Not exist yesterday backup data !!!;exit 1; }
        xtrabackup $sql_login --backup --target-dir=$full_dir/$date_of_week --incremental-basedir=$full_dir/$yesterday
    fi
    ;;

--autorecovery|-r)
#自动备份恢复方法，使用格式如: ./backup --autorecovery 2024 44 1 恢复到2024年44周第3天的数据
    year=$2
    week_number=$3
    date_of_week=$4
    full_dir=$base_dir/$year/$week_number

    # 如果日期的目录不存在，报错退出
    [ -d $full_dir/$date_of_week ] || { echo Wrong input date !!!;exit 3; }

    # 如果日期目录为空，报错退出
    [ "`ls $full_dir/$date_of_week`" == "" ] && { echo Dir no data !!!;exit 4; }

    # num表示恢复到的周几
    num=$date_of_week
    # 如果数量为1，则只有周1的全备份，按全备份恢复
    if [ $num -eq 1 ];then
        xtrabackup --prepare --target-dir=$full_dir/1
    fi

    # 如果数量>=2，则有周1的全备份，还有多个备份，每个增量分别还原
    if [ $num -ge 2 ];then
        xtrabackup --prepare --apply-log-only --target-dir=$full_dir/1
        for i in `seq 2 $num`;do
            if [ $i -eq $num ];then
                xtrabackup --prepare  --target-dir=$full_dir/1 --incremental-dir=$full_dir/$i
                break
            fi
            xtrabackup --prepare  --apply-log-only  --target-dir=$full_dir/1 --incremental-dir=$full_dir/$i
        done
    fi

    xtrabackup --copy-back --target-dir=$full_dir/1
    chown -R mysql:mysql $data_dir
    ;;

--help|-h)
    cat << EOF
本脚本通过xtrabackup程序进行mysqld的备份，需要安装对应mysql版本的percona-xtrabackup

参数选项：
--all或 -a：全备份，全备份默认路径是/data/backup/base

--increment 或 -i：增量备份，必须有全备份的情况下在进行增量备份，第一次的增量备份为/data/backup/inc1,第二次为/data/backup/inc2，以此类推

--manualrecovery 或 -m：恢复全备份和增量备份的数据，需要提前把全量备份置于/data/backup/base目录，增量1/data/backup/inc1，以此类推

--autobackup 或 -b：按照年，第几周，周几的格式备份数据。存储路径如/data/backup/2019/45/{1,2,3}，判断如果是周一进行全备份，周二至周日针对前一天的备份进行增量备份。可以把脚本放到crontab任务中每天执行一次。例如：0 30 * * * /bin/bash 脚本名。

--autorecoveryh 或 -r：把--autobackup备份的数据进行还原，还原的时候需要输入年，第几周，周几。例如：script.sh --autorecovery 2019 45 2，意思是恢复到2019年第45周周2的数据

--help 或 -h：查看帮助

EOF
    ;;

*)
  echo "use --help"

esac

xtrabackup容器启动脚本startCrond.sh：

#!/bin/bash
/usr/sbin/anacron -s
/usr/sbin/crond -s
/usr/sbin/rsyslogd -n &
tail -f /dev/null

crontab定时任务脚本文件：

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name  command to be executed
# 每天凌晨4:00执行备份脚本，周一全量，周二到周日增量
0 4 * * * root /bin/bash -x /usr/local/bin/mysqlBackup.sh --autobackup > /tmp/backup.log 2>&1

xtrabackup容器替换yum源的文件Centos-8.repo：

[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
#failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/BaseOS/$basearch/os/
        http://mirrors.aliyuncs.com/centos/$releasever/BaseOS/$basearch/os/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/BaseOS/$basearch/os/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-Official

#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
#failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/os/
        http://mirrors.aliyuncs.com/centos/$releasever/extras/$basearch/os/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/extras/$basearch/os/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-Official

#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
#failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/os/
        http://mirrors.aliyuncs.com/centos/$releasever/centosplus/$basearch/os/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/centosplus/$basearch/os/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-Official

[PowerTools]
name=CentOS-$releasever - PowerTools - mirrors.aliyun.com
#failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/PowerTools/$basearch/os/
        http://mirrors.aliyuncs.com/centos/$releasever/PowerTools/$basearch/os/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/PowerTools/$basearch/os/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-Official


[AppStream]
name=CentOS-$releasever - AppStream - mirrors.aliyun.com
#failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/AppStream/$basearch/os/
        http://mirrors.aliyuncs.com/centos/$releasever/AppStream/$basearch/os/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/AppStream/$basearch/os/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-Official

conf.d/common.cnf mysql配置文件：

[client]
default-character-set=utf8mb4

[mysqld]
default-time_zone='+8:00'
character-set-server = utf8mb4
long_query_time=1
slow_query_log=1
slow_query_log_file="/var/log/mysql/slow-queries.log"
sql_mode="NO_ENGINE_SUBSTITUTION"
binlog_expire_logs_seconds=604800
server-id=101
log-bin=mysql-bin
binlog_format=ROW
default-storage-engine=InnoDB
innodb_buffer_pool_size=2048M
innodb_buffer_pool_chunk_size=256M
innodb_log_file_size=256M
tmp_table_size=64M
sort_buffer_size=1M
read_buffer_size=1M
read_rnd_buffer_size=4M
join_buffer_size=2M
binlog_cache_size=1M
thread_cache_size=32
max_connections=384
tmpdir=/var/log/mysql
wait_timeout=600
interactive_timeout=600
innodb_lock_wait_timeout=5
max_allowed_packet=67108864
log-bin-trust-function-creators=1
transaction-isolation=READ-COMMITTED
skip_name_resolve
[mysql]
default-character-set=utf8mb4

创建工作目录：

mkdir -p /workspace/cateye/log-mysql
mkdir -p /workspace/cateye/mysql
mkdir /workspace/mysql-backup
chown -R 999:999 /workspace/cateye

创建网桥：

docker network create --subnet 10.200.0.0/16 --ip-range 10.200.0.0/20  --driver bridge cateye

启动容器：

docker compose up -d --build

这样容器中的mysql就会定时备份到物理机的/workspace/mysql-backup目录，周一是全量备份，周二到周日为增量备份，可以通过修改mysqlBackup.sh的内容定制备份策略，由于脚本中是从周一开始的，如果你运行的时间不是周一，则不会备份成功，因为脚本检测到没有前一天的备份，可以手动修改脚本文件中的date_of_week（星期几），然后手动执行，依次创建缺失的备份。

定时备份binlog

由于定时备份间隔不可能太小，所以一但出事故，丢失的数据时间范围还是比较大，可能无法接受，所以我们还可以结合rsync工具定时同步binlog文件到备份目录，比如我们5分钟备份一次binlog，这样我们最坏的可能是丢失5分钟的数据。

*/5     *       *       *       *       root rsync -av --partial --delete /workspace/cateye/mysql/mysql-bin.* /workspace/mysql-backup/binlog/

题外话s3fs：

我们可以创建同城冗余带版本功能的云存储，比如阿里云的OSS注兼容S3存储协议，我们只需要创建一个同城冗余带版本的OSS，并利用fuse s3fs挂载到OSS到/workspace/mysql-backup，这样我们的备份文件就自动上传到了OSS，即时一个可用区挂掉了，我们也可以利用OSS的同城冗余功能，在别的可用区快速启动mysql服务。