环境信息概要

虚拟化层：VMWare ESXi 6.7 
虚拟硬件：
    CPU： 4 Core
    RAM： 8 GB
    HDD： 256 GB SCSI
    NetWork： NAT
操作系统版本： CentOS Linux release 7.9.2009 (Core)
内核版本：6.5.3-1.el7.elrepo.x86_64
Docker版本：24.0.6
Kubernetes版本：v1.19.16

除特殊声明外，所有操作三台主机同步操作。

基本环境准备

编辑 Hosts 解析 文件

#    编辑 Hosts 解析 文件
cat >>/etc/hosts <<'EOF'
172.16.26.127 K8s-Master-01
172.16.26.128 K8s-Node-01
172.16.26.129 K8s-Node-02
EOF
#    测试 机器 连通性
ping K8s-Master-01
ping K8s-Node-01
ping K8s-Node-02

修改网络安全配置

#    基本要求
K8s-Master 节点: TCP: 6443，2379，2380，60080，60081 UDP协议端口全部打开
K8s-Slave 节点: UDP协议端口全部打开
#    停止 防火墙及网络管理 服务
systemctl stop firewalld NetworkManager
#    禁止 防火墙及网络管理 服务 开机自启动
systemctl disable firewalld NetworkManager
#    禁用 SELinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
#    SELinux 宽容模式
getenforce 0
#    清空 防火墙 iptables 规则
iptables -F
#    清空 防火墙 iptables 自定义链配置
iptables -X
#    清空 防火墙 iptables 计数器信息
iptables -Z
#    开启 防火墙 iptables 转发策略开启
iptables -P FORWARD ACCEPT

关闭 SWAP

#    关闭 swap
swapoff -a
#    防止 开机自动挂在 swap 分区
sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
#    整合命令
swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

更换 阿里云 源

#    替换 源 文件 及 修改其他源文件
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
curl -o /etc/yum.repos.d/epel-7.repo http://mirrors.aliyun.com/repo/epel-7.repo
sed -i '/aliyuncs/d' /etc/yum.repos.d/*.repo
#    清理缓存 并 重建缓存
sudo yum clean all && sudo yum makecache

同步时间

#    CentOS 7 环境 同步时间设置
#    安装 NTP 服务
sudo yum -y install ntp
#    配置 阿里云 时间服务器
sudo ntpdate -u ntp.aliyun.com
#    配置 时区
sudo timedatectl set-timezone Asia/Shanghai
#    将 时间 写入 BIOS
sudo hwclock --localtime --systohc
#    查看 系统时间 详细信息
sudo timedatectl

修改内核参数

#    创建 并 修改 K8s 配置文件
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.max_map_count=262144
EOF
#    加载内核模块 modprobe 开启包转发功能
sudo modprobe br_netfilter
#    执行 K8s 配置文件
sysctl -p /etc/sysctl.d/k8s.conf
#    查看执行结果
sysctl -a

安装 Docker 环境

#    转 Docker 部署文档
https://www.toutiao.com/article/7254862821039784467/
https://flowus.cn/fourleaf/share/16ffd3a3-60b9-45e3-8f43-a832874f4855

安装 Kubeadm 工具

配置 K8s 源

#    修改 K8s 源文件 配置 阿里云 源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
#    导入秘钥
rpm --import https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg

安装 Kubeadm

#    安装 K8s 初始化工具
#    kubelet-1.19.3    组件，增删改查Pod
#    kubeadm-1.19.3    自动拉取K8s基础组件镜像工具
#    kubectl-1.19.3    管理、维护K8s客户端的命令行工具
#    查询 源中 所有的 版本
yum list kubeadm --showduplicate
yum list kubeadm --showduplicate | grep 1.19.
#    安装 K8s kubeadm
#    安装 1.19.16 是因为 教程安装的是1.19.3，因此选择了1.19的Last版本，避免与教程产生差异
yum install -y kubelet kubeadm kubectl
#    安装 指定版本 
yum install -y kubelet-1.19.16 kubeadm-1.19.16 kubectl-1.19.16
#    查看 kubeadm 版本
kubeadm version

查询 源中 所有的 版本

安装 指定版本

配置 K8s kubulet

#    配置 Kubulet 开机自启动
systemctl start kubelet && systemctl enable kubelet
#    查看 Kubulet 运行状态
ps -ef | grep kubelet

安装 K8s Master 节点

保存 所有节点 端口状态

#    保留所有节点 应用 端口状态
netstat -tunlp

安装 Kubeadm （仅 Master 节点）

#    配置 K8s Master 节点
#    apiserver-advertise-address 集群通告地址
#    image-repository 由于默认拉取镜像地址k8s.gcr.io国内无法访问，这里指定阿里云镜像仓库地址
#    kubernetes-version K8s版本，与上面安装的一致
#    service-cidr 集群内部虚拟网络，Pod统一访问入口
#    pod-network-cidr Pod网络，与下面部署的CNI网络组件yaml中保持一致

#    安装 kubeadm
kubeadm init \
    --apiserver-advertise-address=172.16.26.127 \
    --image-repository registry.aliyuncs.com/google_containers \
    --kubernetes-version v1.19.16 \
    --service-cidr=172.16.26.0/24 \
    --pod-network-cidr=172.17.26.0/24 \
    --service-dns-domain=cluster.local \
    --ignore-preflight-errors=Swap \
    --ignore-preflight-errors=NumCPU

Kubeadm init 返还信息 （文本内容，需要自行保存）

Your Kubernetes control-plane has initialized successfully!
#    您的Kubernetes控制平面已成功初始化！您的Kubernetes控制平面已成功初始化！
To start using your cluster, you need to run the following as a regular user:
#    要开始使用集群，您需要以常规用户身份运行以下操作

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config
#########################################################################################################
You should now deploy a pod network to the cluster.
#    您现在应该向集群部署一个pod网络
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/
#########################################################################################################
Then you can join any number of worker nodes by running the following on each as root:
#    然后，您可以通过以root身份在每个工作节点上运行以下操作来加入任意数量的工作节点：

kubeadm join 172.16.26.127:6443 --token ria901.u940o84cyjuxdnz1 \
    --discovery-token-ca-cert-hash sha256:59e9091096f8a60f2a6a66f67cd928d986c35e443644be49e6f54fc76716f632 

再次查询 所有节点 端口状态

#    再次查询所有节点 应用 端口状态
netstat -tunlp

初始化 K8s 环境

初始化 K8s Master 节点 （仅 Master 节点）

#    根据提示，完成集群初始化配置 （内容取自 Kubeadm init 返还信息）
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
#    查询节点信息
kubectl get nodes

将 Node 节点 加入 K8s 环境

#    加入 K8s Node 到 集群 中
#    在 Node 节点中 输入 （信息取自 Kubeadm init 返还信息）
kubeadm join 172.16.26.127:6443 --token ria901.u940o84cyjuxdnz1 \
    --discovery-token-ca-cert-hash sha256:59e9091096f8a60f2a6a66f67cd928d986c35e443644be49e6f54fc76716f632

查询 节点信息

#    查看有哪些工作节点
kubectl get nodes
#    查看有哪些工作节点 -owide 更详细信息
kubectl get nodes -o wide

安装 flannel 网络组件

下载 flannel

#    克隆方式下载 flannel （--depth 1 表示 仅下载最近一次commit）
git clone --depth 1 https://github.com/flannel-io/flannel.git
#    直接下载  flannel
curl -o flannel.zip https://github.com/flannel-io/flannel/archive/refs/heads/master.zip
unzip flannel.zip
#    也可以自行下载并拖入~ 文件夹

安装 Kubectl 命令补全

#    安装 命令补全工具
yum install -y bash-completion
#    配置 kubectl 命令补全
source /usr/share/bash-completion/bash_completion
source <(kubectl completion bash)
echo "source <(kubectl completion bash)" >> ~/.bashrc

编辑 kube-flannel.yml 文件

#    进入 yml 文件 目录
cd ~/flannel/Documentation
#    备份 kube-flannel.yml 文件
cp kube-flannel.yml kube-flannel.yml.bak
#    编辑 kube-flannel.yml 文件
nano kube-flannel.yml
#    以下两组修改可以一次性完成修改后再保存，不需要分两次

编辑 kube-flannel.yml 文件中 K8s 网络 信息

#    修改 K8s 网络 信息
#    不同版本的kube-flannel.yml 文件 内容行数略有不同
#    修改 第100行 （内容根据 kubeadm init 安装参数 --pod-network-cidr=172.17.26.0/24）
#    搜索 “net-conf.json”
#    {
  net-conf.json: |
    {
      "Network": "172.17.26.0/24",
      "Backend": {
        "Type": "vxlan"
      }
    }
#    }
#    查看 修改结果
grep 'Network' -A 5 kube-flannel.yml

查看 本地物理网卡 信息编辑

#    查看 本地服务器 物理网卡信息，并备案结果
ip a

编辑 kube-flannel.yml 文件中 本地网卡 信息

#    配置 Flannel 物理网卡信息，修改第170行以下内容  
#    {
args:
- --ip-masq
- --kube-subnet-mgr
- --iface=ens192
#    } 

创建 集群资源对象

#    通过 kube-flannel.yml 文件 创建 集群资源对象
kubectl create -f ./kube-flannel.yml
#    确认 所有 节点 容器 
#    可以找到 flannel 相关容器资源，且所有Node节点均有该资源
#    K8s 通过 API Server 发布该资源，ETCD存储后，Node 的kubelet进程监听ETCD后，自动创建资源
docker ps -a |grep flannel

再次 查询 节点信息

#    查看有哪些工作节点
kubectl get nodes
#    查看有哪些工作节点 -owide 更详细信息
kubectl get nodes -o wide