《蹲坑学Kubernetes》之:kubeadm部署Kubernetes-v1.18.6群集

一、环境准备

注意：在k8-smaster、k8s-node-1和k8s-node-2进行准备工作配置。

1、内核升级

[root@k8s-master ~]# rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
[root@k8s-master ~]# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
[root@k8s-master ~]# yum -y update
[root@k8s-master ~]# yum --enablerepo=elrepo-kernel install kernel-ml kernel-ml-devel -y
[root@k8s-master ~]# cat /boot/grub2/grub.cfg | grep menuentry
[root@k8s-master ~]# grub2-set-default "CentOS Linux (5.4.3-1.el7.elrepo.x86_64) 7 (Core)"
[root@k8s-master ~]# grub2-editenv list

2、关闭防火墙

[root@k8s-master ~]# systemctl stop firewalld.service
[root@k8s-master ~]# systemctl disable firewalld.service

3、关闭 Swap

[root@k8s-master ~]#swapoff -a
#要永久禁掉swap分区，打开如下文件注释掉swap那一行
[root@k8s-master ~]# vim /etc/fstab

4、关闭 SELinux

[root@k8s-master ~]# vim /etc/selinux/config
修改：
SELINUX=disable

5、配置转发参数

[root@k8s-master ~]# vim /etc/sysctl.d/k8s.conf
添加：
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv6.conf.all.disable_ipv6 = 0
net.ipv6.conf.default.forwarding = 1
net.ipv6.conf.all.forwarding = 1
vm.swappiness=0
vm.overcommit_memory=1
vm.panic_on_oom=0
fs.inotify.max_user_watches=89100
fs.file-max=52706963
fs.nr_open=52706963
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr
 
[root@k8s-master ~]# modprobe bridge && modprobe br_netfilter
[root@k8s-master ~]# sysctl -p

二、安装docker-ce-19

注意：在k8-smaster、k8s-node-1、k8s-node-2安装Docker。

[root@k8s-master ~]# vim /etc/yum.repos.d/docker.repo
添加：
[docker]
name=Docker CE Stable - $basearch
baseurl=https://download.docker.com/linux/centos/7/$basearch/stable
enabled=1
gpgcheck=0
 
[root@k8s-master ~]# yum -y install docker-ce
[root@k8s-master ~]# systemctl enable docker.service
[root@k8s-master ~]# systemctl start docker.service
[root@k8s-master ~]# systemctl status docker.service
[root@k8s-master ~]# docker info

三、安装 Kubeadm:v1.18.6

注意：在k8-smaster、k8s-node-1和k8s-node-2中安装Kubeadm。

1、安装ipvsadm模块

[root@k8s-master ~]# yum install ipvsadm ipset -y
[root@k8s-master ~]# modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack_ipv4
[root@k8s-master ~]# lsmod |egrep ip_vs

2、安装Kubeadm

[root@k8s-master ~]# vim /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
 
[root@k8s-master ~]# yum -y install epel-release
 
[root@k8s-master ~]# yum clean all
[root@k8s-master ~]# yum makecache

 
 下面就开始正式安装 Kubeadm 了：
[root@k8s-master ~]# yum -y install kubelet kubeadm kubectl                   #默认安装最新版本

3、启动kubelet服务

[root@k8s-master ~]# systemctl enable kubelet.service
[root@k8s-master ~]# systemctl start kubelet.service
[root@k8s-master ~]# systemctl status kubelet.service

注意：此时kubelet.service服务是不会启动的，等到kubelet.service初始化后才会启动。

4、创建kubernetes集群

（1）查看该版本的容器镜像版本

[root@k8s-master ~]# kubeadm config images list

（2）下载镜像

[root@k8s-master ~]# vim k8s-dowm-images.sh
添加：
## 使用如下脚本下载国内镜像，并修改tag为google的tag
set -e
KUBE_VERSION=v1.18.6
KUBE_PAUSE_VERSION=3.2
ETCD_VERSION=3.4.3-0
CORE_DNS_VERSION=1.6.7
 
GCR_URL=k8s.gcr.io
ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/google_containers
 
images=(kube-proxy:${KUBE_VERSION}
kube-scheduler:${KUBE_VERSION}
kube-controller-manager:${KUBE_VERSION}
kube-apiserver:${KUBE_VERSION}
pause:${KUBE_PAUSE_VERSION}
etcd:${ETCD_VERSION}
coredns:${CORE_DNS_VERSION})
 
for imageName in ${images[@]} ; do
  docker pull $ALIYUN_URL/$imageName
  docker tag  $ALIYUN_URL/$imageName $GCR_URL/$imageName
  docker rmi $ALIYUN_URL/$imageName
done
 
 
[root@k8s-master ~]# chmod +x k8s-dowm-images.sh
[root@k8s-master ~]# ./k8s-dowm-images.sh
或者输入下载命令下载镜像
[root@k8s-master ~]# kubeadm config images pull
 
[root@k8s-master ~]# docker images

（3）初始化kubernetes集群

注意：在k8-smaster中进行初始化操作。

[root@k8s-master ~]# kubeadm init --kubernetes-version=v1.18.6 --apiserver-advertise-address=192.168.1.3 --pod-network-cidr=10.244.0.0/16 --service-cidr=10.0.0.0/12
注释：
 
--kubernetes-version=v1.18.6 ： 加上该参数后启动相关镜像
--pod-network-cidr=10.244.0.0/16 ：（Pod 中间网络通讯我们用flannel，与flannel保持一致，这个IP段就是Pod的IP段）
--service-cidr=10.0.0.0/12 ： Service（服务）网段（和微服务架构有关）

（4）确认kubelet服务

[root@k8s-master ~]# systemctl status kubelet.service

[root@k8s-master ~]# netstat -anpt | grep kubelet

（5）配置kubectl认证信息

[root@k8s-master ~]# mkdir -p $HOME/.kube
[root@k8s-master ~]# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@k8s-master ~]# chown $(id -u):$(id -g) $HOME/.kube/config

（6）将node节点加入Kubernetes群集

查看token
[root@k8s-master ~]# kubeadm token list
可以使用命令来获取token
[root@k8s-master ~]# kubeadm token create --print-join-command
 

将node节点加入群集

注意：在k8-node-1和k8-node-2中进行操作。

[root@k8s-node-1 ~]# kubeadm join 192.168.1.3:6443 --token rkaf1i.y7m2u7z068tgw7os     --discovery-token-ca-cert-hash sha256:09d6bd168550b25e30a43e7bda6db0ad650840d0ce5aa342e7c72b03d3805dc3
 
[root@k8s-node-2 ~]# kubeadm join 192.168.1.3:6443 --token rkaf1i.y7m2u7z068tgw7os     --discovery-token-ca-cert-hash sha256:09d6bd168550b25e30a43e7bda6db0ad650840d0ce5aa342e7c72b03d3805dc3

（7）查看群集运行状态

[root@k8s-master ~]# kubectl get pods -n kube-system

[root@k8s-master ~]# kubectl get nodes

注释：

NotReady：未准备好。原因是没有配置网络。

四、设置flannel网络

注意：在k8s-master、k8-node-1和k8-node-2中部署Flannel网络。

1、下载cni软件

[root@k8s-master ~]# wget https://github.com/containernetworking/plugins/releases/download/v0.8.6/cni-plugins-linux-amd64-v0.8.6.tgz

2、部署cni

[root@k8s-master ~]# mkdir /opt/cni/bin -p
[root@k8s-master ~]# tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin

3、下载配置文件

[root@k8s-master ~]# wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

4、下载镜像

[root@k8s-master ~]# docker pull quay.io/coreos/flannel:v0.12.0-amd64

5、配置flannel配置文件

[root@k8s-master ~]# vim kube-flannel.yml
修改：
      "Network": "10.244.0.0/16", 							##注意与master初始化保持一致。--pod-network-cidr=10.244.0.0/16
      "Backend": {
        "Type": "vxlan"
      }
……
“name”: “cbr0”,
      “cniVersion”: “0.3.1”,                   ##添加此行，确保pod之间能够通信。

6、创建flannel资源

[root@k8s-master ~]# kubectl apply -f kube-flannel.yml

7、查看flannel的Pod

[root@k8s-master ~]# kubectl get pods -n kube-system

[root@k8s-master ~]# kubectl get pods -n kube-system -o wide

[root@k8s-master ~]# kubectl get pods -n kube-system -o wide | grep flannel

8、验证Flannel网络

（1）在master上查看ip地址状态

[root@master ~]# ip a

[root@k8s-master ~]# ifconfig flannel.1

注：Flannel与cni0接口

（2）在node-1上查看ip地址状态

[root@k8s-node-1 ~]# ip a

[root@k8s-node-1 ~]# ifconfig flannel.1  &&  ifconfig cni0

（3）在node-2上查看ip地址状态

[root@k8s-node-2 ~]# ip a

[root@k8s-node-2 ~]# ifconfig flannel.1  &&  ifconfig cni0

（4）检查通信状况

注：ping Node节点中cni的IP，能通信为正常！

[root@k8s-master ~]# ping 10.244.1.1
[root@k8s-master ~]# ping 10.244.2.1

五、Kubernetes群集测试

1、设置命令行自动补全功能

[root@k8s-master ~]# source /usr/share/bash-completion/bash_completion
[root@k8s-master ~]# source <(kubectl completion bash)

2查看节点状态

（1）查看节点

[root@k8s-master ~]# kubectl get nodes

[root@k8s-master ~]# kubectl get nodes -o wide

[root@k8s-master ~]# kubectl get service --namespace=kube-system

（2）输出client 和server的版本信息

[root@k8s-master ~]# kubectl version

到此，kubernetes群集部署完毕！

六、安装kubernetes1.18.6的web-ui端：

1、下载dashboard配置文件

[root@k8s-master ~]# wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.3/aio/deploy/recommended.yaml

2、下载镜像

[root@k8s-master ~]# cat recommended.yaml | grep image:

[root@k8s-master ~]# docker pull kubernetesui/dashboard:v2.0.3
[root@k8s-master ~]# docker pull kubernetesui/metrics-scraper:v1.0.4

3、修改配置文件

[root@k8s-master ~]# vim recommended.yaml
##为了方便访问，修改kubernetes-dashboard的Service定义，指定Service的type类型为NodeType，指定nodePort端口
添加：
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort                                ##添加type: NodePort，指定外部访问
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30000                          ##添加nodePort: 30000，指定访问端口。
  selector:
k8s-app: kubernetes-dashboard
 
……
image: kubernetesui/dashboard:v2.0.3
imagePullPolicy: IfNotPresent                           ##修改IfNotPresent
……

4、创建dashboard

[root@k8s-master ~]# kubectl apply -f   recommended.yaml

[root@k8s-master ~]# kubectl get pods --all-namespaces  -o wide
或者
[root@k8s-master ~]# kubectl get pods -n kubernetes-dashboard

[root@k8s-master ~]# kubectl get pods -n kubernetes-dashboard -o wide

[root@k8s-master ~]# kubectl get service --all-namespaces
或者
[root@k8s-master ~]# kubectl get service -n kubernetes-dashboard

[root@k8s-master ~]# kubectl describe service kubernetes-dashboard -n kubernetes-dashboard

5、创建管理员账号

创建一个专用的 serviceaccount 帐号 dashboard-admin

[root@k8s-master ~]# kubectl create serviceaccount dashboard-admin -n kube-system

# 绑定角色 cluster-admin

[root@k8s-master ~]# kubectl create clusterrolebinding dashboard-cluster-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin

[root@k8s-master ~]# kubectl get sa -n kube-system

[root@k8s-master ~]# kubectl describe serviceaccount dashboard-admin -n kube-system

查找secret

[root@k8s-master ~]# kubectl get secret  --all-namespaces

6、获取dashboard-admin 的token值

[root@k8s-master ~]# kubectl describe secret dashboard-admin-token-lbvpl -n kube-system

7、客户端访问

[root@k8s-node-1 ~]# firefox https://192.168.1.1:30000/ &

首次方式需要添加安全例外。

使用Token认证登录，将之前查询的Token值复制粘贴过来即可。

登录成功后