百度360必应搜狗淘宝本站头条
tomcat 乱码无法与服务器建立安全连接是什么意思sysv-rc-confdocker映射容器目录到宿主机internet explorer 增强的安全配置已启用
当前位置：网站首页 > 技术文章 > 正文

Kubernetes 有状态应用基本概念&Nginx部署

nanshan 2024-11-20 19:30 15 浏览 0 评论

1、无状态与有状态

Deployment控制器设计原则：管理的所有Pod一模一样，提供同一个服务，也不考虑在哪台Node运行，可随意扩容和缩容。这种应用称为“无状态”，例如Web服务

但是,在实际的场景中，并不能满足所有应用，尤其是分布式应用，会部署多个实例，这些实例之间往往有依赖关系，例如主从关系、主备关系，这种应用称为“有状态”，例如MySQL主从、Etcd集群、redis-cluster 等等


2、StatefulSet 控制器概述

StatefulSet控制器用于部署有状态应用，满足一些有状态应用的需求：

? Pod有序的部署、扩容、删除和停止

? Pod分配一个稳定的且唯一的网络标识

? Pod分配一个独享的存储


3、StatefulSet 控制器：网络标识


稳定的网络标识：

使用无头服务 Headless Service（相比普通Service只是将spec.clusterIP定义为None，也就是没有clusterIP，使用endport 来通信）来维护Pod网络身份，会为每个Pod分配一个数字编号并且按照编号顺序部署。还需要在StatefulSet添加serviceName: “nginx”字段指定StatefulSet控制器要使用这个Headless Service。


稳定主要体现在主机名和Pod A记录：


? 主机名：<statefulset名称>-<编号>

? Pod DNS A记录：<statefulset名称-编号>.<service-name> .<namespace>.svc.cluster.local （POD 之间通过DNS A 记录通信）

例如: web-0.web.default.svc.cluster.local


备注：

A记录： 将域名指向一个IPv4地址（例如：100.100.100.100），需要增加A记录
CNAME记录： 如果将域名指向一个域名，实现与被指向域名相同的访问效果，需要增加CNAME记录。这个域名一般是主机服务商提供的一个域名
MX记录： 建立电子邮箱服务，将指向邮件服务器地址，需要设置MX记录。建立邮箱时，一般会根据邮箱服务商提供的MX记录填写此记录
NS记录： 域名解析服务器记录，如果要将子域名指定某个域名服务器来解析，需要设置NS记录
TXT记录： 可任意填写，可为空。一般做一些验证记录时会使用此项，如：做SPF（反垃圾邮件）记录
AAAA记录： 将主机名（或域名）指向一个IPv6地址（例如：ff03:0:0:0:0:0:0:c1），需要添加AAAA记录


案例：

通过创建一个 nginx 应用的statefluset 控制器

创建 Headless Service ,定义 clusterIP: None (表示K8S 不会在给这个service 去颁发一个clusterIP 了；相比 deployment 控制器 的每个POD 都是相同的，而 statefuset 控制器的每个POD 都是有状态的

需要单独去访问 )

[root@master-1 statefulset]# vim service.yaml 
apiVersion: v1
kind: Service
metadata:
  name: web
spec:
  clusterIP: None
  ports:
  - protocol: TCP
    port: 80
  selector:
    app: nginx

[root@master-1 statefulset]# kubectl apply -f service.yaml 

[root@master-1 statefulset]# kubectl get service
NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
web          ClusterIP   None         <none>        80/TCP    8m18s


#创建statefulset，指定serviceName

[root@master-1 statefulset]# cat statefulset.yaml 
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: web
spec:
  serviceName: "web"
  replicas: 3 
  selector:
    matchLabels:
      app: nginx 
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx 
        ports:
        - containerPort: 80
          name: web
          

[root@master-1 statefulset]# kubectl apply -f statefulset.yaml
statefulset.apps/web created


#发现pod名称 带有序号
[root@master-1 statefulset]# kubectl get pods
NAME    READY   STATUS    RESTARTS   AGE
web-0   1/1     Running   0          16s
web-1   1/1     Running   0          13s
web-2   1/1     Running   0          6s




#查了POD的主机名
主机名 默认与 POD 名一致，即使POD 飘逸到其他node 上 或者删除后重建  主机名 都是和POD  名一致。有个稳定的主机名


[root@master-1 statefulset]# kubectl exec -it web-0 -- hostname
web-0
[root@master-1 statefulset]# kubectl exec -it web-1 -- hostname
web-1
[root@master-1 statefulset]# kubectl exec -it web-2 -- hostname
web-2



#临时启动一个busybox pod ，测试dns 解析(注意这里的busybox版本为1.28.4 最新版的busybox nslookup 会有问题)
[root@master-1 statefulset]# kubectl run -it dns-test --rm --image=busybox:1.28.4 -- sh
/ # nslookup web
Server:    10.0.0.2
Address 1: 10.0.0.2 kube-dns.kube-system.svc.cluster.local

Name:      web
Address 1: 10.244.2.114 web-2.web.default.svc.cluster.local
Address 2: 10.244.2.113 web-0.web.default.svc.cluster.local
Address 3: 10.244.1.65 web-1.web.default.svc.cluster.local


可以看到解析出3条记录出来，解析出对应的三个Pod IP记录，其他Pod可使用这个名称访问


模拟测试删除这些 pod ，升级镜像版本，发现pod ip虽然发生变化，但是 主机名，Pod DNS A记录 不会发生变化
/ # nslookup web
Server:    10.0.0.2
Address 1: 10.0.0.2 kube-dns.kube-system.svc.cluster.local

Name:      web
Address 1: 10.244.2.116 web-2.web.default.svc.cluster.local
Address 2: 10.244.2.115 web-0.web.default.svc.cluster.local
Address 3: 10.244.1.66  web-1.web.default.svc.cluster.local


这个就验证了 statefulset 的 Pod是 有序的部署、扩容、删除和停止 且 给每一个POD 分配一个稳定的且唯一的网络标识


4、StatefulSet 控制器：独享存储


独享存储：StatefulSet的存储卷使用VolumeClaimTemplate创建，称为卷申请模板，当StatefulSet使用VolumeClaimTemplate创建一个PersistentVolume时，

同样也会为每个Pod分配并创建一个编号的PVC，每个PVC绑定对应的PV，从而保证每个Pod都拥有独立的存储。


在创建StatefulSet 控制器 独享存储前，需要先定义好存储卷，使用pv 作为持久化存储卷，后端存储为NFS

这里采用动态PV 的方式（NFS server 搭建的过程省略）


一、部署NFS服务器

#服务器安装nfs服务，提供nfs存储功能
1、安装nfs-utils
yum install nfs-utils (centos)
或者  apt-get install nfs-kernel-server (ubuntu)

2、启动服务
systemctl enable nfs-server
systemctl start nfs-server

3、创建共享目录完成共享配置
mkdir /home/nfs   #创建共享目录

4、编辑共享配置
vim /etc/exports                                           
#语法格式：    共享文件路径     客户机地址（权限）     #这里的客户机地址可以是IP,网段，域名,也可以是任意*
/home/nfs  *(rw,async,no_root_squash)


服务自检命令 
exportfs -arv


5、重启服务
systemctl restart nfs-server


6、本机查看nfs 共享目录
#showmount -e 服务器IP地址 (如果提示命令不存在，则需要yum install showmount)

showmount -e 127.0.0.1
/home/nfs/nginx *



7、客户端模拟挂载[所有k8s的节点都需要安装客户端]
[root@master-1 ~]# yum install nfs-utils （centos）
或者  apt-get install nfs-common （ubuntu）
[root@master-1 ~]# mkdir /test
[root@master-1 ~]# mount -t nfs 172.16.201.209:/home/nfs /test

#取消挂载
[root@master-1 ~]# umount /test


二、配置PV 动态供给（NFS StorageClass），创建pvc

#部署NFS实现自动创建PV插件： 一共设计到4个yaml 文件 ，官方的文档有详细的说明

https://github.com/kubernetes-incubator/external-storage


root@k8s-master1:~ # mkdir  /root/pvc
root@k8s-master1:~ # cd   /root/pvc


  • 创建rbac.yaml 文件
root@k8s-master1:pvc # cat rbac.yaml 
kind: ServiceAccount
apiVersion: v1
metadata:
  name: nfs-client-provisioner
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: default
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    # replace with namespace where provisioner is deployed
    namespace: default
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io


  • 创建deployment.yaml 文件

#官方默认的镜像地址，国内可能无法下载，可以使用 image: fxkjnj/nfs-client-provisioner:latest

#定义NFS 服务器的地址，共享目录名称

root@k8s-master1:pvc # cat deployment.yaml 
apiVersion: v1
kind: ServiceAccount
metadata:
  name: nfs-client-provisioner
---
kind: Deployment
apiVersion: apps/v1 
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  strategy:
    type: Recreate
  selector:
    matchLabels:
      app: nfs-client-provisioner
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: fxkjnj/nfs-client-provisioner:latest
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: fuseim.pri/ifs
            - name: NFS_SERVER
              value: 172.16.201.209 
            - name: NFS_PATH
              value: /home/nfs
      volumes:
        - name: nfs-client-root
          nfs:
            server: 172.16.201.209
            path: /home/nfs
  • 创建class.yaml

# archiveOnDelete: "true" 表示当PVC 删除后，后端数据不直接删除，而是归档

root@k8s-master1:pvc # cat class.yaml 
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: managed-nfs-storage
provisioner: fuseim.pri/ifs # or choose another name, must match deployment's env PROVISIONER_NAME'
parameters:
  archiveOnDelete: "true"
  • 查看存储类
root@k8s-master1:~/kubernetes/redis# kubectl get sc
NAME                  PROVISIONER      RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
managed-nfs-storage   fuseim.pri/ifs   Delete          Immediate           false                  6s


基于上面的内容创建 statefulset.yaml 文件

root@k8s-master1:~ # mkdir /root/statefulset
root@k8s-master1:~ # cd  /root/statefulset
root@k8s-master1:statefulset # vim  statefulset.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: web
spec:
  serviceName: "web"
  replicas: 3 
  selector:
    matchLabels:
      app: nginx 
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:1.16 
        ports:
        - containerPort: 80
          name: web
        volumeMounts:
        - name: nginx-pvc		#指定PVC名称
          mountPath: /usr/share/nginx/html
  volumeClaimTemplates:		#相当于pvc模板
  - metadata:
      name: nginx-pvc			#创建的PVC名称
    spec:
      storageClassName: "managed-nfs-storage"	#指定动态PV名称
      accessModes:
      - ReadWriteOnce			#访问模式,读写在单台机器
      resources:
        requests:
          storage: 1Gi


root@k8s-master1:statefulset #  kubectl apply -f statefulset.yaml
statefulset.apps/web created

root@k8s-master1:~/kubernetes/statefulset# kubectl get pv
NAME                                       CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                     STORAGECLASS          REASON   AGE
pvc-8eacbe25-3875-4f78-91ca-ba83b6967a8a   100Gi      RWX            Delete           Bound    redis/nfs-redis           managed-nfs-storage            6d
pvc-935033b7-9ac8-4346-8543-1f95492dcde9   1Gi        RWO            Delete           Bound    default/nginx-pvc-web-1   managed-nfs-storage            39s
pvc-bd3a8c59-b66d-457b-a6f2-90f3b7f9ebf0   1Gi        RWO            Delete           Bound    default/nginx-pvc-web-2   managed-nfs-storage            19s
pvc-be5cf42a-aeaa-4667-901c-77e1d2350f49   1Gi        RWO            Delete           Bound    default/nginx-pvc-web-0   managed-nfs-storage            61s



root@k8s-master1:~/kubernetes/statefulset# kubectl get pvc
NAME              STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS          AGE
nginx-pvc-web-0   Bound    pvc-be5cf42a-aeaa-4667-901c-77e1d2350f49   1Gi        RWO            managed-nfs-storage   82s
nginx-pvc-web-1   Bound    pvc-935033b7-9ac8-4346-8543-1f95492dcde9   1Gi        RWO            managed-nfs-storage   61s
nginx-pvc-web-2   Bound    pvc-bd3a8c59-b66d-457b-a6f2-90f3b7f9ebf0   1Gi        RWO            managed-nfs-storage   40s

oot@k8s-master1:~/kubernetes/statefulset# kubectl get pods --show-labels 
NAME                                      READY   STATUS    RESTARTS   AGE     LABELS
web-0                                     1/1     Running   0          4m50s   app=nginx,controller-revision-hash=web-b56c497b,statefulset.kubernetes.io/pod-name=web-0
web-1                                     1/1     Running   0          4m29s   app=nginx,controller-revision-hash=web-b56c497b,statefulset.kubernetes.io/pod-name=web-1
web-2                                     1/1     Running   0          4m8s    app=nginx,controller-revision-hash=web-b56c497b,statefulset.kubernetes.io/pod-name=web-2

#分别进入到3个pod 中，写入一个数据，验证各自的独享存储
root@k8s-master1:~/kubernetes/statefulset# kubectl  get pods -o wide --selector app=nginx
NAME                                READY   STATUS    RESTARTS   AGE     IP               NODE        NOMINATED NODE   READINESS GATES
web-0                               1/1     Running   0          7m6s    10.244.169.179   k8s-node2   <none>           <none>
web-1                               1/1     Running   0          6m45s   10.244.107.228   k8s-node3   <none>           <none>
web-2                               1/1     Running   0          6m24s   10.244.169.180   k8s-node2   <none>           <none>


[root@master-1 ~]# kubectl exec -it web-0 -- bash -c "echo 'congratulations  web-0 for k8s' > /usr/share/nginx/html/index.html"
[root@master-1 ~]# kubectl exec -it web-1 -- bash -c "echo 'congratulations  web-1 for k8s' > /usr/share/nginx/html/index.html"
[root@master-1 ~]# kubectl exec -it web-2 -- bash -c "echo 'congratulations  web-2 for k8s' > /usr/share/nginx/html/index.html"


#直接访问pod IP 测试内容：
root@k8s-master1:~/kubernetes/statefulset# curl 10.244.169.179
congratulations  web-0 for k8s

root@k8s-master1:~/kubernetes/statefulset# curl  10.244.107.228
congratulations  web-1 for k8s

root@k8s-master1:~/kubernetes/statefulset#  curl 10.244.169.180
congratulations  web-2 for k8s


删除statefulset


删除statefulset 有两张方法，级联删除 和 非级联删除

  • 使用非级联删除 statefulset 时，statefulset 的POD 不会被删除
  • 使用级联删除时，statefulset 和 pod 都会被删除
（1）、非级联删除

使用kubectl  delete statefulset XXXX 删除 statefulset ,只需要提供 --cascade=false 参数，就会采用非联机删除，此时删除statefulset 不会删除pod

kubectl delete statefulset web --cascade=false


（2）、级联删除
省略 --cascade=false 参数 即可

kubectl delete statefulset web

相关推荐

python获取阿里云云解析dns的域名解析记录

最近由于工作原因接触到阿里云的服务，我需要实时获取所有的域名信息，用于对其进行扫描，因此写了一个自动化爬取脚本给需要的人分享。（阿里云有官方的demo，有兴趣的可以自己看一下，后面也会放链接，我只能...

前端性能优化系列——DNS预解析和优化

简单来说，DNS的作用是将域名解析为IP地址，解析的过程是耗时的，转化后会做本地缓存，我们的优化的目标主要是针对用户第一次访问站点的时候陷入长时间白屏的问题。DNS解析可以分为两类，第一类是页...

dns错误修复方法

　　最近用户反馈在同一网络的其他电脑可以正常上网，但自己的电脑却提示页面找不到且无法解析服务器的dns地址，接下来给大家带来dns错误修复方法。　　1、点击网络图标，选择打开网络共享中心，如图所示：　...

技术分享 | 浅谈DNS递归解析和迭代解析之间的区别

DNS解析是互联网中的重要环节，承担着将域名翻译为可由计算机直接读取的IP地址的基础功能。根据查询对象不同DNS解析可分为递归解析和迭代解析两种方式，接下来，中科三方将简单介绍下两种查询方式的流程以及...

一文读懂DNS解析故障常见情况(中科三方)

DNS解析将人们习惯使用的域名翻译成计算机识别的IP地址，是确保人们正常访问网站的重要功能。而在实际域名管理过程中，经常会因为种种原因导致DNS解析故障。DNS解析故障主要表现在人们通过IP地址可以直...

DNS分离解析实验

如果本文对你有帮助，欢迎关注、点赞、收藏、转发给朋友，让我有持续创作的动力目录一、分离解析概述二、实验需求三、实验步骤3.1双网卡服务器配置3.1.1添加两张网卡（内外网）3.1.2对两个网卡进...

#净网2019# 浏览网页被“劫持”，有问题!

明明自己没有设置过，打开网页浏览器却直接到了一个陌生网站，想改回原来的主页设置颇费周折、甚至无能为力。很多网民有过类似经历：在安装了一些软件后，自己的浏览器主页就被修改和锁定。本来打算访问A网站却被强...

解决浏览器劫持，360和腾讯安全不敌火绒专杀

上午win7莫名其妙显示未激活，并要求当日必须激活，没办法，上网找激活工具，先试了“小马”没起作用，又下载了“WIN7ActivationV2.3绿色版”，就是这个：激活是激活了，顺便给我安了一堆垃...

【净网2019】 浏览网页被“劫持”，有问题!

明明自己没有设置过，打开网页浏览器却直接到了一个陌生网站，想改回原来的主页设置颇费周折、甚至无能为力。很多网民有过类似经历：在安装了一些软件后，自己的浏览器主页就被修改和锁定。本来打算访问A网站却被...

浏览器打开网页被绑架?这里有办法

最近小A遇到了一个小问题：在240g上网冲浪的时候，搜索到的网页，点进去却“李逵变李鬼”？？？在使用浏览器时，点击搜寻结果却导向与搜寻内容不符合的网站，表示您的浏览器可能已遭受恶意软件劫持。例如您在搜...

处理浏览器主页被劫持的最新方法

给大家说个处理浏览器主页被劫持的最新方法：刚遇件让人哭笑不得的事，这两天发现浏览器的主页打开后不是自己原来设置的，而是hao123，一百度，好家伙，原来这个流氓许多人都遇到过，照着大家分享的方法一一尝...

软件性能测试详解

性能测试的基本概念性能测试是一种非功能性测试，通过自动化工具模拟多种负载条件（正常、峰值、异常），对系统的各项性能指标进行测试和评估，以验证其是否满足预期的性能需求。以下是核心概念的详细解析：一、性能...

国内粉色图标视频网站偷用带宽风波，WebRTC Control 插件来救场

最近，B站陷入了一场舆论风波，被指偷偷使用用户上传带宽。有网友在浙江大学论坛投稿称，B崭新版App疑似未经许可大量上传数据致网络卡顿，查看路由器统计信息后，发现B站手机客户端开启大量端口，...

服务器知识

问：机架式和非机架式是什么意思？服务器中“U”是什么单位？答：机架式、非机架式指的是服务器的类型。机架式是指可以直接插入机柜的标准服务器。非机架式是其他类型的服务器。譬如说我们普通的pc机的主机。大小...

Vue3 性能拉胯?5 个实战技巧让项目响应速度飙升 60%!

作为前端工程师，在开发Vue3项目时，你是否经常遇到页面卡顿、数据更新缓慢，导致用户体验直线下降的情况？看着自己精心搭建的应用，因为性能问题被吐槽，真是既无奈又焦虑。别担心，今天就分享5个超级...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表