百度360必应搜狗淘宝本站头条
tomcat 乱码无法与服务器建立安全连接是什么意思sysv-rc-confdocker映射容器目录到宿主机internet explorer 增强的安全配置已启用
当前位置：网站首页 > 技术文章 > 正文

AWS EKS 创建k8s生产环境实例

nanshan 2025-03-11 19:19 11 浏览 0 评论

在AWS部署海外节点, 图简单使用web控制台创建VPC和k8s集群出错(k8s), 使用cli命令行工具创建成功本实例为复盘, 记录aws命令行工具创建eks, 安装efs驱动、LBS、ingress-nginx,使用ECR镜像储存等

#安装命令行工具

#安装aws cli
cd /tmp 
curl -kL "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
unzip awscliv2.zip
sudo ./aws/install
aws --version
#配置aws key
aws configure
#查看配置
aws configure list

#安装kubectl
curl -o kubectl https://s3.us-west-2.amazonaws.com/amazon-eks/1.22.6/2022-03-09/bin/linux/amd64/kubectl
chmod +x ./kubectl
mv kubectl /usr/local/bin
kubectl version --short --client

#安装eksctl
curl --silent --location "https://github.com/weaveworks/eksctl/releases/latest/download/eksctl_$(uname -s)_amd64.tar.gz" | tar xz -C /tmp
sudo mv /tmp/eksctl /usr/local/bin
eksctl version

#创建VPC网络和子网

#创建VPC网络和子网已单独发帖

https://www.cnblogs.com/elvi/p/16542406.html

#创建k8s集群

#env
k8s_name=aws-k8s
Region=ap-southeast-1 #新加坡 
#获取aws账户id
OwnerId=$(aws ec2 describe-vpcs --region ${Region} |jq -r ".Vpcs[0].OwnerId")
#使用已有子网 
private-subnets-id="subnet-lan-a-xxx,subnet-lan-b-xxx"
public-subnets-id="subnet-public-a-xxx,subnet-public-b-xxx"

# k8s cluster 
eksctl create cluster \
 --region ${Region} \
 --name ${k8s_name} \
 --version 1.22 \
 --vpc-private-subnets ${private-subnets-id} \
 --vpc-public-subnets  ${public-subnets-id} \
 --managed \
 --without-nodegroup \
 --dry-run

# 查看
eksctl get cluster --name ${k8s_name} --region ${Region}

# 出错或不要了,可删除
# eksctl delete cluster --name=${k8s_name}

# --dry-run 试运行,正式创建时去掉
# --without-nodegroup 不创建node节点
# --vpc-xx 添加已有网络,若不指定会自动创建
# 建议使用多个可用区网络,k8s集群创建后无法更改
# eksctl create cluster --help #查看帮助

#创建k8s计算节点组

#创建b区k8s节点
#k8s nodegroup  test
eksctl create nodegroup \
 --region ${Region} \
 --cluster ${k8s_name} \
 --name k8s-work-test  \
 --node-type m5.large \
 --nodes 1 \
 --nodes-min 1 \
 --nodes-max 10 \
 --instance-name test-node-b \
 --node-ami-family Ubuntu2004 \
 --node-private-networking \
 --node-zones ${Region}b \
 --node-security-groups sg-xxxxxxx \
 --ssh-access \
 --ssh-public-key aws-bastion \
 --full-ecr-access \
 --managed \
 --dry-run

# --nodes 1 创建1个node节点, 规格 m5.large 2核8G
# --node-ami-family Ubuntu2004 操作系统Ubuntu20.04
# --node-private-networking 使用私有子网
# --node-zones 可用区
# --node-security-groups 使用已创建的安全组
# --full-ecr-access ECR镜像仓库权限,一定要
# eksctl create nodegroup --help #查看帮助

#节点扩容
eksctl scale nodegroup --region ${Region} \
 --cluster ${k8s_name} --nodes=2 --name k8s-work-test

# 测试正常就可以删除, 创建配置更高的正式节点
# delete node
# eksctl delete nodegroup --cluster=${k8s_name} --name=k8s-work-test


#创建b区正式节点组 
eksctl create nodegroup \
 --region ${Region} \
 --cluster ${k8s_name} \
 --name k8s-work-b  \
 --node-type m5.4xlarge \
 --nodes 2 \
 --nodes-min 1 \
 --nodes-max 10 \
 --instance-name k8s-node-b \
 --max-pods-per-node 110 \
 --node-ami-family Ubuntu2004 \
 --node-private-networking \
 --node-zones ${Region}b \
 --node-security-groups sg-xxxxxxx \
 --ssh-access \
 --ssh-public-key aws-bastion \
 --full-ecr-access \
 --external-dns-access \
 --managed \
 --dry-run

#规格m5.4xlarge 16核64G
#node-zones创建多区,可用于高可用

#为k8s集群创建IAM OIDC提供商

# IAM OIDC即 AWS Identity and Access Management (IAM) OpenID Connect (OIDC)
# 创建IMA权限角色时,需要此功能开启  

#查看是否有OIDC,没有则创建
oidc_id=$(aws eks describe-cluster --name ${k8s_name} --query "cluster.identity.oidc.issuer" --output text |cut -d'/' -f 5)
if [ $(aws iam list-open-id-connect-providers | grep $oidc_id | wc -l ) -eq 0 ]; then
  eksctl utils associate-iam-oidc-provider --cluster ${k8s_name} --approve
fi

#eks安装efs csi驱动

k8s使用AWS EFS储存时用到csi驱动efs可使用nfs协议挂载,但k8s节点默认没安装nfs客户端

#创建IAM policy和角色
curl -o iam-policy-efs.json \
 https://raw.githubusercontent.com/kubernetes-sigs/aws-efs-csi-driver/master/docs/iam-policy-example.json

aws iam create-policy \
    --policy-name EKS_EFS_CSI_Driver_Policy \
    --policy-document file://iam-policy-efs.json

#创建权限
eksctl create iamserviceaccount \
  --cluster ${k8s_name} \
  --namespace kube-system \
  --name efs-csi-controller-sa \
  --attach-policy-arn arn:aws:iam::${OwnerId}:policy/EKS_EFS_CSI_Driver_Policy \
  --approve \
  --region ${Region}

# 更新kubeconfig  ~/.kube/config  
aws eks update-kubeconfig --region ${Region} --name ${k8s_name}

#下载yaml文件
kubectl kustomize \
  "github.com/kubernetes-sigs/aws-efs-csi-driver/deploy/kubernetes/overlays/stable/?ref=release-1.4" > aws-eks-efs-csi.1.4.yaml

# vim aws-eks-efs-csi.1.4.yaml
# 手动删除如下部分  
apiVersion: v1
kind: ServiceAccount
metadata:
  labels:
    app.kubernetes.io/name: aws-efs-csi-driver
  name: efs-csi-controller-sa
  namespace: kube-system
---

#部署efs csi
kubectl apply -f aws-eks-efs-csi.1.4.yaml

#使用efs创建pvc实例

apiVersion: v1
kind: PersistentVolume
metadata:
  name: aws-efs-test
spec:
  capacity:
    storage: 2000Gi
  accessModes: 
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  csi:
    driver: efs.csi.aws.com
    volumeHandle: fs-xxx:/data
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: aws-efs-test
spec:
  accessModes: 
    - ReadWriteMany
  resources:
    requests:
      storage: 2000Gi

# fs-xxx 为efs实例id,需要单独创建  
# 创建efs后需添加子网和安全组,否则无法访问

#安装AWS LB Controller

AWS LoadBalancer默认使用Classic Load Balancer模式使用NLB、ALB模式的负载均衡器,和绑定EIP(绑定固定IP),必须安装LB controller

#创建IAM角色
curl -o iam_lbs_v2.4.2.json \
  https://raw.githubusercontent.com/kubernetes-sigs/aws-load-balancer-controller/v2.4.2/docs/install/iam_policy.json

aws iam create-policy \
  --policy-name iam_lbs_v2.4.2 \
  --policy-document file://iam_lbs_v2.4.2.json

eksctl create iamserviceaccount \
  --cluster=${k8s_name} \
  --namespace=kube-system \
  --name=aws-load-balancer-controller \
  --role-name "AmazonEKSLoadBalancerControllerRole" \
  --attach-policy-arn=arn:aws:iam::${OwnerId}:policy/iam_lbs_v2.4.2 \
  --approve

#安装cert-manager
kubectl apply \
  --validate=false \
  -f https://github.com/jetstack/cert-manager/releases/download/v1.5.4/cert-manager.yaml

#下载yaml
curl -Lo aws-load-balancer-controller_2.4.2.yaml \
  https://github.com/kubernetes-sigs/aws-load-balancer-controller/releases/download/v2.4.2/v2_4_2_full.yaml

#更改k8s集群名称
sed -i.bak -e "s|your-cluster-name|${k8s_name}|" aws-load-balancer-controller_2.4.2.yaml

#手动删除如下部分
apiVersion: v1
kind: ServiceAccount
metadata:
  labels:
    app.kubernetes.io/component: controller
    app.kubernetes.io/name: aws-load-balancer-controller
  name: aws-load-balancer-controller
  namespace: kube-system
---

#部署lbs
kubectl apply -f aws-load-balancer-controller_2.4.2.yaml

#查看
kubectl get deployment -n kube-system aws-load-balancer-controller

#安装ingress-nginx-controller

#下载yaml
curl -o aws-ingress-nginx.nlb.v1.3.0.yml \
  https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.3.0/deploy/static/provider/aws/deploy.yaml

#增加spec.ipFamilyPolicy: SingleStack

#修改LoadBalancer部分的Service如下

---
apiVersion: v1
kind: Service
metadata:
  annotations:
    #负载均衡器自定义名称
    service.beta.kubernetes.io/aws-load-balancer-name: k8s-ingress-slb
    #负载均衡 NLB模式
    service.beta.kubernetes.io/aws-load-balancer-type: "external"
    service.beta.kubernetes.io/aws-load-balancer-nlb-target-type: "ip"
    #使用EIP,互联网模式
    service.beta.kubernetes.io/aws-load-balancer-scheme: "internet-facing"
    #public子网
    service.beta.kubernetes.io/aws-load-balancer-subnets: subnet-axxx, subnet-bxxx
    #弹性IP地址
    service.beta.kubernetes.io/aws-load-balancer-eip-allocations: eipalloc-axxx, eipalloc-bxxx
    #获取客户端真事IP
    service.beta.kubernetes.io/aws-load-balancer-target-group-attributes: preserve_client_ip.enabled=true
  labels:
    app.kubernetes.io/component: controller
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/name: ingress-nginx
    app.kubernetes.io/part-of: ingress-nginx
    app.kubernetes.io/version: 1.3.0
  name: ingress-nginx-controller
  namespace: ingress-nginx
spec:
  type: LoadBalancer
  # externalTrafficPolicy: Local
  ipFamilyPolicy: SingleStack
  ipFamilies:
    - IPv4
  ports:
  - appProtocol: http
    name: http
    port: 80
    protocol: TCP
    targetPort: http
  - appProtocol: https
    name: https
    port: 443
    protocol: TCP
    targetPort: https
  selector:
    app.kubernetes.io/component: controller
    app.kubernetes.io/instance: ingress-nginx
    app.kubernetes.io/name: ingress-nginx


#部署
kubectl apply -f aws-ingress-nginx.nlb.v1.3.0.yml

#查看,获得得到EXTERNAL-IP地址 
kubectl get svc ingress-nginx-controller -n ingress-nginx

#ping测试EXTERNAL-IP地址ip是否为自己的EIP地址
ping k8s-ingress-slb-xxx.elb.${Region}.amazonaws.com

#访问测试
curl -I k8s-ingress-slb-xxx.elb.${Region}.amazonaws.com

#使用私有镜像仓库,并部署服务测试

#创建存储库nginx
aws ecr create-repository \
    --repository-name nginx \
    --region $Region

#登录储存库(缓存的登录凭证有效期12小时)
aws ecr get-login-password --region $Region \
 | docker login --username AWS --password-stdin ${OwnerId}.dkr.ecr.${Region}.amazonaws.com

#下载公共镜像, 改tag为私有储存库地址
docker pull public.ecr.aws/nginx/nginx:alpine
docker tag  public.ecr.aws/nginx/nginx:alpine \
  ${OwnerId}.dkr.ecr.${Region}.amazonaws.com/nginx:alpine

#push镜像到新建的储存库
docker push ${OwnerId}.dkr.ecr.${Region}.amazonaws.com/nginx:alpine

#deploy test
kubectl create deployment nginx --port=80 \
 --image=${OwnerId}.dkr.ecr.${Region}.amazonaws.com/nginx:alpine

#查看
kubectl get pod

#生命周期策略示例，保持5个镜像版本(tag)
cat >aws-ecr-policy.json <<EOF
{
  "rules": [
    {
      "rulePriority": 1,
      "description": "Keep only 3 image",
      "selection": {
        "tagStatus": "any",
        "countType": "imageCountMoreThan",
        "countNumber": 3
      },
      "action": {
        "type": "expire"
      }
    }
  ]
}
EOF
#创建策略
aws ecr put-lifecycle-policy --region $Region \
  --repository-name nginx \
  --lifecycle-policy-text file://aws-ecr-policy.json 

#删除清理pod
kubectl delete deploy/nginx

#删除存储库
aws ecr delete-repository \
  --region $Region --force \
  --repository-name nginx

k8s有pull私有镜像仓库权限,是因为创建参数--full-ecr-accessAWS ECR镜像储存服务不支持目录,只能分别给每个镜像创建储存库aws ecr get-login-password生成的凭证有效期12小时,可使用定时任务每天登录2次解决

文章来自
https://www.cnblogs.com/elvi/p/16549069.html

相关推荐

0722-6.2.0-如何在RedHat7.2使用rpm安装CDH(无CM)

文档编写目的在前面的文档中，介绍了在有CM和无CM两种情况下使用rpm方式安装CDH5.10.0，本文档将介绍如何在无CM的情况下使用rpm方式安装CDH6.2.0，与之前安装C5进行对比。环境介绍：...

ARM64 平台基于 openEuler + iSula 环境部署 Kubernetes

为什么要在arm64平台上部署Kubernetes，而且还是鲲鹏920的架构。说来话长。。。此处省略5000字。介绍下系统信息；o架构：鲲鹏920(Kunpeng920)oOS：ope...

生产环境starrocks 3.1存算一体集群部署

集群规划FE：节点主要负责元数据管理、客户端连接管理、查询计划和查询调度。>3节点。BE:节点负责数据存储和SQL执行。>3节点。CN:无存储功能能的BE。环境准备CPU检查JDK...

在CentOS上添加swap虚拟内存并设置优先级

现如今很多云服务器都会自己配置好虚拟内存，当然也有很多没有配置虚拟内存的，虚拟内存可以让我们的低配服务器使用更多的内存，可以减少很多硬件成本，比如我们运行很多服务的时候，内存常常会满，当配置了虚拟内存...

国产深度(deepin)操作系统优化指南

1.升级内核随着deepin版本的更新，会自动升级系统内核，但是我们依旧可以通过命令行手动升级内核，以获取更好的性能和更多的硬件支持。具体操作：-添加PPAs使用以下命令添加PPAs：```...

postgresql-15.4 多节点主从(读写分离)

1、下载软件[root@TX-CN-PostgreSQL01-252software]#wgethttps://ftp.postgresql.org/pub/source/v15.4/postg...

Docker 容器 Java 服务内存与 GC 优化实施方案

一、设置Docker容器内存限制（生产环境建议）1.查看宿主机可用内存bashfree-h#示例输出（假设宿主机剩余16GB可用内存）#Mem:64G...

虚拟内存设置、解决linux内存不够问题

虚拟内存设置（解决linux内存不够情况）背景介绍　　Memory指机器物理内存，读写速度低于CPU一个量级，但是高于磁盘不止一个量级。所以，程序和数据如果在内存的话，会有非常快的读写速度。但是，内存...

Elasticsearch性能调优(5):服务器配置选择

在选择elasticsearch服务器时，要尽可能地选择与当前业务量相匹配的服务器。如果服务器配置太低，则意味着需要更多的节点来满足需求，一个集群的节点太多时会增加集群管理的成本。如果服务器配置太高，...

Es如何落地

一、配置准备节点类型CPU内存硬盘网络机器数操作系统data节点16C64G2000G本地SSD所有es同一可用区3(ecs)Centos7master节点2C8G200G云SSD所有es同一可用区...

针对Linux内存管理知识学习总结

现在的服务器大部分都是运行在Linux上面的，所以，作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道：地址映射内存管理的方式缺页异常先来看一些基本的知识，在进程看来，内存分为内...

MySQL进阶之性能优化

概述MySQL的性能优化，包括了服务器硬件优化、操作系统的优化、MySQL数据库配置优化、数据库表设计的优化、SQL语句优化等5个方面的优化。在进行优化之前，需要先掌握性能分析的思路和方法，找出问题，...

Linux Cgroups(Control Groups)原理

LinuxCgroups（ControlGroups）是内核提供的资源分配、限制和监控机制，通过层级化进程分组实现资源的精细化控制。以下从核心原理、操作示例和版本演进三方面详细分析：一、核心原理与...

linux 常用性能优化参数及理解

1.优化内核相关参数配置文件/etc/sysctl.conf配置方法直接将参数添加进文件每条一行.sysctl-a可以查看默认配置sysctl-p执行并检测是否有错误例如设置错了参数:[roo...

如何在 Linux 中使用 Sysctl 命令?

sysctl是一个用于配置和查询Linux内核参数的命令行工具。它通过与/proc/sys虚拟文件系统交互，允许用户在运行时动态修改内核参数。这些参数控制着系统的各种行为，包括网络设置、文件...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表