Milvus 作为一款针对海量特征向量的相似度搜索引擎，在单台服务器上就可以处理十亿级数据规模。而对于百亿或者千亿级数据，则需要具有水平扩展能力的 Milvus 集群来满足对海量向量数据的高性能检索需求。

我们使用了 Mishards 中间件来搭建 Milvus 集群。Mishards 是一个用 Python 开发的 Milvus 集群分片中间件，其内部处理请求转发、读写分离和水平扩展，为用户提供内存和算力可以扩容的 Milvus 实例。详情请参阅 Mishards。https://milvus.io/cn/docs/v0.10.0/mishards.md

本文将主要介绍如何在集群内部配置 StorageClass 实现共享存储，如何使用 Helm 或 kubectl 部署 Milvus 集群，最后通过在集群外部访问 Milvus 服务测试集群。本集群包含 2 个 Milvus 实例（1 个可读实例，1 个可写实例）、1 个 MySQL 实例和 1 个 Mishards。本示例将使用两台服务器部署一个 Milvus 集群：服务器 A 配置为 Kubernetes Master 节点；服务器 B 配置为 Kubernetes Worker 节点。

以下是 Kubernetes 示例架构图：

|实现共享存储

一、为什么需要共享存储

容器中的文件在磁盘上是临时存放的，这给容器中运行的特殊应用程序带来一些问题。首先，当容器崩溃时，kubectl 将重新启动容器，容器中的文件将会丢失。其次，当在一个 Pod 中同时运行多个容器时，常常需要在这些容器之间共享文件。Kubernetes 抽象出 Volume 对象来解决这两个问题。

但是，当一个 Pod 不再存在时，Volume 也将不再存在。因此，Kubernetes 引入了 Persistent Volumes (PV)。PV 是集群中一块已经由管理员配置或使用 StorageClass 动态配置的存储。此 API 对象包含存储实现的细节，即 NFS、iSCSI 或特定于云供应商的共享存储系统。Kubernetes 通过网络访问的共享文件系统，不仅可以更加可靠地存储来保存应用产生的重要数据，还可以实现 Pod 之间数据共享。

二、部署 StorageClass

1. 为了共享数据，PV 访问模式必须被设置为 ReadOnlyMany 或 ReadWriteMany。

2. 文件存储系统的选择：

如果集群部署在 AWS，可以使用 Elastic File System (EFS)。

https://aws.amazon.com/cn/efs/

如果集群部署在 Azure，可以使用 Azure File Storage (AFS)。

https://docs.microsoft.com/en-us/azure/aks/azure-files-dynamic-pv

部署流程

1. 拉取源码：

$ git clone https://github.com/helm/charts.git
$ cd charts/stable/nfs-client-provisioner

配置文件下载完成后，需要将 values.yaml 文件中的 server 参数改为共享存储服务器的 IP 地址，将 path 参数改为共享存储目录。此外，由 StorageClass 动态创建的 PersistentVolume 将使用 mountOptions 字段指定的挂载选项。

2. 安装 NFS client chart：

$ helm install nfs-client .

NFS Client Provisioner 是用于自动创建 Kubernetes PV 的自动化插件。它可以根据已配置好的 NFS Server，自动创建 Kubernetes PV。

3. 检查部署状态：

$ helm list

4. 通过 watch 指令检查是否部署成功：

$ watch kubectl get po -l app=nfs-client-provisioner

5. 查看当前 StorageClass：

$ kubectl get storageclass
NAME                   PROVISIONER                                       RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGEnfs-client (default)   cluster.local/
nfs-client-nfs-client-provisioner   Delete          Immediate           true                   5d23h

| 部署 Milvus 集群

这里将展示两种部署 Milvus 集群的方式。

1. 利用 Helm 部署 Milvus

下面将演示如何利用 Milvus chart 和 Helm 包管理器在 Kubernetes 集群上部署 Milvus。

1. 拉取源码：

$ git clone -b 0.10.0 https://github.com/milvus-io/milvus-helm.git
$ cd milvus-helm

2. 部署 Milvus：

$ git clone https://github.com/milvus-io/milvus-helm.git$ cd milvus-helm$ helm install --set cluster.enabled=true --set persistence.enabled=true --set mysql.enabled=true my-release  .

关于 Milvus Server 的详细参数，可参考Milvus Server Configuration。

https://github.com/milvus-io/milvus-helm/tree/0.10.0#configuration

3. 查看 Milvus 部署状态：

$ helm list

4. 查看 Pods 是否启动成功：

$ kubectl get pods
# You are expected to see the following output.
NAME                                                
READY   STATUS    RESTARTS   AGE
my-release-milvus-mishards-8f97db7fb-qxxgn          1/1     Running   0          12m
my-release-milvus-readonly-66784bccd6-67wcr         1/1     Running   0          12m
my-release-milvus-writable-55d7ff788b-n4zc6         1/1     Running   1          12m
my-release-mysql-8688668cd-2rj7k                    1/1     Running   1          12m
nfs-client-nfs-client-provisioner-86cf7c4bc-hd7bq   1/1     Running   3          32m

如果有 Pods 未启动成功，请使用以下命令进行错误排查：

$ kubectl logs 
  or
$ kubectl describe pod 

2. 利用 kubectl 部署 Milvus

利用 kubectl 部署应用的实质是部署 YAML 或 JSON 文件中定义的内容。因此需要利用 Go 安装 schelm 插件。通过 schelm 插件获得 manifest 文件，它们即为 Kubernetes 可以识别的 YAML 格式的资源描述。

1. 拉取源码：

$ git clone -b 0.10.0 https://github.com/milvus-io/milvus-helm.git
$ cd milvus-helm

2. 下载并解压 Go：

$ wget https://dl.google.com/go/go1.14.6.linux-amd64.tar.gz
$ sudo tar -C /usr/local -xzf go1.14.6.linux-amd64.tar.gz

3. 在 /etc/profile 或者 HOME/.profile 添加环境变量：

export PATH=$PATH:/usr/local/go/bin

以上为在 Ubuntu 安装 Go 的方法，其他系统请参考 Install the Go tools。
https://golang.org/doc/install

4. 安装 schelm 插件：

$ go get -u github.com/databus23/schelm
$ sh
sh               sha224sum        sha384sum        shadowconfig     sh.distrib       shopt            showconsolefont  showrgb          shuf             
sha1sum          sha256sum        sha512sum        shasum           shift            shotwell         showkey          shred            shutdown

5. 获取 Milvus 的 manifest 文件：

$ helm install --dry-run --debug --set cluster.enabled=true --set persistence.enabled=true --set mysql.enabled=true my-release  . | ~/go/bin/schelm output/

6. 将配置文件应用到 Pod：

$ cd output/milvus/
$ kubectl apply -f templates/
$ cd /charts/mysql/
$ kubectl apply -f templates/

如果出现格式转换错误，请修改对应的 YAML 文件。

7. 查看 Pods 是否启动成功：

$ kubectl get pods

| 测试

此时，Milvus 服务已成功部署到 Kubernetes 上。但是，Kubernetes 的默认服务为ClusterIP，集群内的其它应用可以访问该服务，而集群外部无法进行访问。所以，如果想在 Internet 或者生产环境中使用集群，需要更换 Service 以暴露应用。Kubernetes 的两种可以暴露服务的 Service 类型为：NodePort 和 LoadBalancer。此外可以通过 Ingress 公开从集群外部到集群内 services 的 HTTP 和 HTTPS 路由。下面将介绍如何使用 NodePort 服务在外部访问集群。

1. 修改服务方式：

$ vim values.yaml

参数修改：

将 Milvus Server Configuration 部分的 service.type 修改为 NodePort。

更多关于暴露应用的方法，请参考 Expose Your App Publicly。

https://kubernetes.io/docs/tutorials/kubernetes-basics/expose/

2. 更新 Milvus release：

$ helm upgrade --set cluster.enabled=true --set 
persistence.enabled=true --set mysql.enabled=true my-release  .

3. 查看端口状态：

$ kubectl get service
# You are expected to see the following output.
NAME                         TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)               AGE
kubernetes                   ClusterIP   10.96.0.1              443/TCP               24h
my-release-milvus            NodePort    10.99.64.80            19530:32227/TCP       30m
my-release-milvus-readonly   ClusterIP   10.99.29.32            19530/TCP,19121/TCP   30m
my-release-milvus-writable   ClusterIP   10.98.84.247           19530/TCP,19121/TCP   30m
my-release-mysql             ClusterIP   10.97.182.37           3306/TCP              30m

4. 在集群外的服务器安装 Milvus Python SDK：

$ pip3 install pymilvus==0.2.14

5. 下载 Python 示例代码：

$ wget https://raw.githubusercontent.com/milvus-io/pymilvus/0.2.14/examples/example.py

修改其 _HOST 为集群中任意一台服务器 IP 地址，_PORT 为暴露服务的静态端口。

6. 运行示例代码：

$ python3 example.py
# You are expected to see the following output.
CollectionSchema(collection_name='example_collection_', dimension=8, index_file
......
{'partitions': [{'row_count': 10, 'segments': [{'data_size': 400, 'index_name':
Creating index: {'nlist': 2048}
(collection_name='example_collection_', index_type=, params=
 Searching ...
 Query result is correct
 ......

| 结语

本文利用两种方法轻松将 Milvus 部署到 Kubernetes 中，并通过在数据集外部访问 Milvus Server 进行了相关测试。当需要使用 Milvus 处理海量特征向量时，可以使用该分布式集群方案增强横向扩容能力，以获得更好的体验。也可自行尝试将该系统从物理机环境中无缝迁移到公有云中。

基于 Mishards 的分布式方案请参考 Mishards。

https://github.com/milvus-io/bootcamp/tree/master/solutions/Mishards

基于 Kubernetes 的分布式搭建方案请参考 Milvus Helm、K8s Bootcamp。

https://github.com/milvus-io/milvus-helm

https://github.com/milvus-io/bootcamp/tree/0.10.0/solutions/Kubernetes