看!我给EC2挂载了一块256T的"盘"

Hello，今天给大家带来的是围绕S3存储桶提出的EC2存储解决思路。

Amazon Simple Storage Service（S3存储桶）作为面向Internet的存储服务，有如下主要优点：廉价（约￥0.200/GB/月）、高速（S3不做上传下载带宽限制）、使用方便（支持web操作、SDK调用、命令行调用、桶内对象可生成下载链接）以及无限的存储容量。

大多数情况下，为了能够使应用程序能够直接调用S3存储接口，通常都需要开发者们修改代码以调用SDK；而为了让应用系统能在不做修改的情况下直接使用AWS S3服务，我们使用了挂载工具，使得S3存储桶以目录的形式存在于EC2的本地操作系统上：

话不多说，先上图

这是一台普通的EC2，但这容量256T的“盘”，不是一块普通的EBS卷，而是一个S3存储桶。

这种挂载S3的存储解决方案，能在业务生产中带给我们怎样的便利呢，请看以下总结：

• S3存储成本相较于EBS卷更为低廉：每GB存储价格约为EBS通用卷的1/4（以北京区域为例），非常适合应用于冷数据存储、大文件备份等场景

• 可以更灵活的管理存储的文件：解除S3挂载后，在S3控制台也可以对文件执行统一管理，如备份，删除等；

• 可以更灵活的管理存储的文件：解除S3挂载后，在S3控制台也可以对文件执行统一管理，如备份，删除等；
• 使用场景贴合实际需求：不仅适用于多文件、大文件长久备份存储，也适用对不同大小文件的一次保存(上传)，多次读取(下载)的场景，例如FTP服务；
• 系统操作无感知：上传到挂载点目录(S3)里的文件，会保留格式、权限、属性不变，系统内用户可正常修改、执行文件。

相比较于EBS存储卷，使用S3fs挂载S3存储桶做存储是低成本的，也能满足部分使用场景，但这种存储同样也有诸多短板和限制：

• 不适用于存储需要频繁修改的数据文件：每次对挂载点目录下的文件进行修改，都会使得S3fs上传新的文件到S3去替换旧文件，频繁操作会占用实例性能且无法保证最终一致性；
• 一个S3不能挂载到多个EC2：因缓存和临时文件的特异性，挂载相同S3存储桶的多个EC2没有相互协调机制，多个EC2对同一文件的修改会造成不可预计的结果；
• 传输速率和稳定性会受网络影响，所以不能简单的把S3fs挂载目录等同于本地目录使用；
• 容量上限不确定：S3存储桶没有容量上限，但S3fs挂载目录显示大小为256T，应该是受限于FUSE用户空间文件系统的挂载能力，但并未有准确的官方说明。

以上是对S3fs的使用总结，接下来我们从技术角度对S3fs挂载存储进行讲解：

简述挂载工具S3fs的背景原理

FUSE：用户空间文件系统(Filesystem in Userspace)，可以为用户提供编写用户态文件系统的接口，由三个部分组成：FUSE内核模块、FUSE库以及其他挂载工具。Linux内核从2.6.14版本开始集成FUSE模块，FUSE内核模块可以实现让用户空间进程打开挂载设备，并扮演着一个中间人的角色，不停的在<用户-设备-内核>之间传递文件请求及处理结果。

S3fs-fuse：基于FUSE内核模块的支持的c++开源工具，通过调用S3 API接口的方式将S3存储桶像普通文件系统一样挂载到本地计算机，且能够保持上传对象原来的格式。

S3fs作为开源工具，可在Linux系统内使用安装包管理程序直接安装或手动编译安装（具体安装使用方法在文末提供），只需要如下这样一条简单的命令，就可以得到文首所示的挂载结果

s3fs mybucket /opt/jumpserver/data/media/replay -o iam_role="myrole" -o url="http://s3.cn-north-1.amazonaws.com.cn" -o endpoint="cn-north-1" -o allow_other -o use_cache=/S3fs-cache#文末将会详细说明命令格式和各参数作用

得益于挂载工具与系统内核关系紧密，实现这样低成本的挂载存储，不仅不需要对操作系统进行修改，挂载过程还非常简单快捷，接下来就基于这条命令对挂载结果进行简单的传输测试：

上传

下载

(实例类型为t2.medium 2核4G，读写速率受本地网络限制，测试结果仅供参考) 需要说明的是：AWS S3的上传下载是不做带宽限制的，传输速率取决于接入网络情况而定；本次的测试机器类型为t2.medium，网络性能并不是很高，只能跑到30MB/s的水平，下面是GitHub上网友的测试结果(310MB/s WoW~)，亲们如果对自己的网络有信心可以试一下~

接下来我们来了解一下S3fs的文件缓存和请求机制，因为挂载的S3存储桶并非等同于本地文件系统，对于文件的传输操作，S3fs有自己的一套机制：

S3fs的文件传输处理机制

S3fs的缓存机制

S3fs会默认不启用缓存，这个模式下，S3FS 会在本地新建一个临时文件来存储网络传送过来的数据，读取结束后关闭相应的句柄，这样做的好处是如果多个进程同时读取同一个文件就不需要频繁的发起网络请求，当这个临时文件的所有句柄都关闭后会删除这个临时文件。

启用缓存模式下，当S3fs执行对S3读取或写入文件时，会首先将整个文件下载到本地指定的缓存文件夹然后进行操作。如果磁盘空间不够，S3FS 会删除部分没有连接的文件来预留出磁盘空间。

S3fs的多线程机制

单个文件小于20M，使用单线程完成数据请求

单个文件大于20M，默认发起5个并行线程，每个线程请求的文件大小为10M（并行线程可根据CPU和网络带宽进行调整，每个线程请求的数据块大小范围为5MB-5GB）

文件请求流程如下

以上是对S3fs的简单分析，如果亲们觉得值得一试，下面给出了这个小工具的详细使用方法，青菜萝卜各有所爱，您不妨试一试，看看S3fs是不是适合您的那道菜：）

挂载方法：S3fs安装、使用及参数详解

s3fs has been written by Randy Rizun <rrizun@gmail.com>

以下列出常用安装方法和参数，更多请访问S3fs的Github

1、安装

#Amazon Linuxsudo amazon-linux-extras install epelsudo yum install s3fs-fuse#RHEL&CentOSsudo yum install epel-releasesudo yum install s3fs-fuse#Debian&Ubuntusudo apt-get install s3fs

2、命令格式

手动挂载

#格式：s3fs [S3存储桶名] [本地目录名] [OPTION]#OPTION是可选项，格式是 –o <option_name>=<option_value>s3fs bucket-name /home/ec2-user/s3mnt -o allow_other -o url=http://s3.cn-north-1.amazonaws.com.cn -o endpoint=cn-north-1 -o iam_role="role-name"

开机自动挂载

#将开机自动挂载命令追加到/etc/fstab/usr/local/bin/s3fs #bucket-name /home/ec2-user/s3mnt fuse allow_other,url=http://s3.cn-north-1.amazonaws.com.cn,endpoint=cn-north-1,iam_role=role-name 0 0#开机自动挂载命令格式与手动挂载不相同：[s3fs命令路径] #[S3存储桶名] [本地目录名] fuse [option,option] 0 0

3、挂载所用权限

可使用两种方法提供挂载权限：使用IAM用户的AKSK挂载、使用附加到EC2的ROLE权限挂载。

生产环境中不建议使用第一种方法，因为用户的AKSK需要明文保留提供给S3fs使用，所以不再说明；

第二种方法只需给角色添加S3的读写权限并附加到EC2，执行挂载命令时使用参数iam_role=role-name指明即可。

4、S3fs命令参数详解

设置S3属性

url（默认="https://s3.amazonaws.com"） 设置用于访问Amazon S3的URL，可选择使用https或http

endpoint （默认="us-east-1"） 设置准备挂载S3的所在区域

设置挂载所用权限

iam_role（默认不是IAM角色） 需要为此参数声明挂载到EC2的ROLE名称(ROLE需要拥有S3读写权限)

设置系统用户对挂载点目录的访问权限

mp_umask （默认为"0000"） 为挂载点目录设置umask，默认只允许挂载用户访问挂载点

allow_other （默认禁用）允许所有系统用户访问

设置缓存

use_cache（默认="",表示禁用） 使用缓存，参数后跟目录

stat_cache_expire（默认="",表示无效） 缓存过期时间(秒)，表示自缓存以来的时间

stat_cache_interval_expire（默认="",表示无效） 缓存过期时间(秒)，表示自上次访问后所过的时间

ensure_diskfree（默认为0） 磁盘可用空间(MB)，

设置并行请求

parallel_count（默认值=“5”） 上传大对象的并行请求数，需要根据CPU和网络带宽设置

multipart_size（默认值=“10”） 每个并行请求的数据块大小(MB),范围5MB-5GB