T&F

TRUTH & FAITH

You Are Here

Skill

利用S3fs在Amazon EC2 Linux实例上挂载S3存储桶

one Comments
Original URL
背景介绍
Amazon S3是互联网存储解决方案，能让所有开发人员访问同一个具备可扩展性、可靠性、安全性和快速廉价的数据存储基础设施。Amazon S3提供了一个简单Web服务接口，可用于随时在互联网上的任何位置存储和检索任何数量的数据。开发人员可以利用Amazon提供的REST API接口、命令行接口或者支持不同语言的SDK访问S3服务。对于原来使用本地目录访问数据的应用程序，比如使用本地磁盘或网络共享盘保存数据的应用系统，如果用户希望把数据放到S3上，则需要修改数据的访问方式，比如修改为使用AWS SDK或CLI访问S3中存储的数据。为了让用户原来的应用系统能在不做修改的情况下直接使用Amazon S3服务，需要把S3存储桶作为目录挂载到用户服务器的本地操作系统上。常用的挂载工具有S3fs和SubCloud等。本文主要介绍如何利用S3fs将S3存储桶挂载到Amazon EC2 Linux实例上。

S3fs介绍
S3fs是基于FUSE的文件系统，允许Linux和Mac Os X挂载S3的存储桶在本地文件系统，S3fs能够保持对象原来的格式。关于S3fs的详细介绍，请扫描或长按识别下方的二维码：
利用S3fs挂载S3存储桶
一
准备
1. 使用拥有足够权限的IAM账号登录AWS控制台。2. 创建S3存储桶，给存储桶命名如“s3fs-mount-bucket”（如果使用已有存储桶，本步骤可略过）。

3. 创建具有该S3存储桶访问权限的IAM用户，并为该IAM用户创建访问密钥。a) 关于如何创建IAM用户，请参见：http://docs.aws.amazon.com/zh_cn/IAM/latest/UserGuide/id_users_create.html#id_users_create_console

 

b) 关于如何为IAM用户创建访问密钥，请参见：

http://docs.aws.amazon.com/zh_cn/IAM/latest/UserGuide/id_credentials_access-keys.html

 

c) 关于如何为IAM用户设置权限策略，请参见：

http://docs.aws.amazon.com/zh_cn/IAM/latest/UserGuide/access_policies_create.html

 

https://aws.amazon.com/cn/blogs/security/writing-iam-policies-how-to-grant-access-to-an-amazon-s3-bucket/

4. 创建并启动Amazon EC2 Linux实例
具体过程请参见：http://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/launching-instance.html

二
安装和配置S3fs
1. 安装S3fs
a) 使用Amazon EC2默认用户“ec2-user”和对应的私钥文件登录启动的Linux实例（请注意将下边例子中的私钥文件和EC2实例域名替换为用户自己的值）
ssh -i /path/my-key-pair.pem ec2-user@ec2-198-51-100-1.compute-1.amazonaws.com
b) 安装必要的软件包
sudo yum install automake fuse fuse-devel gcc-c++ git libcurl-devel libxml2-devel make openssl-devel
c) 下载，编译并安装S3fs
git clone https://github.com/s3fs-fuse/s3fs-fuse.gitcd s3fs-fuse

./autogen.sh

./configure

make

sudo make install

d) 检查S3fs是否安装成功
[ec2-user@ip-172-31-23-148 s3fs-fuse]$ s3fss3fs: missing BUCKET argument.

Usage: s3fs BUCKET:[PATH] MOUNTPOINT [OPTION]…

 

[ec2-user@ip-172-31-23-148 ~]$ which s3fs

/usr/local/bin/s3fs

2. 创建IAM用户访问密钥文件
IAM用户访问密钥内容可以写入当前用户默认密钥文件比如“/home/ec2-user/.passwd-s3fs”或者用户自己创建的文件。
命令格式：echo [IAM用户访问密钥ID]:[ IAM用户访问密钥] >[密钥文件名]
命令举例：下面的例子将在当前用户默认路径创建密钥文件
echo AKIAIOEO4E2VOHLxxxxx:2LXBboddEpRLmWl48i3+b4ziwPL3bJ4vxxxxxxxx > /home/ec2-user/.passwd-s3fs
请注意：访问海外AWS S3服务和中国S3服务使用的是不同的IAM账号，对应不同的密钥。
3. 设置密钥文件只能够被当前用户访问
命令格式：chmod 600 [密钥文件名]
命令举例：下面的例子将设置密钥文件只能被当前用户访问
chmod 600 /home/ec2-user/.passwd-s3fs
三
手动挂载S3存储桶
S3fs挂载存储桶使用的命令是S3fs。S3fs的命令格式是：
S3fs BUCKET MOUNTPOINT [OPTION]
S3fs [S3存储桶名] [本地目录名] [OPTION]
OPTION是可选项，格式是–o <option_name>=<option_value>，常用的Options有：
1. 手动挂载AWS海外区域S3存储桶
命令格式：s3fs [S3存储桶名] [本地目录名] -o passwd_file=[密钥文件名] -o endpoint=[区域名]
命令举例：下面的例子将名为“s3fs-mount-bucket”的新加坡区域S3存储桶挂载到指定的本地目录“/home/ec2-user/s3mnt”。
s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/home/ec2-user/.passwd-s3fs -o endpoint=ap-northeast-1
2. 手动挂载AWS中国北京区域S3存储桶
命令格式：s3fs [S3存储桶名] [本地目录名] -o passwd_file=[密钥文件名] -o url=http://s3.cn-north-1.amazonaws.com.cn -o endpoint=cn-north-1
命令举例：下面的例子将名为“s3fs-mount-bucket”的北京区域S3存储桶挂载到本地目录“/home/ec2-user/s3mnt”。
s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/home/ec2-user/.passwd-s3fs -o url=http://s3.cn-north-1.amazonaws.com.cn -o endpoint=cn-north-1
3. 检查挂载结果
挂载操作执行结束后，可以使用Linux “df”命令查看挂载是否成功。出现类似下面256T的S3fs文件系统即表示挂载成功。用户就可以进入本地挂载目录去访问存储在S3存储桶中的对象。
[ec2-user@ip-172-31-23-148 ~]$ df -h文件系统        容量  已用  可用 已用% 挂载点

devtmpfs        488M   56K  488M    1% /dev

tmpfs           498M     0  498M    0% /dev/shm

/dev/xvda1      7.8G  1.2G  6.6G   15% /

s3fs            256T     0  256T    0% /home/ec2-user/s3mnt

 

[ec2-user@ip-172-31-23-148 ~]$ cd /home/ec2-user/s3mnt

[ec2-user@ip-172-31-23-148 s3mnt]$ ls -l

总用量 1

-rw-rw-r– 1 ec2-user ec2-user 19 10月 18 07:13 a.txt

[ec2-user@ip-172-31-23-148 s3mnt]$

4. 卸载挂载的S3存储桶
如果不再需要通过挂载方式访问S3存储桶，可以使用Linux “umount”命令卸载。
[ec2-user@ip-172-31-23-148 ~]$ sudo umount /home/ec2-user/s3mnt[ec2-user@ip-172-31-23-148 ~]$ df -h

文件系统        容量  已用  可用 已用% 挂载点

devtmpfs        488M   56K  488M    1% /dev

tmpfs           498M     0  498M    0% /dev/shm

/dev/xvda1      7.8G  1.2G  6.6G   15% /

5. 调 试
如果遇到手动挂载不成功的问题，请尝试在执行的命令后面添加下面的参数，并检查输出日志中的错误提示信息：
命令格式：[完整的s3fs挂载命令] -d -d -f -o f2 -o curldbg
命令举例：下面的例子试图将名为“s3fs-mount-bucket”的S3存储桶挂载到指定的本地目录“/home/ec2-user/s3mnt”下，并输出挂载过程详细调试日志。
[ec2-user@ip-172-31-23-148 ~]$ s3fs s3fs-mount-bucket /home/ec2-user/s3mnt -o passwd_file=/home/ec2-user/.passwd-s3fs -o url=http://s3.cn-north-1.amazonaws.com.cn -o endpoint=cn-north-1 -d -d -f -o f2 -o curldbg[CRT] s3fs.cpp:set_s3fs_log_level(254): change debug level from [CRT] to [INF]

[CRT] s3fs.cpp:set_s3fs_log_level(254): change debug level from [INF] to [DBG]

[INF]     s3fs.cpp:set_moutpoint_attribute(4196): PROC(uid=500, gid=500) – MountPoint(uid=500, gid=500, mode=40775)

FUSE library version: 2.9.4

nullpath_ok: 0

nopath: 0

utime_omit_ok: 0

四
设置开机自动挂载S3存储桶
1. 创建全局IAM用户访问密钥文件
切换Linux系统用户账号到“root”用户，把IAM用户访问密钥内容写入/etc/passwd-s3fs文件中，并限制该文件的访问权限。“/etc/passwd-s3fs”文件是s3fs保存IAM用户访问密钥的全局默认路径。请注意：访问海外AWS S3服务和中国S3服务使用的是不同的IAM账号，对应不同的密钥。

sudo suecho AKIAIOEO4E2VOHLxxxxx:2LXBboddEpRLmWl48i3+b4ziwPL3bJ4vxxxxxxxx > /etc/passwd-s3fs

chmod 600 /etc/passwd-s3fs

2. 修改/etc/fstab文件
编辑/etc/fstab文件，添加后面的自动挂载命令。
vi /etc/fstab
2.1 自动挂载海外区域S3存储桶
命令格式：s3fs#[S3存储桶名] [本地目录名] fuse _netdev,allow_other,endpoint=[区域名] 0 0
命令举例：添加下面的语句到/etc/fstab后，Linux系统启动后将自动把名为“s3fs-mount-bucket”的新加坡区域S3存储桶挂载到本地目录“/home/ec2-user/s3mnt”，并允许其它操作系统用户（非root用户）访问。
/usr/local/bin/s3fs#s3fs-mount-bucket /home/ec2-user/s3mnt fuse _netdev,allow_other,endpoint=ap-northeast-1 0 0
2.2 自动挂载中国北京区域S3存储桶
命令格式：s3fs#[S3存储桶名] [本地目录名] fuse allow_other,url=http://s3.cn-north-1.amazonaws.com.cn,endpoint=cn-north-1 0  0
命令举例：添加下面的语句到/etc/fstab后，Linux系统启动将自动把名为“s3fs-mount-bucket”的北京区域S3存储桶挂载到本地目录“/home/ec2-user/s3mnt”下，并允许其它操作系统用户（非root用户）访问。
/usr/local/bin/s3fs#s3fs-mount-bucket /home/ec2-user/s3mnt fuse allow_other,url=http://s3.cn-north-1.amazonaws.com.cn,endpoint=cn-north-1 0  0
局限性
利用S3fs可以方便的把S3存储桶挂载在用户本地操作系统目录中，但是由于S3fs实际上是依托于Amazon S3服务提供的目录访问接口，所以不能简单的把S3fs挂载的目录和本地操作系统目录等同使用。用户使用S3f3挂载S3存储桶和直接访问S3服务有类似的使用场景。适用于对不同大小文件对象的一次保存（上传），多次读取（下载）。不适用于对已保存文件经常做随机修改，因为每次在本地修改并保存文件内容都会导致S3fs上传新的文件到Amazon S3去替换原来的文件。从访问性能上来说，通过操作系统目录方式间接访问Amazon S3存储服务的性能不如直接使用SDK或CLI接口访问效率高。以本地配置文件方式保存访问密钥的安全性也不如使用EC2 IAM角色方式高。关于S3fs使用时候需要注意的更多细节，请参考下面s3fs官网内容：

 

“Generally S3 cannot offer the same performance or semantics as a local file system. More specifically:

·    random writes or appends to files require rewriting the entire file

·    metadata operations such as listing directories have poor performance due to network latency

·    eventual consistency can temporarily yield stale data

·    no atomic renames of files or directories

·    no coordination between multiple clients mounting the same bucket

·    no hard links

 

通常S3不能提供与本地文件系统相同的性能或语义。进一步来说：

·    随机写入或追加到文件需要重写整个文件

·    元数据操作比如列出目录会因为网络延迟原因导致性能较差

·    最终一致性设计可能临时导致过期数据

·    没有对文件或目录的原子重命名功能

·    挂载相同存储桶的多个客户端之间没有相互协调机制

·    不支持硬链接

总 结
利用S3fs可以把共享的Amazon S3存储桶直接挂载在用户服务器本地目录下，应用不需要做修改就可以直接使用Amazon S3存储服务，这种方式可以作为临时解决方案将传统应用快速迁移到AWS平台。在已经提供了Amazon EFS（Elastic File System）服务的AWS区域，建议用户优先考虑使用Amazon EFS服务，因为它具有更高的性能。在目前还没有提供EFS服务的AWS区域，用户可以先暂时使用S3fs实现快速业务迁移。然后逐步调整S3数据访问实现方式，最终修改为使用AWS SDK或CLI方式高效并更加安全地访问S3存储服务。

One thought on “利用S3fs在Amazon EC2 Linux实例上挂载S3存储桶”

  1. How to instal s3fs-fuse on CentOS 6.8?

    In case you have CentOS 6.8 server (or DigitalOcean droplet/vps) and you want to install s3fs-fuse the proposed way you’ll run into a problem: the s3fs-fuse requires fuse library version 2.8.4 or higher, but your yum install fuse fuse-devel will install you fuse 2.8.3. If you are running CentOS 7 you won’t have this problem at all, since by default, yum will install fuse 2.9.2.

    To fix this problem you need to remove the fuse and install it manually.

    1. Remove fuse installed by yum

    yum remove fuse fuse* fuse-devel
    2. Install some dependencies (for both fuse and s3fs-fuse)

    yum install automake gcc-c++ git libcurl-devel libxml2-devel make openssl-devel
    3. Download and install latest fuse library (version 2.9.7)

    cd /usr/local/src
    wget https://github.com/libfuse/libfuse/releases/download/fuse-2.9.7/fuse-2.9.7.tar.gz
    tar -xzvf fuse-2.9.7.tar.gz
    rm -f fuse-2.9.7.tar.gz
    mv fuse-2.9.7 fuse
    cd fuse/
    ./configure –prefix=/usr
    make
    make install
    export PKG_CONFIG_PATH=/usr/lib/pkgconfig:/usr/lib64/pkgconfig/
    ldconfig
    4. Test that fuse is installed (should return “2.9.7″)

    pkg-config –modversion fuse
    5. Install the s3fs-fuse (using the default instructions from github)

    git clone https://github.com/s3fs-fuse/s3fs-fuse.git
    cd s3fs-fuse
    ./autogen.sh
    ./configure
    make
    sudo make install
    6. If there were no errors along the way, this should return the s3fs-fuse version (currently 1.80)

    s3fs –version
    Hopefully, this will help you successfully install s3fs-fuse on your system. For details on how to use it please refer to documentation at the github page. Please do not hesitate to leave your comments below! Thank you.

    Reply

Leave a Reply

Your email address will not be published. Required fields are marked *