前言
如果有一个海量小文件存储的需求,那么我们选择什么技术来实现呢?minio还是各种云存储,minio有很成熟的技术体系,但是目前开源版撤销,企业版需要付费,云服务商的存储需要更多的资金投入,如果要自建一个存储服务并且需求场景是存储小文件如头像、缩略图、商品图、封面图、表情包、发票、合同、扫描件、邮件附件、工单附件等的需求,选择SeaweedFS再合适不过了,本文从SeaweedFS搭建运维到与Springboot集成使用全套教程来实现SeaweedFS对象存储服务的使用,如果大家有这种需求不妨看看这篇文章来搭建,都是本人亲自实践过。
一、什么是SeaweedFS
SeaweedFS 是一个用 Go 语言开发的开源分布式文件系统/对象存储系统,最初由 Chris Lu 发起,设计灵感来自 Facebook 的 Haystack 论文。它主要用于解决海量小文件存储问题
多大的文件算小文件?
在1MB以内绝对算是小文件,在1--10MB这种级别SeaweedFS仍然合适,如果文件超过10MB,SeaweedFS仍然可以存储,但是不他建议选型SeaweedFS了,如果需求场景大部分文件都在10MB以内,小部分超过10MB,那么SeaweedFS非常合适。
二、SeaweedFS安装
SeaweedFS开源挂在github上,访问链接: github官方SeaweedFS下载,我们可以看到最新版本,我们往下拉找到我们需要的版本,例如下图,我需要下载是4.54版本下linux版本linux_amd64.tar.gz这个包,具体要看我们linux服务架构,使用uname -m 查看,如果是x86_64我们就选择amd版本,如果不是选择arm版本就行。

(一)安装
1、将包上传到linux安装目录进行解压,解压后其实只有一个weed文件
bash
cd /opt/software/seaweedfs/ & tar -zxcf linux_amd64.tar.gz
2、安装到指定目录
bash
install -m 0755 weed /opt/software/seaweedfs/
3、创建数据存放目录
bash
mkdir /opt/software/seaweedfs/data
4、添加软链接
bash
sudo ln -sf /opt/software/seaweedfs/weed /usr/bin/weed
5、验证版本号,输出版本号4.54代表安装成功
bash
weed version

(二)配置
1、我们需要创建一个配置文件s3.json来配置密钥,权限等内容,创建后添加以下内容,我们最好配置两个身份,一个身份用于管理桶操作,需要授权,另一个用于对外开放访问文件,不需授权,这样才能保证安全。
typescript
{
"identities": [
{
"name": "admin",
"credentials": [
{
"accessKey": "admin",
"secretKey": "123"
}
],
"actions": ["Admin","Read","Write","List", "Tagging"]
},
{
"name": "anonymous",
"credentials": [],
"actions": ["Read"]
}
]
}
配置解释
| 参数名称 | 说明 |
|---|---|
| identities | 身份列表,每个元素是一个 S3 身份 |
| name | 身份名称,仅用于标识,不是登录名 |
| credentials | 该身份拥有的凭据列表,可配置多组 |
| accessKey | S3 Access Key,客户端签名用 |
| secretKey | S3 Secret Key,客户端签名用 |
| actions | 空凭据数组,表示匿名身份,配置权限有管理类操作Admin,读Read,写Write,列举桶/对象List, 对象标签的读写Tagging |
(三)启动
配置好后我们进行启动一次,没问题再让systemd进行管理
bash
weed server \
-dir=/opt/software/seaweedfs/data/ \
-s3 \
-s3.port=8333 \
-s3.config=/opt/software/seaweedfs/s3.json \
-ip=127.0.0.1
另外打开一个shell验证进程
bash
ps -ef | grep -E "weed|seaweed" | grep -v grep

(四)systemd进行管理启停
ctrl+C 停掉上一步的启动的SeaweedFS,在/etc/systemd/system下创建文件seaweedfs.service,编写以下内容,主要指定了数据目录、端口、配置文件、ip等,如果生产环境大家把ip改成127.0.0.1,然后通过nginx转发访问服务,这里为了方便演示,我开放了访问。
bash
[Unit]
Description=SeaweedFS Object Storage
After=network.target
[Service]
Type=simple
User=root
WorkingDirectory=/opt/software/seaweedfs/data/
ExecStart=/opt/software/seaweedfs/weed server \
-dir=/opt/software/seaweedfs \
-s3 \
-s3.port=8333 \
-s3.config=/opt/software/seaweedfs/s3.json \
-ip=0.0.0.0
Restart=always
RestartSec=5
LimitNOFILE=65535
StandardOutput=append:/var/log/seaweedfs.log
StandardError=append:/var/log/seaweedfs.log
[Install]
WantedBy=multi-user.target
执行命令生效,管理启停,如下图代表启动成功
bash
systemctl daemon-reload
systemctl enable seaweedfs
systemctl start seaweedfs
systemctl status seaweedfs

(五)开放端口(如通过nginx转发无需此步骤)
将8333端口开放访问服务
bash
sudo firewall-cmd --permanent --add-port=8333/tcp
sudo firewall-cmd --reload
为了帮助更多像你一样的读者,我将持续在专栏中分享技术干货和实用技巧。如果你觉得这篇文章对你有帮助,可以考虑关注我的专栏,谢谢。