【SeaweedFS】Linux上搭建SeaweedFS文件存储服务完整教程

前言

   如果有一个海量小文件存储的需求,那么我们选择什么技术来实现呢?minio还是各种云存储,minio有很成熟的技术体系,但是目前开源版撤销,企业版需要付费,云服务商的存储需要更多的资金投入,如果要自建一个存储服务并且需求场景是存储小文件如头像、缩略图、商品图、封面图、表情包、发票、合同、扫描件、邮件附件、工单附件等的需求,选择SeaweedFS再合适不过了,本文从SeaweedFS搭建运维到与Springboot集成使用全套教程来实现SeaweedFS对象存储服务的使用,如果大家有这种需求不妨看看这篇文章来搭建,都是本人亲自实践过。

一、什么是SeaweedFS

   SeaweedFS 是一个用 Go 语言开发的开源分布式文件系统/对象存储系统,最初由 Chris Lu 发起,设计灵感来自 Facebook 的 Haystack 论文。它主要用于解决海量小文件存储问题

多大的文件算小文件?

   在1MB以内绝对算是小文件,在1--10MB这种级别SeaweedFS仍然合适,如果文件超过10MB,SeaweedFS仍然可以存储,但是不他建议选型SeaweedFS了,如果需求场景大部分文件都在10MB以内,小部分超过10MB,那么SeaweedFS非常合适。

二、SeaweedFS安装

  SeaweedFS开源挂在github上,访问链接: github官方SeaweedFS下载,我们可以看到最新版本,我们往下拉找到我们需要的版本,例如下图,我需要下载是4.54版本下linux版本linux_amd64.tar.gz这个包,具体要看我们linux服务架构,使用uname -m 查看,如果是x86_64我们就选择amd版本,如果不是选择arm版本就行。

(一)安装

1、将包上传到linux安装目录进行解压,解压后其实只有一个weed文件

bash 复制代码
cd /opt/software/seaweedfs/ & tar -zxcf linux_amd64.tar.gz

2、安装到指定目录

bash 复制代码
install -m 0755 weed /opt/software/seaweedfs/

3、创建数据存放目录

bash 复制代码
mkdir /opt/software/seaweedfs/data

4、添加软链接

bash 复制代码
sudo ln -sf /opt/software/seaweedfs/weed /usr/bin/weed

5、验证版本号,输出版本号4.54代表安装成功

bash 复制代码
weed version

(二)配置

1、我们需要创建一个配置文件s3.json来配置密钥,权限等内容,创建后添加以下内容,我们最好配置两个身份,一个身份用于管理桶操作,需要授权,另一个用于对外开放访问文件,不需授权,这样才能保证安全。

typescript 复制代码
{
  "identities": [
      {
      "name": "admin",
      "credentials": [
        {
          "accessKey": "admin",
          "secretKey": "123"
        }
      ],
      "actions": ["Admin","Read","Write","List", "Tagging"]
    },
    {
      "name": "anonymous",
      "credentials": [],
      "actions": ["Read"]
    }
  ]
}

配置解释

参数名称 说明
identities 身份列表,每个元素是一个 S3 身份
name 身份名称,仅用于标识,不是登录名
credentials 该身份拥有的凭据列表,可配置多组
accessKey S3 Access Key,客户端签名用
secretKey S3 Secret Key,客户端签名用
actions 空凭据数组,表示匿名身份,配置权限有管理类操作Admin,读Read,写Write,列举桶/对象List, 对象标签的读写Tagging

(三)启动

配置好后我们进行启动一次,没问题再让systemd进行管理

bash 复制代码
weed server \
  -dir=/opt/software/seaweedfs/data/ \
  -s3 \
  -s3.port=8333 \
  -s3.config=/opt/software/seaweedfs/s3.json \
  -ip=127.0.0.1

另外打开一个shell验证进程

bash 复制代码
ps -ef | grep -E "weed|seaweed" | grep -v grep

(四)systemd进行管理启停

ctrl+C 停掉上一步的启动的SeaweedFS,在/etc/systemd/system下创建文件seaweedfs.service,编写以下内容,主要指定了数据目录、端口、配置文件、ip等,如果生产环境大家把ip改成127.0.0.1,然后通过nginx转发访问服务,这里为了方便演示,我开放了访问。

bash 复制代码
[Unit]
Description=SeaweedFS Object Storage
After=network.target

[Service]
Type=simple
User=root
WorkingDirectory=/opt/software/seaweedfs/data/
ExecStart=/opt/software/seaweedfs/weed server \
  -dir=/opt/software/seaweedfs \
  -s3 \
  -s3.port=8333 \
  -s3.config=/opt/software/seaweedfs/s3.json \
  -ip=0.0.0.0
Restart=always
RestartSec=5
LimitNOFILE=65535
StandardOutput=append:/var/log/seaweedfs.log
StandardError=append:/var/log/seaweedfs.log

[Install]
WantedBy=multi-user.target

执行命令生效,管理启停,如下图代表启动成功

bash 复制代码
systemctl daemon-reload
systemctl enable seaweedfs
systemctl start seaweedfs
systemctl status seaweedfs

(五)开放端口(如通过nginx转发无需此步骤)

将8333端口开放访问服务

bash 复制代码
sudo firewall-cmd --permanent --add-port=8333/tcp
sudo firewall-cmd --reload

为了帮助更多像你一样的读者,我将持续在专栏中分享技术干货和实用技巧。如果你觉得这篇文章对你有帮助,可以考虑关注我的专栏,谢谢。

相关推荐
Decay__1 小时前
PostgreSQL 体系架构全解 —— 进程模型、共享内存、MVCC 与 WAL 预写日志深入
运维·数据库·sql·mysql·架构
少司府1 小时前
嵌入式外设篇(三)GPIO·三:MCU系统结构、总线与统一编制
linux·python·stm32·单片机·嵌入式硬件·mcu·嵌入式软件
分布式存储与RustFS1 小时前
桶里的文件想当目录使:用 ZeroFS 把 RustFS 挂成一棵 POSIX 树
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
老余说AI1 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
不积跬步无以至千里mmbb262 小时前
Rust三大核心:Trait Crate Mod详解
linux·rust
分布式存储与RustFS2 小时前
向量表别堆本地盘:用 LanceDB 把数据集建在 RustFS 上
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
2401_868534783 小时前
天融信网络安全面试题
服务器·网络
无忧.芙桃16 小时前
Linux系统编程(四):用户与权限管理
linux·运维·服务器
最强小杰17 小时前
某 OpenAI 兼容网关上的 `kimi-k3.1-pro`:Cline、Zed 接入与 SSE 排错示例
java·服务器·网络·ai