多台服务器文件共享存储

场景:这里以大文件上传为假设场景。大文件上传时,前端会将一个文件进行切片,然后将每个切片进行上传,这个时候会出现一个问题。如果后端有多台机器,那么文件就会上传到不同的机器上面。到最终文件上传完毕后,后端合并文件切片的时候,由于文件切片分散到了不同的机器上时,就会造成合并困难

✅ 目标

让多台后端服务器都能访问同一个文件目录,

不管前端上传到哪台机器,文件都能存放在同一地方。


🧱 实现思路

1️⃣ 选择一台服务器作为"文件中心"

假设有三台机器:

复制代码
serverA(应用)
serverB(应用)
serverC(存储)

其中 serverC 专门用来存储所有上传的文件(你也可以选任意一台机器充当这个角色)。


2️⃣ 在 serverC 上创建共享目录

比如:

复制代码
mkdir -p /data/uploads

然后安装 NFS 服务:

复制代码
sudo apt install nfs-kernel-server

编辑配置文件 /etc/exports

复制代码
/data/uploads 192.168.1.0/24(rw,sync,no_subtree_check)

允许局域网内其他机器访问 /data/uploads

重新加载 NFS 配置:

复制代码
exportfs -ra

3️⃣ 在其他机器(serverA、serverB)上挂载这个共享目录

复制代码
sudo apt install nfs-common
sudo mount -t nfs 192.168.1.30:/data/uploads /mnt/uploads

(假设 serverC 的 IP 是 192.168.1.30)

这样,/mnt/uploads 实际上指向 serverC 上的 /data/uploads


4️⃣ 修改你的上传路径

无论是 A 还是 B:

  • 上传的文件路径统一写到 /mnt/uploads/<fileHash>/<chunkIndex>
  • 合并时直接在该路径下进行;
  • 不需要关心是哪台机器接收了分片。

5️⃣ (可选)设置开机自动挂载

编辑 /etc/fstab

复制代码
192.168.1.30:/data/uploads /mnt/uploads nfs defaults 0 0

✅ 优点

  • 🚀 简单、稳定;
  • 💾 各服务器共享一份真实文件;
  • 🔄 合并逻辑无需改动;
  • 🔧 不用改前端;
  • 🔐 可用权限控制和 quota 管理;

⚠️ 注意事项

|---------|----------------------------------------|
| 项目 | 建议 |
| ⚙️ 性能 | NFS 的写入速度比本地盘略慢,但对大文件上传影响不大(一般瓶颈在网络上)。 |
| 🔒 权限 | 保证 NFS 目录对应用服务进程有写权限。 |
| 🔄 同步问题 | NFS 是实时共享的,不需要你手动同步。 |
| 🧹 清理 | 上传临时文件可以设置 cron 定期清理旧文件。 |


💡 实战例子

假设你后端保存上传文件的代码是这样的:

复制代码
const savePath = `/mnt/uploads/${fileHash}`;
fs.mkdirSync(savePath, { recursive: true });
fs.writeFileSync(`${savePath}/${chunkIndex}`, chunkBuffer);

那无论这个接口在哪台服务器上被调用,

文件最终都会写入同一个共享目录中 👍。


✅ 总结一句话

"通过挂载虚拟目录(NFS/SMB/GlusterFS)让所有应用服务器共享同一个文件存储路径,这样大文件分片上传时,无论落到哪台机器,最后都能在同一地方被合并。"

相关推荐
暴力求解16 分钟前
Linux---线程基础
linux·运维·服务器
晚风_END30 分钟前
Linux|操作系统|最新版openzfs编译记录
linux·运维·服务器·数据库·spring·中间件·个人开发
代码中介商38 分钟前
Linux TCP 网络编程完全指南:从三次握手到高并发服务器
服务器·网络·tcp/ip
咖喱o1 小时前
QinQ/VLAN Stacking
linux·运维·服务器·网络
小码哥_常1 小时前
告别MySQL!大厂集体转投PostgreSQL,到底藏着什么玄机?
后端
sduwcgg2 小时前
IQ-Learn 在 RTX 3090 服务器上的环境配置与踩坑记录
运维·服务器
刀法如飞2 小时前
Go数组去重的20种实现方式,AI时代解决问题的不同思路
后端·算法·go
AI人工智能+电脑小能手3 小时前
【大白话说Java面试题】【Java基础篇】第30题:JDK动态代理和CGLIB动态代理有什么区别
java·开发语言·后端·面试·代理模式
QFIUNE3 小时前
CD-HIT 详解:序列去冗余、安装使用与聚类结果解析
linux·服务器·机器学习·数据挖掘·conda·聚类
swipe3 小时前
别再把 AI 聊天做成纯文本:从 agui 这个前后端项目,拆解“可感知工具调用”的流式 AI UI
后端·langchain·llm