多台服务器文件共享存储

场景:这里以大文件上传为假设场景。大文件上传时,前端会将一个文件进行切片,然后将每个切片进行上传,这个时候会出现一个问题。如果后端有多台机器,那么文件就会上传到不同的机器上面。到最终文件上传完毕后,后端合并文件切片的时候,由于文件切片分散到了不同的机器上时,就会造成合并困难

✅ 目标

让多台后端服务器都能访问同一个文件目录,

不管前端上传到哪台机器,文件都能存放在同一地方。


🧱 实现思路

1️⃣ 选择一台服务器作为"文件中心"

假设有三台机器:

复制代码
serverA(应用)
serverB(应用)
serverC(存储)

其中 serverC 专门用来存储所有上传的文件(你也可以选任意一台机器充当这个角色)。


2️⃣ 在 serverC 上创建共享目录

比如:

复制代码
mkdir -p /data/uploads

然后安装 NFS 服务:

复制代码
sudo apt install nfs-kernel-server

编辑配置文件 /etc/exports

复制代码
/data/uploads 192.168.1.0/24(rw,sync,no_subtree_check)

允许局域网内其他机器访问 /data/uploads

重新加载 NFS 配置:

复制代码
exportfs -ra

3️⃣ 在其他机器(serverA、serverB)上挂载这个共享目录

复制代码
sudo apt install nfs-common
sudo mount -t nfs 192.168.1.30:/data/uploads /mnt/uploads

(假设 serverC 的 IP 是 192.168.1.30)

这样,/mnt/uploads 实际上指向 serverC 上的 /data/uploads


4️⃣ 修改你的上传路径

无论是 A 还是 B:

  • 上传的文件路径统一写到 /mnt/uploads/<fileHash>/<chunkIndex>
  • 合并时直接在该路径下进行;
  • 不需要关心是哪台机器接收了分片。

5️⃣ (可选)设置开机自动挂载

编辑 /etc/fstab

复制代码
192.168.1.30:/data/uploads /mnt/uploads nfs defaults 0 0

✅ 优点

  • 🚀 简单、稳定;
  • 💾 各服务器共享一份真实文件;
  • 🔄 合并逻辑无需改动;
  • 🔧 不用改前端;
  • 🔐 可用权限控制和 quota 管理;

⚠️ 注意事项

|---------|----------------------------------------|
| 项目 | 建议 |
| ⚙️ 性能 | NFS 的写入速度比本地盘略慢,但对大文件上传影响不大(一般瓶颈在网络上)。 |
| 🔒 权限 | 保证 NFS 目录对应用服务进程有写权限。 |
| 🔄 同步问题 | NFS 是实时共享的,不需要你手动同步。 |
| 🧹 清理 | 上传临时文件可以设置 cron 定期清理旧文件。 |


💡 实战例子

假设你后端保存上传文件的代码是这样的:

复制代码
const savePath = `/mnt/uploads/${fileHash}`;
fs.mkdirSync(savePath, { recursive: true });
fs.writeFileSync(`${savePath}/${chunkIndex}`, chunkBuffer);

那无论这个接口在哪台服务器上被调用,

文件最终都会写入同一个共享目录中 👍。


✅ 总结一句话

"通过挂载虚拟目录(NFS/SMB/GlusterFS)让所有应用服务器共享同一个文件存储路径,这样大文件分片上传时,无论落到哪台机器,最后都能在同一地方被合并。"

相关推荐
调试人生的显微镜3 小时前
CSS开发工具推荐与实战经验,让样式开发更高效、更精准
后端
渣哥3 小时前
多环境配置利器:@Profile 在 Spring 项目中的实战价值
javascript·后端·面试
东百牧码人3 小时前
还在使用ToList太Low了
后端
缓存征服者3 小时前
CompletableFuture并行化改造,我将接口响应时间从300ms优化到50ms
后端
z202305083 小时前
linux之 remoteproc 内核实现源码分析
linux·运维·服务器
什么芋泥香蕉3303 小时前
比 Manus 还好用?这款国产 AI,让 Python 小白也能玩转编程
前端·后端
qq_1841776773 小时前
前端自动部署项目到服务器
服务器·前端·javascript
xxxcq3 小时前
Go微服务网关开发(1)--概念介绍
后端
golang学习记3 小时前
Python 3.14 正式发布:七大重磅新特性详解
后端