rdf-file:分布式环境下的文件处理

一:数据量大了以后,单机解析或者生成文件的效率就很低,需要通过集群处理

  • 机构过来的文件:我们先对文件进行分片,在利用集群集群处理分片文件。
  • 给机构文件:分库分表数据,每个分表生成一个分片文件,最终合成一个完整文件。

二:分布式下文件处理需要分布式的文件存储

  • 目前组件内部实现了NAS/OSS分布式的文件存储操作实现

文件大了单机处理就很慢, 数据库解决单机瓶颈方式是分库分表, 文件也一样需要将文件拆分,利用集群机器并发处理。

  • 导入类文件一般会先对文件按大小切分,生成分片任务。
  • 导出类文件一般会根据分库分表位,生成分片任务。
相关推荐
星辰_mya5 小时前
Redlock 算法:是分布式锁的“圣杯”还是“鸡肋”
jvm·redis·分布式·面试·redlock
future02107 小时前
Kafka积压急救:根治方案全解析
分布式·kafka
飞Link8 小时前
Kafka~本地Python Kafka发送数据,服务端Kafka消费不到
java·分布式·kafka
星辰_mya9 小时前
Redis 锁的“续命”艺术:看门狗机制与原子性陷阱
数据库·redis·分布式·缓存·面试
ezreal_pan10 小时前
Kafka Docker 部署避坑指南:监听器配置与客户端连接问题深度解析
分布式·docker·kafka
zhglhy10 小时前
Java分布式链路技术
java·分布式·分布式链路
Shining059611 小时前
推理引擎系列(四)《大模型计算优化与分布式推理》
人工智能·分布式·深度学习·机器学习·大模型·注意力机制·推理引擎
超级大福宝12 小时前
集群中服务器的个数为什么最好是奇数个
服务器·分布式·后端
阿乐艾官12 小时前
【Zookeeper 】
分布式·zookeeper·云原生
wangjialelele12 小时前
详解Redis终端操作和Redis-plus-plus接口使用
linux·数据库·c++·redis·分布式·缓存·中间件