rdf-file:分布式环境下的文件处理

一:数据量大了以后,单机解析或者生成文件的效率就很低,需要通过集群处理

  • 机构过来的文件:我们先对文件进行分片,在利用集群集群处理分片文件。
  • 给机构文件:分库分表数据,每个分表生成一个分片文件,最终合成一个完整文件。

二:分布式下文件处理需要分布式的文件存储

  • 目前组件内部实现了NAS/OSS分布式的文件存储操作实现

文件大了单机处理就很慢, 数据库解决单机瓶颈方式是分库分表, 文件也一样需要将文件拆分,利用集群机器并发处理。

  • 导入类文件一般会先对文件按大小切分,生成分片任务。
  • 导出类文件一般会根据分库分表位,生成分片任务。
相关推荐
这孩子叫逆1 小时前
rabbitmq消费者应答模式
分布式·rabbitmq
信徒_3 小时前
Rabbitmq
分布式·rabbitmq
雪球不会消失了6 小时前
Kafka快速入门
分布式·kafka
顧棟9 小时前
【Spark 实战】基于spark3.4.2+iceberg1.6.1搭建本地调试环境
大数据·分布式·spark
漫无目的行走的月亮10 小时前
Hadoop之WordCount测试
大数据·hadoop·分布式
niu_sama11 小时前
仿RabbitMQ实现消息队列服务端(一)
分布式·rabbitmq
A仔不会笑14 小时前
微服务——分布式事务
分布式·微服务·架构
wclass-zhengge20 小时前
RabbitMQ篇(基本介绍)
分布式·rabbitmq
花千树-0101 天前
分布式选举 - Paxos、Zab 和 Raft 选举协议的逐步优化与对比分析
分布式
Dylanioucn1 天前
【分布式微服务云原生】OpenFeign:微服务通信的瑞士军刀
分布式·微服务·云原生