rdf-file:分布式环境下的文件处理

一:数据量大了以后,单机解析或者生成文件的效率就很低,需要通过集群处理

  • 机构过来的文件:我们先对文件进行分片,在利用集群集群处理分片文件。
  • 给机构文件:分库分表数据,每个分表生成一个分片文件,最终合成一个完整文件。

二:分布式下文件处理需要分布式的文件存储

  • 目前组件内部实现了NAS/OSS分布式的文件存储操作实现

文件大了单机处理就很慢, 数据库解决单机瓶颈方式是分库分表, 文件也一样需要将文件拆分,利用集群机器并发处理。

  • 导入类文件一般会先对文件按大小切分,生成分片任务。
  • 导出类文件一般会根据分库分表位,生成分片任务。
相关推荐
掘金-我是哪吒2 小时前
分布式微服务系统架构第147集:JavaPlus技术文档平台日更
分布式·微服务·云原生·架构·系统架构
白总Server2 小时前
Golang实现分布式Masscan任务调度系统
java·运维·服务器·开发语言·分布式·后端·golang
袋鼠云数栈2 小时前
从SQL Server到分布式大数据平台:重构企业数据架构
大数据·分布式·sql·重构·数据库架构
蜗牛编程之路4 小时前
RabbitMQ的使用--项目创建、五种工作模式、高级特性
数据库·分布式·rabbitmq
-代号95275 小时前
@SchedulerLock处理Spring Task在分布式环境下的重复执行问题
java·分布式·spring
元气满满的热码式7 小时前
Rabbitmq后台无法登录问题解决
分布式·rabbitmq·ruby
A尘埃7 小时前
RabbitMQ可靠和延迟队列
分布式·rabbitmq
Spring-wind10 小时前
【kafka】消息模型与工作原理详解
分布式·kafka
TCChzp16 小时前
Kafka入门-Broker以及文件存储机制
分布式·kafka
斯普信专业组20 小时前
Kafka消费者组位移重设指南
分布式·kafka·linq