rdf-file:分布式环境下的文件处理

一:数据量大了以后,单机解析或者生成文件的效率就很低,需要通过集群处理

  • 机构过来的文件:我们先对文件进行分片,在利用集群集群处理分片文件。
  • 给机构文件:分库分表数据,每个分表生成一个分片文件,最终合成一个完整文件。

二:分布式下文件处理需要分布式的文件存储

  • 目前组件内部实现了NAS/OSS分布式的文件存储操作实现

文件大了单机处理就很慢, 数据库解决单机瓶颈方式是分库分表, 文件也一样需要将文件拆分,利用集群机器并发处理。

  • 导入类文件一般会先对文件按大小切分,生成分片任务。
  • 导出类文件一般会根据分库分表位,生成分片任务。
相关推荐
wddblog14 分钟前
分布式环境下的一致性与幂等性
分布式
qq_281317471 小时前
RabbitMQ
分布式·rabbitmq
yumo_fly2 小时前
欧拉22.03系统安装RabbitMQ-3.6.10
分布式·rabbitmq·ruby
百***46802 小时前
RabbitMQ之交换机
分布式·rabbitmq·ruby
CC-NX2 小时前
大数据安全技术实验:Hadoop环境部署
大数据·hadoop·分布式
KYumii2 小时前
RabbitMQ应用(2)
分布式·rabbitmq
百***92022 小时前
RabbitMQ 客户端 连接、发送、接收处理消息
分布式·rabbitmq·ruby
Zz_waiting.8 小时前
分布式部署
分布式
人间打气筒(Ada)12 小时前
Centos7 搭建hadoop2.7.2、hbase伪分布式集群
数据库·分布式·hbase
原来是好奇心13 小时前
消息队列终极选型:RabbitMQ、RocketMQ、Kafka与ActiveMQ深度对比
分布式·kafka·rabbitmq·rocketmq·activemq·mq