数据集成面试题

Flume

一、flume组成

sql 复制代码
--Agent
Flume的部署单元,本质上是一个JVM进程,Agent主要由Source、Channel、Sink三个部分组成
--Source
收集数据,以event为单元进行封装发送给channel
参数配置:当采集速度比较慢,调整batchSize参数,该参数决定了source 一次批量运输events到channel 的条数
--Channel
Source接收的数据会被发送到Channel缓冲区暂时存储
参数配置:选择内存(memory)时,channel性能最好,选择磁盘(file)时,安全性高,但是性能差
--Sink
用于将Channel中的数据发送到外部数据源。
参数配置:调整batchsize参数,决定了sink一次批量从channel 读取的events条数

二、flume的事务机制

sql 复制代码
flume使用两个独立事务put和take,分别负责从source 到channel 、channel 到sink,记录事件状态,保证两个过程的数据不会丢失

三、flume的数据会丢失吗?

sql 复制代码
根据flume的事务机制,flume的数据一般不会丢失,除非使用的时候memory channel ,在机器宕机的时候会导致数据丢失,或者channel 满了,sources无法写入导致数据丢失.
此外,也有可能完成数据重复,比如sink接收到一批数据,处理到一半宕机了,处理完的数据没有给channel 发送响应,导致channel 重新发送数据,造成数据重复。

四、flume的适用场景?

sql 复制代码
1、大规模数据的离线采集
2、日志收集与聚合
3、实时数据采集

Sqoop

一、sqoop使用场景

sql 复制代码
sqoop用于关系型数据库(如Mysql、Oracle、SQL Server)与hdfs之间的数据传输

二、Sqoop底层运行的任务是什么

sql 复制代码
Sqoop会为数据传输生成MapReduce作业,但是Sqoop的MapReduce任务只有Map阶段,没有Reduce阶段。

DataX

一、简单介绍一下DataX(DataX使用场景)

sql 复制代码
DataX是一个由阿里巴巴开源的离线数据同步工具,实现包括主流关系型数据库、NoSQL、大数据计算系统在内的多种异构数据源之间数据同步功能。

二、DataX架构介绍

sql 复制代码
--Reader
负责采集数据源的数据,将数据发送给Framework
--Framework
用于连接reader和writer,作为两者的数据传输通道,并处理缓冲、流控、并发、数据转换等核心技术问题。
--Writer
负责不断向Framework取数据,并将数据写入到目的端

三、 DataX的使用

sql 复制代码
基于官网提供的JSON格式配置文件模版,选择对应的读写插件,根据实际情况修改相关配置,最后使用dataX命令提交运行即可
相关推荐
捷米特研发一部17 小时前
EtherCAT转ModbusTCP工业智能网关:开启仓储自动化通信变革的技术桥梁
数据采集·工业自动化·数据采集网关·协议转换网关·网关模块·ethercat通讯
远创智控研发五部1 天前
EtherCAT转EtherNet/IP工业模块:数据网关实现电子制造业协议转换
数据采集·工业物联网·工业自动化·协议转换网关·网关模块
源码宝2 天前
中小企业智能云MES系统源码,实时采集生产现场数据,优化生产流程
源码·数据采集·可视化·源代码管理·生产制造·mes·生产管理
远创智控研发五部3 天前
Modbus TCP转EtherCAT通讯模块实现设备状态零延迟交互
自动化·数据采集·工业自动化·网关模块·ethercat通讯
亿牛云爬虫专家3 天前
优化分布式采集的数据同步:一致性、去重与冲突解决的那些坑与招
分布式·爬虫·数据采集·爬虫代理·代理ip·数据同步·房地产
青云交5 天前
Java 大视界 -- Java 大数据在智能家居设备联动与场景自动化中的应用
java·大数据·智能家居·数据采集·设备联动·场景自动化·逻辑实现
沐欣工作室_lvyiyi12 天前
基于单片机和LabVIEW的多路数据采集器系统设计(论文+源码)
单片机·嵌入式硬件·毕业设计·数据采集·labview
远创智控研发五部17 天前
EtherNet/IP转EtherCAT网关在新能源制造中实现机器人与运动卡数据互通
数据采集·工业自动化·边缘计算网关·工业智能网关·ethercat通讯
聊聊MES那点事17 天前
面向.NET开发者:Prosys OPC UA .NET SDK 全面解析
.net·数据采集·prosys opc
御控工业物联网22 天前
水务管理如何实现无人值守?御控物联网网关一站式解决方案
数据采集·远程监控·无人值守·物联网解决方案·智能水务·水务管理·御控物联网网关