数据集成面试题

Flume

一、flume组成

sql 复制代码
--Agent
Flume的部署单元,本质上是一个JVM进程,Agent主要由Source、Channel、Sink三个部分组成
--Source
收集数据,以event为单元进行封装发送给channel
参数配置:当采集速度比较慢,调整batchSize参数,该参数决定了source 一次批量运输events到channel 的条数
--Channel
Source接收的数据会被发送到Channel缓冲区暂时存储
参数配置:选择内存(memory)时,channel性能最好,选择磁盘(file)时,安全性高,但是性能差
--Sink
用于将Channel中的数据发送到外部数据源。
参数配置:调整batchsize参数,决定了sink一次批量从channel 读取的events条数

二、flume的事务机制

sql 复制代码
flume使用两个独立事务put和take,分别负责从source 到channel 、channel 到sink,记录事件状态,保证两个过程的数据不会丢失

三、flume的数据会丢失吗?

sql 复制代码
根据flume的事务机制,flume的数据一般不会丢失,除非使用的时候memory channel ,在机器宕机的时候会导致数据丢失,或者channel 满了,sources无法写入导致数据丢失.
此外,也有可能完成数据重复,比如sink接收到一批数据,处理到一半宕机了,处理完的数据没有给channel 发送响应,导致channel 重新发送数据,造成数据重复。

四、flume的适用场景?

sql 复制代码
1、大规模数据的离线采集
2、日志收集与聚合
3、实时数据采集

Sqoop

一、sqoop使用场景

sql 复制代码
sqoop用于关系型数据库(如Mysql、Oracle、SQL Server)与hdfs之间的数据传输

二、Sqoop底层运行的任务是什么

sql 复制代码
Sqoop会为数据传输生成MapReduce作业,但是Sqoop的MapReduce任务只有Map阶段,没有Reduce阶段。

DataX

一、简单介绍一下DataX(DataX使用场景)

sql 复制代码
DataX是一个由阿里巴巴开源的离线数据同步工具,实现包括主流关系型数据库、NoSQL、大数据计算系统在内的多种异构数据源之间数据同步功能。

二、DataX架构介绍

sql 复制代码
--Reader
负责采集数据源的数据,将数据发送给Framework
--Framework
用于连接reader和writer,作为两者的数据传输通道,并处理缓冲、流控、并发、数据转换等核心技术问题。
--Writer
负责不断向Framework取数据,并将数据写入到目的端

三、 DataX的使用

sql 复制代码
基于官网提供的JSON格式配置文件模版,选择对应的读写插件,根据实际情况修改相关配置,最后使用dataX命令提交运行即可
相关推荐
远创智控研发五部21 小时前
C200H以太网通道服务监控、人机交互与驱动
物联网·数据采集·以太网模块·工业自动化·欧姆龙plc
金融RPA机器人丨实在智能8 天前
从爬虫到AI:亚马逊数据采集工具的进化与应用
大数据·人工智能·数据采集·亚马逊
亿牛云爬虫专家11 天前
Kafka与Flink打造流式数据采集方案:以二手房信息为例
flink·kafka·数据采集·爬虫代理·数据处理·二手房·定时抓取
datascome15 天前
文章发布易优CMS(Eyoucms)网站技巧
数据库·经验分享·爬虫·数据采集·eyoucms·易优cms
ILOVECOMPUTING1 个月前
无人机上,利用 ucos2 实现 stm32 采集陀螺仪数据
单片机·嵌入式硬件·无人机·数据采集·陀螺仪·ucos2
ILOVECOMPUTING1 个月前
无人机上,利用 ucos2 实现 stm32 采集磁力计数据,并通过CAN 总线发送功能
stm32·单片机·嵌入式硬件·数据采集·磁力计·ucos2·can 收发
硬汉嵌入式1 个月前
开源三代示波器720p虚拟界面设计,手机,电脑和Pad均可访问,专用于8通道同步数据采集处理,可玩性高,基于STM32H7(2025-06-17)
开源·示波器·数据采集·虚拟界面设计
小葛呀1 个月前
互联网大数据求职面试:从Zookeeper到数据挖掘的技术探讨
大数据·redis·zookeeper·面试·互联网·数据采集·技术栈
远创智控研发五部1 个月前
EtherCAT至TCP/IP异构网络互联:施耐德M580 PLC对接倍福CX5140解决方案
数据采集·工业自动化·协议转换网关·网关模块·倍福plc
康谋自动驾驶2 个月前
康谋方案 | 高精LiDAR+神经渲染3DGS的完美融合实践
数据采集·测试·雷达·仿真·建模