回响科技二面面试题解答

面试题

1、你们的数仓中DWD层为什么要划分数据域?划分数据域之后会对ADS层造成什么影响?是可以提效还是可扩展性强?你们是如何考虑的呢?

2、AZkaban和dolphinScheduler的区别是什么?如果选型会从哪几个方面来考虑呢?

3、数仓中数据的幂等性如何实现?就是如何保证数仓中的数据不丢失和不重复?

4、零点漂移问题如何解决?

5、你们是如何统一指标口径?

6、某电商平台业务线的A运营组比如说提了一个GIV的计算公式,说不包含优惠卷的价格,就是不包含平台成本,平台补贴,B运营组又提了一个需求是GIV要包含平台补贴,这个时候如何去协调和沟通?

7、数据抽取工具分别有哪些优缺点?适用于哪些场景?

回答

1划分数据域,方便对业务环节进行拆解且清晰,能够快速定位找寻,ads 用的是主题域,划分后ads 会依赖跨域数据,如果底层数据域变动会影响ads 指标或标签,所以对于指标提现建议放到dws 做指标沉淀复用且方便找寻,对于ads 数据仍然是依赖但采用大宽表小宽表方法存储,大宽表即核心标签指标存放地方,能给后续ads 做到复用同时也是核心内容直接引用资产,但这样仍然会耦合,耦合点在于如果ads 大宽表不能产出下游也会等待,所以最好办法是对于核心大宽表拆解到2级主题存放

3更多是想问实时数据情况吧,参考kafka ack 与幂等以及Flink exactly once ,这里八股文就不解释了,说下离线的 离线抽取丢数情况还是有的,最简单办法还是扫count 即数据源和ods 如果不匹配则告警,如果是全量可以用表行数波动来判断,增量得和库匹配去写脚本了,至于重复则设置主键唯一dqc

5指标口径拉齐,从整体看与数分沟通,数分负责业务口径审批及对接,数仓负责技术口径审批及维护,对当前指标按照数据 主题域拆解归类生成指标域,指标域也由负责主题同学负责,同时建设指标上下线流程(流程在学习路线元数据指标那节课),并且建设指标中心去维护录入指标

6 核心问题在于指标多个业务方不统一情况,继续接5题的回答,生成指标中心后统一拉业务方负责人一起沟通确定指标业务口径,如后续更改则需要在审批指标时候抄送另外一方业务,让他们有告知,但如果业务方态度强硬可上升leader ,让负责人清楚目前指标状况和达成统一的好处,如果负责人也态度强硬并对自己leader 的leader 举报,则可以再退而求其次 单独开发for 这个部门,但这个口子能不开就不开。

相关推荐
周全全34 分钟前
Elasticsearch 检索优化:停用词的应用
大数据·elasticsearch·jenkins
测试老哥39 分钟前
功能测试干了三年,快要废了。。。
自动化测试·软件测试·python·功能测试·面试·职场和发展·压力测试
竹云科技1 小时前
竹云赋能“中国·贵州”全省统一移动应用平台建设,打造政务服务“新引擎”
科技·中间件·创业创新·政务
qt6953188_1 小时前
把握旅游新契机,开启旅游创业新征程
大数据·创业创新·旅游
码爸1 小时前
flink自定义process,使用状态求历史总和(scala)
大数据·elasticsearch·flink·kafka·scala
孙小二写代码1 小时前
[leetcode刷题]面试经典150题之4删除有序数组中的重复项II(中等)
算法·leetcode·面试
传输大咖1 小时前
传输大咖44 | 云计算企业大数据迁移如何更安全高效?
大数据·安全·云计算·数据迁移·企业大文件传输
月亮月亮要去太阳1 小时前
spark-scala使用与安装(一)
大数据·spark·scala
毕设木哥2 小时前
25届计算机专业毕设选题推荐-基于python+Django协调过滤的新闻推荐系统
大数据·服务器·数据库·python·django·毕业设计·课程设计
天冬忘忧2 小时前
DataX--Web:图形化界面简化大数据任务管理
大数据·datax