技术栈
etl工程师
靠谱杨
6 天前
大数据
·
数据仓库
·
面试
·
职场和发展
·
跳槽
·
etl
·
etl工程师
CDA LEVEL 1新大纲2023添加的内容
时间序列预测分为下面几种: 长期趋势变动 季节变动:月或季度 循环变动:一般一年以上周期 不规则变动趋势分析的步骤: 1、明确分析目的 2、根据业务理解作出假设 3、作出指标预测 4、根据后期的实际数据作出调整
靠谱杨
8 天前
大数据
·
数据仓库
·
etl工程师
·
数据中台
数据仓库、大数据平台和数据中台都是指什么
数据:对某一类实体信息的描述仓库:对所有实体的集中化管理这是物流仓库下面是数据仓库ODS层:采集各个业务系统的数据,是数据的统一入口,在这里进行分析并不影响业务系统(起到保存历史数据的作用)。
jlting195
1 个月前
大数据
·
kafka
·
etl工程师
StructuredStreaming&Kafka中的实时ETL案例及常见问题
在 java 项目中,导入 jar 包:也可以 python 发送 kafka 数据(将以上 java 代码替换为 python 代码)
fibonacci(n)
3 个月前
大数据
·
数据库
·
etl
·
etl工程师
字段映射和数据转换为什么是数据集成的关键?
在数字化时代,数据集成成为企业决策和业务运营的基石。然而,不同数据源之间的字段命名和数据类型差异,常常让数据集成变得复杂而具有挑战性,如何解决这类问题,让数据集成更高效呢?
@听风吟
4 个月前
大数据
·
sqoop
·
etl
·
etl工程师
大数据ETL工具(Sqoop, DataX, Kettle)对比
ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于开发或者运维人员来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种ETL工具的使用,必不可少,这里我们要学习的ETL工具就是Kettle!
中台小A
5 个月前
数据仓库
·
sql
·
etl工程师
ETL工程师角度下的SQL优化
作为ETL(Extract, Transform, Load)工程师,SQL优化是提高数据处理和分析效率的关键一环。优化SQL查询可以显著降低数据处理时间,提高ETL过程的性能。本文将从
wuwolita123
5 个月前
大数据
·
hive
·
数据分析
·
etl工程师
主流大数据调度工具DolphinScheduler之数据采集
今天继续给大家分享主流大数据调度工具DolphinScheduler,以及数据的ETL流程。主流大数据调度工具DolphinScheduler,
沙漏无语
5 个月前
excel
·
etl工程师
批量去重合并文件夹中所有的excel——kettle开发43
多个相同格式的excel合并所有的excel 成一个新的所有的excel: 并根据id排序,
逆风就重开
6 个月前
大数据
·
数据仓库
·
职场发展
·
etl工程师
如何成为-10x工程师:反向教学大数据开发实际工作中应如何做
+10x 工程师可能是神话,但 -10x 工程师确实存在。要成为 -10x 工程师,只需每周浪费 400 小时的工程时间。结合以下策略:
逆风就重开
6 个月前
大数据
·
数据库
·
数据仓库
·
etl工程师
大数据开发流程解析
大数据开发是一个复杂且系统的过程,涉及需求分析、数据探查、指标管理、模型设计、ETL开发、数据验证、任务调度以及上线管理等多个阶段。本文将详细介绍每个阶段的内容,并提供相关示例和代码示例,帮助理解和实施大数据开发流程。
WX15135629064
8 个月前
安全
·
etl工程师
最新消息:在美国销售含纽扣电池商品需要做UL4200A:2023安全标准测试
纽扣电池由于体积小,容易被小孩吞入,因此各国对安装在带电产品上面的纽扣电池都有要求。2023年9月美国消费品安全委员会(CPSC)发出最终法规文件,决定采用UL4200A:2023作为含纽扣强制安全标准,同时编入16CFR part 1263,于2024年3月19日强制执行。
爱吃土豆的马铃薯ㅤㅤㅤㅤㅤㅤㅤㅤㅤ
8 个月前
数据仓库
·
etl工程师
ETL工程师介绍
ETL工程师是负责ETL(Extract, Transform, Load)过程的专业人员。ETL是数据仓库和数据集成的关键组成部分,用于从多个不同的数据源中提取数据,对数据进行转换和清洗,最后加载到目标数据存储中。
爱喝水的小猪
9 个月前
数据仓库
·
业界资讯
·
etl
·
etl工程师
·
改行学it
【数据仓库】血缘关系分析工具适用场景、常见产品、功能介绍
血缘关系分析工具是用于跟踪数据在系统中的流动和转换过程,帮助用户理解数据的来源、去向以及数据之间的关系。以下是关于血缘关系分析工具的详细介绍:
劝学-大数据
9 个月前
数据仓库
·
etl工程师
某项目公司-——ETL工程师岗位——二面
1.自我介绍2.如果给你一个数仓项目,你应该从那些方面向你的上级汇报。3.对自己的未来职业生涯规划。4.平常下班之后做那哪些事情。
劝学-大数据
9 个月前
数据仓库
·
etl工程师
某小型外包—ETL工程师面试
没有包装简历,面试感觉跟聊天一样,会就是会,不会就是不会。1.datax和sqoop的对比,优点与缺点
劝学-大数据
9 个月前
数据仓库
·
面试
·
etl工程师
ETL工程师——面试,
不包装,简历没有包装,然后直接海投,还是可以,算是有面试机会。首先是笔试题,两道很简单的关联, sql关联。
Aloudata
1 年前
运维
·
数据仓库
·
etl工程师
精选案例|首创证券 NoETL 敏捷数据分析创新实践
基于 Aloudata AIR 逻辑数据平台、Aloudata CAN 自动化指标平台,轻松实现企业全域数据的集成整合、指标定义及业务自助分析:
劝学-大数据
1 年前
大数据
·
数据仓库
·
etl工程师
ETL工程师-面试
1.自我介绍2.数据流程3.说下自己写过的脚本4.关于hive提问4.1 如何把服务器中的数据上传到hive表里面
WX15135629064
1 年前
etl工程师
UL2034详细介绍UL 安全单站和多站一氧化碳报警器标准
在介绍相关标准之前先介绍一下UL认证和UL测试报告的区别,检测认证行业6年老司机UL认证是自愿性的认证,需要检测产品和审核工厂,每个季度审核一次,费用高、时间久,而且审厂非常的严格。
白白的wj
1 年前
大数据
·
hadoop
·
分布式
·
sql
·
spark
·
etl工程师
2024 1.9 Spark_SQL , 数据清洗API , 写出操作
目录一. DataFrame 详解1. 数据清洗API1.去重 :2. 去除空:3. 填充替换 :2. SparkSQL的shuffle分区设置