【职业发展】从ETL到大数据：如何规划你的数据职业生涯？

**首先：**ETL工程师其实是一个特别简单的岗位。

为什么简单？

ETL就是数据仓库项目建设和日常维护中的一种工作，ETL，就是抽取、转换、装载的英文缩写。但是这个现实中都是使用相应工具软件的。至于怎么抽取，怎么转换、怎么装载，都是与具体业务相结合的。

**比如：**每天晚8点抽取，a+b转换成c，从A设备读出a和b，计算成c之后存到W设备上。这就是ETL要干的事。特别简单。没有技术含量。但是工作量却比较大。但是工作量主要发生在初始阶段，因为日后变成那个自动化的软件执行就没什么工作量了。所以ETL这工作的复杂性在于项目建设阶段，当项目建成就变成自动化的运维了。这样一来ETL工作就不难了。

正因为上面说的，所以ETL工程师的技术性不高，主要的问题在于相关的ETL软件会用。其他的就是业务问题。因为抽取的频率，以及如何抽取是由业务上的要求决定的。甚至如何转换也是业务需要决定的，装载同样依赖业务要求。所以这并不是技术问题。

ETL工程师每天都做什么

ETL就业范围广泛，例如： 各种大型公司的开发部、研发部、科技部。一线城市，如：（北上广深），其次新一线的（杭州、南京、武汉、成都、合肥、重庆、青岛）等很多ETL工程师的月薪都是过万以上，就算是普通刚入门的菜鸟小白也都是6-9k，工作内容分为：（数据整合、数据存储管理、数据挖掘设计、多维分析展现）

ETL工程师的岗位职责

海量数据的ETL开发
参与数据仓库架构的设计与开发
参与数据仓库ETL流程优化及解决ETL相关技术问题
熟悉主流数据库技术，**如：**oracle、DB2、SQL sever等
精通ETL架构、有一定的ETL开发经验，了解日常作业的部署和调度
熟悉ETL企业级开发工具和应用，如： Kettle、TASKCTL、海豚调度、XXL-job等

ETL工具种类

现在ETL工具级软禁啊网上开源或商用付费版的同类工具有很多。

免费（开源）项目级工具

Kettle，xxl-job，oozie，Azkaban，TASKCTL，DolphinScheduler（海豚调度）等；

企业级应用工具平台

TASKCTL，Moia Comtrol，Comtrol-m等;

关于你怎么办

找一个简单的项目经验包装一下自己；其次关于ETL软件现在实际上市面上可以下载到的试用版，你随便找一种能找到的就行。在这里个人比较推荐小白可以先以 "TASKCTL或海豚调度"这2款工具作为入门学习了解;

理由： 以上2款工具是一个开放的调度平台，尤其是企业级应用的 TASKCTL，为了适应诸如Datastage、Informatic、kettle、一体机、大数据、存储过程、java以及各种脚本任务程序的支持与扩展，同时保证不同任务类型的应用统一，TASKCTL 对作业的控制采用插件驱动机制，从而实现不同技术平台、不同作业类型调度控制，很多金融、零售、制造、物流等近1000家头部公司都在使用该产品的 TASKCTL 商业版，其中免费版为了迎合中小企业以及个人项目级学习的需要横向扩展的一款轻量级调度工具；