数据工程师

熊猫钓鱼>_>14 天前
分布式·flink·kafka·数据治理·状态管理·管道·数据工程师
数据处理的艺术:从Kafka到实时流处理平台的技术深度剖析您好!我是ID: 熊猫钓鱼。技术生涯如长河垂钓,我深信卓越的开发之道,在于既要有纵览技术生态的「水域」格局,也要有洞察问题本质的「鱼汛」直觉。从架构设计到性能调优,从技术选型到团队协作——我始终专注于在恰当的时机,以最契合的技术,从容钓起那些简洁而有力的解决方案。
程序员老周6668 个月前
大数据·数据库·hive·hadoop·mysql·mapreduce·数据工程师
从MySQL快速上手大数据Hivehive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式(DML)来分析存储在Hadoop分布式文件系统中的数据: 可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能;可以将SQL语句转换为MapReduce任务运行,通过自己的SQL查询分析需要的内容,这套SQL简称Hive SQL,使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。 hive不适合用于联机(online)事务处理,也不提供实时查询功能。 它最适合应用在基于大量不可
躺柒1 年前
数据库·数据仓库·oracle·架构·数据工程师·数据架构师·数据系统
读数据工程之道:设计和构建健壮的数据系统15源系统实际细节(上)1.1. 数据库管理系统1.1.1. 用于存储和提供数据的数据库系统1.1.2. 简称DBMS,它由存储引擎、查询优化器、灾难恢复和其他管理数据库系统的关键组件组成
躺柒1 年前
数据仓库·架构·数据工程师·数据架构师·数据系统
读数据工程之道:设计和构建健壮的数据系统14源系统1.1. 数据工程师的工作是从源系统获取数据,对其进行处理,使其有助于为下游用例提供服务1.2. 数据工程师的角色将在很大程度上转向理解数据源和目的地之间的相互作用
快乐的阿常艾念宝2 年前
人工智能·机器学习·scikit-learn·如何起步·数据工程师
我的机器学习起步如何Getting Started可以作为科普书籍,需要主动略过对于理论推导过程,和数学公式的求真介绍的非常全面,可作为参考书籍书籍的前几章基本上概括了机器学习现在的框架,有助于对具体的机器学习算法或工具进行把握
我是有底线的