技术栈
大数据处理
贪钱算法还我头发
3 个月前
python
·
pandas
·
pyspark
·
大数据处理
【小贪】大数据处理:Pyspark, Pandas对比及常用语法
近期致力于总结科研或者工作中用到的主要技术栈,从技术原理到常用语法,这次查缺补漏当作我的小百科。主要技术包括:
架构成长指南
4 个月前
datax
·
数据同步
·
数据库中间件
·
大数据处理
什么是数据同步利器DataX,如何使用?
转载至我的博客 https://www.infrastack.cn ,公众号:架构成长指南今天给大家分享一个阿里开源的数据同步工具DataX,在Github拥有14.8k的star,非常受欢迎,官网地址:https://github.com/alibaba/DataX
架构成长指南
5 个月前
doris
·
实时数仓
·
分库分表
·
大数据处理
基于Doris构建亿级数据实时数据分析系统
转载至我的博客 https://www.infrastack.cn ,公众号:架构成长指南随着公司业务快速发展,对业务数据进行增长分析的需求越来越迫切,与此同时我们的业务数据量也在快速激增、每天的数据新增量大概在30w 左右,一年就会产生1 个亿的数据,显然基于传统MySQL数据库已经无法支撑满足以上需求