推荐一些数据处理有关的开源工具及项目

通用数据处理框架和引擎

  1. Apache Spark :一个快速通用的大规模数据处理引擎 。
    • 支持批处理、流处理、机器学习、图计算等多种数据处理范式。
    • 具有高容错性和可扩展性。
  2. Apache Flink :有状态的计算框架。
    • 擅长流处理,也支持批处理。
    • 提供了精确的时间控制和状态管理等功能。
  3. Presto :分布式 SQL 查询引擎。
    • 可以对从GB到PB的数据源运行交互式分析查询。
  4. ClickHouse :列数据库管理系统。
    • 用于在线分析处理任务(OLAP),具有很高的数据压缩比和查询性能。

数据存储相关

  1. HBase :基于 Hadoop 的分布式、面向列的开源数据库。
    • 适合海量数据的实时读写场景。
  2. Apache Cassandra :高可扩展性的分布式数据库。
    • 能在多个节点上处理大量数据。

数据清洗和ETL(抽取、转换、加载)

  1. Apache Airflow :用于编排和调度数据处理工作流。
    • 可以定义复杂的任务依赖关系和定时调度。
  2. Kettle(现在叫Pentaho Data Integration) :提供图形化界面来设计ETL流程。

数据可视化

  1. Superset :开源的现代化数据探索和可视化平台。
    • 可以连接多种数据源并生成丰富的可视化图表。
  2. Metabase:简单易用的开源数据分析和可视化工具。

机器学习和深度学习数据处理

  1. TensorFlow Extended(TFX) :是 TensorFlow 用于端到端机器学习的工具。
    • 包含数据验证、预处理等功能模块。
  2. RapidMiner(部分开源):用于数据挖掘和机器学习流程设计。

分布式文件系统

  1. HDFS(Hadoop Distributed File System):Hadoop 生态的核心存储系统。
  2. Ceph:统一的分布式存储系统,支持对象存储、块存储和文件存储。

数据处理特定领域

  1. TDengine :用于物联网、联网汽车和工业物联网的开源大数据平台。
    • 集成了缓存、流计算、消息队列等功能。
  2. Blazegraph :大规模图数据处理的开源项目。
    • 用于知识图谱等场景。
相关推荐
热爱跑步的恒川2 小时前
【论文复现】基于图卷积网络的轻量化推荐模型
网络·人工智能·开源·aigc·ai编程
ClkLog-开源埋点用户分析6 小时前
ClkLog企业版(CDP)预售开启,更有鸿蒙SDK前来助力
华为·开源·开源软件·harmonyos
funnyZpC8 小时前
quartz集群增强版🎉
java·分布式·开源·集群·定时任务
vvw&15 小时前
如何使用Netdata部署高性能的服务器监控平台
linux·运维·服务器·docker·开源·服务器监控·netdata
Goboy21 小时前
0帧起步:3分钟打造个人博客,让技术成长与职业发展齐头并进
程序员·开源·操作系统
Kagol1 天前
🎉TinyVue v3.19.0 正式发布!Tree 组件终于支持虚拟滚动啦!UI 也升级啦,更更符合现代审美~
前端·vue.js·开源
工作不忙1 天前
关于SwitchCase中变量定义及使用变量的一些注意事项参数传递参数时不能实现多态动态绑定的问题c++语法
开发语言·c++·windows·开源·开源软件