Spark(分布式计算系统)

Apache Spark 是一个开源的分布式计算系统,专为快速计算而设计。它建立在 Hadoop MapReduce 之上,扩展了 MapReduce 模型以有效地使用更多类型的计算,包括批处理、交互式查询、流处理和机器学习。Spark 提供了多种编程语言的 API,如 Scala、Java、Python 和 R,以及用于数据处理的高级抽象,如 RDD(弹性分布式数据集)、DataFrame 和 Dataset。

以下是一些关于 Spark 大数据的教程和资源,可以帮助你入门和深入学习 Spark:

  1. 代码+案例详解:使用Spark处理大数据最全指南 - 知乎

    • 链接:点击访问
    • 简介:这篇文章提供了 Spark 的界面介绍,以及如何使用 Spark 的 Dataframe API 简化数据科学家向大数据过渡的过程。同时,还提供了 GitHub 上的代码示例。
  2. Spark入门看这篇就够了(万字长文) - 知乎

    • 链接:点击访问
    • 简介:这篇文章详细介绍了 Spark 的基本概念,如 Application、Driver、Master 和 Worker、Executor、Job、Task、Stage、窄依赖与宽依赖、Shuffle、RDD、DAG 等,以及 Spark 的执行流程和运行模式。
  3. 【狂野大数据】自学教程|Spark从零到精通完整版 - 哔哩哔哩

    • 链接:点击访问
    • 简介:这是一个视频教程,包含 227 条视频,涵盖了 Spark 的概述、目标、特点、组成等内容,适合初学者从零开始学习。
  4. Apache Spark 教程 - W3Schools

    • 链接:点击访问
    • 简介:这个教程为渴望使用 Spark 框架学习大数据分析基础知识并成为 Spark 开发人员的专业人士准备。它假设你已经接触过 Scala 编程、数据库概念和 Linux 操作系统。
  5. 《Spark编程基础(Scala版)》教材官网 - 厦门大学数据库实验室

    • 链接:点击访问
    • 简介:这是一本教材的官网,提供了 Spark 编程的基础知识,适合作为高等院校计算机、软件工程、数据科学与大数据技术等专业的教材。官网提供了全套的在线教学资源,包括讲义 PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。
相关推荐
武子康7 分钟前
Java-216 RocketMQ 4.5.1 在 JDK9+ 从0到1全流程启动踩坑全解:脚本兼容修复(GC 参数/CLASSPATH/ext.dirs)
java·大数据·分布式·消息队列·系统架构·rocketmq·java-rocketmq
DX_水位流量监测20 分钟前
地埋式积水监测仪:城市防涝的智能感知核心
大数据·网络·人工智能·数据分析·自动化
回家路上绕了弯21 分钟前
分布式事务本地消息表详解:中小团队的低侵入落地方案
分布式·后端
武子康22 分钟前
大数据-196 scikit-learn KNN 实战:KNeighborsClassifier、kneighbors 与学习曲线选最优 案例1红酒 案例2乳腺
大数据·后端·机器学习
TM1Club23 分钟前
Zoey的TM1聊天室|#3 合并报表提速:业财一体如何实现关联方对账自动化
大数据·开发语言·人工智能·经验分享·数据分析·自动化·数据库系统
禾高网络24 分钟前
互联网医院系统|禾高互联网医院|互联网医院成品
java·大数据·人工智能
Macbethad28 分钟前
技术报告:云原生与Kubernetes实践深度解析
大数据
小北方城市网30 分钟前
第 10 课:Node.js 后端企业级进阶 —— 任务管理系统后端优化与功能增强(续)
大数据·前端·vue.js·ai·性能优化·node.js
达之云*驭影31 分钟前
达之云驭影:深耕本地生活服务,以数字化赋能千行百业
大数据
Wang's Blog32 分钟前
Kafka: 高吞吐量原理、应用场景
分布式·kafka