技术栈
算子
PersistJiao
1 个月前
spark
·
rdd
·
算子
·
join
Spark RDD各种join算子从源码层分析实现方式
在 Spark RDD 中,join、leftOuterJoin、rightOuterJoin、fullOuterJoin 等多个 Join 操作符都使用了 cogroup 进行底层实现。cogroup 是 Spark 中的一种底层分组操作,可以将两个或多个 RDD 中同一键的数据分组到一起,为各种 Join 操作提供了基础。下面我们从源码实现角度来分析这些 Join 操作符的实现原理,并列出相关的核心代码。
SunnyRivers
4 个月前
大数据
·
flink
·
算子
·
数据流
理解Flink数据流图
在大数据处理的世界里,Apache Flink 已经成为处理实时数据流的一个强大工具。Flink 提供了一种高度灵活的方法来构建复杂的数据处理管道,其核心是所谓的 DataFlow 图模型。本文将带你深入了解 Flink DataFlow 图的基础知识,帮助你理解它是如何工作的以及如何利用它来构建高效的数据流应用程序。
华为云开发者联盟
7 个月前
算子
·
昇腾
·
cann
·
华为云开发者联盟
·
ascend c
一文教你如何调用Ascend C算子
本文分享自华为云社区《一文教你如何调用Ascend C算子》,作者: 昇腾CANN。Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,兼具开发效率和运行性能。基于Ascend C编写的算子程序,通过编译器编译和运行时调度,运行在昇腾AI处理器上。使用Ascend C,开发者可以基于昇腾AI硬件高效实现自定义的创新算法。
Briwisdom
1 年前
人工智能
·
tvm
·
算子
·
ai编译器
·
指令优化
AI编译器的后端优化策略
工作领域是AI芯片工具链相关,很多相关知识的概念都是跟着项目成长建立起来,但是比较整个技术体系在脑海中都不太系统,比如项目参与中涉及到了很多AI编译器开发相关内容,东西比较零碎,工作中也没有太多时间去做复盘与查漏补缺。但是最近比较闲,发现了一个宝藏级的B站博主,系统的讲了很多AI芯片领域的知识,并把课程资源开源维护,极力推荐大家多多关注。在这里当个搬运工,传播一下。
G皮T
1 年前
大数据
·
flink
·
实时计算
·
窗口
·
算子
·
数据交换
·
流处理
【大数据】流处理基础概念(一):Dataflow 编程基础、并行流处理
Dataflow 程序描述了数据如何在不同操作之间流动。Dataflow 程序通常表示为 有向图。图中 顶点 称为 算子,表示计算;而 边 表示 数据依赖关系。算子是 Dataflow 程序的基本功能单元,它们从输入获取数据对其进行计算,然后产生数据并发往输出,以供后续处理。没有输入端的算子称为 数据源(data sources),没有输出端的算子称为 数据汇(data sinks)。一个 Dataflow 图至少要有一个数据源和一个数据汇。
华为云开发者联盟
1 年前
算子
·
cann
·
算子开发
·
自定义算子
手敲,Ascend算子开发入门笔记分享
本文分享自华为云社区《Ascend算子开发入门笔记》,作者: JeffDing 。Ascend C是CANN针对算子开发场景推出的编程语言,原生支持C和C++标准规范,最大化匹配用户开发习惯;通过多层接口抽象、自动并行计算、孪生调试等关键技术,极大提高算子开发效率,助力AI开发者低成本完成算子开发和模型调优部署。
华为云开发者联盟
1 年前
编程范式
·
算子
3天上手Ascend C编程丨通过Ascend C编程范式实现一个算子实例
本文分享自华为云社区《3天上手Ascend C编程 | Day2 通过Ascend C编程范式实现一个算子实例》,作者:昇腾CANN 。