dpu

yusur6 天前
spark·dpu
Spark基于DPU的Native引擎算子卸载方案Apache Spark(以下简称Spark)是一个开源的分布式计算框架,由UC Berkeley AMP Lab开发,可用于批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)、机器学习(Spark MLlib)和图计算(GraphX)。Spark 使用内存加载保存数据并进行迭代计算,减少磁盘溢写,同时支持 Java、Scala、Python 和 R 等多种高级编程语言,这使得Spark可以应对各种复杂的大数据应用场景,例如金融、电商、社交媒体等。
yusur1 个月前
数据库·hive·spark·dpu
“Spark+Hive”在DPU环境下的性能测评 | OLAP数据库引擎选型白皮书(24版)DPU部分节选近年来,大数据行业的蓬勃发展除了来自软件层的持续迭代与创新,更有赖于计算机硬件环境的持续优化,尤其是在芯片与操作系统国产化的大趋势下,硬件升级带来的性能提升、成本降低、并行处理能力优化、存储与网络优化、安全风险管控等均为数据引擎的发展提供了阶梯式进步的空间。
北冥有鱼被烹2 个月前
rdma·dpu·mellanox
【DPU系列之】Bluefield 2 DPU卡的功能图,ConnectX网卡、ARM OS、Host OS的关系?(通过PCIe Switch连接)核心要点:简要记录。图片来源:https://docs.nvidia.com/networking/display/bluefielddpuosv460/functional+diagram
北冥有鱼被烹2 个月前
dpu
【DPU系列之】如何通过带外口登录到DPU上的ARM服务器?(Bluefield2举例)本文以BF2为例举例说明如何通过带外口登录BF2上ARM服务器。需要把DPU的OOB、服务器、用户电脑都连接到同一网络。以便用户电脑能够访问OOB和服务器。
扫地的小何尚3 个月前
人工智能·深度学习·llm·gpu·dpu
什么是DPU在数据中心、DPU 或数据处理单元中移动数据的专家是一种新型的可编程处理器,将与 CPU 和 GPU 一起成为计算的三大支柱之一。