gpu

Learning改变世界8 天前
gpu
编译pytorch——cuda-toolkit-nvccCUDA(Compute Unified Device Architecture)是NVIDIA推出的一种并行计算平台和编程模型,允许开发者使用NVIDIA GPU(图形处理单元)进行通用计算任务。CUDA通过提供一系列的API和工具,使得开发者能够编写在GPU上高效运行的程序,从而显著提高计算密集型任务的性能。 CUDA的核心概念
Hi2024021712 天前
linux·opencv·arm·gpu·opencl·算力测试·mali-gpu
RK3588上CPU和GPU算力以及opencv resize的性能对比测试输出输出输出输出输出输出输出
smartcat201015 天前
gpu
TensorRT-LLM中的MoE并行推理2种并行方式:moe_tp_size:按照维度切分,每个GPU拥有所有Expert的一部分权重。moe_ep_size: 按照Expert切分,每个GPU有用一部分Expert的所有权重。
知本知至15 天前
linux·ubuntu·gpu
ubuntu18升级至ubuntu20机房有套老k8s集群,上面的比较重要的服务迁移走了。使用的是ubuntu18的系统,升级至ubuntu20再到ubuntu22,然后升级上面的k8s集群,方便后期维护
AI理性派思考者1 个月前
后端·github·gpu
【保姆教程】手把手教你在Linux系统搭建早期alpha项目cysic的验证者&证明者Cysic是ZK硬件加速平台,致力于设计先进的 ASIC 芯片,帮助缩短 ZK 证明生成时间,成为首个 ZK Prover Network。Cysic是一个实时的 ZK 证明生成和验证层,旨在以最快、最便宜、最简单、最去中心化的方式提供 ZK 证明。 Cysic 最近完成了 1200 万美元的 pre - A 轮融资,OKX Ventures 和 HashKey Capital 联合领投。加上去年 2 月种子轮融资600万美元,Polychain Capital 领投。目前共融资1800万美元。
gs801401 个月前
ubuntu·gpu·nvidia
ubuntu下 如何将 NVIDIA 内核驱动 升级到特定版本 如550.127要将 NVIDIA 内核驱动 升级到特定版本(例如 550.127),你需要按照以下步骤操作。这个过程通常涉及卸载现有的 NVIDIA 驱动程序并安装新版本的驱动程序。下面是一个逐步指南,适用于 Ubuntu 系统。
探索云原生1 个月前
ai·云原生·kubernetes·go·gpu
在 K8S 中创建 Pod 是如何使用到 GPU 的: nvidia device plugin 源码分析本文主要分析了在 K8s 中创建一个 Pod 并申请 GPU 资源,最终该 Pod 时怎么能够使用 GPU 的,具体的实现原理,以及 device plugin、nvidia-container-toolkit 相关源码分析。
凳子花❀1 个月前
ai·gpu
市场常见AI芯片总结产品概述SH1210芯片是一款高性能、低功耗的专业3D视觉AI芯片,内置了专用2D-ISP和3D-ISP(支持ToF和双目两种深度视觉),配备双核ARM A7以及双核超低功耗NPU,可提供2D/3D视觉处理和高速AI计算的能力,能够广泛用于智能门锁、智能门禁、金融支付、人身核验、智能机器人等各类2D/3D视觉终端。
扫地的小何尚1 个月前
人工智能·语言模型·自然语言处理·机器人·gpu·nvidia
什么是大型语言模型大型语言模型 (LLM) 是一种深度学习算法,可以使用非常大的数据集识别、总结、翻译、预测和生成内容。
驱动小百科1 个月前
电脑·cpu·gpu·npu·电脑硬件
NPU是什么?电脑NPU和CPU、GPU区别介绍随着人工智能技术的飞速发展,计算机硬件架构也在不断演进以适应日益复杂的AI应用场景。其中,NPU(Neural Processing Unit,神经网络处理器)作为一种专为深度学习和神经网络运算设计的新型处理器,正逐渐崭露头角。本文将深入探讨NPU的含义,以及它与传统处理器——CPU(Central Processing Unit,中央处理器)和GPU(Graphics Processing Unit,图形处理器)之间的显著区别。
self-motivation1 个月前
硬件架构·gpu·nvidia·tensor·cuda
gpu硬件架构NVIDIA在视觉计算和人工智能(AI)领域处于领先地位;其旗舰GPU已成为解决包括高性能计算和人工智能在内的各个领域复杂计算挑战所不可或缺的。虽然它们的规格经常被讨论,但很难掌握各种组件的清晰完整的图景。
还是大剑师兰特1 个月前
gpu·大剑师
GPU渲染图形的步骤和流程GPU 处理大规模图像数据的能力主要得益于其强大的并行计算能力和专门为图形处理优化的架构。以下是 GPU 处理大规模图像数据的主要方法和步骤:
强哥之神1 个月前
人工智能·深度学习·缓存·语言模型·自然语言处理·大模型·gpu
一种LLM推理调优技术:采用KV缓存重计算来优化CPU-GPU交互大型语言模型(Large Language Models,简称LLMs)正引领着当今科研和开发领域的重大飞跃。研究目标和方法论经历了显著的转变,越来越倾向于以LLMs为核心的方法。然而,这些模型往往伴随着高昂的成本,使得它们在大规模应用中对许多人而言显得遥不可及。因此,降低操作延迟成为了一个严峻的挑战,尤其是在那些需要快速响应的动态应用场景中。
kolaseen2 个月前
pytorch·python·深度学习·docker·gpu·cuda·ncu
NCU使用指南及模型性能测试(pytorch2.5.1)本项目在原项目的基础上增加了Nsight Compute(ncu)测试的功能,并对相关脚本功能做了一些健硕性的增强,同时,对一些框架的代码进行了更改(主要是数据集的大小和epoch等),增加模型性能测试的效率,同时完善了模型LSTM的有关功能。
寻花之梦~~2 个月前
grafana·gpu·ai智算
AI智算-正式上架GPU资源监控概览 Grafana Dashboardhttps://grafana.com/grafana/dashboards/22424-ai-gpu-20241127/
夏沫的梦2 个月前
人工智能·gpu
卡间互联详解和PCIE相关的带宽计算a. GT/s即Giga transaction per second (千兆传输/秒),描述的是物理层通信协议的速率,即每一秒内传输的次数。
MemVerge2 个月前
科技·gpu·cxl·英伟达
MemVerge与美光科技利用CXL®内存提升NVIDIA GPU利用率该联合解决方案将 GPU 利用率提高了 77%,并将 OPT-66B 批量推理的速度提高了一倍以上。2023 年 3 月 18 日,作为大内存软件领域领导者的 MemVerge,与美光科技联手推出了一项突破性解决方案,该方案通过智能分层的 CXL 内存,提升了大型语言模型(LLMs)的性能,通过从 GPU HBM 卸载到 CXL 内存。这一创新合作正在 GTC 展会的美光展位 #1030 展出,与会者可以亲身体验分层内存对 AI 工作负载的变革性影响。
rocksun2 个月前
serverless·gpu
在无服务器平台上运行无需GPU的AI模型哪个CPU平台在运行机器学习任务方面能更好地平衡成本和性能?请跟随我的实验来找出答案。译自 Running AI Models Without GPUs on Serverless Platforms,作者 Rak Siva。
九幽归墟2 个月前
前端·浏览器·gpu
深入理解 CPU 和 GPU 渲染在图片渲染的过程中,CPU 和 GPU 扮演了截然不同但又紧密协作的角色,它们各自其实都可以实现图片的渲染,那你有没有想过它们之间的差异究竟有何不同?下面就让我们一起揭开图片渲染的工作原理,探索 CPU 和 GPU 合作的奥秘,以及它们在性能优化中的实际应用。