gpu

探索云原生

在 K8S 中创建 Pod 是如何使用到 GPU 的： nvidia device plugin 源码分析本文主要分析了在 K8s 中创建一个 Pod 并申请 GPU 资源，最终该 Pod 时怎么能够使用 GPU 的，具体的实现原理，以及 device plugin、nvidia-container-toolkit 相关源码分析。

市场常见AI芯片总结产品概述SH1210芯片是一款高性能、低功耗的专业3D视觉AI芯片，内置了专用2D-ISP和3D-ISP（支持ToF和双目两种深度视觉），配备双核ARM A7以及双核超低功耗NPU，可提供2D/3D视觉处理和高速AI计算的能力，能够广泛用于智能门锁、智能门禁、金融支付、人身核验、智能机器人等各类2D/3D视觉终端。

扫地的小何尚

什么是大型语言模型大型语言模型 (LLM) 是一种深度学习算法，可以使用非常大的数据集识别、总结、翻译、预测和生成内容。

驱动小百科

NPU是什么？电脑NPU和CPU、GPU区别介绍随着人工智能技术的飞速发展，计算机硬件架构也在不断演进以适应日益复杂的AI应用场景。其中，NPU（Neural Processing Unit，神经网络处理器）作为一种专为深度学习和神经网络运算设计的新型处理器，正逐渐崭露头角。本文将深入探讨NPU的含义，以及它与传统处理器——CPU（Central Processing Unit，中央处理器）和GPU（Graphics Processing Unit，图形处理器）之间的显著区别。

self-motivation

gpu硬件架构NVIDIA在视觉计算和人工智能（AI）领域处于领先地位；其旗舰GPU已成为解决包括高性能计算和人工智能在内的各个领域复杂计算挑战所不可或缺的。虽然它们的规格经常被讨论，但很难掌握各种组件的清晰完整的图景。

还是大剑师兰特

GPU渲染图形的步骤和流程GPU 处理大规模图像数据的能力主要得益于其强大的并行计算能力和专门为图形处理优化的架构。以下是 GPU 处理大规模图像数据的主要方法和步骤：

一种LLM推理调优技术：采用KV缓存重计算来优化CPU-GPU交互大型语言模型（Large Language Models，简称LLMs）正引领着当今科研和开发领域的重大飞跃。研究目标和方法论经历了显著的转变，越来越倾向于以LLMs为核心的方法。然而，这些模型往往伴随着高昂的成本，使得它们在大规模应用中对许多人而言显得遥不可及。因此，降低操作延迟成为了一个严峻的挑战，尤其是在那些需要快速响应的动态应用场景中。

NCU使用指南及模型性能测试（pytorch2.5.1）本项目在原项目的基础上增加了Nsight Compute(ncu)测试的功能，并对相关脚本功能做了一些健硕性的增强，同时，对一些框架的代码进行了更改（主要是数据集的大小和epoch等），增加模型性能测试的效率，同时完善了模型LSTM的有关功能。

AI智算-正式上架GPU资源监控概览 Grafana Dashboardhttps://grafana.com/grafana/dashboards/22424-ai-gpu-20241127/

卡间互联详解和PCIE相关的带宽计算a. GT/s即Giga transaction per second (千兆传输/秒)，描述的是物理层通信协议的速率，即每一秒内传输的次数。

MemVerge与美光科技利用CXL®内存提升NVIDIA GPU利用率该联合解决方案将 GPU 利用率提高了 77%，并将 OPT-66B 批量推理的速度提高了一倍以上。2023 年 3 月 18 日，作为大内存软件领域领导者的 MemVerge，与美光科技联手推出了一项突破性解决方案，该方案通过智能分层的 CXL 内存，提升了大型语言模型（LLMs）的性能，通过从 GPU HBM 卸载到 CXL 内存。这一创新合作正在 GTC 展会的美光展位 #1030 展出，与会者可以亲身体验分层内存对 AI 工作负载的变革性影响。

在无服务器平台上运行无需GPU的AI模型哪个CPU平台在运行机器学习任务方面能更好地平衡成本和性能？请跟随我的实验来找出答案。译自 Running AI Models Without GPUs on Serverless Platforms，作者 Rak Siva。

深入理解 CPU 和 GPU 渲染在图片渲染的过程中，CPU 和 GPU 扮演了截然不同但又紧密协作的角色，它们各自其实都可以实现图片的渲染，那你有没有想过它们之间的差异究竟有何不同？下面就让我们一起揭开图片渲染的工作原理，探索 CPU 和 GPU 合作的奥秘，以及它们在性能优化中的实际应用。

探索云原生

大模型推理指南：使用 vLLM 实现高效推理本文主要分享如何使用 vLLM 实现大模型推理服务。大模型推理有多种方式比如其中，热度最高的应该就是 vLLM，性能好的同时使用也非常简单，本文就分享一下如何使用 vLLM 来启动大模型推理服务。

DeepSpeed：PyTorch优化库，使模型分布式训练能高效使用内存和更快速DeepSpeed是一个PyTorch优化库，它能让大模型的分布式训练更加节省内存和更快速。它的核心是ZeRO,ZeRO让大规模的训练大模型成为可能。ZeRO有以下几个工作状态：

想租用显卡训练自己的网络？AutoDL保姆级使用教程（PyCharm版）各位小伙伴们大家好~ 不知道各位同学在科研过程中是否有这样的苦恼那么今天，小编给大家带来了显卡租用的教程，真心好用，可以有效解决你的“算力难题” 他就是，国内云算力的天花板，AutoDL！！！

扫地的小何尚

NVIDIA RTX 系统上使用 llama.cpp 加速 LLM适用于 Windows PC 的 NVIDIA RTX AI 平台提供了一个蓬勃发展的生态系统，其中包含数千种开源模型，供应用程序开发人员利用并集成到 Windows 应用程序中。值得注意的是，llama.cpp 是一款流行的工具，在撰写本文时拥有超过 65,000 个 GitHub 星标。这个开源存储库最初于 2023 年发布，是一个轻量级、高效的大型语言模型 (LLM) 推理框架，可在包括 RTX PC 在内的一系列硬件平台上运行。

【深度学习】使用硬件加速模型训练速度PyTorch 示例：dataloader = DataLoader(dataset, batch_size=32, shuffle=True, num_workers=4, pin_memory=True)

【一文搞懂】GPU硬件拓扑与传输速度今天查询华为昇腾算力卡的时候发现了一个非常好的博客，讲述了英伟达GPU与华为NPU的一些基础概念，特分享如下。