transformer

chian-ocean2 小时前
人工智能·深度学习·transformer
量化加速实战:基于 `ops-transformer` 的 INT8 Transformer 推理Transformer 模型通常以 FP32 或 FP16 精度训练和推理,但这类浮点运算对计算资源和内存带宽要求极高。在边缘设备(如智能摄像头、车载终端、IoT 网关)上,往往缺乏高性能 NPU 或大容量显存。此时,INT8 量化成为关键突破口:
杜子不疼.2 小时前
深度学习·性能优化·transformer
CANN_Transformer加速库ascend-transformer-boost的大模型推理性能优化实践Transformer架构已成为自然语言处理和计算机视觉领域的主流模型架构。随着GPT、LLaMA等大语言模型的兴起,如何高效地在NPU上部署和推理Transformer模型成为关键挑战。ascend-transformer-boost是CANN生态中专门针对Transformer模型优化的加速库,提供了从算子级别到模型级别的全方位优化方案。
renhongxia13 小时前
人工智能·深度学习·算法·机器学习·自然语言处理·transformer·知识图谱
如何基于知识图谱进行故障原因、事故原因推理,需要用到哪些算法基于知识图谱进行故障或事故原因推理,是工业智能、安全管理和运维决策中的核心能力。其目标是:当发生异常事件(如设备停机、安全事故)时,系统能自动回溯关联因素,定位根本原因,并提供可解释的推理路径。
深鱼~3 小时前
人工智能·深度学习·transformer·cann
ops-transformer算子库:解锁昇腾大模型加速的关键在大模型时代,Transformer架构成为自然语言处理、计算机视觉、多模态融合等领域的核心基础,但其动辄数十亿、上百亿的参数量带来了巨大的计算开销,对硬件算力和底层算子优化提出了极高要求。CANN(Compute Architecture for Neural Networks)作为华为面向AI场景打造的异构计算架构,是昇腾AI处理器发挥极致算力的核心支撑,而ops-transformer算子库作为CANN生态中专为Transformer大模型打造的专用算子库,针对Transformer的核心计算环节做
禁默3 小时前
深度学习·重构·aigc·transformer·cann
不仅是 FlashAttention:揭秘 CANN ops-transformer 如何重构大模型推理目录前言一、 击穿“长序列”瓶颈:FlashAttention 的原生进化二、 驾驭“稀疏计算”:MoE 的完整工具链
笔画人生3 小时前
人工智能·深度学习·transformer
进阶解读:`ops-transformer` 内部实现与性能调优实战cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn 在 Transformer 模型中,多个小算子的频繁调用会带来显著的调度开销和内存带宽瓶颈。ops-transformer 通过 算子融合 技术,将多个逻辑操作合并为一个硬件友好的内核(Kernel),从而减少中间张量的生成与搬运。
种时光的人3 小时前
深度学习·aigc·transformer
CANN仓库核心解读:ascend-transformer-boost解锁AIGC大模型加速新范式在AIGC大模型向千亿、万亿参数量迭代的过程中,Transformer架构已成为绝对核心——无论是大语言模型、多模态模型,还是生成式语音、视频模型,其核心计算逻辑都围绕Transformer架构展开。但随着模型参数量激增,Transformer架构的计算复杂度呈指数级上升,尤其是Attention机制中的矩阵运算,成为制约大模型训练与推理效率的核心瓶颈。华为昇腾CANN开源仓库(CANN组织链接:https://atomgit.com/cann)作为全栈AI算力支撑平台,专为AIGC大模型Transfor
笔画人生4 小时前
深度学习·架构·transformer
系统级整合:`ops-transformer` 在 CANN 全栈架构中的角色与实践cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn
深鱼~5 小时前
人工智能·深度学习·transformer
深度剖析ops-transformer:LayerNorm与GEMM的融合优化在Transformer架构中,Layer Normalization(LayerNorm) 与 GEMM(通用矩阵乘) 是两个高频出现的基础操作。典型Transformer层包含多个“LayerNorm → GEMM → Activation → GEMM”组合。若将这些操作独立执行,不仅会引发多次内核启动开销,还会导致中间激活值频繁写入/读取全局内存,严重制约性能。
chian-ocean5 小时前
深度学习·开源·transformer
智能多模态助手实战:基于 `ops-transformer` 与开源 LLM 构建 LLaVA 风格推理引擎cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn
熊文豪6 小时前
人工智能·深度学习·transformer·cann
从零开始:基于CANN ops-transformer的自定义算子开发指南CANN组织链接:https://atomgit.com/cann ops-transformer仓库链接:https://atomgit.com/cann/ops-transformer
chian-ocean6 小时前
人工智能·深度学习·transformer
视觉新范式:基于 `ops-transformer` 的 Vision Transformer 高效部署cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn
芷栀夏9 小时前
ui·aigc·transformer·cann
CANN 仓库实战:用 DrissionPage 构建高效、稳定的 UI 自动化测试框架在软件质量保障体系中,UI 自动化测试是验证端到端业务流程的关键环节。然而,传统方案如 Selenium 常因启动缓慢、元素定位脆弱、等待逻辑混乱、环境依赖复杂等问题,导致测试脚本维护成本高、稳定性差、执行效率低。尤其在敏捷开发与持续集成(CI/CD)场景下,这些问题被进一步放大。
禁默9 小时前
人工智能·深度学习·transformer·cann
Ops-Transformer深入:CANN生态Transformer专用算子库赋能多模态生成效率跃迁目录前言一、先搞懂:Ops-Transformer是什么?(CANN生态+Transformer专用定位)
饭饭大王66611 小时前
人工智能·深度学习·transformer
当 AI 系统开始“自省”——在 `ops-transformer` 中嵌入元认知能力cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn
哈哈你是真的厉害12 小时前
人工智能·深度学习·aigc·transformer
驾驭万亿参数 MoE:深度剖析 CANN ops-transformer 算子库的“核武库”目录一、 为什么通用算子不够用了?二、 核心能力:四大“护法”算子三、 开发者宝典:从入门到调优四、 结语
chian-ocean12 小时前
数据库·搜索引擎·transformer
百万级图文检索实战:`ops-transformer` + 向量数据库构建语义搜索引擎cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn
2的n次方_12 小时前
人工智能·深度学习·transformer
CANN ascend-transformer-boost 深度解析:针对大模型的高性能融合算子库与算力优化机制CANN 组织链接: https://atomgit.com/cann ascend-transformer-boost 仓库链接: https://gitcode.com/cann/ascend-transformer-boost
songyuc13 小时前
笔记·transformer
【BiFormer】BiFormer: Vision Transformer with Bi-Level Routing Attention 译读笔记作为视觉变换器的核心构建模块,注意力机制是一种强大的工具,用于捕获长距离依赖关系。然而,这种强大的功能是有代价的:它会导致巨大的计算负担和沉重的内存占用,因为需要在所有空间位置之间进行成对token交互计算。一系列工作试图通过引入手工制作和 content-agnostic 的稀疏性来缓解这个问题,例如将注意力操作限制在局部窗口、轴向条纹或扩张窗口内。与这些方法不同,本文提出了一种通过双层路由的新型动态稀疏注意力机制,以实现更灵活的内容感知计算分配。具体来说,对于查询,首先在粗粒度区域级别过滤掉无关的键值
笔画人生13 小时前
人工智能·深度学习·transformer
# 探索 CANN 生态:深入解析 `ops-transformer` 项目cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn 在 AI 计算日益普及的今天,高性能、高效率的计算架构成为推动模型训练与推理的关键。华为推出的 CANN(Compute Architecture for Neural Networks)作为面向 AI 场景的异构计算架构,为开发者提供了强大的底层支持,尤其在神经网络加速方面表现突出。本文将聚焦于 CANN 开源生态中的一个核心项目——ops-trans