transformer

芷栀夏2 小时前
ui·aigc·transformer·cann
CANN 仓库实战:用 DrissionPage 构建高效、稳定的 UI 自动化测试框架在软件质量保障体系中,UI 自动化测试是验证端到端业务流程的关键环节。然而,传统方案如 Selenium 常因启动缓慢、元素定位脆弱、等待逻辑混乱、环境依赖复杂等问题,导致测试脚本维护成本高、稳定性差、执行效率低。尤其在敏捷开发与持续集成(CI/CD)场景下,这些问题被进一步放大。
禁默3 小时前
人工智能·深度学习·transformer·cann
Ops-Transformer深入:CANN生态Transformer专用算子库赋能多模态生成效率跃迁目录前言一、先搞懂:Ops-Transformer是什么?(CANN生态+Transformer专用定位)
饭饭大王6664 小时前
人工智能·深度学习·transformer
当 AI 系统开始“自省”——在 `ops-transformer` 中嵌入元认知能力cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn
哈哈你是真的厉害5 小时前
人工智能·深度学习·aigc·transformer
驾驭万亿参数 MoE:深度剖析 CANN ops-transformer 算子库的“核武库”目录一、 为什么通用算子不够用了?二、 核心能力:四大“护法”算子三、 开发者宝典:从入门到调优四、 结语
chian-ocean5 小时前
数据库·搜索引擎·transformer
百万级图文检索实战:`ops-transformer` + 向量数据库构建语义搜索引擎cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn
2的n次方_6 小时前
人工智能·深度学习·transformer
CANN ascend-transformer-boost 深度解析:针对大模型的高性能融合算子库与算力优化机制CANN 组织链接: https://atomgit.com/cann ascend-transformer-boost 仓库链接: https://gitcode.com/cann/ascend-transformer-boost
songyuc6 小时前
笔记·transformer
【BiFormer】BiFormer: Vision Transformer with Bi-Level Routing Attention 译读笔记作为视觉变换器的核心构建模块,注意力机制是一种强大的工具,用于捕获长距离依赖关系。然而,这种强大的功能是有代价的:它会导致巨大的计算负担和沉重的内存占用,因为需要在所有空间位置之间进行成对token交互计算。一系列工作试图通过引入手工制作和 content-agnostic 的稀疏性来缓解这个问题,例如将注意力操作限制在局部窗口、轴向条纹或扩张窗口内。与这些方法不同,本文提出了一种通过双层路由的新型动态稀疏注意力机制,以实现更灵活的内容感知计算分配。具体来说,对于查询,首先在粗粒度区域级别过滤掉无关的键值
笔画人生7 小时前
人工智能·深度学习·transformer
# 探索 CANN 生态:深入解析 `ops-transformer` 项目cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn 在 AI 计算日益普及的今天,高性能、高效率的计算架构成为推动模型训练与推理的关键。华为推出的 CANN(Compute Architecture for Neural Networks)作为面向 AI 场景的异构计算架构,为开发者提供了强大的底层支持,尤其在神经网络加速方面表现突出。本文将聚焦于 CANN 开源生态中的一个核心项目——ops-trans
灰灰勇闯IT7 小时前
人工智能·深度学习·transformer
领域制胜——CANN 领域加速库(ascend-transformer-boost)的场景化优化在AI基础设施的竞争中,通用算子库(如ops-nn、ops-math)和强大的编译器(如ge)构成了性能的基石。然而,随着大模型(Large Language Models, LLMs)成为AI应用的新范式,一个更深层次的挑战浮出水面:如何在特定的、高价值的应用场景中,实现数量级的性能突破? 通用优化虽然重要,但往往无法触及场景特有的“甜蜜点”。例如,LLM推理的核心瓶颈并非单次前向计算,而在于其独特的自回归(Auto-regressive)。
禁默7 小时前
人工智能·深度学习·transformer·cann
大模型推理的“氮气加速系统”:全景解读 Ascend Transformer Boost (ATB)目录前言1. ATB 是什么?—— 架构图里的秘密2. 核心黑科技:为何它能让推理更快?3. 实战价值:从 Demo 到 Production
User_芊芊君子7 小时前
人工智能·深度学习·transformer
CANN大模型加速核心ops-transformer全面解析:Transformer架构算子的高性能实现与优化随着自然语言处理(NLP)、计算机视觉和多模态大模型的飞速发展,Transformer架构已经成为现代AI模型的核心支柱。从GPT、BERT到ViT、CLIP,这些大模型都依赖于自注意力机制、前馈神经网络等关键算子。ops-transformer作为CANN生态系统中专门针对Transformer类模型优化的算子库,为这些大模型在异构计算平台上的高效运行提供了坚实的基础支撑。
禁默8 小时前
深度学习·aigc·transformer·cann
Ops-Transformer:CANN生态赋能AIGC的Transformer专用加速库目录前言一、Ops-Transformer核心定位:Transformer专属的硬件加速工具二、核心价值:破解AIGC中Transformer运算的三大痛点
饭饭大王6668 小时前
人工智能·深度学习·transformer
迈向智能体时代——构建基于 `ops-transformer` 的可持续 AI 系统cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn
深鱼~9 小时前
深度学习·性能优化·transformer·cann
Attention机制加速实战:基于ops-transformer的性能优化在大语言模型(LLM)和多模态AI系统中,Attention机制已成为核心计算单元。然而,其计算复杂度随序列长度呈平方级增长(O(N²)),在长上下文场景下极易成为性能瓶颈。尤其在推理阶段,Prefill(预填充)阶段的高吞吐需求与Decode(解码)阶段的低延迟要求,对底层算子提出了截然不同的优化目标。
小羊不会打字10 小时前
人工智能·深度学习·transformer
探索 CANN 生态:深入解析 `ops-transformer` 项目在 AI 计算架构的演进中,异构计算平台逐渐成为高性能深度学习任务的核心支撑。CANN(Compute Architecture for Neural Networks)作为面向 AI 场景的异构计算架构,为开发者提供了丰富的工具链和优化能力。本文将聚焦于 CANN 生态中的一个关键组件——ops-transformer 项目,深入解读其功能定位、技术实现与实际应用价值,并通过示例代码展示如何基于该库进行模型加速开发。
Loo国昌10 小时前
人工智能·深度学习·安全·transformer
【大模型应用开发】第六阶段:模型安全与可解释性即使是最强大的模型,如果不可控,也是危险的。本章探讨如何给AI装上"刹车"(Safety)和"显微镜"(Interpretability)。
深鱼~10 小时前
人工智能·深度学习·transformer·cann
构建高效Transformer模型:ops-transformer算子使用手册随着大语言模型(LLM)和多模态AI系统的广泛应用,Transformer架构已成为现代AI应用的核心。然而,标准实现往往难以在实际硬件上发挥最佳性能——频繁的内核启动、冗余的内存读写、未优化的Attention计算,都会导致吞吐下降与延迟升高。
chian-ocean10 小时前
人工智能·深度学习·transformer
生产级部署:基于 `ops-transformer` 构建高性能多模态推理服务cann组织链接:https://atomgit.com/cann ops-nn仓库链接:https://atomgit.com/cann/ops-nn
熊文豪10 小时前
深度学习·架构·transformer·cann
CANN ops-transformer算子库架构与设计理念CANN组织链接:https://atomgit.com/cann ops-transformer仓库链接:https://atomgit.com/cann/ops-transformer
哈__10 小时前
人工智能·深度学习·transformer
CANN加速视觉Transformer推理:注意力机制优化与高效计算策略视觉Transformer(Vision Transformer,ViT)作为一种革命性的计算机视觉架构,通过将Transformer架构应用于图像识别任务,实现了与CNN相媲美甚至更优的性能。ViT将图像分割为patches,通过Transformer编码器处理这些patches,最终实现图像分类、检测等任务。然而,ViT的自注意力机制计算复杂度随序列长度呈二次增长,推理速度慢,内存占用高,限制了实时应用。CANN针对视觉Transformer推理推出了全面的优化方案,通过注意力机制优化、高效计算策略和