大模型计算量、显存计算方法推导

分析transformer模型的参数量、计算量、中间激活、KV cache

https://zhuanlan.zhihu.com/p/624740065

该帖子是很经典的计算大模型FLOPs和显存的,值得细读

LLM训练指南(二):模型参数、计算量、显存、计算时间计算

https://zhuanlan.zhihu.com/p/639872915

相关推荐
QA老兵的AI实战手记4 分钟前
别再用人工盯 AI 幻觉了:我手搓了一套带“代码审查拦截”的 AI 效能大屏(附源码)
人工智能
火山引擎开发者社区7 分钟前
APMPlus・看得见的 Agent(三) | Agent 说完成,结果却不对?APMPlus Agent 轨迹帮你查清执行过程
人工智能
羲云网络10 分钟前
Claude Fable 5.2 创意编程分析:程序化生成、多智能体协作与工程验收
人工智能·大语言模型·blender·游戏开发
Linye13 分钟前
HTML 流程图连线交叉看不清?聊聊画布避障折线与跳弧实现
前端·人工智能
M--Y24 分钟前
LangGraph 架构基石:持久化与运行控制
python·langchain·大模型·llm·持久化·langgraph
weixin_4691636943 分钟前
金融租赁项目管理:维普时代以混合模型+AI实现管控与效率兼得
人工智能·金融
框架那些事儿1 小时前
深入 Pi 源码:一个优秀的 Agent,是如何管理上下文的?
人工智能·ai编程·全栈
Java内核笔记1 小时前
方法级 trace 看不出第几轮:给 Agent 补一层轮次维度
人工智能·spring boot·后端
AAA修煤气灶刘哥1 小时前
DSH Super-agent 双层架构:如何兼顾后台执行与持续响应
人工智能·后端·设计模式
阿里云大数据AI技术1 小时前
Hologres jev 能帮业务做什么?7 个场景,一句提问
人工智能