文章目录
AI系统架构
b站:https://www.bilibili.com/video/BV1if421z713/


AI硬件结构体系

AI 编译 & 计算架构(AI编译器、前端优化、后端优化等)

AI 推理引擎 & 推理系统(模型轻量化、模型压缩)
模型要在端侧跑起来,非常的依赖:模型 轻量化 & 模型压缩 ,这两个是配套的
模型要在端侧跑起来,需要进行 模型转化 ,模型就会变成一个 计算图,进行优化,就会用到 图优化
然后真正执行起来,执行起来是 靠每一个算子去执行的,是靠每一个kernel去计算的
然后就会有kernel的优化:CNN && Transformer优化等

AI 开发框架:AI框架基础、自动微分、计算图、分布式并行(数据并行、张量并行、流水并行...)
计算图:计算网络神经最终会变现为计算图的形式
