如果你关注边缘AI芯片，最近有个明显变化：边缘设备跑的东西跟几年前不一样了，以前跑CNN（卷积神经网络），现在跑LLM（大语言模型）和VLM（视觉语言模型）。
过去边缘处理器主要跑视觉模型，像YOLO类检测器、MobileNet风格分类器、分割网络。这类特点是计算密集，权重被反复复用，推理时基本无状态，芯片设计围绕在给定面积和功耗内把 MAC（乘加运算）吞吐拉满。所以那几年基于数据包调度的NPU（神经网络处理器）架构很受欢迎------不按整层整层算，而是把计算切成小块（数据包）分别调度，提高了MAC利用率，也减少了激活值向外部内存的无谓搬运。
但LLM和VLM进来之后就不一样了。CNN那套优化是奔着算力去的，而LLM解码的瓶颈在内存访问。LLM生成 token分两步：预填充（先把整段输入算一遍）和解码（一个字一个字往外吐，每吐一个都要读一遍 KV 缓存）。预填充阶段确实还是算术密集，可进入解码阶段，瓶颈迅速变成KV缓存访问和大量低复用率的参数搬运。工作负载从计算受限变成内存受限，尤其当模型跑在资源紧张的边缘设备和汽车里时，转变更明显。
更关键的是，以CNN为中心的NPU本来就是为无状态、并行、计算密集的推理设计的，而VLM 的Transformer（神经网络架构）解码受限于内存行为------KV缓存多大、怎么访问、带宽够不够。TOPS（每秒万亿次运算）数字好看，不代表解码快，这是很多NPU在LLM上翻车的地方。
既然瓶颈变了，一个自然的思路是：原来那套在CNN上好用的数据包抽象，能不能扩展到Transformer块和KV缓存访问上？答案是能，但前提是围绕LLM/VLM的行为来协同设计，而不是把它们当成又一个模型。
那这种协同设计怎么落地？有厂商的做法是：以内存行为为核心。具体来说，架构本身可以扩展到128 TFLOPS（每秒万亿次浮点运算）级别（数据中心版单核128 TFLOPS，汽车版96 TFLOPS，移动版64 TFLOPS，边缘版32 TFLOPS，不同产品线按场景裁剪），多核可以到PetaFLOPS（每秒千万亿次浮点运算）级别。引擎用离散的处理块分别管前馈、注意力和向量运算，数据包根据网络结构和当前阶段（预填充还是解码）在这些块之间路由。模型仍然按训练时的样子运行，数据包化和调度都在硬件/软件栈内完成。
效果上，厂商自己的测试数据显示：在Llama 3.2 1B和Qwen2 1.5B上，外部内存搬运比替代方案减少75%以上。同一组测试里，即使在高度内存受限的场景下，也能做到几千有效TFLOPS以及每平方毫米硅片每秒几十个token，既不偏向计算也不偏向内存，而是在中间找平衡。不过这些数字目前只有厂商自测口径，还没看到第三方独立复现，对选型的人来说，这组数据可以参考，不宜直接当成定论。
上面这些数字落到系统层面，意味着三件事：***第一，延迟和隐私。***本地跑LLM推理，端到端延迟低，车内或设备上的数据不用上云。这既是用户体验要求，也是监管要求。***第二，内存和功耗预算。***车、边缘节点、移动设备的内存都很紧张，每个解码步骤都把KV缓存流式传到DDR或HBM（两种内存），很快就变成功耗和成本问题。减少外部内存搬运、提高本地复用，就是在同样功耗预算下多出token。***第三，一颗芯片上同时跑好几种活（异构工作负载共存）。***汽车SoC要同时跑感知、驾驶员监控、信息娱乐，现在还要加生成式功能。同一套NPU架构做出来的几款芯片，要是CNN和LLM都能跑顺，就比拿一个为CNN优化的核硬改出LLM支持来得省事，也不用再单独加一个LLM加速器。
建模和验证之外，另一个实际问题是模型怎么进来、怎么跑。对做EDA（电子设计自动化）的人来说，重点不是数据包这个概念本身，而是怎么把预填充和解码分开建模、分开优化。预填充还是想要高算术吞吐，矩阵乘法密集，更像经典CNN但模型更大。解码则被KV缓存读取、内存流式传输和更小的每步计算主导，工作可以跨数据包分布，减轻外部内存压力，分散到注意力和向量块上。难点在于，传统NPU的性能模型是按CNN的平均吞吐建的，预填充和解码混在一起算，出来的数对不上真实负载。
数据包流和离散块可以让几件事变得可行：构建区分预填充和解码的性能与带宽模型，而不是把Transformer推理笼统算成一个平均画像；针对真实的KV缓存访问模式，调缓存层级和流式接口参数（DRAM/HBM位宽、SRAM大小、分区），按阶段调优；在高端关注安全的汽车场景里分析最坏情况下的延迟和带宽影响，比如当LLM或VLM功能是人机界面或驾驶员监控栈的一部分时。数据包抽象还是基础，但系统设计者现在可以把数据包看成"LLM/VLM 行为的单元"，跨阶段特定的块和缓存层级调度，而不只是CNN层的碎片。
从软件和工具的角度看，这类架构的栈可以直接吃HuggingFace、Llama.cpp、TVM等来源的网络，支持完整整数和浮点精度、混合模式、层融合/分裂，以及芯片或chiplet（小芯片）级别对多核的集中控制。
对做模型部署和集成的团队来说，数据包化不是要你换一套写法，现有训练好的模型直接放上去就能跑，数据包化发生在编译器/运行时路径里。而且在注重软件的采购策略里，这减少了在ML栈里做硬件特定重写的需要，也允许直接对着Llama 3、Qwen 2这些参考实现做性能建模和回归测试，不用为每种架构重建网络。这和汽车、移动平台的趋势一致：NPU IP不只看微架构，还看它能多快、多安全地跑真实开源模型。
不过，现在的问题不是数据包有没有用，而是这套架构能不能降低跨异构AI工作负载做建模、调度和验证的复杂度。随着生成式AI功能大量进入汽车和边缘设备，这些问题很可能决定哪些加速器架构能够真正进入量产，哪些只能成为PPT。
最后还有一个现实考量：边缘版单核32 TFLOPS这个档位，跑1级别的模型够不够，取决于具体场景的延迟要求和并发量。厂商给的是峰值指标，实际部署时还要看内存带宽、散热和功耗墙。选型时不妨把"数据包架构在Transformer上省内存"当成加分项，毕竟这套逻辑在CNN时代已经被验证，但在LLM/VLM上大规模量产的表现，还需要更多实际部署数据去检验。
说明：1.文章参考公开报道并借助AI工具进行整理和分析，如有不妥之处欢迎指正。2.部分市场数据基于行业估算、发布以及官方报道，具体精确数据请以权威机构为准。3.欢迎长期追踪边缘AI的朋友一起探讨。