cot技术

kunwen1239 小时前
缓存·kv缓存·cot技术
推理还是训练 || KV缓存和CoT技术App对大型模型API需求将呈指数增长，因此未来在大模型推理方面的需求必然还有巨大的增量空间。而KV缓存和CoT技术的应用，让推理方面有很多系统设计方面的优化和挑战。所以如果有得选的话，推荐去推理相关的AI Infra的方向. 作为一个AI Infra，还是要熟悉一些关于硬件(特别是Nivaida设备)的基本参数和发展方向。比如说 CUDA，NVlink， IB这些基本概念需要做到心中有个具体的概念和参数。