【大模型理论篇】关于LLaMA 3.1 405B以及小模型的崛起前不久,Meta开源了LLaMA 3.1 405B【1】,模型扩展了上下文长度至 128K,支持八种语言,效果非常惊艳,是首个在通用知识、可操控性、数学、工具使用和多语言翻译方面能够与最先进闭源 AI 模型媲美的公开可用模型,已经赶上截至目前最好的闭源模型,如GPT 4o和Claude 3.5。这可以算是一个里程碑,我们正在迎来一个以开源为主导的新时代。另一个问题不得不思考,如果作为基座大模型创业者,面对开源的冲击,公司存在的核心竞争力应该是什么?需要好好梳理。说明:本文主要会参考Meta的技术文章【2,