自研大模型全面对标Llama2
明敏 发自 凹非寺
量子位 | 公众号 QbitAI
"欧洲版OpenAI"最新估值，逼近20亿美元！
总部位于巴黎的大模型初创公司Mistral AI最新一轮融资，4.87亿美元。
投资方为安德森·霍洛维茨、英伟达、Salesforce等。
其中安德森·霍洛维茨领投约2亿欧元，英伟达、Salesforce计划通过转换债券再投资1.2亿欧元。
据了解，Mistral AI由前DeepMind、前Meta科学家创立。2位主创是Llama的核心贡献者。
今年5月，他们出走后创业，迅速引发圈内关注。种子轮即获得1.13亿美元，公司估值达2.6亿美元。
9月时发布开源大模型Mistral-7B，全面对标Llama2。
如今，随着最新一轮融资进入最后阶段，意味着Mistral AI只用6个月时间，成功跻身独角兽行列。
据介绍，新资金将用于扩建团队、加速研发。
Llama主创出走创立
Mistral AI成立于今年5月，总部位于巴黎，公司使命为"构建能解决现实世界问题的下一代人工智能系统"。
由于有着宏大的AI愿景、主创均为AI领域顶尖人才、且快速发布自研大模型，Mistral AI被业界视为"欧洲版OpenAI"。
公司的3位主创分别是：
- CEO：阿瑟•门奇(Arthur Mensch)
- 首席科学家：纪尧姆•兰普尔(Guillaume Lample)
- CTO：蒂莫西•拉克鲁瓦（Timothée Lacroix）
其中首席科学家和CTO，均是Llama的核心主创。
首席科学家纪尧姆•兰普尔曾是Meta AI的研究科学家，领导了Llama的开发。
他博士毕业于卡内基梅隆大学、师从Chris Dyer，研究领域为NLP、机器学习等。
谷歌学术显示，兰普尔论文被引次数达1.9万次+。
CTO蒂莫西•拉克鲁瓦曾在Meta AI任职8年，还是PyTorch-BigGraph的主要贡献者。
CEO阿瑟•门奇今年30岁，创业前为DeepMind巴黎分部的研究员，2023年辞职后开始创业。
在DeepMind工作期间，门奇是Retro、Flamingo、Chinchilla等项目的主要贡献者，积累了丰富的大语言模型开发优化经验。
据了解，主创3人相识于学校时期，当时他们都在AI领域学习，CEO门奇表示他们是在2022年时开始讨论AI创业的想法。
今年6月，Mistral AI在成立仅4周后，即拿下1.13亿美元种子轮，由顶尖风投Lightspeed领投，估值达到2.6亿美元。
当时团队表示，他们将致力于大模型开源工作。
9月，Mistral AI正式发布并开源了自家首个大模型Mistral-7B，并且全面对标Llama2。
据论文介绍，Mistral-7B在所有基准测试中超越了Llama 2（13B），并在推理、数学、代码生成任务中超越了Llama 2（34B）。
Mistral-7B采用了Llama2中同样的分组查询注意力机制，能加速推理；结合滑动窗口注意力机制，可以有效处理任意长度序列，降低推理成本。
同时他们还提供了一个微调模型Mistral 7B -- Instruct，也超越了Llama2（13B）聊天模型在人类和自动化基准测试中的表现。
Mistral-7B表明，LLM的知识压缩能力或许超过我们此前预期。想要用小模型获得更好性能，还有非常多探索空间。
据了解，为避免版权问题，Mistral使用公开数据训练大模型。
成为欧洲AI新星
随着自家大模型的发布，Mistral也正式与OpenAI、谷歌等展开较量。
CEO门奇曾在采访中表示，尽管公司很年轻、团队规模不大，但是"我们与所有人竞争"。
而由于集结了大模型领域多位顶尖人才，Mistral从成立之初就备受业内关注，尤其是欧洲方面。
其种子轮吸引了诸多欧洲老牌风投，比如法国的Redpoint、Index Ventures等，德国的La Famiglia和Headline，以及意大利、比利时、英国风投也参与其中。
前不久在伦敦举行的首届人工智能安全峰会，Mistral作为唯一一家欧洲公司，和科技巨头们共同出席了第二天的小型会议。
而且，Mistral也确实没让投资方失望。
据说其首款大模型发布本来预计在年底面世，结果一下提前3个月，在9月就发布了。
有顶尖团队阵容、又手握自研大模型，也就不难理解Mistral的估值快速增长了。
最新一轮融资更是主要由硅谷贡献。
新资金将用于扩大团队规模、加快研发，并在欧洲和美国建立新的办公室。
据介绍，作为交易的一部分，Mistral的三位联合创始人将各自出售超过100万英镑的股权。
而这轮巨大融资也再次印证，投资者正在争相寻找"下一个OpenAI"，诸多大型投资方都愿意在创企早期以高价购入股份，这也是创业公司在早期估值飙升的原因之一。
参考链接：
[1]www.businessinsider.com/mistral-in-...
[2]techstartups.com/2023/12/04/...
版权所有，未经授权不得以任何形式转载及使用，违者必究。