国内大模型 T1 —— Kimi,解析二百万上下文无压力

两位百万?怎么做到的?

前段时间写过一篇文章:# GPT4-Turbor 128k ? 还不够?还不够!记得 GPT4-T 的上下文参数量 128k,也就大概 100 万英文字符、50 万汉字字符,kimi 是如何做到 double 的?

真的能做到吗?

上下文的扩充有尽头吗?

在前面文章里提到了 RAG 技术,即 生成式检索增强,它能通过 API 调用,请求页面或读取文件,优化检索数据,缩小文本或标记梳理,同时保留必要信息;然后使用文本分割器,将文档转换为段落、代码块,确定每段落大小;接着进行语义索引、并存储在向量数据库;在回复用户生成的内容前,选择与用户初始请求语义相关的段落块,插入到提示中。

白话来说就是将上下文提示语分块、分析、加权重、插入到提示,那么:如果能无限扩充上下文长度,RAG 技术还有意义吗?

Kimi 背后原理,官网做出了解释:# Kimi Chat 公布"大海捞针"长文本压测结果

这里的"针"就是"大上下文提示语"的核心,我们需要提取的、解析的核心:

有几个有意思的数据:

1、GPT-4 Turbo(128K)在语料长度超过 72K 且句子("针")藏在文本头部的时候,准确率不佳。(这也是我们前面提到过的)

2、而Claude 2.1似乎在语料长度超过20K 之后就开始准确率不佳,而且句子( 针)藏在语料靠前的位置时,准确率尤其差。

而 Kimi Chat 在"大海捞针"实验中的测试结果是这样的:

kimi 的测试结果好的让人意外!

那... kimi 究竟做对了什么?

官方也没明说,只是最后给了个这样的结论:

具体技术实现细节,背后是大量复杂的工程优化和算法创新设计,这也是 kimi 团队核心技术壁垒,不得而知。

内部成员的回复:

思考:

以后的大模型比拼什么?两点:

1、数据的精准性-各行业

2、计算能力、解析能力-这里的大文本上下文解析就算!


说到这里,我们不难发现:成长与发展是工作与生活的主旋律 ~ 最后,自荐一下我和机械工业出版社联合出版的 《程序员成长手记》 一书:全书分为3大模块、8个章节:从入门程序员到程序员自驱成长,回归纸质阅读,相信能给你一个更全局的程序员视野,提供成长帮助。京东搜"程序员成长手记"

OK,以上便是本次分享,希望各位喜欢~ 欢迎点赞、收藏、评论 🤟 我是安东尼 🤠 人气技术博主 💥 坚持千日更文 ✍ 关注我,安东尼陪你一起度过漫长编程岁月

相关推荐
学习路上_write13 分钟前
FPGA/Verilog,Quartus环境下if-else语句和case语句RT视图对比/学习记录
单片机·嵌入式硬件·qt·学习·fpga开发·github·硬件工程
千天夜24 分钟前
激活函数解析:神经网络背后的“驱动力”
人工智能·深度学习·神经网络
大数据面试宝典25 分钟前
用AI来写SQL:让ChatGPT成为你的数据库助手
数据库·人工智能·chatgpt
封步宇AIGC30 分钟前
量化交易系统开发-实时行情自动化交易-3.4.1.2.A股交易数据
人工智能·python·机器学习·数据挖掘
m0_5236742132 分钟前
技术前沿:从强化学习到Prompt Engineering,业务流程管理的创新之路
人工智能·深度学习·目标检测·机器学习·语言模型·自然语言处理·数据挖掘
HappyAcmen42 分钟前
IDEA部署AI代写插件
java·人工智能·intellij-idea
噜噜噜噜鲁先森1 小时前
看懂本文,入门神经网络Neural Network
人工智能
AI极客菌1 小时前
[ComfyUI]Flux:繁荣生态魔盒已开启,6款LORA已来,更有MJ6&写实&动漫&风景&艺术&迪士尼全套
ai作画·stable diffusion·aigc·midjourney·人工智能作画·comfyui·风景
InheritGuo2 小时前
It’s All About Your Sketch: Democratising Sketch Control in Diffusion Models
人工智能·计算机视觉·sketch
weixin_307779132 小时前
证明存在常数c, C > 0,使得在一系列特定条件下,某个特定投资时刻出现的概率与天数的对数成反比
人工智能·算法·机器学习