技术栈
月之暗面
X.Cristiano
1 个月前
论文阅读
·
moba
·
kimi
·
月之暗面
月之暗面-KIMI-发布最新架构MoBA
扩展有效上下文长度对于推动大语言模型(LLM)迈向通用人工智能(AGI)至关重要。然而,传统注意力机制固有的二次计算复杂度增长带来了难以承受的开销。现有的方法要么强加高度偏向的结构(如sink注意力或窗口注意力,这些方法通常针对特定任务),要么彻底修改注意力机制,采用线性近似,但其复杂推理任务中的表现仍需进一步探索。
newxtc
5 个月前
安全
·
极验
·
月之暗面
·
kimi智能助手
【月之暗面kimi-注册/登录安全分析报告】
前言 由于网站注册入口容易被黑客攻击,存在如下安全问题:所以大部分网站及App 都采取图形验证码或滑动验证码等交互解决方案, 但在机器学习能力提高的当下,连百度这样的大厂都遭受攻击导致点名批评, 图形验证及交互验证方式的安全性到底如何? 请看具体分析
MavenTalk
9 个月前
缓存
·
月之暗面
AI大模型对话(上下文)缓存能力
互联网应用中,为了提高数据获取的即时性,产生了各种分布式缓存组件,比如Redis、Memcached等等。