上线一周收获2K star,仅500行代码实现AI增强搜索引擎

这个项目刚刚发布便登上GitHub热榜首位,短短一周便收获了惊人的2K star,背后的团队更是备受热议,今天的开源项目就是AI搜索引擎:lepton search

Lepton Search的一些背景

Lepton Search 是有LeptonAI 推出的 ai增强对话式搜索引擎,可以说从发布出来的那一天,就备受关注和争议。

首先要说不是产品,而是LeptonAI的CEO 贾扬清。如果是关注AI圈子的人 ,一定对这个名字不陌生了,先是贾扬清发表的朋友圈,怒喷了一把国内某些大厂的大模型抄袭,当时一度爆火。

再说回产品,在1月25日Lepton AI 发布了一个小demo,当时Lepton Search 还没有正式开源。在发布之后,号称要干掉谷歌搜索的 Perplexity 创始人声称 LeptonAI 在"借鉴"、"致敬"他们的产品。作为 LeptonAI 的创始人,贾扬清在 Twitter 上进行了公开回击,并且明确说,要开源Lepton Search 。

现在Lepton Search 正式开源后,关注度更是持续升温。

Lepton Search 是什么

贾扬清在自己的团队记录里提到,这只是一个demo,仅用了一个周末的时间来演示AI应用容易实现。以下它目前的能力:

  • 对 LLM 的内置支持
  • 内置搜索引擎支持
  • 可定制漂亮的UI界面
  • 可共享的缓存搜索结果

Lepton Search之所以500行代码就能实现,依赖的是它背后已经模块化的AI能力,这里Lepton Search之所以核心使用到的能力有3块:

  • 大模型,调用了在LeptonAI自家云上部署的开源Mixtral-8x7b模型。
  • 搜索引擎,目前用了必应搜索的API。
  • 数据存储,用自家Lepton KV作为无服务器存储。

所以Lepton Search 是一个前端UI加接口调度的组合。但是这也给所有开发者一个借鉴,未来的AI应用开发将愈来愈模块化。

使用 Lepton Search

项目提供了在线试用:

search.lepton.run/

当然也可以自己来编译部署,以下几步:

首先需要获取bing的key,设置为变量

ini 复制代码
export BING_SEARCH_V7_SUBSCRIPTION_KEY=YOUR_BING_SUBSCRIPTION_KEY

编译web

arduino 复制代码
cd web && npm install && npm run build

启动服务

ini 复制代码
BACKEND=BING python search_with_lepton.py

AI增强搜索引擎

目前,大语言模型(LLM)主要面临两大挑战:数据陈旧、偶发幻觉。由于基础模型所使用的预训练数据集具有明确的截止日期,因此无法根据最新数据做出响应。即使是当前最强大的模型,也往往会因数据过时而编造答案,也就是人们常说的"幻觉"问题。

对于无法访问最新数据,可以有两种方法,第一种是通过搜索引擎,通过执行网络搜索并向大模型提交输来改善决策质量。

第二种方法是,通过所谓检索增强生成(RAG),这项成熟技术可以解决一定程度的"幻觉"问题。与前面提到的动态调用搜索 API 方法不同,RAG 强调从公开数据存储中检索数据,例如向量数据库或者由外部维护的全文搜索索引等。

项目信息

  • 项目名称:Lepton Search
  • GitHub 链接:search_with_lepton
  • Star 数:2K+
相关推荐
迅易科技1 小时前
借助腾讯云质检平台的新范式,做工业制造企业质检的“AI慧眼”
人工智能·视觉检测·制造
古希腊掌管学习的神2 小时前
[机器学习]XGBoost(3)——确定树的结构
人工智能·机器学习
ZHOU_WUYI3 小时前
4.metagpt中的软件公司智能体 (ProjectManager 角色)
人工智能·metagpt
靴子学长3 小时前
基于字节大模型的论文翻译(含免费源码)
人工智能·深度学习·nlp
AI_NEW_COME4 小时前
知识库管理系统可扩展性深度测评
人工智能
油泼辣子多加4 小时前
2024年12月18日Github流行趋势
github
海棠AI实验室5 小时前
AI的进阶之路:从机器学习到深度学习的演变(一)
人工智能·深度学习·机器学习
hunteritself5 小时前
AI Weekly『12月16-22日』:OpenAI公布o3,谷歌发布首个推理模型,GitHub Copilot免费版上线!
人工智能·gpt·chatgpt·github·openai·copilot
IT古董5 小时前
【机器学习】机器学习的基本分类-强化学习-策略梯度(Policy Gradient,PG)
人工智能·机器学习·分类
centurysee5 小时前
【最佳实践】Anthropic:Agentic系统实践案例
人工智能