MindSearch CPU-only 版部署

MindSearch CPU-only 版部署

MindSearch 是一个由上海人工智能实验室推出的开源 AI 搜索引擎框架,具有与 Perplexity.ai Pro 相同的性能。

本文以 InternStudio 算力平台为例,来部署 CPU-only 的 MindSearch。

环境准备

获取资源

bash 复制代码
mkdir -p /root/mindsearch
cd /root/mindsearch
git clone https://github.com/InternLM/MindSearch.git
cd MindSearch && git checkout b832275 && cd ..

创建虚拟环境

bash 复制代码
# 创建环境
conda create -n mindsearch python=3.10 -y
# 激活环境
conda activate mindsearch
# 安装依赖
pip install -r /root/mindsearch/MindSearch/requirements.txt

chat API服务设置

这里使用网络上的API,使用硅基流动的 API Key,所以接下来便是注册并获取 API Key 了。

首先,我们打开 https://account.siliconflow.cn/login 来注册硅基流动的账号(如果注册过,则直接登录即可)。

在完成注册后,打开 https://cloud.siliconflow.cn/account/ak 来准备 API Key。首先创建新 API 密钥,然后点击密钥进行复制,以备后续使用。
复制密钥备用

export SILICON_API_KEY=sk-odfiftjbwwmwoycqxypwjijkfsmizeplumhlmifajwggtsij

启动mindsearch后端

bash 复制代码
export SILICON_API_KEY=第二步中复制的密钥
conda activate mindsearch
cd /root/mindsearch/MindSearch
python -m mindsearch.app --lang cn --model_format internlm_silicon --search_engine DuckDuckGoSearch

如果报错:

bash 复制代码
ImportError: cannot import name 'AutoRegister' from 'class_registry' (/root/.conda/envs/mindsearch/lib/python3.10/site-packages/class_registry/__init__.py)

则:

bash 复制代码
 pip install --upgrade class_registry

启动mindsearch前端

bash 复制代码
conda activate mindsearch
cd /root/mindsearch/MindSearch
python frontend/mindsearch_gradio.py

默认启动在7882端口:

访问

做下端口映射转发

对话


部署到 HuggingFace Space
(略),连接不上。

相关推荐
Jiyoungxx5 小时前
DAY 39 图像数据与显存
人工智能·深度学习
一车小面包6 小时前
特征工程--机器学习
人工智能·机器学习·特征工程
两棵雪松9 小时前
为什么RAG技术可以缓解大模型知识固话和幻觉问题
人工智能·rag
未来智慧谷9 小时前
华为发布AI推理新技术,降低对HBM内存依赖
人工智能·华为
AKAMAI10 小时前
通过Akamai分布式计算区域实现直播传输
人工智能·分布式·云计算
坐在地上想成仙10 小时前
计算机视觉(4)-相机基础知识恶补
人工智能·数码相机·计算机视觉
sssammmm10 小时前
AI入门学习--如何写好prompt?
人工智能·学习·prompt
阿群今天学习了吗11 小时前
“鱼书”深度学习进阶笔记(3)第四章
人工智能·笔记·python·深度学习·算法
神齐的小马11 小时前
机器学习 [白板推导](十)[马尔可夫链蒙特卡洛法]
人工智能·机器学习·概率论
白-胖-子11 小时前
深度剖析主流AI大模型的编程语言与架构选择:行业实践与技术细节解读
人工智能·架构