MindSearch CPU-only 版部署

MindSearch CPU-only 版部署

MindSearch 是一个由上海人工智能实验室推出的开源 AI 搜索引擎框架,具有与 Perplexity.ai Pro 相同的性能。

本文以 InternStudio 算力平台为例,来部署 CPU-only 的 MindSearch。

环境准备

获取资源

bash 复制代码
mkdir -p /root/mindsearch
cd /root/mindsearch
git clone https://github.com/InternLM/MindSearch.git
cd MindSearch && git checkout b832275 && cd ..

创建虚拟环境

bash 复制代码
# 创建环境
conda create -n mindsearch python=3.10 -y
# 激活环境
conda activate mindsearch
# 安装依赖
pip install -r /root/mindsearch/MindSearch/requirements.txt

chat API服务设置

这里使用网络上的API,使用硅基流动的 API Key,所以接下来便是注册并获取 API Key 了。

首先,我们打开 https://account.siliconflow.cn/login 来注册硅基流动的账号(如果注册过,则直接登录即可)。

在完成注册后,打开 https://cloud.siliconflow.cn/account/ak 来准备 API Key。首先创建新 API 密钥,然后点击密钥进行复制,以备后续使用。
复制密钥备用

export SILICON_API_KEY=sk-odfiftjbwwmwoycqxypwjijkfsmizeplumhlmifajwggtsij

启动mindsearch后端

bash 复制代码
export SILICON_API_KEY=第二步中复制的密钥
conda activate mindsearch
cd /root/mindsearch/MindSearch
python -m mindsearch.app --lang cn --model_format internlm_silicon --search_engine DuckDuckGoSearch

如果报错:

bash 复制代码
ImportError: cannot import name 'AutoRegister' from 'class_registry' (/root/.conda/envs/mindsearch/lib/python3.10/site-packages/class_registry/__init__.py)

则:

bash 复制代码
 pip install --upgrade class_registry

启动mindsearch前端

bash 复制代码
conda activate mindsearch
cd /root/mindsearch/MindSearch
python frontend/mindsearch_gradio.py

默认启动在7882端口:

访问

做下端口映射转发

对话


部署到 HuggingFace Space
(略),连接不上。

相关推荐
whaosoft-14314 分钟前
51c自动驾驶~合集2
人工智能
学步_技术15 分钟前
自动驾驶系统研发系列—如何选择适合自动驾驶的激光雷达?从基础到高端全解读
人工智能·机器学习·自动驾驶·激光雷达·lidar
橙意满满的西瓜大侠16 分钟前
pytorch导入数据集
人工智能·pytorch·python
卧蚕土豆17 分钟前
【有啥问啥】SE(Squeeze-and-Excitation)架构详解
人工智能·架构
GDL_MPY33 分钟前
ChatGPT国内中文版镜像网站整理合集(2024/10/06)
人工智能·chatgpt·aigc
milkve37 分钟前
王炸!MarsCode甄选算法题,面试官在力扣之外新选择(1)多米诺骨牌
人工智能·算法·面试
reui1 小时前
Cursor 平替项目 bolt.new
ide·人工智能·ai
小黄编程快乐屋1 小时前
小猿口算自动PK脚本
人工智能·python
⊙月1 小时前
优达学城 Generative AI 课程2:Large Language Models (LLMs) & Text Generation
人工智能·aigc
周博洋K1 小时前
怎么理解Contextual-Retrieval ?(顺手讲一下prompt-cache)
人工智能·算法