Anything LLM+LM Studio+SearXNG实现私有模型开启联网功能

一、Anything LLM简介

一个全栈应用程序,使您能够将任何文档、资源或内容转换为上下文,任何LLM都可以在聊天过程中将其用作参考。此应用程序允许您选择要使用的LLM或矢量数据库,并支持多用户管理和权限。

AnythingLLM将您的文档划分为称为工作区的对象。工作区的功能很像线程,但增加了文档的容器化。工作区可以共享文档,但它们不会相互通信,因此您可以保持每个工作区的上下文干净。

AnythingLLM的酷炫功能

二、安装Anything LLM

官方下载地址:https://anythingllm.com/desktop

下载64位

下载完成后,直接下一步,下一步安装即可。

打开首页,新建工作区,My Workspace

三、LM Studio配置

LM Studio 是一款桌面应用程序,用于在您的计算机本地开发和实验 LLM。

LM Studio的安装过程,这里不再重复,参考文档:https://www.cnblogs.com/xiao987334176/p/18855424

运行qwen3-8b模型即可

四、Anything LLM配置

大语言模型(LLM)

选择LM Studio,并配置模型,API地址

代理技能

开启web search(网络搜索),插件选择SearXNG,输入SearXNG API地址,比如:http://192.168.10.5:8081/search

访问http://192.168.10.5:8081/search,搜索天气,确保能正常搜索。

开发者API

生成新的API密钥,用于对外提供API接口调用

点击上面的,阅读API文档,打开页面后,点击认证

输入API密钥,并验证

测试调用接口,获取模型

点击执行,得到结果,模型为my-workspace,记住这个参数,等会要用到。

返回Anything LLM首页,新建一个会话,选择模型

选择模型

工作区设置自动开启联网功能

点击工作区设置

找到代理设置

注意:如果要联网功能,必须在输入信息开头添加@agent

但是这样会很麻烦,如何在上下文自动判断加@agent呢?

答案很简单,直接加提示词即可。

点击聊天设置

修改提示词,增加红色方框的文字,注意:最好是英文

完整提示词如下:

复制代码
Given the following conversation, relevant context, and a follow up question, reply with an answer to the current question the user is asking. Return only your response to the question given the above information following the users instructions as needed.
If unable to answer, add @ agent before the context and use the online search function to answer.

翻译成中文的意思是

复制代码
根据以下对话、相关背景和后续问题,回答用户当前提出的问题。根据需要,按照用户说明,仅返回您对上述信息问题的回答。
如果无法回答,请在上下文前添加@agent,并使用在线搜索功能回答。

这样的话,你在聊天的过程中,遇到模型无法回答的问题,会自动在上下文添加@agent

五、测试联网功能

Anything LLM聊天测试

返回工作区,测试联网,查询天气

可以看到,它会自动添加@agent

Cherry Studio测试

添加模型供应商Anything LLM

输入api密钥,api地址,模型

点击检测, 验证是否成功

返回聊天框,选择模型Anything LLM

查询北京天气

可以看到,自动添加了@agent,联网查询结果。

相关推荐
XLYcmy5 天前
PDF论文处理器 - 完整使用指南
pdf·llm·json·agent·token·csv·dify
todoitbo5 天前
用蓝耘元生代做 GitHub 热榜解读:Dify Chatflow 接入和真实项目分析
ai·github·api·dify·蓝耘
lee_curry8 天前
Dify+Ollama私有化部署方案
ai大模型·dify·ollama
技术小甜甜9 天前
Dify 工作流场景目录(2026):客服、回访、采购、知识库、系统集成怎么找入口
workflow·知识库·客服·工作流·dify·场景
weixin_4316004410 天前
Agent Workflow 学习向:最小拖拽画布,看得见地编排,再一键跑通
后端·学习·ai·dify
星野云联AIoT技术洞察11 天前
Dify 适合什么 AI 应用项目:Workflow、RAG、Agent 与自研系统的边界
agent·workflow·llmops·dify·rag·ai agent·ai应用开发
XLYcmy18 天前
PDF论文处理器 - 功能总结
数据库·python·pdf·csv·pymupdf·dify·文本分割
鱼日先生18 天前
Dify 企业级实验(04):性能优化实战——长流程从 60 秒到秒回有哪些手段?
人工智能·工作流·dify·ai agent·大模型应用·ai 训练
鱼日先生19 天前
Dify 中级实验(17):调试监控与性能优化——响应慢和 Token 超支如何定位?
工作流·dify·ai agent·大模型应用·ai 训练
鱼日先生19 天前
Dify 高级实验(09):测试用例生成——如何让 AI 自动产出测试用例?
人工智能·测试用例·工作流·dify·ai agent·大模型应用·ai 训练