deepseek本地部署

ollama+anythingllm本地环境搭建与rag检索增强环境搭建

1 ollama

1 下载安装文件

ollama官网下载安装文件对应系统的安装文件,我这里是在windows上安装,所以下载OllamaSetup.exe

2 执行安装命令

这里可以直接双击exe安装,但是应用程序默认会安装的用户目录下面取,如果想改变安装路径,可以使用下面命令安装:

OllamaSetup.exe /DIR="D:\programs\ollama"

3 设置模型保存路径(可选)

点击设置可以可以修改模型保存路径

4 下载模型

选择好模型后,可以做出一个提问,就会自动下载模型了

2 AnythingLLM

1 安装

下载anythingllm然后点击安装文件安装,配置过程中选择ollama和对应的模型,最后勾选运行即可

2 ‌Workspace(工作区)‌

‌ 一个独立的 AI 对话环境,可以绑定特定用户组,实现细粒度权限隔离。核心属性‌:

|-------------------------------------------------------------------------------------------------------------------------|
| id:唯一标识。 name:工作区名称。 slug:URL 友好标识。 openAiPrompt:系统提示词。 openAiTemp:温度参数。 similarityThreshold:相似度阈值。 chatProvider:聊天提供商。 |

|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| openAiTemp: 1. ‌温度值范围‌ ‌取值范围‌:0.0(最确定)到 1.0(最随机)。 ‌默认值‌:通常为 0.7(平衡状态)。 2. ‌作用机制‌ ‌温度 0.0‌:生成结果高度确定,输出内容更固定、可预测。 ‌温度 1.0‌:生成结果更随机,输出内容更多样化、创新。 ‌实际效果‌: ‌0.0-0.3‌:适合需要精准答案的场景(如代码补全、事实查询)。 ‌0.4-0.6‌:平衡状态,适合日常对话。 ‌0.7-1.0‌:适合创意写作、生成多样化内容。 |

|--------------------------------------------------------------------------------------------|
| similarityThreshold : 是一个介于 0 到 1 之间的浮点数,用于衡量文档与用户问题的语义相似度。通过设定阈值,过滤低相关性文档,提升回答的准确性和聚焦度。 |

‌功能‌:

支持多用户协作与权限隔离,例如"财务制度"Workspace 只对财务部门开放

将私有文档转化为可对话的知识库,支持多格式文档(Word/PDF/图片等)

3 Thread

工作区内的一个独立对话线程,用于管理用户与 AI 的交互历史。核心属性‌:

|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| id:聊天会话 ID。 workspaceId:所属工作区 ID。 prompt:用户输入。 response:AI 响应。 user_id:用户 ID。 thread_id:线程 ID。 include:是否包含在历史中。 feedbackScore:反馈评分。 chatMode:聊天模式。 vectorSearchMode:向量搜索模式 |

4 准本RAG文档内容和验证

text.txt内容如下

复制代码
问题:张三和李四是什么亲属关系?
答案:张三和李四夫妻关系

首先提问(此时没有把上面的文本嵌入AnythinLLM向量数据库):

上传数据到AnythinLLM向量数据库保存后再次提问:

看,回答正确。

5 权限

桌面版没有看到有设置用户权限的地方

发现的问题

有时候思考的时候显示的是英文内容,这有点恶心。你问的是中文,它直接用英文回答你。

相关推荐
中电金信2 分钟前
中电金信 :一站式企业智能体柔性生产全链路解决方案
大数据·人工智能
观远数据8 分钟前
跨部门BI落地的核心:如何做好数据集权限治理消除数据孤岛
大数据·人工智能
INNOVIX稳石机器人9 分钟前
稳石AI智慧仓储解决方案:软硬一体,四维赋能, 重构智造仓储新范式
人工智能
微三云 - 廖会灵 (私域系统开发)9 分钟前
人工智能在电商领域的全场景落地:从智能推荐到信任电商的技术重构摘要
人工智能·重构
董可伦12 分钟前
RAG 工具怎么选:LangChain、LlamaIndex、Dify 实测对比
人工智能·ai·langchain·大模型
海盗123413 分钟前
AI新闻日报_2026-08-12-AI Coding 权限范式重构 / 10 亿用户里程碑 / 具身智能资本与基模双线冲刺
人工智能·重构
天磊卫士(深圳)科技有限公司15 分钟前
关于天磊卫士(深圳)科技有限公司在网络安全与 AI 合规服务方面的解读
人工智能·科技·web安全
怦怦蓝17 分钟前
给AI装上“眼睛”:一文讲透视觉语言模型(VLM)
人工智能·语言模型·自然语言处理·vlm
(轻舟已过万重山)18 分钟前
B2 · RAG 实战——检索卫生决定 80% 效果
人工智能·ai
月光船幽幽22 分钟前
昆仑流形多模态融合新架构
人工智能·python