【AI大模型】Ollama部署本地大模型DeepSeek-R1,交互界面Open-WebUI,RagFlow构建私有知识库

文章目录

个人主页: 道友老李
欢迎加入社区: 道友老李的学习社区

DeepSeek介绍

DeepSeek官网

DeepSeek(深度求索)是一家专注于实现通用人工智能(AGI)的中国科技公司,致力于通过技术探索与创新,推动智能技术的广泛应用。以下是其核心信息的概述:


公司背景

  • 成立时间:2023年(具体时间未公开披露)
  • 总部:中国杭州
  • 使命:通过AGI技术提升人类生产力,推动社会进步。
  • 愿景:成为全球AGI领域的领导者。

核心技术

  1. 大语言模型(LLM)

    • 自主研发高性能基座模型(如DeepSeek-R1、DeepSeek-R2),支持长文本理解、复杂推理和多语言处理。
    • 模型参数量覆盖数十亿至千亿级,平衡性能与计算效率。
  2. 多模态AI

    • 整合文本、图像、语音等多模态数据,开发跨模态理解与生成能力。
  3. 搜索增强技术

    • 结合搜索引擎实时数据,提升模型在知识更新与事实准确性上的表现。

产品与服务

  • 通用大模型:面向开发者的开放API(如DeepSeek API),支持文本生成、代码编写等任务。
  • 行业定制模型:针对金融、医疗、教育等领域提供垂直场景优化方案。
  • 企业级平台:提供模型训练、部署及管理的全流程工具链(如Fine-tuning平台)。
  • 开源社区:部分模型和技术开源,促进开发者协作(如发布轻量版模型)。

应用场景

  • 智能客服:自动化应答与客户意图分析。
  • 内容生成:营销文案、代码、报告等自动化创作。
  • 数据分析:从非结构化数据中提取洞察,辅助决策。
  • 教育:个性化学习助手与智能题库生成。

优势与特点

  • 技术领先:模型性能在多项基准测试(如MMLU、HumanEval)中位居前列。
  • 场景深耕:聚焦企业级需求,提供高可用的行业解决方案。
  • 生态合作:与云计算厂商、硬件供应商及高校建立联合实验室。

访问与体验

  • 官网提供在线体验入口(如Chat界面)和开发者文档。
  • 部分模型可通过Hugging Face、GitHub等平台获取。

如需更详细的技术参数、商业合作或最新动态,建议访问其官方网站或查阅官方发布的白皮书。

各个DeepSeek-R系列模型的硬件需求和适用场景

我的电脑配置:

可以跑7b和14b

Ollama

ollama search

Ollama 是一个开源的 AI 推理框架,专注于模型压缩和部署。它的目标是帮助用户在本地或边缘设备上高效运行大型语言模型(LLM),通过量化和其他技术显著减少模型大小,同时保持高性能。

主要特点

  1. 模型压缩与优化

    • Ollama 提供了多种模型压缩技术,如 4-bit 和 8-bit 量化,使大模型能够在低资源环境下运行。
    • 支持主流语言模型(如 LLaMA、Vicuna 等)的适配和部署。
  2. 高性能推理

    • Ollama 能够在本地设备上实现低延迟、高吞吐量的推理,适合实时应用。
  3. 易于部署

    • 提供简洁的命令行界面(CLI),用户可以轻松下载模型、调整参数并运行推理服务。
    • 支持 Docker 部署,便于在云服务器或边缘设备上快速搭建。
  4. 社区驱动

    • Ollama 是一个开源项目,依赖于活跃的社区支持,用户可以根据需求贡献和改进功能。

优势

  • 轻量化:通过量化技术显著降低模型大小,适合资源受限的环境。
  • 高性能:优化了推理速度,能够在本地快速响应。
  • 灵活性:支持多种模型格式和后端(如 GGML、TensorRT 等)。
  • 易于上手:用户无需复杂的配置即可开始使用。

应用场景

  1. 本地开发与实验

    • 开发者可以轻松在本地运行 LLM,用于快速测试和原型设计。
  2. 边缘计算

    • 在边缘设备(如 Raspberry Pi)上部署轻量级 AI 服务。
  3. 实时推理服务

    • 快速搭建支持多语言模型的推理服务器,满足企业或个人需求。
  4. 教育与研究

    • 提供了一个易于使用的工具,适合教学和研究场景。

安装和使用

国内下载:Ollama下载

  1. 打开cmd控制台,输入:

    bash 复制代码
    ollama

    可以看到帮助命令

  2. 下载模型(以 DeepSeek-R系列为例):

    bash 复制代码
    ollama pull deepseek-r1:1.5b
  3. 启动推理服务:

    bash 复制代码
    ollama serve --port 11434
  4. 运行模型:

    bash 复制代码
     ollama run deepseek-r1:1.5b

可以开始对话了。

配置环境变量

OLLAMA_MODELS 是修改OLLAMA下载的模型存储位置,默认是在C盘

总结

Ollama 是一个强大的工具,旨在简化大型语言模型的部署和推理过程。它通过模型压缩和优化技术,使得在本地或边缘设备上运行 AI 模型变得高效且易于管理。无论是开发者、研究人员还是企业用户,Ollama 都能提供灵活和支持,满足多种应用场景的需求。

安装open-webui

下载和安装docker desktop

官网地址:Docker Desktop

GitHub地址:Docker Desktop

配置镜像源

第一个是阿里云的镜像源,可登录阿里云平台查看

复制代码
"registry-mirrors": [
    "https://${阿里云的}.mirror.aliyuncs.com",
    "https://docker.m.daocloud.io",
    "https://mirror.baidubce.com",
    "https://docker.nju.edu.cn",
    "https://mirror.iscas.ac.cn"
  ]

安装open-webui

搜索open-webui

我这里已经安装过了。

运行和使用

在容器中运行open-webui,然后浏览器输入http://localhost:3000

进入设置

配置Ollama地址

配置好后,保存,正常的情况下,界面就会显示Ollama中已下载好的模型了

完成!可以开始对话了!

RagFlow介绍

RagFlow 是一个基于大语言模型的流程自动化工具,旨在帮助用户通过自然语言处理(NLP)技术来自动化和优化工作流程。它结合了先进的AI技术和直观的用户界面,使得非技术人员也能轻松实现流程自动化。

主要功能

  1. 智能对话交互:用户可以通过与RagFlow进行自然语言对话,定义、管理和优化各种工作流程。
  2. 任务自动化:支持多种任务类型,如数据处理、信息提取、报告生成等,帮助用户自动完成重复性工作。
  3. 跨系统集成:能够与主流的第三方服务(如Slack、Jira、Google Drive等)无缝集成,实现不同系统的数据流动和协同工作。
  4. 动态流程调整:根据实时数据和上下文环境,智能调整工作流程,确保流程始终高效运行。
  5. 可扩展性:支持大规模业务需求,适用于从个人到企业的各种场景。

适用场景

  • 企业流程优化:帮助企业在销售、 marketing、客服等环节实现自动化,提升效率。
  • 个人任务管理:用户可以通过RagFlow自动化个人日常任务,如行程安排、邮件处理等。
  • 数据整合与分析:通过自动化数据收集和处理,支持更高效的决策制定。

优势

  • 易用性:无需编程知识,用户即可快速上手。
  • 灵活性:支持定制化需求,满足不同用户的个性化要求。
  • 高效性:利用AI技术提升流程执行效率,减少人工干预。

RagFlow 通过将复杂的流程自动化转化为简单的对话交互,极大地提升了工作效率和用户体验。如果你有具体的使用场景或问题,可以进一步探讨如何利用RagFlow来优化你的工作流程!

下载及安装

  1. 从github上下载 ragflow或直接:

    git clone https://github.com/infiniflow/ragflow.git

  2. 运行脚本:进入docker 文件夹,利用提前编译好的 Docker 镜像启动服务器

    docker compose -f docker-compose-CN.yml up -d

这个过程会很慢,成功后,会自动运行容器中的服务:

浏览器上输入:http://localhost

第一个注册的账号就是管理员,登录成功

私有知识库

1. 模型供应商配置

点击头像,进入模型供应商配置

选择下面列表中的Ollama,然后进行模型配置

模型名称就是Ollama中下载的模型名称

2. 创建知识库

解析方法改成General,其他默认即可

3. 创建数据集

新增本地文件

执行解析,等待解析完成

4. 创建助理和对话

切换到聊天页,新建助理,选择知识库

切换到模型设置,调整一下最大token数

新建聊天,开始对话

相关推荐
阿坡RPA3 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户27784491049933 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心3 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI5 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c6 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得2056 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清7 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh7 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员7 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物7 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技