ollama

springboot+Ollama整合最近领导让研究下AI，大模型等，第一次操作，记录下，有需要的小伙伴也可以参考：第一步：下载Ollama，地址链接https://ollama.com/download，对应电脑下载，然后正常双击安装，安装后双击打开，会提示登入/注册；第一次的话正常注册就行

虎虎(_　_)。゜zｚＺ

零基础本地部署Qwen2.5-7B：从环境准备到模型对话的完整实操前言：如果你和我一样，不想把敏感数据上传到云端大模型，又希望在本地拥有一款性能不错的中文对话AI，那么这篇教程就是为你准备的。全程无需GPU，普通笔记本也能跑，而且完全离线可用。

智嵌研习社

Ollama本地大模型部署实战指南：从环境搭建到生产级API调用全解析随着大模型技术从尝鲜走向落地，越来越多的企业与开发者开始面临云端API无法覆盖的场景：企业内部涉密数据不能出域、工厂与政务内网完全离线、高并发调用成本远超硬件投入、实时交互场景对延迟要求极高。在这些需求驱动下，本地部署大模型已经从"技术玩具"变成了"生产刚需"。

每日出拳老爷子

【AI】Ollama 更新后 skipping CUDA 掉回 CPU我这次看到的是 Ollama GitHub issue 里的一组对照日志，不是我在自己 3060 上复现出来的结果。麻烦的地方在于，Ollama 升到 0.32.14 以后，三十系 / sm_86 显卡不是直接报“CUDA 不可用”，而是日志里跳过 CUDA 设备，最后静默掉回 CPU。这篇文章只处理这一件事：看到 skipping CUDA device - compute capability not in compiled architectures 时，先判断是不是 0.32.14 的后端库选

六、LangChain——StrOutputParser和JsonOutputParser以第一次模型的输出结果，拿去第二次询问模型现在需要：chain = prompt | model | model，参与链的构建的组件完全符合要求，但运行会报错 ValueError: Invalid input type <class 'langchain_core.messages.ai.AIMessageChunk'>. Must be a PromptValue, str, or list of BaseMessages.

大模型真好玩

大模型训练全流程实战指南实战篇（十四）——网络安全大模型数据获取上篇文章使用EvalScope完成了从单一数据集单项能力评测，到多数据集综合评测，再到自定义数据集领域评测的完整实战。至此，本专栏的工具篇正式收官——从训练流程总览、OCR 与 EasyDataset 的数据获取处理，到 LLaMAFactory 的使用、参数详解与调优，再到评测方法与实战演练，大家手中已经集齐了大模型训练全链路的“武器库”。

本地搭建 AI 大模型完整实战指南（2026）目标：完全本地运行，不上传数据到外网，隐私优先；分硬件评估、选型、3 种主流部署方案、一键工具、手动代码、性能调优、常见坑。

Dify+Ollama私有化部署方案可以租赁云平台更新软件包索引 sudo apt-get update 安装一些必要的软件包，以便apt能够通过HTTPS使用仓库： sudo apt-get install apt-transport-https ca-certificates curl software-properties-common 添加Docker的官方GPG密钥：这一步是为了确保你从Docker下载的软件是安全可靠的。 curl -fsSL https://download.docker.com/linux/ubuntu/gp

大模型本地部署神器的瘦身进阶原理，就这两招？温馨提示：另有配套视频版，附带图解演示，观感不同，欢迎到各大视频平台搜索同名标题或【蛋先生说识】丹尼尔：蛋兄，本地跑大模型，有啥好工具推荐不？

LangChain1.2学习第二章—— 调用大模型说明：本套资源源于B站尚硅谷教程，视频链接：https://www.bilibili.com/video/BV1rv7A6oEeP?spm_id_from=333.788.videopod.episodes&vd_source=bba5be243325ecee1f55ec265557fedd

weixin_47138303

25 Ollama 本地部署Ollama 是一个本地 LLM 运行时——你在本机启动一个 HTTP 服务，它负责加载模型、推理、返回结果。接口格式与 OpenAI 完全兼容.

DeepSeek Harness 使用 Ollama 本地部署的 AI 大模型（以Qwen3.8-27B为例）DeepSeek Harness 是 DeepSeek AI 推出的开源 Agent 框架，而 Ollama 是最流行的本地大模型运行工具。将两者结合，可以构建一套完全本地化、无需联网、数据不出电脑的 AI Agent 系统。

多模态大模型视听生成本地实战从纯文本交互到跨模态感知，多模态大模型（MLLM）正成为 AI 从语言对话走向全场景智能的关键枢纽。本文从核心分类、对齐机制、任务矩阵到本地部署，系统拆解多模态技术的工程化落地全流程。

Moon上有月亮

Ollama 完全指南：本地大语言模型的“开箱即用”方案从安装到部署，彻底搞懂 Ollama 的核心机制与实战应用一句话定义： Ollama 是一个本地大语言模型（LLM）部署与管理平台，让你可以在自己的电脑上轻松运行各种开源大模型，无需云服务、无需 API 密钥。

大模型落地选型GGUF 量化与 Ollama 部署指南在生成式 AI 工程化落地中，开发者常需要在模型定制、知识更新、算力开销与推理延迟之间进行多维权衡。本文将提供一套覆盖微调选型、知识增强、GGUF 模型压缩与 Ollama 本地部署的完整落地链路。

本地跑大模型到底选哪个？我用llmfit把32000星的项目实测了一遍上周五晚上心血来潮想跑一下Qwen3.8-27B。Ollama装好，模型拉下来，选了Q5_K_M量化——加载到62%终端直接甩了个CUDA OOM。当时是真的烦。文件下了快20分钟，结果加载一半炸了。冷静下来算了一下：27B参数Q5量化，光模型权重就16GB多，加上KV cache预分配，24GB的3090确实不够用。降到Q4_K_M能塞进去，但速度只有7-8 token/s，打一行字的时间它能给你想出半分钟。

Llama 3 私有化落地全栈实战：从 Ollama 极速部署到 LLaMA Factory LoRA 定制微调在前沿生成式 AI 的落地应用中，开发者常面临两大工程痛点：本文将围绕开源大模型基座 Llama 3，提供一条“推理部署 + 轻量微调”的完整闭环方案：采用Ollama构建零门槛本地 API 服务，结合LLaMA Factory框架完成低算力消耗的 LoRA 参数高效微调（PEFT）。

Claude Code接入本地大模型指南使用 ccswitch 将 Ollama 本地模型接入 Claude Code，核心思路是让ccswitch 作为一个“翻译官” ，将 Claude Code 的请求转发给你本地运行的 Ollama 服务。本篇文章将详细介绍如何通过CC Switch，将Ollama本地大模型接入Claude Code，实现零成本、高隐私、随时可用的本地AI编程体验，带你操作不（sheng）踩（da）坑（qian）！

Copilot能换成本地吗？VSCode接本地大模型本地化接入方案目录第一步：本地算力中心——Ollama第二步：VS Code 的灵魂——Continue 插件第三步：告别“只会用云端补全”——我的实战建议

16GB Mac 本地跑大模型：ollama 局域网 OpenAI 兼容 API 实战（一：需求与配置）我有一台 MacBook Air M3 / 16GB，平时主力使用云端大模型，但断网就抓瞎。因此设定了三个核心目标：