ollama

❀͜͡傀儡师1 天前
openapi·ollama·new-api
NAS部署New-API本地Ollama秒变公网OpenAI接口核心目标:将本地Ollama模型和各类云端API整合为一个统一的、支持公网访问的OpenAI格式接口。
逻极3 天前
人工智能·windows·gpu·amd·ollama
Windows平台Ollama AMD GPU编译全攻略:基于ROCm 6.2的实战指南(附构建脚本)Ollama作为当前热门的本地大语言模型运行框架,其官方版本主要针对NVIDIA CUDA进行了优化。对于广大AMD GPU用户而言,直接使用官方二进制包无法获得GPU硬件加速,导致模型推理速度大幅下降。本文将深入解析如何在Windows系统上,利用AMD ROCm 6.2 SDK,从源码编译出支持AMD GPU加速的Ollama版本,并详细解释每一步背后的技术原理与最佳实践。
comedate3 天前
ai agent·ollama·openwebui·openclaw
【OpenClaw】一文说明 OpenWebUI / Ollama / OpenClaw 的区别与关系本文档对比了三个自托管 AI 项目的核心定位、功能特点与相互关系。定位:轻量级的本地 AI 模型运行服务
福大大架构师每日一题3 天前
音视频·ollama
ollama v0.20.0 更新:Gemma 4 全家桶发布,音频、视觉、MoE、BPE 支持全面升级2026年4月3日,ollama 发布了 v0.20.0 版本。 这次更新的核心非常明确:Gemma 4 正式加入支持,并且围绕模型推理、音频能力、Tokenizer、视觉测试、转换器、OpenAI 音频接口等多个方向进行了集中增强。
Hello.Reader4 天前
ollama
双卡 A100 上如何给 Ollama 做轮询分发与健康检查,真正把吞吐跑满如果你的模型能完整装进单张 A100,那么对“整机总吞吐”来说,双实例双端口 往往比“单实例双卡自动调度”更直观、也更好控。原因很简单:你把 11434 固定给 GPU0,把 11435 固定给 GPU1,请求层再做轮询,这样两张卡会各自维护一份模型副本,各自处理一部分流量。Ollama 的 API 本身就是本地 HTTP 服务,天然适合被上层反向代理接入。(Ollama 文档)
凤山老林5 天前
java·人工智能·ollama·deepseek·spring ai 阿里巴巴
Java 开发者零成本上手:用 Spring AI Alibaba + Ollama 本地跑通 DeepSeek 大模型无需 API Key、无需云端费用、数据不出本机——一条命令启动模型,十几行 Java 代码完成首次对话。
诸神缄默不语6 天前
llm·大规模预训练语言模型·vllm·ollama
本地LLM部署工具(写给小白的LLM工具选型系列:第一篇)诸神缄默不语-个人技术博文与视频目录本地部署LLM的优势:本地部署LLM的劣势:本文主要考虑的是在你自己的电脑上运行LLM推理服务,但是下文会介绍的llama.cpp、vllm等工具事实上在企业级生产服务中也很常用。功能不仅局限于个人消费级使用。
福大大架构师每日一题7 天前
缓存·ollama
ollama v0.19.0 发布!Web 搜索插件上线、多模型兼容修复、MLX 与 KV 缓存全面优化,本地大模型体验再升级ollama v0.19.0于2026年3月30日正式发布,作为本地大模型部署与运行的核心工具,本次更新聚焦用户体验优化、功能增强与底层问题修复,覆盖应用交互、插件能力、API性能、模型兼容、MLX运行器、注意力机制等多个核心维度,同时包含26次提交、58个文件改动,全面提升ollama的稳定性、兼容性与实用性。
AAA阿giao8 天前
react.js·express·ollama
打造你的 Git 提交 AI 神器:从零实现前后端分离的 Commit Message 生成器一句话概括:用 React + Express + Ollama,三分钟自动生成符合规范的 Git Commit Message!
村中少年9 天前
vscode·llm·token·ollama·本地模型·qwen3
vscode如何添加ollama本地模型-实现token自由vscode一直支持的都是云端闭源的模型,例如 GPT Claude等等,当这些闭源模型的免费额度用完之后,则需要付费继续使用。本文介绍的是vscode接入ollama的本地模型,从而实现token自由。
竹之却11 天前
windows·llama·ollama·openclaw·qwen3.5
【OpenClaw】云服务器端 openclaw 集成本地 Windows端 ollama 模型首先配置两个环境变量, 打开 powershell ,执行以下指令:接下来,打开任务管理器( ctrl + shift + ESC ),搜索 ollama ,在后台进程中,右键,选择 结束任务 。关闭所有 ollama 相关的进程。然后 重新启动 ollama , 让 ollama 检测到环境变量。
加斯顿工程师11 天前
windows·大模型·本地部署·ollama·qwen3.5
Windows系统使用Ollama本地化部署Qwen3.5-9B模型教程在 Windows 系统上使用 Ollama 本地化部署 Qwen3.5-9B 大语言模型的教程,通过自定义安装路径实现灵活的磁盘空间管理。部署流程涵盖两种模型获取方式:一是通过魔塔社区下载 GGUF 格式量化模型,利用 Modelfile 配置文件执行命令完成本地模型构建;二是直接通过命令拉取官方仓库镜像。本教程适用于需要本地私有化部署,且对数据隐私有严格要求的 AI 应用场景。
chenhua11 天前
飞书·ollama·群聊·本地小模型·多agent·openclaw
openclaw基于飞书群聊中减少机器人大模型调用次数在飞书群聊中,我们部署了多个 AI 助手机器人(DevBot、QABot、PMBot、PjMBot)。每个机器人都有自己独立的 Agent 配置,通过飞书开放平台接入群聊。
brucelee18614 天前
debian·ollama·open claw
Debian 安装 Ollama 教程Debian 安装 Ollama 教程,包含加速、常见问题和验证步骤。What is Ollama🇨🇳:Ollama 是一个本地运行大模型(LLM)的工具(类似本地 ChatGPT)
将冲破艾迪i14 天前
人工智能·python·ollama·deepseek
【AI】部署及调用deepseek和qwen等大模型大模型部署,有三种方案:主流的大模型(如deepseek等),官方都提供了开发API,无需部署,直接调用访问即可。
竹之却15 天前
代理·ollama·deepseek·openclaw·ollama 模型下载
【Ollama】解决 ollama 软件下载慢,模型下载慢的问题ollama 官方地址鼠标悬停,会在左下角显示下载链接。点击右键,选择复制下载链接。github官网链接:ollama-github 官网链接
福大大架构师每日一题16 天前
golang·ollama
ollama v0.18.2 发布!OpenClaw 安装优化、Claude 加速、MLX 量化全面升级2026年3月19日,Ollama 正式推出 v0.18.2 最新版本,本次更新聚焦于本地运行效率、依赖检查、模型适配、插件注册、会话管理、界面兼容、云端代理流式处理以及 MLX 推理架构等多个核心模块,全面修复了历史版本中的多项问题,同时对底层推理、模型加载、工具集成逻辑进行深度重构,极大提升了 OpenClaw、Claude Code、Ollama 本地模型、云端模型的使用稳定性与运行速度。
razelan20 天前
人工智能·api·ollama·本地大模型
本地大模型系列:2.通过API让本地大模型为你服务上一篇我们介绍了ollama和lmstudio,这两个工具都是个人版的运行大模型的工具,可以用来运行本地小参数的LLM(所谓小参数一般指不超过27B的4bit量化LLM,按照1B参与大约需要0.7G显存加载进行预测,加上其他开销月1-1.5G,可以估算自己自己的设备可以跑多大的参数)
樂油20 天前
ollama·openclaw
小龙虾OpenClaw本地部署(四)连接ollama模型(qwen3.5:0.8b为例)1、需要电脑安装了ollama并且下载了qwen3.5:0.8b的模型,参考我的这篇文章安装和拉取模型:DeepSeek本地部署(ollama、Cherry Studio),注意选择的模型要有tool属性
弗锐土豆20 天前
llm·大语言模型·安装·ollama
使用ollama运行本地大模型在研发一个AI与传统业务系统结合的产品,需要本地化LLM(大语言模型)环境。所以选择ollama来管理本地LLM,本次学会安装使用ollama。