ollama

goehou3 天前
mac·集群·ollama·本地推理
两台 Mac 拼成推理池,加机器不加内存11 月 11 日,Apple 通过子公司 Claris 放出了 Harbor 的预览,两台用雷雳 5 连起来的 Mac 能自动组网,把各自的内存汇成一块统一的推理资源。这件事方向我有兴趣,但不用等预览资格,手边两台 Mac 今天就能用 Ollama 拼出同款逻辑。
武雄(小星Ai)7 天前
人工智能·windows·大模型·ollama·排坑
Ollama报llama-server binary not found排坑实录:服务活着引擎没了摘要:Windows 上 Ollama 服务进程活着、端口能通、ollama list 也能列出模型,但一调用 /api/generate 就报 llama-server binary not found。这篇文章复盘我排查这起故障的全过程:怎么定位到推理引擎目录被清空、为什么修完还不算完、以及三个官方文档没写的坑。适合在自己机器上跑本地大模型(qwen3、llama 系列等)的开发者。
goehou8 天前
sse·ollama·流式输出·客户端开发
Ollama 的流式接口不是 SSE,客户端要改三处把一个走 OpenAI 兼容接口的客户端切到本地 Ollama,第一件事就会撞上流式的差异。界面上的表现完全一样,一个字一个字往外蹦。协议底下,两边的帧长得不一样。
n1121214 天前
云原生·eureka·ollama·本地大模型·open webui·私有部署·中文界面
Ollama 接 Open WebUI 中文界面:我踩的 4 个坑前阵子我在服务器上装好了 Ollama,本地跑 qwen2.5 挺顺,就想着套个 Open WebUI 当图形界面用。结果 docker 起好之后,打开页面模型下拉框是空的,发消息报 Failed to fetch,整个人都懵了。这篇把 Ollama 接 Open WebUI 我踩过的 4 个坑记下来,全是真在机器上排出来的。
一枕槐安48715 天前
开源·本地部署·大模型推理·ollama·llama3·modelfile
开源大模型 Llama3 本地部署全过程,Ollama 上手摘要 解决传统 Llama3 本地部署需手动配置 CUDA、PyTorch 及权重文件的高门槛问题。适用于需在本地运行开源大模型以保障数据隐私或降低调用成本的后端与算法工程师。读完可获得基于 Ollama 的 Llama3 从安装、模型拉取到 Python SDK 集成的完整可运行链路。
死磕音视频17 天前
docker·ollama·本地大模型·open webui
Open WebUI 入门:用 Docker 装上本地对话界面并连接 Ollama适合人群:想在自己电脑上用网页聊天界面跑本地大模型、又不想一直敲命令行的同学和上班族。本文用 Docker 一次性装好 Open WebUI,并顺带带上 Ollama,从打开页面到发出第一条消息。
xzlAwin19 天前
ai·ollama
Win10 安装 Ollama 本地AI
读完一本书21 天前
人工智能·ollama
Ollama 跑得慢?我试了 6 个参数,只有 3 个真有用📚 本文是《AIGC 人话系列》第 10 篇 系列目录:01 内容理解|02 RAG|03 三招选型|04 工具清单|05 文档问答|06 踩坑|07 行业观察|08 本地跑模型|09 Token 计费|10 推理加速(本篇)
还卿一钵无情泪21 天前
深度学习·大模型·llama·ollama
PEFT-Transformers、Unsloth、LLaMA-Factory 微调框架 横向对比正常和标准内核有关中等取决于 LoRA 秩与 batch size较高需要自行编写训练脚本与 Hugging Face Transformers 生态完全兼容,支持 LoRA、QLoRA、Prefix Tuning 等多种方法
Flynn Liang22 天前
人工智能·spring·ollama·springai·deepseek·springai入门·java接入大模型
保姆级|Spring AI 2.0 第一个 Demo:Spring Boot 4 接入大模型(含国内可用方案 + 完整 pom)本文将解决:5 分钟内,用 Spring AI 2.0 的 ChatClient 把第一个大模型回答打印到控制台,并给出 OpenAI / DeepSeek / 通义 / Ollama 四种国内可用接入方案。
孙琦Ray22 天前
github·开源安全·ollama·litellm·僵尸网络·加密货币挖矿
黑客用一首诗控制3400台服务器挖矿一首发布在 GitHub 上的诗,成了黑客操控僵尸网络的“遥控器”。Lumen 旗下 Black Lotus Labs 安全研究人员发现的新型僵尸网络 PoeLLM,正是靠这首诗向全球 3400 台服务器下达指令,主要用来挖矿和窃取加密货币。
七夜zippoe23 天前
java·人工智能·spring·ai·ollama
Spring AI + Ollama 本地模型:数据不出内网的合规方案(落地全流程)本文是《Java 后端 + AI 落地(Spring AI 主线)》系列第 3 篇。前两篇的方案有一个共同前提——数据要出网。但对政企、金融、医疗和涉密单位来说,"把内部制度文档发给第三方 API"这条线本身就是红线,再好的效果也不能用。这篇讲清三件事:"合规"其实分三档,只有一档必须私有化;本地模型的能力折扣与显存账要怎么算(不算清这笔账,后面的架构全部白做);以及怎么用同一份 ChatClient 代码把模型从云端换成本地——这正是第 2 篇选兼容模式的价值兑现时刻。文中还给出一条被严重低估的安全红线
一级新生24 天前
人工智能·大模型·dify·ollama
Dify 接入大模型:本地还是云端?实战与选型📝 文章声明:本笔记基于 B 站黑马程序员《零基础玩转 Dify》课程学习整理,融合课程素材与个人理解,由大模型辅助生成,仅作个人学习分享,不作为权威教程。原课程讲解透彻、实操性强,想要完整系统学习,欢迎观看原版课程:《零基础玩转 Dify》
一级新生25 天前
人工智能·dify·ollama·本地大模型
Ollama 是什么、干什么用、怎么用📝 文章声明:本笔记基于 B 站黑马程序员《零基础玩转 Dify》课程学习整理,融合课程素材与个人理解,由大模型辅助生成,仅作个人学习分享,不作为权威教程。原课程讲解透彻、实操性强,想要完整系统学习,欢迎观看原版课程:《零基础玩转 Dify》
小肝一下1 个月前
python·langchain·大模型·ollama·langgrap
1.大模型介绍模型是⼀个从数据中学习规律的“数学函数”或“程序”。旨在处理和⽣成信息的算法,通常模仿⼈ 类的认知功能。通过从⼤型数据集中学习模式和洞察,这些模型可以进⾏预测、⽣成⽂本、图像或其 他输出,从⽽增强各个⾏业的各种应⽤。
Techblog of HaoWANG1 个月前
linux·数据库·ubuntu·ollama
Ubuntu 下将 Ollama 服务配置为监听 0.0.0.0:11434 完整实践摘要:本文记录在 Ubuntu 上通过 systemd 将 Ollama 服务从默认监听地址调整为 0.0.0.0:11434 的完整过程,包含推荐配置方式、原始 service 文件修改方式、监听验证、日志排查、防火墙放行与安全注意事项。 关键词:Ollama、Ubuntu、systemd、11434、OLLAMA_HOST、端口配置 适用环境:Ubuntu + systemd + Ollama 0.40.x(其他版本命令基本一致)
奋斗的源1 个月前
ai·ollama
Ollama 本地大模型运行指南:从下载到部署Ollama 是一款强大的本地大模型运行工具,它极大地简化了在本地电脑上部署和运行大语言模型(LLM)的流程。无论是热门的 Llama 3、Qwen,还是 Mistral 等模型,Ollama 都能让你通过简单的命令行操作,轻松完成下载、安装和运行,无需复杂的 Python 环境配置或 GPU 集群支持。
余槐i1 个月前
性能优化·大模型·api·rag·ollama
Ollama 长文档问答后半段全空:context 默认值与静默截断的代价本文摘要:Ollama 默认 num_ctx 为 4096,长文档超窗部分被静默截断,后半段无法引用。对比 prompt_eval_count 与预期 token 数即可发现截断,显式调大窗口即可修复。
飞鸟真人1 个月前
rag·ollama·qdrant·医学问答
RAG入门(一)用Qdrant和ollama做一个简单的医学问答软件目录1. 下载医学答问库📊 主要中文医疗数据集对比2. 安装ollama💡 安装时留意一下2.1 ollama + 关键字搜索 + 整理
Guarding and trust1 个月前
java·人工智能·python·大模型·fastapi·ollama·错误兜底
项目拆解(二):模型输出是‘野‘的——三层兜底+重分析,把AI变成可靠零件研发效能智能助手 · 第 2 个项目第 2 篇 | 上篇拆架构,这篇拆容错上一篇把 AI 代码归档系统的骨架拆完了:FastAPI 四层结构、裸调 Ollama、Prompt 设计、SQLite 归档。评论区很多人在问同一个问题:“你那个模型返回的 JSON 要是坏了怎么办?模型崩了怎么办?”