本地大模型

唐玮8 天前
本地大模型
手写一个最小 RAG:130 行代码让 3B 模型答对 90% 的公司制度题都说小模型不行。我用 130 行 Python(不用任何框架)搭了一个最小 RAG 系统,让 3B 参数的本地模型回答公司制度问题,20 道题对了 18 道。它做对的秘密不在模型,在于喂它的方式。
n1121216 天前
云原生·eureka·ollama·本地大模型·open webui·私有部署·中文界面
Ollama 接 Open WebUI 中文界面:我踩的 4 个坑前阵子我在服务器上装好了 Ollama,本地跑 qwen2.5 挺顺,就想着套个 Open WebUI 当图形界面用。结果 docker 起好之后,打开页面模型下拉框是空的,发消息报 Failed to fetch,整个人都懵了。这篇把 Ollama 接 Open WebUI 我踩过的 4 个坑记下来,全是真在机器上排出来的。
唐玮19 天前
本地大模型
Embedding 与向量数据库:给每段文字发一个坐标,然后找邻居"把模型跑起来"只是本地大模型项目的第一步。真正让它对公司业务有用的,是一套给它"递资料"的系统——而这套系统的地基,就是 embedding 和向量数据库。这两个词听起来很玄,本文用一个 20 行代码的实验把它们拆开看清楚。
死磕音视频20 天前
docker·ollama·本地大模型·open webui
Open WebUI 入门:用 Docker 装上本地对话界面并连接 Ollama适合人群:想在自己电脑上用网页聊天界面跑本地大模型、又不想一直敲命令行的同学和上班族。本文用 Docker 一次性装好 Open WebUI,并顺带带上 Ollama,从打开页面到发出第一条消息。
诺伦1 个月前
模型量化·ai agent·本地大模型·大模型部署·nvidia nemotron
24GB 显存跑 740 亿参数 Agent:Nemotron 3.5 Bolt 本地部署工程拆解 | RiseClaw玄策10 月 15 日,NVIDIA 在官方研究页发布 Nemotron 3.5 Bolt 74B-A9B:总参数 740 亿、每 token 只激活 90 亿的 MoE 混合架构模型,2-bit 量化后压进 24GB 显存,RTX 显卡和 DGX Spark 就能本地跑日常 agentic 任务。agentic 任务流的工程参照可以看 RiseClaw玄策 的公开仓库。本文不评产品,只做技术拆解:模型架构怎么设计、22.1GB 的量化权重怎么算出来、24GB 显存预算下 84 TPS 的吞吐怎么达成、本地跑
一级新生1 个月前
人工智能·dify·ollama·本地大模型
Ollama 是什么、干什么用、怎么用📝 文章声明:本笔记基于 B 站黑马程序员《零基础玩转 Dify》课程学习整理,融合课程素材与个人理解,由大模型辅助生成,仅作个人学习分享,不作为权威教程。原课程讲解透彻、实操性强,想要完整系统学习,欢迎观看原版课程:《零基础玩转 Dify》
唐玮1 个月前
本地大模型
大模型到底是什么:一个不断"预测下一个词"的程序前不久我在本地跑通了 ollama 和两个 qwen 模型,部署过程很顺利,但有一个问题一直悬着:那个 1.9GB 的文件里到底装了什么,凭什么它就能"对话"?这篇是我跟随 Andrej Karpathy 的入门视频(《Intro to Large Language Models》,2023 年,约 1 小时;他是 OpenAI 创始成员、前 Tesla AI 总监,原视频 https://www.youtube.com/watch?v=zjkBMFhNj_g ,B 站有翻译版)系统学习后的答案。
n112121 个月前
llama·llama.cpp·本地大模型·gguf
4G 显存老显卡怎么跑模型:llama.cpp 加 GGUF 配置手头有块 4G 显存的老显卡,好几年前买的,平时就看看视频。今年想在家跑个本地大模型,一开始图省事装 Ollama,拉了个 7B 的模型,一跑就报 CUDA out of memory,显存直接爆掉。后来换 llama.cpp 配 GGUF 量化模型,才算在这张卡上把模型跑起来。这篇把配置和踩的坑写下来。
飞塔老梅子2 个月前
人工智能·flash·本地大模型·lm studio·qwen3.8
16. M5 Max 128GB内存能支持的最大模型 (2) ❀ 老梅子学AI【简介】虽然知道MLX-Serve很好,但是要敲命令,对电脑不熟悉的就头大了,想想还是LM Studio简单方便,那还有没有在LM Studio下可以用的占满128G内存的大模型呢?
ayaya_mana2 个月前
windows·本地大模型·qwen3.5
Qwen3.5-9B融合DeepSeek-V4-Flash小模型实测与部署本地部署大模型的玩家大多面临一个取舍:大模型聪明但吃显存,小模型轻快但降智。重度任务交给大模型没问题,但日常的翻译、摘要、闲聊类工作用它们有点“高射炮打蚊子”。
虎虎(_ _)。゜zzZ2 个月前
agent·ollama·本地大模型·qwen2.5·离线ai·llm部署
零基础本地部署Qwen2.5-7B:从环境准备到模型对话的完整实操前言:如果你和我一样,不想把敏感数据上传到云端大模型,又希望在本地拥有一款性能不错的中文对话AI,那么这篇教程就是为你准备的。全程无需GPU,普通笔记本也能跑,而且完全离线可用。
每日出拳老爷子2 个月前
gpu·nvidia·cuda·ollama·本地大模型
【AI】Ollama 更新后 skipping CUDA 掉回 CPU我这次看到的是 Ollama GitHub issue 里的一组对照日志,不是我在自己 3060 上复现出来的结果。 麻烦的地方在于,Ollama 升到 0.32.14 以后,三十系 / sm_86 显卡不是直接报“CUDA 不可用”,而是日志里跳过 CUDA 设备,最后静默掉回 CPU。 这篇文章只处理这一件事:看到 skipping CUDA device - compute capability not in compiled architectures 时,先判断是不是 0.32.14 的后端库选
菊链诗腾4 个月前
人工智能·调优·本地大模型
部署大模型8GB显存128K大模型调优实战基于您最后一次实测的详尽日志数据(Prefill 高达 415 t/s,生成稳定在 15~24 t/s,以及 SWA 导致的强制重算现象),我为您重新梳理了一套端到端(服务端 + AI IDE 客户端) 的完整大模型调优与工程化落地方案。
Python私教5 个月前
人工智能·语言模型·qwen·ollama·本地大模型·大模型部署·deepseek
Cursor + Claude Code 全流程实战:搭一套生产级 AI 编程工作流(2026 最新版)这是专栏「AI编程实战:Cursor与Claude Code」的第 1 篇。读完你会得到一套可以照抄进真实项目的 AI 编程工作流:Cursor 与 Claude Code 各自的定位与协作分工、项目级提示词(rules)的写法、一个真实小项目从 0 到跑通的多文件改造、以及 8 个我在生产中真实踩过的报错的「原文 + 根因 + 解法」。不是"怎么装个插件试试看",而是"明天上班就能用上、还能少踩坑"。
兆。6 个月前
langchain·openai·qwen·ollama·本地大模型
如何在本地搭建天气智能体项目本文将介绍如何在本地搭建一个完整的天气智能体项目。项目主要分为两部分:根据 2026 年 Ollama 最新公告(v0.18.0),我们使用以下技术:
不懒不懒6 个月前
dify·ollama·本地大模型·qwen3.5·电商智能客服·react 智能体;
【从零搭建本地电商智能客服 Agent:Dify+Ollama+Qwen3.5 部署全流程】本文针对开源电商智能客服 Agent 的部署与落地,提供一套基于 Docker 自托管 Dify + Ollama 本地大模型 + SQLite 商品数据库 的完整技术方案。该方案完全脱离 OpenAI 付费 API,以 Qwen3.5:4b 为核心模型,实现免费、离线、可定制的电商智能客服系统,解决了传统客服系统依赖付费接口、数据隐私风险高、部署成本高的痛点。文中详细记录了从 WSL2 环境配置、Dify 容器部署、Ollama 模型对接,到 Agent 业务逻辑实现的全流程,为个人开发者和中小企业提供
其实防守也摸鱼7 个月前
人工智能·安全·ai·大模型·软件工程·本地大模型
部署本地AI大模型--ollma下载链接:1.官网:在Windows上下载《Ollama2.github:Release v0.21.0 · ollama/ollama
razelan8 个月前
人工智能·api·ollama·本地大模型
本地大模型系列:2.通过API让本地大模型为你服务上一篇我们介绍了ollama和lmstudio,这两个工具都是个人版的运行大模型的工具,可以用来运行本地小参数的LLM(所谓小参数一般指不超过27B的4bit量化LLM,按照1B参与大约需要0.7G显存加载进行预测,加上其他开销月1-1.5G,可以估算自己自己的设备可以跑多大的参数)
荷蒲8 个月前
人工智能·python·机器学习·ai·金融·本地大模型
【小白量化机器人】爬取财经新闻并利用本地大模型评分选择合适交易策略【小白量化机器人】环境,提供了全球市场的实时行情和交易接口。我们利用本地大模型进行分析。一般趋势行情选择趋势策略,震荡行情选择震荡策略。 我们利用爬虫,爬取最近2天的财经新闻。 再利用大模型进行评分。如果新闻平稳偏向看多,就使用趋势交易策略。
鱼总美签9 个月前
ai助手·vllm·本地大模型·clawdbot
ClawdBot保姆级教学:解决Gateway not reachable错误的5种方法ClawdBot 是一个真正属于你自己的个人 AI 助手。它不依赖远程API、不上传隐私数据、不按调用次数收费——所有推理都在你自己的设备上完成。你可以把它理解成“装在你电脑里的 Siri + Copilot + Notion AI 的混合体”,但更自由、更透明、更可控。