大语言模型运行工具及格式 Ollama操作大模型 LangChain应用开发框架【2026】

大语言模型运行工具及格式

运行工具(软件):

1、LM Studio:最推荐新手。

2、Ollama:开发者。

3、llama.cpp:底层引擎,性能天花板、可深度调优。

4、vLLM:高并发/生产环境,企业级高性能推理服务。

大模型的格式,GGUF = Generic Graph Update Format:

.gguf,目前通用标准,取代旧格式,Ollama、llama.cpp、vLLM、所有本地部署首选。

.ggml,老版本格式,已淘汰,不再用;旧版 llama.cpp 遗留

.bin/.safetensors,原生PyTorch/HuggingFace原模型,训练、微调、HuggingFace下载原版模型。

.gptq,GPU量化专用 旧版量化、部分显卡专属。

.

awq,另一种 GPU 量化格式,高性能显卡推理。

Ollama操作大模型

Ollama = 本地大模型的「Docker」+「HTTP 服务器」+「模型管家」

Ollama环境变量:OLLAMA_MODELS=F:\ProgramData\Ollama_Models,模型存储目录。

复制代码
OLLAMA_MODELS/
├── blobs/【真实模型文件,核心权重文件】
├── manifests/【清单 & 索引】
│   └── registry.ollama.ai/
│       └── library/
└── models/【软链接/分层映射】

Ollama提供的Web 服务: http://localhost:11434

复制代码
# 启动&停止
net stop ollama
net start ollama

# 拉取模型
ollama pull qwen2.5:7b-instruct
ollama pull qwen2.5:14b-instruct
ollama pull deepseek-coder:14b

# 启动并进入对话窗口
ollama run qwen2:7b
# 退出对话
/bye

# 单纯加载驻留内存,不进终端
ollama run qwen2.5:7b-instruct ""

# 启动设置保活,加载后一直不释放
ollama run qwen2.5:7b-instruct && ollama keepalive -1

# 后台静默启动(纯 API 服务用)
ollama serve

# 启动,限制上下文长度(num_ctx)、CPU线程(num_thread)
ollama run qwen2:7b --num_ctx 8192 --num_thread 16

# 查看状态
tasklist | findstr ollama
netstat -ano | findstr 11434

# 查看本地已下载的模型
ollama list
# 查看正在运行占用内存的模型
ollama ps

# 停止指定模型
ollama stop qwen2:7b
# 停止所有运行模型
ollama stop all

# 清理不用的模型
ollama rm 模型全名

LangChain应用开发框架

LangChain 是一个「大模型应用开发框架」,它不是大模型,不训练模型,不生成权重,旨在快速、低成本、用代码搭建大模型应用。

LangChain家族(三大版本):LangChain (Python) --- 最成熟、功能最全;LangChain.js (JavaScript/TS) --- 前端/Node用;LangChain4j (Java) --- Java / SpringBoot后端用。

LangChain,功能对等的最佳匹配版本:

Python端:langchain==1.2.17,地址:https://www.langchain.com.cn/。

前端/Node端:LangChain.js==1.2.35,地址:https://docs.langchain.com/oss/javascript/langchain/overview。

Java端:langchain4j==1.13.0, 地址:https://docs.langchain4j.dev/,中文官网:https://langchain4j.cn/。

相关推荐
锋行天下几秒前
LangGraph 对接 MCP 实战指南:从本地开发到线上部署与模型防坑
前端·人工智能·后端
汤姆宝库15 分钟前
解码采样策略的实现:temperature、top-p、min-p与重复惩罚
人工智能
鶴哥只手遮天16 分钟前
《WeKnora 深度技术解析》第 5 章 数据底座:多租户模型、仓储与迁移
人工智能
guuguo32 分钟前
【做个开源软件】Mac 上 node 进程莫名吃掉 6G 内存?给 AI / MCP 做了个深度归因和安全回收工具
人工智能·开源·github
xyphf_和派孔明33 分钟前
第六章: AI Agent长期记忆的存储引擎介绍
langchain·llm·agent
xyphf_和派孔明39 分钟前
第四章: AI Agent短期记忆的信息管理机制设计
langchain·llm·agent
双鱼大猫1 小时前
opencode 吃掉 100G 空间:Agent 会话数据要分级清理
人工智能·agent·ai编程
用户5833339816682 小时前
RPA 流程的异常处理设计:重试、降级与告警,生产环境实战指南
人工智能
sanxing三省2 小时前
DeepSeek Harness 到底是什么?标题里最重的词其实不是「DeepSeek」
前端·人工智能·deepseek
合尘猫3 小时前
用 6GB 显卡搭短视频产线:MiniMax H3 + ffmpeg 全流程实录(55 秒片 / 40 分钟)
人工智能·音视频