大模型部署

Cursor + Claude Code 全流程实战：搭一套生产级 AI 编程工作流（2026 最新版）这是专栏「AI编程实战：Cursor与Claude Code」的第 1 篇。读完你会得到一套可以照抄进真实项目的 AI 编程工作流：Cursor 与 Claude Code 各自的定位与协作分工、项目级提示词（rules）的写法、一个真实小项目从 0 到跑通的多文件改造、以及 8 个我在生产中真实踩过的报错的「原文 + 根因 + 解法」。不是"怎么装个插件试试看"，而是"明天上班就能用上、还能少踩坑"。

人工智能【第55篇】大模型推理优化：vLLM与推理加速技术作者的话：随着大语言模型的规模不断增长，推理成本已成为AI应用落地的关键瓶颈。一个70B参数的模型，单次推理可能需要数GB显存和数秒延迟。vLLM等推理引擎通过PagedAttention、连续批处理等创新技术，将吞吐量提升了数十倍。本文将深入解析大模型推理优化的核心技术，并带你完成vLLM的实战部署！

Qwen3.6-27B 本地部署三大工具：Ollama、LM Studio、llama.cpp 谁更快？阿里开源的 Qwen3.6-27B ，很多人想在本地跑起来。Ollama、LM Studio、llama.cpp 三个工具怎么选？

Mac Studio 部署 Qwen3.6-27B omlx & dflash 深度评测本地部署大语言模型一直是开发者和技术爱好者关注的焦点。当你在 Apple Silicon Mac 上运行 27B 参数级别的模型时，内存瓶颈往往是最大的挑战。今天我们带来一期硬核实测：Mac Studio M4 Max（36GB 统一内存）搭配 omlx 推理框架和 dflash 内存优化技术，部署 Qwen3.6-27B-4bit（15.7GB）的完整性能报告。

从零搭建 AI Agent：LLM Agent+Function Calling+Dify 本地部署 + Coze 实战全攻略随着大模型技术快速发展，LLM Agent与Function Calling已成为 AI 应用落地的核心能力。传统 LLM 仅能处理文本生成，存在信息滞后、缺乏行动力、逻辑不精确三大痛点，而 Agent 通过自主规划、记忆、工具调用实现复杂任务，Function Calling 则打通大模型与外部世界的连接。

七牛云行业应用

GPT-5.5 Instant vs Grok 4 完整对比【2026年5月最新】：哪个大模型更适合开发者？GPT-5.5 Instant 和 Grok 4 是截至 2026 年 5 月最受关注的两款主流大语言模型，分别由 OpenAI 和 xAI 推出。两者均在 2026 年 5 月密集更新，GPT-5.5 Instant 于 5 月 5 日正式向所有 ChatGPT 用户开放，Grok 4 则以百亿至千亿参数规模跻身性能榜前列。选哪个，取决于你的具体使用场景。

【大模型换机器部署失败原因排查】一次 `Illegal instruction` 排查：原来是虚拟机没暴露 AVX 指令集昨天在重新构建服务时，遇到了一个非常“底层”的问题。最开始看日志，还以为是业务代码、依赖或者容器环境的问题，结果一路排查下去，最后发现问题根本不在 Python，而在虚拟机 CPU 指令集。

AAI机器之心

在 macOS 上本地部署 Ollama + LLaMA3（附教程）在 macOS 上本地部署 Ollama + LLaMA3 非常简单，以下是完整步骤：一、系统要求1.macOS 12+

LangGraph-AI应用开发框架(三)要点1：回顾AIMessage消息结构要点2：构造ToolMessage要点3：在State中访问messages

华为昇腾DeepSeek模型部署适用于华为昇腾 310P3 服务器，基于 MindIE 服务化部署 DeepSeek-R1 系列模型，并通过 curl 调用 OpenAI 兼容接口进行对话验证。

LangChain-AI应用开发框架(二)目录一.认识嵌入模型1. 什么是嵌入模型？2. 嵌入模型应用场景3.主流的嵌入模型二.嵌入模型接入方式

大模型平台是怎么跑起来的？从 GPU 到 API 全链路拆解（工程视角）很多人在接触大模型时，通常只关注：但在实际工程项目中，更关键的问题是：❓ 模型是怎么“跑起来”的？从 GPU 到最终 API 服务，中间到底经历了什么？

长路的AI领域技术博客汇总文档博主介绍：✌目前全网粉丝4W+，csdn博客专家、Java领域优质创作者，博客之星、阿里云平台优质作者、专注于Java后端技术领域。

告别联网限制与隐私担忧：在自家电脑跑一个专属的DeepSeek AI很多人不明白本地部署AI大模型的意思，今天我就用通俗易懂的语言给大家讲一讲。说白了就是把原本在别人服务器（电脑里）里的 AI 大模型，安装在你自己的电脑设备上运行，全程不用连外网、不用依赖别人的电脑服务，所有的 AI 计算、数据处理都在你自己的设备里完成。

一切皆有可能！！

昇腾atlas 300I duo部署Qwen3-8B完整实战：从选型到成功运行使用之前需要先安装固件和驱动选择合适的版本型号一直跟着执行，在安装驱动时候，上面的创建驱动文件不知道是过时了，一直没成功，换到官网手动下载了驱动。另外在执行命令时是使用sudo bash 而不是sudo sh

阿尔的代码屋

[大模型实战 01] 本地大模型初体验：Ollama 部署与 Python 调用指南核心摘要 (TL;DR)官网地址：https://ollama.com/Ollama 是目前最火的本地大模型部署工具。简单来说，它能帮咱们快速拉取模型文件，让模型在本地直接运行并进行对话。同时，它还能把模型打包成一个标准的接口，通过端口开放给咱们写的 Python 脚本调用。

虚神界熊孩儿

OpenStation + VSCode ：本地大模型赋能编码效率的实战指南作为每天和 VSCode 朝夕相处的开发者，代码补全、文档查询、bug 调试是日常工作的核心环节，但传统开发模式中，这些操作往往伴随着频繁切屏、网络延迟或隐私泄露风险。直到用 OpenStation 部署本地大模型并集成到 VSCode 后，才发现开发效率能实现质的飞跃 —— 既保留了 VSCode 的轻量化体验，又获得了专属本地大模型的智能辅助能力。

GitHub 热榜项目-日榜精选（2026-01-24）| AI智能体工具、Python生态等 | remotion、VibeVoice、goose等📅 热榜时间：2026-01-24 🏷️ 核心标签：#GitHub #开源项目 #AI智能体 #视频开发 #语音AI #大模型部署 #Python学习 📊 统计摘要：本期热榜包含 13 个项目。(GitHub)

大模型服务：个人工作学习中关于模型部署、访问等常用资源的整理【202601更新】记录大模型推理服务部署和使用过程中的一些资源，包括但不限于部署环境、部署框架常用优化、模型调用、多模态对话模型、多模态向量模型等（非特殊说明，均为Linux环境、Nvidia显卡）

雪碧聊技术

3.大模型使用目录一.大模型部署1.自己部署自己部署——本地机器部署1）如何让大模型跑起来？2）下载ollama3）使用ollama部署大模型