【大模型实战篇】利用TensorRT LLM部署及推理大模型实战（bloom560m、chatglm-6b等大模型）

恋上钢琴的虫2025-12-12 13:27
相关推荐
武子康4 分钟前
调查研究-219 GPU 为什么能快，也为什么容易被大量小请求拖慢？
人工智能·llm·gpu
元Y亨H1 小时前
Token、Prompt、Embedding、Function Calling 概念介绍
llm
带刺的坐椅1 小时前
代码审查 Agent Harness 实战：AI 自动 Code Review
java·ai·llm·agent·solon·soloncode·harness
元Y亨H8 小时前
如何管理大模型的上下文窗口
llm
倾颜16 小时前
给 AI Chat 加上长期记忆：模型提取 + 程序把关 + 规则召回
llm·agent·next.js
陳陈陳17 小时前
🤖 Agent开发完全指南：从LLM到智能体的蜕变之旅
langchain·llm·agent
Token炼金师17 小时前
推理部署层：吞吐上不去的显存账本与调度博弈
人工智能·深度学习·llm
倾颜19 小时前
AI Mind 的单线程短期记忆设计：如何压缩、整理并控制当前会话上下文
前端·langchain·llm
掉鱼的猫19 小时前
把 OpenAPI 接入 Agent Harness：零代码让 Agent 听懂你的 REST API
java·llm·agent
小月土星19 小时前
Agent 开发思考笔记：LLM + Memory + Tool + RAG + MCP + Skills
langchain·llm·agent
热门推荐
012026 年 AI 编程工具终极横评：Cursor vs Claude Code vs Copilot vs Windsurf02GitHub 镜像站点03AI科技热点日报 | 2026年07月01日04AI 编程 IDE 全景解析 2026：Agent 全面接管开发链路052026 AI 编程工具终极实战指南：Cursor vs Claude Code vs Copilot，开发者该怎么选？06【AI】2026 年具身智能模型和世界模型总结072026 年 AI 大模型 & AI 编程工具实战全总结082026 AI 编程工具选型横评：Cursor / Claude Code / Trae / Copilot 到底选谁（建议收藏·避坑版）092026年7月AI圈大地震：GPT-5.6被政府限制、Claude入驻Slack、Anthropic自研芯片102026 国产 AI 大模型横评：DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打？