【大模型实战篇】利用TensorRT LLM部署及推理大模型实战(bloom560m、chatglm-6b等大模型)

相关推荐
用户03282409705911 小时前
大模型不按指定语言回答怎么办:一次线上事故的修法(脚本检查 → 带规则重问一次 → 翻译兜底,附 Python 代码)
llm
chengzhnag1 天前
用一台旧手机,把 AI 记账搬进微信
llm
wovow_mak1 天前
零基础本地部署大模型完整指南:附一键脚本 + 全踩坑记录,家用电脑就能跑
llm
AI技术新视界1 天前
LLM 提示词缓存(Prompt Caching)的秘密
人工智能·缓存·llm·prompt
XLYcmy2 天前
信息检索报告数字经济赋能城市低碳治理的路径研究——基于“传统数据库 + 生成式人工智能”双轮驱动的检索实践 检索实施与结果分析 Web of Science
数据库·ai·llm·prompt·ssci·deepseek·wos
得物技术2 天前
多 Agent 架构的三次反转:从中心调度到自驱协作|得物技术
程序员·架构·llm
lucas_AI3 天前
ToolSpace:把 804 个真实工具环境打包成 Agent 练级场,35B 小模型暴涨 18 分
llm·agent
lyai0073 天前
读完 DeepSeek Harness 源码,我给自己画了一张「最小 CLI Agent」施工图
llm·agent
goehou4 天前
缓存该删还是该改,LLM 服务里的双写问题
redis·缓存·llm·一致性·系统设计
合天网安实验室4 天前
从压缩到泄露:KV Cache Compression 的选择性失忆与系统提示词风险
人工智能·llm