【大模型实战篇】利用TensorRT LLM部署及推理大模型实战(bloom560m、chatglm-6b等大模型)

相关推荐
Flynt4 小时前
花一下午把Qwen3.8-27B跑在本地,最坑的不是显存
开源·llm·llama
XLYcmy5 小时前
京东 算法实习一面 下+手撕
c++·python·llm·概率论·数据处理·训练·codebert
众人皆醒我独醉12 小时前
AI 工作负载可观测性:DCGM + Prometheus + Grafana
面试·llm·gpu
qpsj13 小时前
DeepSeek 缓存命中涨价 12 倍:4 个改动,账单回到涨价前
人工智能·llm
uncle_ll16 小时前
Llama 3 私有化落地全栈实战:从 Ollama 极速部署到 LLaMA Factory LoRA 定制微调
llm·nlp·llama·ollama·大模型微调
Smoothcloud_润云17 小时前
从“模型服务”到“Agent 调度”:AI 推理基础设施为什么正在重构?
llm·agent·gpu
武子康17 小时前
GPT-Live 分析研究:从回合式语音到连续交互循环
人工智能·llm·agent
CoderJia程序员甲18 小时前
GitHub 热榜项目 - 周榜(2026-08-16)
ai·大模型·llm·github
武子康19 小时前
给 Pi 增加能力时,应该写 Prompt、Skill、Tool 还是 Extension?
人工智能·llm·agent
tachibana219 小时前
怎么让大模型同时给意图节点打分
大数据·人工智能·ai·大模型·llm·prompt