trtllm 部署新体验

实验清华大模型和trtllm

Chatglm3

pip3 install tensorrt_llm -U --pre --extra-index-url https://pypi.nvidia.com

要安装git来下载仓库

使用这个chatglm的例子

安装依赖

用最新的glm3的model

然后开始转换model

官方写错了,这应该是个-,不是_,要注意

转换成功

开始编译引擎

trtllm-build --checkpoint_dir trt_ckpt/chatglm3_6b/fp16/1-gpu

--gemm_plugin float16

--output_dir trt_engines/chatglm3_6b/fp16/1-gpu

最后利用编译出来的引擎,进行推理,还是注意官方的_是错的,要改成-在chatglm3-6b

python3 .../run.py --input_text "What's new between ChatGLM3-6B and ChatGLM2-6B?"

--max_output_len 50

--tokenizer_dir chatglm3-6b

--engine_dir trt_engines/chatglm3_6b/fp16/1-gpu

成功输出了推理

然后换1个模型

我去https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat下载了llama3的模型,然后用trtllm的转换脚本转成下面的模型

python3 convert_checkpoint.py --model_dir ./Llama3-8B-Chinese-Chat --output_dir llama-3-8b-ckpt

再把下载的模型编译成tensorrt-llm的engine

trtllm-build --checkpoint_dir llama-3-8b-ckpt

--gemm_plugin float16

--output_dir ./llama-3-8b-engine

然后运行tensorrt-llm的engine

python3 .../run.py --engine_dir ./llama-3-8b-engine --max_output_len 100 --tokenizer_dir ./Llama3-8B-Chinese-Chat --input_text "鲁迅打了周树人"

得到了结果是

您对TRT-LLM性能的满意程度为?

我觉得模型的性能很满意,版本是0.11.0.dev2024062500

您是否遇到配置问题或报错而不知道如何解决?如有,具体是什么问题?

没有遇到错误,github的作者很细心。

您对进一步提升TRT-LLM性能的有什么建议吗?

建议我是有的,我发现单一请求的时候是很快的,但是人多了访问就变慢了,可能并发的支持能力不行。这点不知道怎样可以改善一下,希望下个版本解决这个问题。

相关推荐
AIGC大时代14 分钟前
高效使用DeepSeek对“情境+ 对象 +问题“型课题进行开题!
数据库·人工智能·算法·aigc·智能写作·deepseek
硅谷秋水15 分钟前
GAIA-2:用于自动驾驶的可控多视图生成世界模型
人工智能·机器学习·自动驾驶
偶尔微微一笑28 分钟前
AI网络渗透kali应用(gptshell)
linux·人工智能·python·自然语言处理·编辑器
深度之眼43 分钟前
2025时间序列都有哪些创新点可做——总结篇
人工智能·深度学习·机器学习·时间序列
晓数1 小时前
【硬核干货】JetBrains AI Assistant 干货笔记
人工智能·笔记·jetbrains·ai assistant
jndingxin1 小时前
OpenCV 图形API(60)颜色空间转换-----将图像从 YUV 色彩空间转换为 RGB 色彩空间函数YUV2RGB()
人工智能·opencv·计算机视觉
Sherlock Ma1 小时前
PDFMathTranslate:基于LLM的PDF文档翻译及双语对照的工具【使用教程】
人工智能·pytorch·语言模型·pdf·大模型·机器翻译·deepseek
知舟不叙1 小时前
OpenCV中的SIFT特征提取
人工智能·opencv·计算机视觉
kadog2 小时前
PubMed PDF下载 cloudpmc-viewer-pow逆向
前端·javascript·人工智能·爬虫·pdf
亿坊电商2 小时前
AI数字人多模态技术如何提升用户体验?
人工智能·ux·ai数字人