trtllm 部署新体验

实验清华大模型和trtllm

Chatglm3

pip3 install tensorrt_llm -U --pre --extra-index-url https://pypi.nvidia.com

要安装git来下载仓库

使用这个chatglm的例子

安装依赖

用最新的glm3的model

然后开始转换model

官方写错了,这应该是个-,不是_,要注意

转换成功

开始编译引擎

trtllm-build --checkpoint_dir trt_ckpt/chatglm3_6b/fp16/1-gpu

--gemm_plugin float16

--output_dir trt_engines/chatglm3_6b/fp16/1-gpu

最后利用编译出来的引擎,进行推理,还是注意官方的_是错的,要改成-在chatglm3-6b

python3 .../run.py --input_text "What's new between ChatGLM3-6B and ChatGLM2-6B?"

--max_output_len 50

--tokenizer_dir chatglm3-6b

--engine_dir trt_engines/chatglm3_6b/fp16/1-gpu

成功输出了推理

然后换1个模型

我去https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat下载了llama3的模型,然后用trtllm的转换脚本转成下面的模型

python3 convert_checkpoint.py --model_dir ./Llama3-8B-Chinese-Chat --output_dir llama-3-8b-ckpt

再把下载的模型编译成tensorrt-llm的engine

trtllm-build --checkpoint_dir llama-3-8b-ckpt

--gemm_plugin float16

--output_dir ./llama-3-8b-engine

然后运行tensorrt-llm的engine

python3 .../run.py --engine_dir ./llama-3-8b-engine --max_output_len 100 --tokenizer_dir ./Llama3-8B-Chinese-Chat --input_text "鲁迅打了周树人"

得到了结果是

您对TRT-LLM性能的满意程度为?

我觉得模型的性能很满意,版本是0.11.0.dev2024062500

您是否遇到配置问题或报错而不知道如何解决?如有,具体是什么问题?

没有遇到错误,github的作者很细心。

您对进一步提升TRT-LLM性能的有什么建议吗?

建议我是有的,我发现单一请求的时候是很快的,但是人多了访问就变慢了,可能并发的支持能力不行。这点不知道怎样可以改善一下,希望下个版本解决这个问题。

相关推荐
神马行空40 分钟前
一文解读DeepSeek大模型在政府工作中具体的场景应用
人工智能·大模型·数字化转型·deepseek·政务应用
合合技术团队42 分钟前
实测对比|法国 AI 独角兽公司发布的“最强 OCR”,实测效果如何?
大数据·人工智能·图像识别
蒹葭苍苍8731 小时前
LoRA、QLoRA微调与Lama Factory
人工智能·笔记
蹦蹦跳跳真可爱5891 小时前
Python----机器学习(基于PyTorch的线性回归)
人工智能·pytorch·python·机器学习·线性回归
mosquito_lover11 小时前
矿山边坡监测预警系统设计
人工智能·python·深度学习·神经网络·视觉检测
契合qht53_shine1 小时前
OpenCV 从入门到精通(day_03)
人工智能·opencv·计算机视觉
Naomi5212 小时前
Trustworthy Machine Learning
人工智能·机器学习
刘 怼怼2 小时前
使用 Vue 重构 RAGFlow 实现聊天功能
前端·vue.js·人工智能·重构
程序员安仔2 小时前
每天学新 AI 工具好累?我终于发现了“一键全能且免费不限量”的国产终极解决方案
人工智能
闭月之泪舞2 小时前
OpenCv(五)——边缘检测
人工智能·计算机视觉