本地ai应用 - 本地ai应用技术,学习,经验文章

Fitz Hoo

4 小时前

打造个人AI写作助手：ERNIE-4.5-0.3B-PT的vLLM部署与Chainlit应用想不想拥有一个随时待命的AI写作助手？不用联网，不用付费，就在你自己的电脑上运行。今天我就带你一步步实现这个想法——用vLLM部署ERNIE-4.5-0.3B-PT模型，再用chainlit做个漂亮的聊天界面，打造一个完全属于你的本地AI写作伙伴。