Unity中使用LLMUnity遇到的问题(一)

一、工程文件中已经指定了模型文件,发布运行后仍然联网下载大模型文件

1、原因:Product name包含中文名,改成全英文后正常了。

2、模型配置参考

  • (1)模型文件的位置:如下所示,把模型文件拷贝到StreamingAssets根目录

    -(2)模型关联设置
    通过LoadModel按钮,把模型指定到StreamingAssets下的gguf模型文件

二、如何让LLM使用GPU而不是全部依赖CPU

1、修改LLM脚本的配置参数

设置Num GPU Layers参数的值,官方说-1代表全用GPU,实测后发现设置成-1时,CPU满载,GPU貌似没有忙碌。

(1)Num GPU Layers = -1 时的实测

  • 回答的时候,吐文本速度慢,像个七老八十的老倌吃饭的样子
  • 查看CPU和GPU,发现CPU哼哧哼哧的满载,GPU则是清闲无比

(2)你可以设置【Num GPU Layers】 = 2-4-6-16-32-64-128然后测试

我这里直接设置 Num GPU Layers = 1024

  • 我让它介绍一下Unity,吐文本的速度确实非常快
  • CPU占用明显下降,GPU的话,只是抖动一下,峰值也就是4%

三、附录

1、LLMUnity在哪里?

https://github.com/undreamai/LLMUnity

相关推荐
自养Agent3 小时前
AI 私有化实战:多模态本地化·视觉与音频怎么装下
人工智能·大模型·llm·音视频·语音识别
peter67683 小时前
unity2d游戏开发经验总结
unity
郝学胜-神的一滴3 小时前
游戏设计:原型与开发 19:U3D工位布置与性格说明书
人工智能·算法·unity·unreal engine·游戏策划·游戏设计
Eloudy5 小时前
SGLang 中 AMD GPU 内核源文件后缀分析:.cu vs .hip
llm·sglang
Aman198413 小时前
Claude Code做Unity项目移植(二): 自动执行只读操作,告别频繁的
unity·游戏开发·vibe coding·claude code
Eloudy14 小时前
sgl-kernel 项目的演进:不同时间点的角色与去向
llm·sglang
zhangfeng113317 小时前
6篇RAG核心论文的工程启示:Vector + Graph + Agent路由混合架构实战
人工智能·架构·llm·agent
暴走约伯1 天前
【VFX工具链源码拆解 02】告别机械劳动(上):一键统改百个子粒子颜色与批量重命名
3d·unity·c#·材质
郝学胜-神的一滴1 天前
游戏设计:原型与开发 18:Unity入门的第一课
人工智能·程序人生·游戏·ui·unity·游戏引擎