Unity中使用LLMUnity遇到的问题(一)

一、工程文件中已经指定了模型文件,发布运行后仍然联网下载大模型文件

1、原因:Product name包含中文名,改成全英文后正常了。

2、模型配置参考

  • (1)模型文件的位置:如下所示,把模型文件拷贝到StreamingAssets根目录

    -(2)模型关联设置
    通过[LoadModel]按钮,把模型指定到StreamingAssets下的gguf模型文件

二、如何让LLM使用GPU而不是全部依赖CPU

1、修改LLM脚本的配置参数

设置[Num GPU Layers]参数的值,官方说-1代表全用GPU,实测后发现设置成-1时,CPU满载,GPU貌似没有忙碌。

(1)Num GPU Layers = -1 时的实测

  • 回答的时候,吐文本速度慢,像个七老八十的老倌吃饭的样子
  • 查看CPU和GPU,发现CPU哼哧哼哧的满载,GPU则是清闲无比

(2)你可以设置【Num GPU Layers】 = 2-4-6-16-32-64-128然后测试

我这里直接设置 Num GPU Layers = 1024

  • 我让它介绍一下Unity,吐文本的速度确实非常快
  • CPU占用明显下降,GPU的话,只是抖动一下,峰值也就是4%

三、附录

1、LLMUnity在哪里?

https://github.com/undreamai/LLMUnity

相关推荐
小李也疯狂2 小时前
Unity 中的立方体贴图(Cubemaps)
unity·游戏引擎·贴图·cubemap
牛掰是怎么形成的2 小时前
Unity材质贴图引用陷阱:包体暴涨真相
unity·材质·贴图
呆呆敲代码的小Y2 小时前
【Unity工具篇】| 超实用工具LuBan,快速上手使用
游戏·unity·游戏引擎·unity插件·luban·免费游戏·游戏配置表
EQ-雪梨蛋花汤2 小时前
【Unity优化】Unity多场景加载优化与资源释放完整指南:解决Additive加载卡顿、预热、卸载与内存释放问题
unity·游戏引擎
我的offer在哪里3 小时前
用 Unity 从 0 做一个「可以玩的」游戏,需要哪些步骤和流程
游戏·unity·游戏引擎
泡泡茶壶ᐇ3 小时前
Unity游戏开发入门指南:从零开始理解游戏引擎核心概念
unity·游戏引擎
YigAin5 小时前
Unity中的Lock,到底在锁什么,什么时候该用?
unity
Var_al5 小时前
抖小Unity WebGL分包命令行工具实践指南
unity·游戏引擎·webgl
天人合一peng7 小时前
unity 通过代码修改button及其名字字体的属性
unity·游戏引擎
GLDbalala11 小时前
Unity基于自定义管线实现经典经验光照模型
unity·游戏引擎