Unity中使用LLMUnity遇到的问题(一)

一、工程文件中已经指定了模型文件,发布运行后仍然联网下载大模型文件

1、原因:Product name包含中文名,改成全英文后正常了。

2、模型配置参考

  • (1)模型文件的位置:如下所示,把模型文件拷贝到StreamingAssets根目录

    -(2)模型关联设置
    通过[LoadModel]按钮,把模型指定到StreamingAssets下的gguf模型文件

二、如何让LLM使用GPU而不是全部依赖CPU

1、修改LLM脚本的配置参数

设置[Num GPU Layers]参数的值,官方说-1代表全用GPU,实测后发现设置成-1时,CPU满载,GPU貌似没有忙碌。

(1)Num GPU Layers = -1 时的实测

  • 回答的时候,吐文本速度慢,像个七老八十的老倌吃饭的样子
  • 查看CPU和GPU,发现CPU哼哧哼哧的满载,GPU则是清闲无比

(2)你可以设置【Num GPU Layers】 = 2-4-6-16-32-64-128然后测试

我这里直接设置 Num GPU Layers = 1024

  • 我让它介绍一下Unity,吐文本的速度确实非常快
  • CPU占用明显下降,GPU的话,只是抖动一下,峰值也就是4%

三、附录

1、LLMUnity在哪里?

https://github.com/undreamai/LLMUnity

相关推荐
mxwin10 小时前
Unity Shader FLOWMAP岩浆流动制作案例
unity·游戏引擎·shader·uv
小贺儿开发11 小时前
【Arduino与Unity交互探究】01 摇杆模块
科技·unity·游戏引擎·arduino·串口通信·摇杆·硬件交互
洛阳泰山12 小时前
MaxKB4j Docker Compose 部署指南
java·docker·llm·springboot·rag·maxkb4j
Yasin Chen13 小时前
Unity TMP_SDF 分析(三)顶点着色器1
unity·游戏引擎·着色器
mxwin13 小时前
Unity Shader 使用 Noise 图 制作Shader 溶解效果
unity·游戏引擎
cuguanren15 小时前
MuleRun vs OpenClaw vs 网页服务:云端安全与本地自由的取舍之道
安全·大模型·llm·agent·智能体·openclaw·mulerun
mxwin15 小时前
Unity Shader 用 Ramp 贴图实现薄膜干涉效果
unity·游戏引擎·贴图·shader·uv
大数据AI人工智能培训专家培训讲师叶梓15 小时前
FaithLens:8B 参数大模型幻觉检测器,性能超 GPT-4.1 且低成本可解释
大模型·llm·大模型幻觉·人工智能讲师·大模型讲师·大模型培训·llm幻觉
魔士于安16 小时前
Unity星球资源,八大星球,带fps显示
游戏·unity·游戏引擎·贴图·模型
星始流年16 小时前
AI Agent 开发系列 之 01 🔎重新认识 LLM
人工智能·llm·agent