Unity中使用LLMUnity遇到的问题(一)

一、工程文件中已经指定了模型文件,发布运行后仍然联网下载大模型文件

1、原因:Product name包含中文名,改成全英文后正常了。

2、模型配置参考

  • (1)模型文件的位置:如下所示,把模型文件拷贝到StreamingAssets根目录

    -(2)模型关联设置
    通过LoadModel按钮,把模型指定到StreamingAssets下的gguf模型文件

二、如何让LLM使用GPU而不是全部依赖CPU

1、修改LLM脚本的配置参数

设置Num GPU Layers参数的值,官方说-1代表全用GPU,实测后发现设置成-1时,CPU满载,GPU貌似没有忙碌。

(1)Num GPU Layers = -1 时的实测

  • 回答的时候,吐文本速度慢,像个七老八十的老倌吃饭的样子
  • 查看CPU和GPU,发现CPU哼哧哼哧的满载,GPU则是清闲无比

(2)你可以设置【Num GPU Layers】 = 2-4-6-16-32-64-128然后测试

我这里直接设置 Num GPU Layers = 1024

  • 我让它介绍一下Unity,吐文本的速度确实非常快
  • CPU占用明显下降,GPU的话,只是抖动一下,峰值也就是4%

三、附录

1、LLMUnity在哪里?

https://github.com/undreamai/LLMUnity

相关推荐
BreezeJiang9 小时前
大模型为什么能记住上一轮?从 InMemoryChatMessageHistory 看对话 Memory
llm·agent
武子康14 小时前
同一套 Agent Runtime,为什么 Web、Headless 和 Python SDK 仍然不是同一个产品
人工智能·llm·agent
还有多久拿退休金16 小时前
不调多模态,纯文本大模型如何给系统操作配上截图
前端·llm·aigc
DigitalOcean16 小时前
AI Agent如何降本?从五层技术栈到三种推理服务
llm·agent
百工蜂Agent18 小时前
Claude Code 整体架构与设计
llm·agent
桃西西呀1 天前
上下文窗口都卷到 100 万了,大模型为什么还在为"位置"发愁?
人工智能·llm·ai编程
山顶夕景2 天前
【LLM】GLM-5.3-Flash模型
大模型·llm·agent·多模态·moe
武子康2 天前
把生产 Agent 事故 Trace 变成可重放的回归测试集
人工智能·llm·agent
武子康2 天前
开放权重之后,为什么 Agent 仍然无法复现:真正缺的是可重放行为证据
人工智能·llm·agent
tachibana22 天前
AI Agent 的记忆机制
人工智能·ai·大模型·llm·agent