Unity中使用LLMUnity遇到的问题(一)

一、工程文件中已经指定了模型文件,发布运行后仍然联网下载大模型文件

1、原因:Product name包含中文名,改成全英文后正常了。

2、模型配置参考

  • (1)模型文件的位置:如下所示,把模型文件拷贝到StreamingAssets根目录

    -(2)模型关联设置
    通过LoadModel按钮,把模型指定到StreamingAssets下的gguf模型文件

二、如何让LLM使用GPU而不是全部依赖CPU

1、修改LLM脚本的配置参数

设置Num GPU Layers参数的值,官方说-1代表全用GPU,实测后发现设置成-1时,CPU满载,GPU貌似没有忙碌。

(1)Num GPU Layers = -1 时的实测

  • 回答的时候,吐文本速度慢,像个七老八十的老倌吃饭的样子
  • 查看CPU和GPU,发现CPU哼哧哼哧的满载,GPU则是清闲无比

(2)你可以设置【Num GPU Layers】 = 2-4-6-16-32-64-128然后测试

我这里直接设置 Num GPU Layers = 1024

  • 我让它介绍一下Unity,吐文本的速度确实非常快
  • CPU占用明显下降,GPU的话,只是抖动一下,峰值也就是4%

三、附录

1、LLMUnity在哪里?

https://github.com/undreamai/LLMUnity

相关推荐
wangruofeng5 小时前
opencodex 解锁 Codex 任意模型,一个本地代理打通 Claude/Kimi/GLM/DeepSeek
llm·github·openai
wangruofeng5 小时前
姚顺雨长谈:在 Anthropic 和 Gemini 训练模型,英雄主义已经过时
llm·aigc
赵康10 小时前
AI 写代码之后,Code Review 会议怎么开
ai·llm·skill
莫逸风10 小时前
【AgentScope 2.0】 0. 学习指南
java·llm·agent·agentscope
旧物有情15 小时前
游戏开发常用架构 #MVP,MVC
游戏·unity·架构·mvc
谢白羽16 小时前
vllm源码剖析14-vLLM 分布式推理-专家并行EP
笔记·分布式·llm·论文·vllm
勇踏前人未索之境17 小时前
Unity打包运行于鸿蒙手机
unity·智能手机·harmonyos
玖玥拾17 小时前
Unity 3D 笔记(十一)UI 框架进阶:栈弹窗交互、BasePanel 基类虚方法、DoTween 界面动画
笔记·3d·unity
Token炼金师18 小时前
框架的擂台:LangChain、LlamaIndex、Dify、AutoGen 与 LangGraph —— 应用框架选型五局
人工智能·深度学习·llm
wenb1n18 小时前
【 LLM】Agent Planning 完全指南:8 种纯 LLM 范式 + 8 种混合规划模式详解(一)
llm