Unity中使用LLMUnity遇到的问题(一)

一、工程文件中已经指定了模型文件,发布运行后仍然联网下载大模型文件

1、原因:Product name包含中文名,改成全英文后正常了。

2、模型配置参考

  • (1)模型文件的位置:如下所示,把模型文件拷贝到StreamingAssets根目录

    -(2)模型关联设置
    通过[LoadModel]按钮,把模型指定到StreamingAssets下的gguf模型文件

二、如何让LLM使用GPU而不是全部依赖CPU

1、修改LLM脚本的配置参数

设置[Num GPU Layers]参数的值,官方说-1代表全用GPU,实测后发现设置成-1时,CPU满载,GPU貌似没有忙碌。

(1)Num GPU Layers = -1 时的实测

  • 回答的时候,吐文本速度慢,像个七老八十的老倌吃饭的样子
  • 查看CPU和GPU,发现CPU哼哧哼哧的满载,GPU则是清闲无比

(2)你可以设置【Num GPU Layers】 = 2-4-6-16-32-64-128然后测试

我这里直接设置 Num GPU Layers = 1024

  • 我让它介绍一下Unity,吐文本的速度确实非常快
  • CPU占用明显下降,GPU的话,只是抖动一下,峰值也就是4%

三、附录

1、LLMUnity在哪里?

https://github.com/undreamai/LLMUnity

相关推荐
warm3snow11 小时前
Claude Code 黑客马拉松:5 个获奖项目,没有一个是"纯码农"做的
ai·大模型·llm·agent·skill·mcp
马腾化云东17 小时前
Agent开发应知应会(langfuse):Langfuse Score概念详解和实战应用
人工智能·llm·ai编程
Baihai_IDP17 小时前
HackerNews 热榜第一名:AGI 的 A,原来代表的是 Ads(广告)
人工智能·程序员·llm
吴佳浩20 小时前
OpenClaw Windows 完整安装与本地模型配置教程(实战版)
llm·openai
吴佳浩2 天前
《大模型的文件形态:Qwen3 文件结构与计算流程深度拆解》
人工智能·llm
EdisonZhou2 天前
MAF快速入门(17)用户智能体交互协议AG-UI(中)
llm·aigc·agent
精神状态良好2 天前
实战:从零构建本地 Code Review 插件
前端·llm
智泊AI2 天前
LangChain到底是什么?LangChain的核心组件有哪些?
llm
马里马里奥-3 天前
文献阅读:Next-Generation Database Interfaces: A Survey of LLM-Based Text-to-SQL
llm·nlp2sql
再会呀3 天前
写 Agent 不会调 LLM?这篇把调用逻辑给你打通了
llm·agent