盘点 5 个大厂最近开源的 GitHub 项目。

01、英伟达开源 AI 玩游戏模型

NitroGen 是英伟达开源的项目，让 AI 像人一样玩游戏。

开源一两周就有 1.2K 的 Star 了。

它不是那种只能玩特定游戏的脚本，而是一个通用的游戏大模型。

它的核心逻辑非常有意思：它像人类玩家一样，只看屏幕画面，然后决定手柄该怎么按。

更有趣的是它的训练方式。团队没有去对接成百上千个游戏的 API，而是直接利用了互联网上依然存在的海量游戏视频来进行行为克隆。

它通过看别人玩游戏学会了操作，经过训练后，它甚至能适应它从未见过的游戏。

目前这个项目已经开源了代码和模型，支持在 Windows 上运行。

只要你打开游戏，运行这个 Agent，它就能通过捕捉屏幕画面来接管操作。

arduino 复制代码

开源地址：https://github.com/MineDojo/NitroGen

Meta 之前的 Segment Anything Model 在图像分割领域可以说是杀疯了，现在他们把这套魔法带到了音频领域。

SAM-Audio 的功能简单说就是音频版的抠图。

你给它一段嘈杂的录音，告诉它我要听里面的狗叫声或者把吉他声分离出来，它就能精准地把目标声音提取出来，顺便把剩下的背景音也分离开。

它的交互方式非常灵活，不光支持文字指令，你甚至可以给它看一段视频，框选视频里的某个人或物体，它就能识别对应的声音并提取出来。

此外，它也支持通过时间戳来定位声音。这背后的技术利用了音频-视觉感知编码器，让模型能理解声音和画面、文本之间的语义联系。

对于做视频剪辑、声音设计或者音频修复的人来说，这简直是神器。

arduino 复制代码

开源地址：https://github.com/facebookresearch/sam-audio

Qwen-Image-Layered 生成的不是一张图，而是自带图层的图像，就像是你直接得到了一个 PSD 源文件。

这个模型能把图像拆解成透明的 RGBA 层。比如生成一张森林里的女孩，它会把女孩放在一层，身后的树木一层，天空又是一层。

你可以随意移动、缩放或者删除画面里的物体，而不会在背景上留下一个难看的黑洞，因为模型已经把被遮挡的背景部分也补全了。

这对于设计师和二次创作者来说太重要了。

它让 AI 生成的内容瞬间具备了极高的可编辑性。你不仅可以用它生成新的分层图像，甚至可以把现有的普通图片丢进去，让它帮你拆成图层。

arduino 复制代码

开源地址：https://github.com/QwenLM/Qwen-Image-Layered

之前推荐过，这个谷歌开源的项目也登上过每周开源热榜。Google 定义了一套标准，让 AI 不仅仅会说话，还能变出用户界面 UI。

AI 发一串 JSON 数据告诉你的手机或浏览器：给我渲染一个日历组件，外加一个确认按钮。

你的客户端收到指令后，就会用原生的组件把这个界面画出来。

这样做既保证了界面的美观和交互体验，又避免了直接执行 AI 生成的代码所带来的安全风险。

这个项目的牛逼之处是把 AI 的思考和界面的展示解耦了。

未来的聊天机器人可能不再只是一个对话框，而是一个能根据你的需求随时变身的全能 App？

arduino 复制代码

开源地址：https://github.com/google/A2UI

Fun-Audio-Chat 就是阿里通义团队开源的项目。

主打的是低延迟和自然对话，不像传统的语音交互那样有漫长的等待。

技术上，它搞了个双分辨率的架构，简单说就是用粗粒度的特征来处理语义，用细粒度的特征来保证音质，这样既省算力又能跑得快。

而且它通过 Core-Cocktail 训练法，在保留了强大的文本理解能力的同时，还能听懂你说话的语气，甚至在回复时带上相应的情感。

它可以支持语音打断、甚至理解非语言的声音，比如笑声啥的。

对于想要开发实时语音聊天应用、客服机器人或者虚拟伴侣的开发者来说，这个开源项目提供了一套非常接近商业级效果的现成方案。

arduino 复制代码

开源地址：https://github.com/FunAudioLLM/Fun-Audio-Chat