我们看到机器狗攀爬、跳跃、跑酷、开门，但现在，它竟然开口说话了。
「可以开始我们的旅程了吗？」现货伊丽莎白地发出询问：「请跟我来，先生们！」
在最新发布的视频里，波士顿动力取得了将机器狗与法学硕士集成的成果："Spot先生"时尚高礼帽，留着小胡子，拥有大眼睛和英国口音，正带人们参观公司的设施。
为了让 Spot 能够「开口」，波士顿动力公司使用 OpenAI 的 ChatGPT API 以及一些开源 LLM 来训练，然后为机器人配备了扬声器，添加了文本到语音转换的功能。
所以你可以看到，在发出声音的同时，现货不间断张开「餐桌」，看起来就像真的在说话：
波士顿动力公司首席软件工程师 Matt Klingensmith 表示，「Spot 先生」使用 VQA 模型来为图像添加字幕并回答有关图像的问题。
比如你可以提问："嘿，Spot！你看到了什么？"
「现货先生」快速回答：「我看到了一块二维码的板子，还有一扇很大的窗户。」
LLM所谓的"坚定行为"，使其能够执行既定训练之外的任务。正因如此，它们可以适用于各种应用。波士顿动力团队的这次探索是从今年夏天开始的，他们在机器人应用中使用LLM制作一些概念验证演示，这些想法又在一次内部黑客马拉松活动中进行了延伸。
特别是，他们对 Spot 使用 LLM 自主工具的演示很感兴趣，团队的灵感来源于 LLM 在角色扮演、复制文化和评分分数、计划和长期保持连贯性方面的明显能力，以及近期发布的 VQA模型（这些模型可以为图像添加标题并回答有关图像的简单问题）。
技术细节
接下来，让我们解密如何利用 Spot 的 SDK 打造这样一只「狗导游」。在最新的官方机器博客中，波士顿动力对「Spot 先生」背后的技术进行了详细介绍。
作为导游，Spot 的「机动行走」能力已经是现成的，Spot SDK 也允许用户实现对机器狗的自定义。「Spot 先生」会观察环境中的物体，使用 VQA 或字幕模型对其进行描述，然后使用LLM对这些描述进行了详细说明。
团队在现场收集的三维地图上标注了一些描述，机器人会根据定位系统找到所在位置的描述，把其与传感器提供的其他上下文一起输入LLM。然后，LLM将这些内容合成为命令，比如「说"、"问"、"去"或"标签"等。
下图是「Spot先生」导游的建筑环境的三维地图，为LLM标注的位置：1 是演讲实验室/阳台；2 是演讲实验室/天桥；3 是博物馆/老景点；4 是博物馆/图集；5是大厅；6是外部/入口。
另外，LLM还可以回答者的问题，并计划机器人下一步应该采取的行动。可以将LLM理解为一个即兴演员，在有了大致脚本之后，也能够临时填补空白。
组合的方式充分发挥了LLM的优势，而规避了LLM可能带来的风险：华丽，LLM的幻觉很严重，很容易添加一些听起来像是鼻子的细节，幸好在这样的过程中观看，并不太好强调事实的准确性。机器狗只需移动并谈论它所看到的事物，就可以带来一些娱乐性、互动性和估值优势。
总体看来，需要建立一些简单的硬件集成和几个良好运行的软件模型：
系统地图。
硬件方面，首先是「音频」处理功能，现场既能向观众演示，可以听到观众团的提问和提示。团队用 3D 打印了一个 Respeaker V2 扬声器的防震支架，这是一个环形波形，上面有 LED 指示灯，通过 USB 连接到 Spot 的 EAP 2 有效指示灯上。
机器人的实际控制权被下放给一台机器外电脑（台式电脑或笔记本电脑），该电脑通过SDK与Spot进行通信。
「Spot先生」的硬件装备：1）Spot EAP 2；2）Respeaker V2；3）蓝牙扬声器；4）Spot Arm和机械臂摄像头。
软件方面，波士顿动力团队使用了 OpenAI ChatGPT API，包括 gpt-3.5 和 gpt-4，还测试了一些较小的开源 LLM。
这让 Spot 具备了不错的对话能力，ChatGPT 对机器人及其「言语」的控制是通过提示工程实现的。受微软方法的启发，让 ChatGPT 看起来像是在「编写 python 脚本的下一行」 "，因此来提示ChatGPT。波士顿动力以团队注释的形式为LLM提供了中文文档，然后将LLM的输出python代码进行评估。LLM访问自主SDK、可以携带每个地点单行描述的旅游景点地图，并能说出口头禅或提出问题。
下面是「API文档」的逐字提示：
shell
# Spot Tour Guide API.
# Use the tour guide API to guide guests through a building using
# a robot. Tell the guests about what you see, and make up interesting stories
# about it. Personality: "You are a snarky, sarcastic robot who is unhelpful".
# API:
# Causes the robot to travel to a location with the specified unique id, says the given phrase while walking.
# go_to (location_id, phrase)
# Example: when nearby_locations = ['home', 'spot_lab']
# go_to ("home", "Follow me to the docking area!")
# go_to can only be used on nearby locations.
# Causes the robot to say the given phrase.
# say ("phrase")
# Example: say ("Welcome to Boston Dynamics. I am Spot, a robot dog with a lot of heart! Let's begin the tour.")
# Causes the robot to ask a question, and then wait for a response.
# ask ("question")
# Example: ask ("Hi I'm spot. What is your name?")此后，波士顿动力团队向LLM提供了一个有关其周边内容重构信息的「状态字典」：
ini
state={'curr_location_id': 'home', 'location_description': 'home base. There is a dock here.', 'nearby_locations': ['home', 'left_side', 'under_the_stairs'], 'spot_sees': 'a warehouse with yellow robots with lines on the floor.'}最后发送一条提示，要求 LLM 执行某些操作，在本例中，是在 API 中输入操作之一：
bash
# Enter exactly one action now. Remember to be concise:团队总结的结论是，「切记简明扼制要」这一点非常重要，既能限制要执行的代码，又能在机器人响应时控制量可控的等待时间。
目前，OpenAI 已经提供了一种构造的方式来指定 ChatGPT 调用的 API，所以在提示符本身中提供所有这些细节已经不是必需的了。
接下来，为了让 Spot 与观众和环境互动，波士顿动力集成了 VQA 和语音转文本软件。他们将 Spot 的机械臂摄像头和前视摄像头输入 BLIP-2，并在 VQA 模型或图像字幕模型中运行。大约每秒运行一次，结果直接输入提示符。
下图是动态字幕和 VQA 回复的示例：
为了让机器人「听见」，他们将麦克风数据分块输入 OpenAI 的 Whisper 程序，将其转换为英文文本。听到唤醒词「嘿，Spot！」后，系统再形成文本输入提示音。
ChatGPT 生成基于文本的回复之后，还需要通过文本转语音工具来运行这些回复，以便机器人能够真正与参观者对话。在尝试从沟通的（espeak）到最前沿的研究（bark）等多种在现成的文本转语音方法之后，Boston Power 最终选择了 ElevenLabs。为了减少延迟，他们将文本以「MPP」的形式传输给 TTS，然后串行播放生成音频。
最后一项工作就是为「Spot 先生」创建一些默认的肢体语言。Spot 的 3.3 版本包括检测和跟踪机器人周围移动物体的功能，以提高机器人在和车辆周围的安全性。波士顿动力恰好利用了这个系统假设最近的人那个的位置，然后将手臂转向人。他们在生成的语音上使用了低通滤波器，将其转化为机械手臂轨迹，构成木偶开口说话的形式。特别是在机械臂上加了衣服，瞪大了眼睛之后，错觉到了加强。
更多技术细节，可参考博客原文：