AI语音视觉开发板对接 OpenClaw 龙虾实现多模态交互

前言

OpenClaw 是开源 AI 智能体执行框架,区别于 ChatGPT、通义千问等仅能文本输出的大模型。它可自由搭配各类大小模型,支持本地私有化部署保障数据安全,能直接操作电脑软件、多渠道收发指令,自带长效记忆与海量技能插件,零代码搭建自动化工作流,无订阅费用,比 AutoGPT 等框架更易落地使用。

基于以上优点,不少开发者朋友就想把手里的AI开发板接入OpenClaw,本文以LS26开发板接入本地OpenClaw龙虾服务器为例,讲解如何实现拍照识别、语音交互、图片处理、日程提醒等功能接内网服务器运行,方便大家验证挖掘多模态交互的价值。小聆AI的语音服务平台已经针对OpenClaw(龙虾)做好适配,因此大家只需要按文章中的步骤操作配置参数,无须开发即可启用。

安装前准备

  1. 请在电脑先完成OpenClaw的安装
  2. LS26开发套件(Arcs mini)固件版本升级至V2.4.2以上

第一步

打开小聆AI小程序,点击"设置"-->"OpenClaw绑定"

根据页面指引,在Windows/Mac/Linux终端输入

复制代码
npx -y @listenai/openclaw-xiaoling install`
`

执行成功后,会返回安装指引

第二步

根据执行结果的指引,依次执行

复制代码
openclaw plugins install npm:@listenai/openclaw-xiaoling@latest`
`openclaw gateway restart`
`openclaw channels add`
`

弹出channel setup后,选择Yes,按下回车

在channel选择页面,选择小聆AI,选项可能被隐藏到最后,按方向键↑从最后开始选择,选中小聆AI后按下回车

在channels选择中,选择"小聆AI"后按回车,输入小程序中的8位授权码(图片中的授权码仅作参考)

小程序显示"已连接"即为配对成功,同样按方向键↑从最后开始选择,选择Finished退出channel setup,为小聆AI channel配置参数,建议使用默认值(按三次回车键)即可

完成连接和配置后,重启OpenClaw网关

复制代码
openclaw gateway restart`
`

第三步(可选)

在安装成功后,建议:

  1. 打开 OpenClaw 的Web页面
  2. 在左侧栏找到 Agent(代理)选项卡,选择 Tools(工具)选项卡
  3. 找到 openclaw-xiaoling 面板,根据需要启用其中的功能;或直接切换到 Full 预设启用所有工具。然后保存配置
  1. 执行openclaw gateway restart重启网关

小聆AI小程序OpenClaw绑定选项说明

1.设备能力授权

打开拍照选项,即可让OpenClaw获得使用小聆设备拍摄真实环境的工具

如果主模型不是多模态模型,需要在openclaw.json中配置imageModel才能让OpenClaw理解图片,例如配置多模态模型kimi-k2.5:

复制代码
{`
`  "agents": {`
`    "defaults": {`
`      "model": {`
`        "primary": "minimax-portal/MiniMax-M2.5-highspeed",`
`        "fallbacks": []`
`      },`
`      "imageModel": {`
`        "primary": "moonshot/kimi-k2.5",`
`        "fallbacks": []`
`      }`
`    }`
`  }`
`}`
`

2.云端能力管理

在此页面可以管理小聆AI云端支持的能力范围,关闭后,相关任务将发送给OpenClaw处理,选项默认关闭,即所有任务由OpenClaw执行。

更多资料参考

以上为LS26开发套件(Arcs mini)接入龙虾的操作,如需克隆IP角色、自建RAG知识库、控制外设家居、接入MCP等更多云端服务、可以参考这个文档内容实现:https://docs2.listenai.com/x/Scs0mxNw6

相关推荐
hrrrrxeeeee4 小时前
业务岗简历 AI 加分指南:CAIE、国考证书搭配量化案例写法
人工智能
yingyuecom4 小时前
Hi,导演:AI视频创作正在从“模型调用”走向“生产工作流”
大数据·人工智能
雨晨源码(同名B站)4 小时前
基于深度学习YoloV11农业病害虫害检测系统 智慧农业信息化综合管理平台 (附源码+lw文档+ppt)
数据库·人工智能·深度学习·yolo·信息可视化
weixin_446260855 小时前
列表式交叉编码器微调 vs 智能体指令优化大模型重排器:医保医疗流程重排序系统性研究
人工智能
星马梦缘5 小时前
“零一”智能硬件开发挑战赛 宣传稿
驱动开发·智能硬件·活动·培训·科协
liuyunshengsir5 小时前
从 TVM 到 TileLang:一文读懂深度学习编译器为什么走向 Tile 化
人工智能·深度学习·tvm·tilelang
海天一色y5 小时前
GSPO:重新定义大语言模型的强化学习训练范式
人工智能·机器学习·语言模型
云和数据.ChenGuang5 小时前
fastapi项目拆分实战数据模型
java·服务器·数据库·人工智能·深度学习·fastapi·强化学习
祈禾5 小时前
计算机组成原理之编译、汇编、链接、解释
开发语言·汇编·笔记·学习