LLMControlsArm开源程序是DeepSeek 控制熊猫机械臂

​一、软件介绍

文末提供程序和源码下载

LLMControlsArm开源程序是DeepSeek 控制熊猫机械臂。

通过使用智能化的工作流控制系统来精确操控机械臂,不仅能够基于预设算法可靠地规划每个动作步骤的执行顺序和力度,确保作业流程的标准化和可重复性,还能通过模块化的程序设计思路灵活地在原有工作流中插入新的控制节点,这种可扩展的架构设计使得系统能够在不影响既有功能稳定性的前提下,便捷地集成诸如视觉识别、力反馈调节或协同作业等进阶功能模块,从而持续提升机械臂在复杂工业场景中的适应性和多功能性。

这里我增加了DeepSeek控制节点,通过给DeepSeek提示,让它帮助给出机械臂的末端位置。该节点利用大语言模型强大的逻辑推理和空间理解能力,能够将模糊的自然语言指令(如"向右移动5厘米"或"避开红色障碍物")自动转化为精确的坐标参数和运动轨迹。这一集成显著提升了人机交互效率,使得非专业用户也能通过口语化指令快速完成复杂的位姿调整任务,为柔性生产线或科研实验场景提供了更高层次的智能化支持。

二、环境配置

  • Ubuntu:24.04
  • Ros2:jazzy

❇️使用VMWare安装Ubuntu24.04 ❇️使用 VMware 安装 Ubuntu24.04

❇️配置开发环境

复制代码
# VMware的复制粘贴问题:先打开VMware的设置,点开选项->常规->共享文件夹->勾选启用共享文件夹

sudo apt-get autoremove open-vm-tools -y
sudo apt-get install open-vm-tools -y
sudo apt-get install open-vm-tools-desktop -y
sudo reboot


# 按照鱼香ros一键安装ros2
sudo apt-get update
sudo apt install wget -y
wget http://fishros.com/install -O fishros && sudo bash fishros


# 安装远程显示服务程序
sudo apt-get install x11-xserver-utils
sudo apt install libxcb* -y
sudo apt-get install x11-apps -y

# 安装moveit
# 重新打开一个终端
sudo apt install ros-${ROS_DISTRO}-moveit* -y

# 安装ros2的控制功能包
sudo apt install ros-${ROS_DISTRO}-controller-manager -y
sudo apt install ros-${ROS_DISTRO}-joint-trajectory-controller -y
sudo apt install ros-${ROS_DISTRO}-joint-state-broadcaster -y
sudo apt install ros-${ROS_DISTRO}-diff-drive-controller -y

# 安装运行`graph_executer_controller`相关的Python包
sudo apt update
sudo apt install python3-pip -y
sudo apt-get install portaudio19-dev -y
sudo apt install espeak -y

# 使用清华源下载
cd src/graph_executer_controller/
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple --break-system-packages

# 调试工具
python3 -m pip install ipykernel -U --user --force-reinstall -i https://pypi.tuna.tsinghua.edu.cn/simple --break-system-packages


# 配置Ubuntu支持中文
sudo apt-get install language-pack-zh-hans

vim /etc/environment
# 添加内容
LANG="zh_CN.UTF-8"
LANGUAGE="zh_CN:zh:en_US:en"

vim /var/lib/locales/supported.d/local
# 添加内容
en_US.UTF-8 UTF-8
zh_CN.UTF-8 UTF-8
zh_CN.GBK GBK
zh_CN GB2312

sudo locale-gen

# 安装中文字体
sudo apt-get install fonts-droid-fallback ttf-wqy-zenhei ttf-wqy-microhei fonts-arphic-ukai fonts-arphic-uming

三、运行测试

❇️编译项目

复制代码
colcon build

❇️运行moveitpy_controller

复制代码
# 打开新的终端
source install/setup.bash
ros2 launch control_server arm_control.launch.py

❇️运行panda_moveit_configdemo.launch.py

复制代码
# 打开新的终端
source install/setup.bash
ros2 launch panda_moveit_config demo.launch.py

启动rviz2后,可以看到机械臂会有干涉,现手动调整到不干涉的位置,然后才使用moveitpy控制机械臂,否则无法控制机械臂。

❇️运行graph_executer_controller

复制代码
# 打开新的终端
source install/setup.bash
cd src/graph_executer_controller
python3 main.py

四、报错

  1. ❌框选节点的时候报错
复制代码
  File "/usr/local/lib/python3.12/dist-packages/NodeGraphQt/widgets/viewer.py", line 619, in mouseMoveEvent
    self.scene().setSelectionArea(
TypeError: 'PySide6.QtWidgets.QGraphicsScene.setSelectionArea' called with wrong argument types:
  PySide6.QtWidgets.QGraphicsScene.setSelectionArea(QPainterPath, ItemSelectionMode)
Supported signatures:
  PySide6.QtWidgets.QGraphicsScene.setSelectionArea(path: PySide6.QtGui.QPainterPath, /, selectionOperation: PySide6.QtCore.Qt.ItemSelectionOperation = Instance(Qt.ReplaceSelection), mode: PySide6.QtCore.Qt.ItemSelectionMode = Instance(Qt.IntersectsItemShape), deviceTransform: PySide6.QtGui.QTransform = Default(QTransform))
  PySide6.QtWidgets.QGraphicsScene.setSelectionArea(path: PySide6.QtGui.QPainterPath, deviceTransform: PySide6.QtGui.QTransform, /)
Error calling Python override of QGraphicsView::mouseMoveEvent(): Traceback (most recent call last):
  File "/usr/local/lib/python3.12/dist-packages/NodeGraphQt/widgets/viewer.py", line 619, in mouseMoveEvent
    self.scene().setSelectionArea(
TypeError: 'PySide6.QtWidgets.QGraphicsScene.setSelectionArea' called with wrong argument types:
  PySide6.QtWidgets.QGraphicsScene.setSelectionArea(QPainterPath, ItemSelectionMode)
Supported signatures:
  PySide6.QtWidgets.QGraphicsScene.setSelectionArea(path: PySide6.QtGui.QPainterPath, /, selectionOperation: PySide6.QtCore.Qt.ItemSelectionOperation = Instance(Qt.ReplaceSelection), mode: PySide6.QtCore.Qt.ItemSelectionMode = Instance(Qt.IntersectsItemShape), deviceTransform: PySide6.QtGui.QTransform = Default(QTransform))
  PySide6.QtWidgets.QGraphicsScene.setSelectionArea(path: PySide6.QtGui.QPainterPath, deviceTransform: PySide6.QtGui.QTransform, /)

✔️Pyside6和nodegraphqt版本不适配导致,更改viewer.py以下位置即可:

复制代码
# "/usr/local/lib/python3.12/dist-packages/NodeGraphQt/widgets/viewer.py"

# self.scene().setSelectionArea(
#     path, QtCore.Qt.IntersectsItemShape
# )
self.scene().setSelectionArea(
    path,
    selectionOperation=QtCore.Qt.ItemSelectionOperation.ReplaceSelection,
    mode=QtCore.Qt.ItemSelectionMode.IntersectsItemShape
)

五、软件下载

迅雷云盘

本文信息来源于GitHub作者地址:https://github.com/laoxue888/LLMControlsArm

相关推荐
lingliang7 分钟前
机器学习之三大学习范式:监督学习、无监督学习、强化学习
人工智能·学习·机器学习
没有口袋啦34 分钟前
《决策树、随机森林与模型调优》
人工智能·算法·决策树·随机森林·机器学习
计育韬36 分钟前
计育韬:基于AI的数据可视化设计入门工作流
人工智能·信息可视化·新媒体运营·微信公众平台
两只程序猿38 分钟前
数据可视化 | 热力图Heatmap绘制Python代码 相关性矩阵学术可视化
python·信息可视化·矩阵
倔强青铜三42 分钟前
苦练Python第58天:filecmp模块——文件和目录“找不同”的利器
人工智能·python·面试
倔强青铜三44 分钟前
苦练Python第59天:tempfile模块,临时文件自动删!再也不用手动清理到怀疑人生
人工智能·python·面试
stjiejieto1 小时前
AI 重构实体经济:2025 传统产业的智能转型革命
人工智能·重构
IT教程资源1 小时前
(免费分享)基于python的飞机大战游戏
python·游戏·pygame
镰刀韭菜1 小时前
【AI4S】通过单一基础模型双向生成分子的结构和特性
人工智能·分子生成·ai4s·多模态分子预训练模型·spmm·bpe算法
hello 早上好1 小时前
深入理解 SPI:从定义到 Spring Boot 实践
java·spring boot·python