AirSim/Cosys-AirSim 游戏开发(四)外部固定位置监控相机

这个博客介绍了如何通过 settings.json 文件添加一个无人机外的 固定位置监控相机,因为在使用过程中发现 Airsim 对外部监控相机的描述模糊,而 Cosys-Airsim 在官方文档中没有提供外部监控相机设置,最后在源码示例中找到了,所以感觉有必要记录下。

【Note】:AirSim 和 Cosys-AirSim 在外部相机配置和使用方面有较大差异,如果你用的是较新的 AirSim 版本发现原生的配置方案没有生效建议试下 Cosys-AirSim 的配置方案,这两个在大多数情况下是兼容 settings.json 文件的。


1. Cosys-AirSim 配置方案

文档溯源

对于 Cosys-AirSim 而言配置外部固定位置监控相机主要参考下面的官方文档:

和原生 AirSim 不同,Cosys-AirSim 将外部相机定义为载具的一个对象,只不过可以通过设置标签来固定相机,我感觉这么做的一个原因是 API 中获取相机图片的接口需要传入一个载具名。

但当你打开链接后找到原生 AirSim 中对应位置的示例 settings 后实际上看不到有关外部相机配置的描述,同时搜索 ExternalCamera 也返回的是无结果。

实际上你需要返回链接的最上方找到 Cosys-AirSim Settings 标签中 settings_example.json 链接并打开:

打开链接后找到 Vehicles 字段中的 Cameras 属性就可以发现控制相机是内部相机还是外部相机的标签为 ExternalExternalLocal

那么最精简的配置格式如下:

json 复制代码
{
    "ClockSpeed": 1,
    "SeeDocsAt": "https://github.com/Microsoft/AirSim/blob/master/docs/settings.md",
    "SettingsVersion": 1.2,
    "SimMode": "Multirotor",
    "ViewMode": "SpringArmChase",
    "Vehicles": {
        "drone_1": {
            "Cameras": {
                "fpv_cam": {
                    // ...
                },
                "FixedCamera": {
                    "External": true,           // 外部标志位
                    "ExternalLocal": true,      // 外部标志位
                    // ...
                }
            },
            "Pitch": 0.0, "Roll": 0.0, "Yaw": 0.0,
            "VehicleType": "SimpleFlight",
            "X": 0.0, "Y": 0.0, "Z": 0.0
        }
    },
    "SubWindows": [
        {
            "WindowID": 0,
            "ImageType": 0,
            "CameraName": "fpv_cam",
            "Visible": true
        },
        {
            "WindowID": 2,
            "ImageType": 0,
            "CameraName": "FixedCamera",
            "Visible": true
        }
    ]
}

配置示例

下面给出一个简单的配置 setting.json 示例,包含一个搭载 1080p 分辨率相机的FPV无人机 + 一个和 4K 分辨率的地面监控相机:

json 复制代码
{
    "ClockSpeed": 1,
    "SeeDocsAt": "https://github.com/Microsoft/AirSim/blob/master/docs/settings.md",
    "SettingsVersion": 1.2,
    "SimMode": "Multirotor",
    "ViewMode": "SpringArmChase",
    "Vehicles": {
        "drone_1": {
            "Cameras": {
                "fpv_cam": {
                    "CaptureSettings": [
                        {
                            "FOV_Degrees": 90,
                            "Width": 1080,
                            "Height": 720,
                            "ImageType": 0,
                            "Framerate": 30
                        }
                    ],
                    "Pitch": 0.0, "Roll": 0.0, "Yaw": 0.0,
                    "X": 0.4, "Y": 0.0, "Z": 0.0
                },
                "FixedCamera": {
                    "Pitch": 30.0, "Roll": 0.0, "Yaw": 0.0,
                    "X": 0.4, "Y": 0.0, "Z": 0.0,
                    "External": true,
                    "ExternalLocal": true,
                    "CaptureSettings": [
                        {
                            "FOV_Degrees": 90,
                            "Width": 4096,
                            "Height": 2048,
                            "ImageType": 0,
                            "Framerate": 30
                        }
                    ]
                }
            },
            "Pitch": 0.0, "Roll": 0.0, "Yaw": 0.0,
            "VehicleType": "SimpleFlight",
            "X": 0.0, "Y": 0.0, "Z": 0.0
        }
    },
    "SubWindows": [
        {
            "WindowID": 0,
            "ImageType": 0,
            "CameraName": "fpv_cam",
            "Visible": true
        },
        {
            "WindowID": 2,
            "ImageType": 0,
            "CameraName": "FixedCamera",
            "Visible": true
        }
    ]
}

启动程序后控制无人机就可以看见两个子图中的画面存在差异:


2. AirSim 配置方案

文档溯源

对于原生 AirSim 配置外部固定位置监控相机主要参考的是下面的官方文档:

进入链接后下拉找到 Aviable Settings and Their Defaults 这个标签就可以看到示例 settings.json 内容:

重点关注示例中的 ExternalCameras 字段,这个字段表示外部相机配置,该字段与 Vehicles 字段是同级的,不能将该字段放在无人机字段下面,去除掉冗余内容后最精简版本如下:

json 复制代码
{
    "ClockSpeed": 1,
    "SeeDocsAt": "https://github.com/Microsoft/AirSim/blob/master/docs/settings.md",
    "SettingsVersion": 1.2,
    "SimMode": "Multirotor",
    "ViewMode": "SpringArmChase",
    "Vehicles": {
        "SimpleFlight": {
            "Cameras": {
                "FPVCamera":{   // 机载相机名
                    // ...
                }
            }
        }
    },
    "ExternalCameras": {
        "FixedCamera": {       // 外部监控相机名
            // ...
        }
    },
    "SubWindows": [
        {
            "WindowID": 0,
            "ImageType": 0,
            "CameraName": "FPVCamera",  // 机载相机名
            "Visible": true
        },
        {
            "WindowID": 2,
            "ImageType": 0,
            "CameraName": "FixedCamera",    // 外部监控相机名
            "Visible": true
        }
    ]
}

配置示例

下面给出一个简单的配置 setting.json 示例,包含一个搭载 1080p 分辨率相机的FPV无人机 + 一个和 4K 分辨率的地面监控相机:

json 复制代码
{
    "ClockSpeed": 1,
    "SeeDocsAt": "https://github.com/Microsoft/AirSim/blob/master/docs/settings.md",
    "SettingsVersion": 1.2,
    "SimMode": "Multirotor",
    "ViewMode": "SpringArmChase",
    "Vehicles": {
        "drone_1": {
            "Cameras": {
                "fpv_cam": {
                    "CaptureSettings": [
                        {
                            "FOV_Degrees": 90,
                            "Width": 1080,
                            "Height": 720,
                            "ImageType": 0,
                            "Framerate": 30
                        }
                    ],
                    "Pitch": 0.0, "Roll": 0.0, "Yaw": 0.0,
                    "X": 0.4, "Y": 0.0, "Z": 0.0
                }
            },
            "Pitch": 0.0, "Roll": 0.0, "Yaw": 0.0,
            "VehicleType": "SimpleFlight",
            "X": 0.0, "Y": 0.0, "Z": 0.0
        }
    },
    "ExternalCameras": {
        "FixedCamera": {
            "CaptureSettings": [
                {
                    "FOV_Degrees": 90,
                    "Width": 4096,
                    "Height": 2048,
                    "ImageType": 0,
                    "Framerate": 30
                }
            ],
            "Pitch": 30.0, "Roll": 0.0, "Yaw": 0.0,
            "X": 5.0, "Y": 0.0, "Z": 0.0
        }
    },
    "SubWindows": [
        {
            "WindowID": 0,
            "ImageType": 0,
            "CameraName": "fpv_cam",
            "Visible": true
        },
        {
            "WindowID": 2,
            "ImageType": 0,
            "CameraName": "FixedCamera",
            "Visible": true
        }
    ]
}

然后运行程序操作手柄就可以看见两个监控子窗中的画面内容存在差异:

【Note】:如果你开启程序后发现两个子窗口的画面是同步的,并且第二个窗口画面还比较模糊,这是因为 AirSim 版本问题,建议使用上面 Cosys-AirSim 的配置方案重试。

相关推荐
曼巴UE54 小时前
UE5 音效系统
c++·游戏·ue5·虚幻·音效
nenchoumi31194 小时前
UE5 学习系列(二)用户操作界面及介绍
windows·学习·ue5·机器人
加百力7 小时前
自动驾驶+人形机器人?亚马逊即将测试人形机器人送货
人工智能·机器人·自动驾驶
MYH5168 小时前
深度学习聊天机器人 需要考虑
人工智能·深度学习·机器人
视觉语言导航9 小时前
中南大学无人机智能体的全面评估!BEDI:用于评估无人机上具身智能体的综合性基准测试
人工智能·深度学习·无人机·具身智能
Vince丶16 小时前
[UnrealCircle武汉]UE5跨平台游戏常见问题及解决方案笔记
ue5
老胖闲聊1 天前
Python ROS2【机器人中间件框架】 简介
python·中间件·机器人
nenchoumi31192 天前
UE5 学习系列(一)创建一个游戏工程
c++·学习·游戏·ue5
Coovally AI模型快速验证2 天前
SFTrack:面向警务无人机的自适应多目标跟踪算法——突破小尺度高速运动目标的追踪瓶颈
人工智能·神经网络·算法·yolo·计算机视觉·目标跟踪·无人机