萤石音视频 SDK 概述
萤石开放平台音视频SDK 是萤石为了开发者快速接入物联网监控直播业务的软件开发工具，已为萤石云视频、海康互联等产品提供了直播的底层能力支持。在集成安防取流能力的同时，同时提供云台控制、点播播放、设备配网等能力，具有高稳定性、功能丰富、接入简单的特点。
接入 SDK
| 平台/语言 | 获取 SDK | 集成SDK |
|---|---|---|
| Android SDK | 获取 SDK | 集成 SDK |
| iOS SDK | 获取 SDK | 集成 SDK |
| Harmony SDK | 获取 SDK | 集成 SDK |
| 轻应用 Web SDK | 获取 SDK | 集成 SDK |
| 标准流 Web SDK | 获取 SDK | 集成 SDK |
| 小程序 SDK | 获取 SDK | 集成 SDK |
| Windows SDK | 获取 SDK | 集成 SDK |
| macOS SDK | macOS SDK已停止更新，若有需求请线下联系客服 | 请线下联系 |
| Server SDK | 请线下联系 | 请线下联系 |
| Uni-app SDK | 获取 SDK | 集成 SDK |
备注：轻应用 SDK 指萤石开放平台提供的带UI的低代码安防套件，小程序 SDK 也提供了部分低代码安防套件能力，其余SDK均只提供API能力，开发者可根据开发需求对接。
隐私政策
隐私政策： 萤石开放平台应用开发SDK隐私政策
功能说明
音视频SDK具有以下功能：
| 模块 | iOS | Android | 轻应用 Web | 标准流 Web | 小程序 | 鸿蒙 |
|---|---|---|---|---|---|---|
| 设备能力（详见下表） | √ | √ | - | - | - | √ |
| 预览 | √ | √ | √ | √ | √ | √ |
| 对讲 | √ | √ | √ | - | √ | √ |
| 本地回放 | √ | √ | √ | √ | √ | √ |
| 云存储回放 | √ | √ | √ | √ | √ | √ |
| 云录制回放 | √ | √ | √ | √ | - | - |
| 消息 | √ | √ | - | - | - | √ |
| 配网能力 | √ | √ | - | - | 部分支持 | √ |
| 局域网设备能力 | √ | √ | - | - | - | - |
备注：其中部分功能，由于各个SDK端功能特性，并非每个客户端端都具备，具体可以参考客户端每个端设备的功能列表说明。
Demo体验
各个客户端体验，可以下载后进行体验，SDK及Demo下载地址：下载地址
其中，轻应用Demo体验中心：轻应用Demo体验中心
音视频SDK详细功能列表
下表是SDK详细功能，具体SDK示例及接入说明，可参考相关SDK接入文档说明
| 模块 | 功能项 | 功能简介 |
|---|---|---|
| 权限认证 | 开发者令牌获取与认证 | 使用开放平台申请的appKey和accessToken进行认证。 |
| 设备 | 获取设备列表 | 查询账号下设备列表信息。 |
| 获取分享设备列表 | 查询账号下被分享的设备列表信息。 | |
| 活动检测提醒开关 | 开启后，设备会产生告警消息。 | |
| 视频加解密 | 设备能力，通过对预览/回放录像/告警图片等加密，保证云端传输过程的安全性，一般加密有对称加密、非堆成加密等方式。 | |
| 告警图片解密 | 客户端提供对加密的告警图片进行解密。 | |
| 设备绑定和删除 | 配网SDK功能，开发者集成后可以调用SDK通过扫码、蓝牙等方式将设备添加到萤石云。 | |
| 获取设备的版本信息 | 获取已添加设备的当前版本。 | |
| 获取设备升级进度 | 获取设备的升级进度。 | |
| SD卡格式化 | 提供存储SD卡格式化的能力，需设备配置SD卡。 | |
| 抓图 | 下发指令，让视频设备上传图片到云端存储。 | |
| 布撤防 | 视频设备安防能力，划定。 | |
| 硬解码开关 | 硬解码开启后，使用设备的GPU进行解码。性能好，减少CPU开销；对码流兼容性相对较差，解码错误可能出现绿屏。关闭后，使用播放库的算法进行解码，对码流的兼容性好，针对绿屏等异常情况做校正处理。 | |
| 通用 | 自定义提示语/文案 | 发生异常时的错误码提示语支持自定义。 |
| 修改播放器窗口尺寸 | 支持修改播放窗口尺寸。 | |
| 码流画面分辨率回调 | 支持将当前视频码流分辨率回调给开发者。 | |
| 预览 | 单设备画面预览 | 对单个摄像机实时取流，查看当前单个摄像机的实时直播画面。 |
| 多设备画面预览 | 对多个摄像机同时取流，并在一个页面上展示多摄像机的实时直播画面。 | |
| 云台控制 | 云台，也称PTZ，是指对摄像机进行操控，比如云台转动、物理缩放、变焦等操作，可以根据需要自动或手动调整方向和焦距，确保关键区域始终处于监控范围内。该能力需摄像头本身支持PTZ能力。 | |
| 云台转动角度尺 | 摄像机的云台转动角度尺是确保云台能够按照预期角度精确转动的工具，该参数会给开发者回调一个EZDevicePtzAngleInfo对象。 | |
| 云台转动速度调整 | 可以调整云台转动的速度，根据设备能力报备进行速度调整，一般情况下，萤石摄像头支持1-7档速度调整。 | |
| 物理缩放、变焦 | 摄像机可以通过光学变焦或数字变焦来放大或缩小拍摄对象，使用户能够聚焦于特定的目标或区域。与物理缩放相对应的是电子放大。 | |
| 截图 | 提供截图的调用api，用户点击该按钮后可以对当前画面截图，并提供保存。 | |
| 录像 | 提供录像调用api，集成后可以对当前画面进行录像，一般是某一段时长录像，并提供保存。 | |
| 录像转封装 | 转封装：视频转封装是指视频文件格式的转换，常见的视频容器格式包括 PS、MP4、AVI 等，其中海康监控录像是海康私有录像格式，一般称为PS流。 录像转封装提供了将视频文件从监控PS格式转为其他格式：比如MP4、m3u8、Http-flv等格式的能力。 | |
| 全屏 | 与网页全屏相对，指的是整个桌面全屏。 | |
| 网页全屏 | 与全屏相对，只有JS SDK特有，指的是当前网页内全屏。 | |
| 电子放大-手势放大 | 电子放大：与物理缩放对应，指的是通过数字处理技术增加图像显示尺寸，而不是通过物理光学元件来实现。过度的电子放大可能会导致图像模糊等问题。手势放大：提供双指捏合放大当前画面，该能力一般在手机端支持。 备注：该能力由于可能与浏览器本身的手势捏合有冲突，开发者调用时需要注意方法规避冲突。 | |
| 电子放大-按钮放大 | 电子放大：与物理缩放对应，指的是通过数字处理技术增加图像显示尺寸，而不是通过物理光学元件来实现。过度的电子放大可能会导致图像模糊等问题。 | |
| 按钮放大：提供放大缩小的按钮，点击后可以实现画面整体电子缩放，该能力一般在电脑桌面端支持。 | ||
| 预览声音开关 | 进行画面预览时，可以开启或者关闭声音。 | |
| 画面清晰度切换 | 一般摄像头支持多种视频清晰度，比如：标清、高清、超清、极清等清晰度，可以让设备端推送不同清晰度的流进行清晰度切换，由于设备端一般只会推送同一个清晰度的流，因此当多人同时观看，如果有单个客户端切换清晰度，所有客户端的观看清晰度都会同时变化。 | |
| 鱼眼设备多种安装方式和矫正模式 | 鱼眼相机：鱼眼镜头属于超广角镜头中的一种特殊镜头，这种镜头的前镜片直径很短且呈抛物状向镜头前部凸出，其视觉效果类似于鱼眼观察水面上的景物。焦距越短，视角越大，一般摄像机能获得60°到90°的监控范围，但是鱼眼镜头的焦距很短，摄像机可以轻松获取180°或360°的视频图像，相当于一个摄像头就能实现2-4个摄像头的视野范围，实现监控无盲点。 由于鱼眼设备的特殊造型与特殊的流，因此在查看鱼眼设备的视频流时，需要对鱼眼的视频流进行算法矫正，音视频SDK里提供了几种常见的矫正方案，比如鱼眼模式、180°全景模式、360°全景模式等，方便开发者快速集成。 | |
| 智能分析（画面中出现框框） | 部分摄像机自带算法，会将画面中出现的人、车、宠物等画面进行标记，常见的是比如人形框选、车子框选等，该api提供了开发者是否要将智能分析画框叠加到视频流的方法。 | |
| AR鹰眼设备取流 | AR：增强现实，Augmented Reality，AR鹰眼相机是指结合了摄像机真实信息和虚拟信息的设备，它通过摄像头捕捉真实场景，并在实时视频流中叠加视频标签、画面信息等，让查看者能实时增减视频流中的附加信息。 | |
| 3D定位 | 通过鼠标、手势在画面上绘制矩形框，下发3D定位指令给设备，设备转动云台将摄像头中心对准该矩形框的中心，并根据指令放大/缩小焦距（需要设备支持，能力集：support_3d_position） | |
| 双目设备-多视图 | 双目：双目摄像机是一种具有两个镜头的摄像设备，一般一个是广角镜头，可以看大范围的视野，另一个是云台镜头，可以进行视角移动，两个镜头配合起来可以对同一个空间获取更好的查看。 多视图：由于双目摄像头有两个镜头，因此在展示双目摄像机的时候有多重排布方式，比如上下、画中画的排布方式。 | |
| 双目设备-指哪看哪 | 多目摄像机一般有云台、广角两个镜头，当点击广角镜头里的位置时，云台摄像机会自动转动到对应位置，称为指哪看哪。 | |
| VR全景设备 | VR全景相机： Virtual Reality，虚拟现实，VR相机是一种专门设计用于捕捉和生成虚拟现实内容的摄像设备。这些相机能够实时传输360度全景视频或图像，为用户提供沉浸式的视觉体验。 开放平台音视频SDK能提供VR全景相机的设备接入，并提供多种视频排布模式供开发者集成，让用户在观看直播时获得更好的体验。 | |
| 获取门锁设备开门token | 视频类门锁设备预览时，SDK会将码流私有数据中的门锁开门token回调给开发者；开发者可以使用该token+平台接口实现远程开门。 | |
| 对讲 | 全双工对讲 | 全双工对讲，与半双工对讲对应，指的是通信系统中同时进行双向对讲的方式，它允许对讲的双方可以在同一时刻进行发送和接收语音，而不需要像半双工通信那样交替进行。 |
| 半双工对讲 | 半双工对讲，指的是通信系统中交替进行发送和接收语音的模式，与对讲机类似，一方说话期间，其他用户只能接听，只有该用户停止讲话，其他用户才能开始讲话。 | |
| 对讲模式切换 | 部分摄像机或音频设备支持全双工对讲、半双工对讲模式的切换。 | |
| 对讲变声 | 在门铃、门禁等业务场景中，室内用户说话时，为了保护隐私等原因，不希望室外用户接收真实的声音，萤石音视频SDK提供变声功能，可以讲某一方对讲的声音变为其他声音，比如小丑、大叔等音色，让另外一方听不出来是谁。 | |
| 对讲增益 | 部分开发者在对讲过程中，发现设备端的声音播放音量较轻，但是设备端未集成AGC等能力，则需要客户端SDK将声音放大后，传输到设备端，直接播放放大后的声音，当然，不可能无限放大声音，否则会引起破音等效果。音视频SDK开放了声音增益的原子能力，供开发者进行调试应用。 | |
| 云存储回放 | 云存储录像列表搜索 | 使用音视频SDK进行录像查看时，会自动取检索云存储录像列表，方便开发者调用查看。 |
| 云存储录像回放 | 查看萤石云存储的录像 | |
| 回放声音开关 | 进行云存储回看时，可以开启或者关闭声音。 | |
| 全屏 | 同预览功能：全屏 | |
| 网页全屏 | 同预览功能：网页全屏 | |
| 电子放大-手势放大 | 同预览功能：电子放大-手势放大 | |
| 电子放大-按钮放大 | 同预览功能：电子放大-按钮放大 | |
| 录像下载 | 下载保存在云端的录像 | |
| 倍数播放（1/4/8/16/32倍数） | 针对视频可以进行多种倍速播放，云存储支持多种回放倍速，包括1/4/8/16/32倍速。 | |
| 回放暂停 | 回放时，支持暂停播放。 | |
| 回放恢复 | 回放时，支持恢复播放。 | |
| 回放进度拖拽 | 回放时，支持拖拽进度条，跳转到指定的时间点进行查看。 | |
| 鱼眼设备指定安装方式和矫正模式 | 同预览功能：鱼眼设备词条 | |
| 智能分析（画面中出现框框） | 同预览功能：智能分析 | |
| 录像封面 | 云存储录像会自动抽取画面中的某一帧作为录像的封面图 | |
| 回放时间戳 | 云存储回放时，提供时间戳放大缩小等 | |
| 云录制2.0 | 云录制录像列表搜索 | 同本地录像功能：录像列表搜索 |
| 云录制录像回放 | 同本地录像功能：录像回放 | |
| 回放声音开关 | 同本地录像功能：回放声音开关 | |
| 录像下载 | 同本地录像功能：录像下载 | |
| 全屏 | 同预览：全屏 | |
| 网页全屏 | 同预览：网页全屏 | |
| 电子放大-手势放大 | 同预览：电子放大-手势放大 | |
| 电子放大-按钮放大 | 同预览：电子放大-按钮放大 | |
| 倍数播放（1/4/8/16/32倍数） | 同本地录像功能：倍速播放 | |
| 回放暂停 | 同本地录像功能：回放暂停 | |
| 回放恢复 | 同本地录像功能：回放恢复 | |
| 回放进度拖拽 | 同本地录像功能：回放进度拖拽 | |
| 录像封面 | 同本地录像功能：录像封面 | |
| 回放时间戳 | 同本地录像功能：回放时间戳 | |
| SD卡录像回放 | SD卡录像列表搜索 | 使用音视频SDK进行录像查看时，会自动取检索云存储录像列表，方便开发者调用查看。 |
| SD卡录像回放 | 查看设备SD卡的录像内容，此功能要求设备本身自带SD卡，且SD卡能正常使用。 | |
| 回放声音开关 | 进行录像回看时，可以开启或者关闭声音。 | |
| 录像下载 | 下载保存在SD卡里的录像 | |
| 倍数播放（1/4/8/16倍数，具体看设备能力集） | 针对视频可以进行多种倍速播放，其中倍速播放需要设备端支持，一般情况下SD卡一般支持1/2/4倍速播放，云存储/云录制2.0支持1/4/8/16倍数， | |
| 回放恢复 | 回放时，支持恢复播放。 | |
| 浓缩回放录像下载（如果支持） | 浓缩回放：部分海康设备支持将录像抽帧并浓缩成精华短片段，音视频SDK提供了浓缩回放录像下载的能力。 | |
| cvr中心存储录像搜索（只支持国内） | CVR中心存储设备接入萤石云，CVR设备回放录像片的查询及取流播放 | |
| 录像封面 | 录像会自动抽取画面中的某一帧作为录像的封面图 | |
| 回放时间戳 | 回放时，提供时间戳放大缩小等能力 | |
| 消息 | 人体感应事件 | SDK支持将消息中的人体感应事件单独抽取作为消息推送 |
| 事件回放 | 消息事件有一个时间，对该事件前5秒和后5秒进行事件回放；时间由开发者自定义。 | |
| 配网 | Smart配网 | 配网：摄像机配网指的是将摄像机连接到网络的过程。通过配网，摄像机能够接入互联网或者局域网，实现远程监控、数据传输、与其他设备的互联互通等功能。简单来说，就是给摄像机设置好网络参数，让它能够在网络中正常工作，方便用户通过手机、电脑等设备随时随地查看摄像机拍摄的画面。 当前开放平台SDK只开放了App SDK及部分小程序SDK的配网能力。不同的设备可能支持不同的配网模式，开发者可以集成并开放给用户进行使用。 Smart配网：指的是让设备能够快速、轻松地连接到网络，SDK会根据设备自动选择配网模式，自动配网。如果Smart配网不生效，可以让用户选择其他指定的配网方式。 |
| 声波配网 | 设备通过发出特定频率的声波，用户使用手机等设备接收并解析声波，从而实现配网。 | |
| AP配网 | AP（Access Point，无线接入点）配网是一种常见的摄像机或智能设备连接到Wi-Fi网络的方式。它通过创建一个临时的Wi-Fi热点（即AP模式），使设备能够更方便地获取Wi-Fi设置信息并连接到目标网络。 | |
| EZLink配网 | AP配网是使用海康库HCNetSDK进行配网的；EZLink是萤石自己的库；为了替换HCNeSDK新增的一种新的AP配网方式。 | |
| 接触式AP配网 | 适用于防跌倒雷达设备、霍曼宠物喂食机等设备；该类设备无视频取流能力，设备标签上无二维码。 | |
| 霍曼设备蓝牙配网 | 专为霍曼宠物机器定制的蓝牙配网模式。 | |
| 网线配网 | 给设备插上网线，待设备提示注册平台成功后，直接调用EZOpenSDK.addDevice发起绑定操作即可。 | |
| 局域网 | 局域网设备搜索 | 手机和设备处于同一WiFi网络下，可以搜索到该设备的信息 |
| 局域网设备激活 | 手机和设备处于同一WiFi网络下，搜索到该设备后，可以激活该设备 | |
| 局域网设备登录 | 手机和设备处于同一WiFi网络下，搜索到该设备后，可以登录该设备 | |
| 局域网设备预览 | 手机和设备处于同一WiFi网络下，搜索到该设备后，可以登录该设备并进行预览 | |
| 自助排障 | 带宽检测 （只支持海外） | 带宽检测：音视频SDK里提供了带宽检测的能力，开发者集成后，可以调用对应接口，实现检测当前带宽能力，查看带宽的卡顿延迟等情况 |
| 取流排障工具 | 萤石官方提供的取流排障工具，帮助开发者快速定位到取流故障，并进行初步排查。 | |
| 功能demo | 功能demo，方便开发者参考萤石demo，快速集成 |
萤石致力于成为全球领先的智能视觉物联网服务商，构建了全球领先的视觉物联网云平台，打造了硬件产品+软件云服务一体化的物联网服务体系。萤石云通过构建多数据中心+就近服务点的方式服务于全球客户。截至2025 年底，萤石物联网云平台在全球拥有超过120 个数据站点，平台上的IoT 设备接入数超过3.6 亿，其中视频类设备超过3 亿。在夯实自身平台能力的基础上，萤石进一步开放技术能力，将物联价值延伸至千行百业。萤石开放平台深度融合AI中台能力，涵盖音视频多媒体、消息通知处理、智能算法调度、视频存储备份、ERTC、大数据、物联接入等，已为智慧连锁、智慧养老、文教娱乐、畜牧养殖等42万余位行业客户提供数智化转型升级支撑；萤石物联专有云支持专有化部署，助力中大型企业和组织的数字化转型升级。