前言
当前GStreamer是开源的多媒体框架,其适配后可以支持板卡的硬编码、硬解码,还提供RTSP服务器等功能,降低了音视频开发的门槛(转移到gstreamer配置和开发上了,但是跨平台),瑞芯微RK系列是支持已经适配了GStreamer框架。
本篇介绍windows平台的GStreamer部署安装,然后测试摄像头,进行性能延迟对比。
GStreamer
简介
GStreamer是一个用于构建媒体处理组件图的库。它支持的应用范围从简单的Ogg/Vorbis播放、音频/视频流到复杂的音频(混合)和视频(非线性编辑)处理。
应用程序可以透明地利用编解码器和滤波器技术的进步。开发人员可以通过编写一个具有干净、通用接口的简单插件来添加新的编解码器和过滤器。
GStreamer是在LGPL下发布的。1.x系列是API和ABI稳定的,取代了以前稳定的0.10系列。两者都可以并行安装。
特点
跨平台
GStreamer适用于所有主要操作系统,如Linux、Android、Windows、Max OS X、iOS,以及大多数BSD、商业Unixes、Solaris和Symbian。它已被移植到各种操作系统、处理器和编译器上。它在所有主要的硬件架构上运行,包括x86、ARM、MIPS、SPARC和PowerPC,在32位和64位以及小端或大端上运行。
GStreamer可以桥接到其他多媒体框架,以便重用现有组件(如编解码器)并使用平台输入/输出机制:
- Linux/Unix: OpenMAX-IL (via gst-omx)
- Windows: DirectShow
- Mac OS X: QuickTime
综合核心库
- 基于图的结构允许任意管道构建
- 基于GLib 2.0对象模型的面向对象设计与继承
- 小于500KB的紧凑型核心库,约65K行代码
- 多线程管道构造简单透明
- 为插件和应用程序开发人员提供干净、简单、稳定的API
- 极其轻量级的数据传递意味着非常高的性能/低延迟
- 为核心和插件/应用程序开发人员提供完整的调试系统
- 时钟以确保全局流间同步(a/v同步)
- 服务质量(qos),以确保在高CPU负载下达到最佳质量
智能插件架构
- 动态加载的插件提供元素和媒体类型,通过注册表缓存按需加载,类似于ld.so.cache
- 元素接口处理所有已知类型的源、过滤器和接收器
- 能力系统允许使用MIME类型和媒体特定属性验证元素兼容性
- 自动插拔使用功能系统自动完成复杂的路径
- 通过将管道转储到.dot文件并从中创建PNG图像,可以可视化管道
- 资源友好的插件不会浪费内存
多媒体技术覆盖面广
GStreamers的功能可以通过新的插件进行扩展。下面列出的功能只是使用GStreamers自己的插件提供的粗略概述,不包括任何第三方产品。
- 容器格式:asf、avi、3gp/mp4/mov、flv、mpeg ps/ts、mkv/webm、mxf、ogg
- 流媒体:http、mms、rtsp
- 编解码器:FFmpeg、各种编解码器库、第三方编解码器包
- 元数据:具有通用映射的本机容器格式
- 视频:各种颜色空间,支持逐行扫描和隔行扫描视频
- 音频:各种比特深度和多通道配置的整数和浮点音频
广泛的开发工具
- gst-launch命令行工具,用于快速原型制作和测试,类似于ecasound
- 大量文档,包括部分完成的手册和插件编写者指南
- 每个模块中都有大量测试程序和示例代码可供选择
- 使用各种编程语言访问GStreamer API
注意
GStreamer是一个非常强大和通用的框架,用于创建流媒体应用程序。
GStreamer框架的许多优点来自其模块化:GStreamer可以无缝地整合新的插件模块。但由于模块化和强大的功能往往以更高的复杂性为代价,因此编写新的应用程序并不总是那么容易。
Windows安装过程
步骤一:下载
下载连接中的windows版本,下载解:

步骤二:安装devel开发环境
双击启动安装过程
全部安装:
装完之后就这样了:
这种属于完全安装包的形式,没有修改系统环境变量和其他的,所以直接移出来,挪到外面去:
这是开发版本的依赖库,无法直接运行,里面包含了必要的include和lib还有dll,想运行需要安装runtime版本。
步骤三:安装runtime运行环境
注意:推荐都安装在同一个目录,C:\gstreamer,因为这边方便对比,对比完还是安装到同一个目录了。
这个方式类似ffmpeg,dev和runtime是分开的,继续装这个装完后看它的include,lib就知道了:
而dev的inc:
步骤四:运行gstreamer测试
注意:这里不修改环境变量,所以在gstreamer目录下的cmd完成。
命令行打开播放文件
shell
gst-launch-1.0.exe playbin uri=file:///<你的视频>
命令行打开usb摄像头
shell
gst-launch-1.0.exe -v ksvideosrc do-stats=TRUE ! videoconvert ! autovideosink

步骤五:对比打开延迟
下面使用windows相机来测试延迟:

步骤六:对比内存

初步可以得出gstreamer框架优于windows相机,看状态gstreamer没有使用到GPU。