Unity在Windows平台播放HEVC/H.265格式视频的底层原理

相关术语、概念

HEVC/H.265

HEVC(High Efficiency Video Coding)是一种视频压缩标准,也被称为H.265。它是一种高效的视频编码标准,可以提供比之前的标准(如H.264)更高的压缩率,同时保持较高的视频质量。

FFmpeg

FFmpeg是一个开源的跨平台多媒体框架,用于处理音频、视频和多媒体数据。它包含了一组用于音视频编解码、转码、过滤、流媒体传输等操作的库和工具。

FFmpeg通过其libavcodec库提供了对HEVC/H.265视频编解码的支持。

K-Lite Codec Pack

K-Lite 编解码器包(K-Lite Codec Pack)是 DirectShow 过滤器、VFW/ACM 编解码器和工具的集合。编解码器和 DirectShow 过滤器是编码和解码音频和视频格式所必需的。K-Lite 编解码器包旨在成为一种用户友好的解决方案,用于播放所有音频和电影文件。使用 K-Lite 编解码器包,能够播放所有流行的音频和视频格式,甚至一些不太常见的格式。

DirectShow

DirectShow是Microsoft Windows操作系统中的一个多媒体框架,用于处理音频和视频的捕获、处理、解码和渲染等操作。它提供了一组组件和接口,用于构建和连接多媒体处理图形(Filter Graphs),实现多媒体数据的流动和处理。

Media Fundation

Media Foundation是DirectShow的继任者,Media Foundation也是Microsoft Windows操作系统中的一个多媒体框架,用于处理音频和视频的捕获、处理、编码、解码、渲染和流媒体处理等操作。

它是在Windows Vista操作系统中引入的,旨在取代旧的多媒体框架DirectShow,并提供更现代、灵活和强大的多媒体处理功能。

LAV Filters

LAV Filters(LAV)是一个由FFMpeg开发而来的开源的音频和视频解码器套件,用于在Windows操作系统上解码多种音频和视频格式。它是一个独立的解码器库,可以与多个多媒体框架集成,包括DirectShow和Media Foundation。

Windows Media Player (WMP)

Windows 媒体播放器是微软公司出品的一款免费媒体播放器。内置Windows操作系统中,也可以透过网络下载,支持通过插件增强软件功能。

WMP 默认使用 Microsoft 的 Media Foundation 编解码器来播放多种音频和视频文件格式。

Media Player Classic (MPC)

Media Player Classic是一个开源的简洁的媒体播放器。Media Player Classic含有与Windows Media Player 6.4几乎相同的接口。

MPC基于DirectShow框架,并提供了广泛的音频和视频格式支持。

PotPlayer

PotPlayer是一个免费的多媒体播放器,由韩国开发者负责开发和维护。PotPlayer旨在提供丰富的功能和灵活的配置选项,以满足用户对媒体播放的需求。

它采用了内置的解码器和滤镜来实现高质量的音频和视频播放。

了解视频文件

视频文件更准确的描述为"容器"。这是因为它们不仅可包含视频本身,还可包含其他轨道,包括音频、字幕和其他视频素材。而且,容器中每种类型的轨道也可以有多个,例如:

  • 多个视点
  • 立体声或 5.1 版本的混音
  • 不同语言的字幕
  • 不同语言的对话
    为了节省带宽和存储空间,每个轨道的内容都使用"编解码器"进行编码;该编解码器可根据需要压缩和解压缩数据
    所以,播放不同格式的视频就会使用到不同的"解码器"

Unity的原生视频播放器(VideoPlayer)组件是如何播放视频的

在官方文档目标平台的兼容性的"供应商针对媒体支持的建议"中可以知道:

  • 对于在Windows中播放视频,Unity播放视频使用的是Microsoft Media Foundation提供的API能力进行解码支持。
  • Media Foundation支持的媒体&解码格式见支持的媒体格式

Unity如何播放HEVC/H.265格式的视频

在官方手册视频文件兼容性提及到:为了让 Unity 正确预览视频文件,这些文件必须与平台(运行 Unity 编辑器的平台)兼容。文件还必须与目标构建平台兼容。

也就是说,能否播放HEVC/H.265格式的视频与Unity自身没关,只与运行Unity的设备环境有关。

同时,官方也给出了针对Windows平台如何兼容HEVC/H.265格式视频的结论,安装HEVC的解码器扩展即可

如何选择HEVC/H.265扩展版本

安装第三方解码器工具能否对Unity播放HEVC视频起到作用?(为什么用其他视频播放器可以正常播放,而Unity不能播放且提示错误 0xc00d5212)

不能。

像K-Lite codec pack等第三方工具包均是提供一系列的DirectShow Filters(DirectShow过滤器),比较常见的就是LAV Filters通常作为默认的解码器和过滤器之一在系统中注册为DirectShow过滤器,以扩展Windows系统上的解码能力,使得基于DirectShow框架的媒体播放器能够更好地支持和播放各种音频和视频格式。

如上面所说,Unity的VideoPlayer播视频依赖的是Media Foundation,虽然Media Foundation是DirectShow的继承者,但是两者并没有直接的关系,本质上不是同一个东西。

也就是说,尽管使用K-Lite codec pack安装了对HEVC的解码器,在Unity中还是依旧不能正常解码,除非安装了微软应用商店的HEVC扩展。

为什么Windows上的WMP和Media Center不使用 LAV 过滤器和 ffdshow?

K-Lite官方给出的回答:

Windows 捆绑了多种视频格式的解码器,包括 H.264 和 Xvid。大多数 DirectShow 应用程序(包括 Windows

Media Player 和 Media Center)默认使用这些 Microsoft 解码器。 如果您更喜欢使用 LAV

视频解码器、ffdshow 或其他第三方解码器,则可以使用Codec Tweak Tool调整 Windows 7/8/10

中的首选解码器设置。此工具包含在 K-Lite Codec Pack 中,也可作为独立应用程序使用。 K-Lite

编解码器包已经自动调整了最常见视频格式的首选编解码器设置。它使用特殊设置让 Windows 根据过滤器的优点选择解码器。这与旧版

Windows 的工作方式类似。 但是,首选解码器设置仅在 WMP 使用 DirectShow 播放时才有效。在许多情况下,它实际上使用与

Microsoft 不同的编解码器类型,即 Media Foundation。例如,它对 AVI、MP4、M4V、MOV、M2TS 和

WMV 文件执行此操作。在 Windows 10 上也适用于 MKV 文件。 有几种方法可以让 WMP 使用 DirectShow 而不是

Media Foundation:

  • 重命名文件。为其指定一个不使用 Media Foundation 的文件扩展名。 例如,使用.video而不是.mkv 或使用.mpv4而不是.mp4
  • 使用 Codec Tweak Tool 禁用 Media Foundation。不建议这样做,因为某些应用程序和游戏需要 Media Foundation 才能播放视频。与 WMP 不同,它们无法恢复使用 DirectShow。
  • 使用 Codec Tweak Tool 禁用 Microsoft 的解码器。同样不推荐。

能否通过修改Media Foundation首选项使用LAV过滤器从而达到Unity播放视频时使用第三方解码器呢

不行。

尽管像K-Lite提供了Codec Tweak Tool工具,在I want to make Windows Media Player use LAV codec to run WMV中也同样提及到,可以配置首选解码器(见下图)来达到WMP不使用Media Foundation而使用其他的解码器。

但是,这些设置仅适用于使用标准DirectShow图形构建器的应用程序。也就是说,这些设置仅在播放器使用DirectShow框架进行播放时才生效。而如上文所说,Unity的VideoPlayer播放使用的是Media Foundation,并没有使用DirectShow的方式来播放,也就是说,就算设置了解码器首选项,在Unity上播放也不会生效。

替代方案:AvPro插件+DirectShow+第三方解码器

对于不想使用Media Foundation来解码播放HEVC/H.265格式视频文件的话,可以考虑以下方法:

  • 在机子上安装第三方的HEVC解码器(如K-Lite codec pack、LAV Filters等)
  • 使用AvPro插件进行视频播放代替VideoPlayer
  • 在AVPro的MediaPlayer的Windows平台设置中:
    • 将Video API默认的"Media Foundation"改为"Direct Show"
  • 完成以上设置即可
相关推荐
暮雪倾风6 分钟前
【WPF开发】控件介绍-Grid(网格布局)
windows·wpf
sukalot2 小时前
windows C++-windows C++-使用任务和 XML HTTP 请求进行连接(二)
c++·windows
大道归简2 小时前
Docker 命令从入门到入门:从 Windows 到容器的完美类比
windows·docker·容器
没有余地 EliasJie3 小时前
Windows Ubuntu下搭建深度学习Pytorch训练框架与转换环境TensorRT
pytorch·windows·深度学习·ubuntu·pycharm·conda·tensorflow
程序猿小D4 小时前
第二百六十九节 JPA教程 - JPA查询OrderBy两个属性示例
java·开发语言·数据库·windows·jpa
satan–04 小时前
R语言的下载、安装及环境配置(Rstudio&VSCode)
开发语言·windows·vscode·r语言
学习溢出5 小时前
深入了解 net user 命令:上一次是谁登录的?
windows·网络安全·系统安全
程序猿小D5 小时前
第二百六十七节 JPA教程 - JPA查询AND条件示例
java·开发语言·前端·数据库·windows·python·jpa
N0zoM1z017 小时前
域内用户名枚举 实验
windows
Artistation Game19 小时前
九、怪物行为逻辑
游戏·unity·游戏引擎