OpenHarmony硬件合成方案解析

码中之牛2024-01-11 12:59

本文档主要讲解在OpenHarmony中，硬件合成适配的方法及原理说明。

环境说明：

  • OHOS版本：3.1-Release及以上

一、背景介绍

1.1 什么是合成

​ 要理解什么是合成，合成做了什么？我们先通过分解设置界面来回答这个问题:

在设置界面中，一帧完整的图像是由4个部分构成的，每一个部分我们称之为一个layer。

layer的概念

layer(图层)是图形合成中最重要的单元，一个layer对应一个buffer及显示参数。一帧图像由一个或多个layer组成，每个layer单独负责一块区域的内容刷新，大大提升了渲染及显示效率。比如：我们把鼠标的显示单独设置成一个Layer，鼠标的移动，只需要更改layer的显示坐标，不需要重复渲染背景显示区域的数据等。

在设置界面中，4个layer分别是背景层、应用层、状态栏和工具栏。合成就是把这些layer组合在一起，最终变成一帧完整的图像。

我们可以通过如下命令获取当前界面的layers信息：

复制代码 
hidumper -s 10 -a surface

对当前界面截屏

复制代码 
snapshot_display -f /data/snapshot_display.jpeg

我们可以看到，layer2和layer3背景显示为黑色，与实际效果有较大区别。要理解这个差异的原因，我们需要要知道合成做了什么。

1.2 合成做了什么

从前面的介绍我们知道，合成就是把多个layer合成了一帧图像。那这个合成的过程中，主要处理了哪些事？总结如下：

  • 颜色混合。包含透明度处理、背景填充、阴影处理等。

  • 编码格式转换。支持RGB565、RGB888、ARGB888、YUV420_2P等

  • 缩放处理。支持1/16~24倍率缩放

  • 输入/输出旋转。

不同的硬件支持的能力有差别，最基本的能力需要支持透明度处理及编码转换。

上面layer背景显示黑色的原因，是因为背景的RGBA值都是0，RGB 值为0，显示黑色。Alpha值为0，为全透明。如果给他们添加一个背景图层，那图层就会显示成背景的颜色值。

理解了合成，我们再看看合成模块在OpenHarmony系统进程中的位置。

1.3 合成在OpenHarmony中位置

图像合成在OpenHarmony进程示意图，以便了解合成模块的生命周期及运行逻辑：

如上图所示，合成模块代码由虚框标记，运行在render_service进程中。硬件适配主要是适配display_device及display_gfx模块。

  • display_device: 为composer提供接口及适配

  • display_gfx:包含具体硬件sensor的功能实现。

    重启render_service服务，Dispaly HDI服务就会重启。

1.4 合成的方式

OpenHarmony中合成方式有以下几种：

  • CPU合成。由skia或pixmax提供。
  • GPU合成。由GPU硬件提供。
  • 纯硬件sensor合成。如展锐的gsp，瑞芯微的rga等
  • drm合成。由drm通用接口封装，一般集成合成和送显功能。如展锐的dpu。

以上合成方式在相同layers数量下，xx平台性能对比如下：

类型 CPU GPU GFX DRM
合成时间(ms) >80ms 12.07ms 11.38ms 7.5ms

从合成性能看，drm性能最佳，减少了内存复制开销。GFX与GPU性能相差不多，但能完成一些drm无法完成的合成场景。CPU最差，只有适配早期，其它硬件没有调试好时，临时使用。

二、适配的方法

适配硬件合成前，我们先要理清代码的运行逻辑，并且知道适配需要做什么，去哪里修改。以下通过流程图来展示代码的运行逻辑和位置。

当Layers准备好后，进入composer模块的repaint()处理。流程如下：

  • prepare阶段。
    • gfx_prepare:为每个layer选择具体的合成方式
    • drm_prepare:把dpu类型添加到List
    • 处理GPU合成
  • commit阶段。
    • gfx_commit:处理gfx硬件合成
    • drm_commit:处理drm合成及送显

2.1 合成方式的选择

Layer合成方式选择示例:

当前合成方式并没有使用GPU合成，是否使用，可根据其它硬件能力来选择。一般情况下，为了减轻GPU负担，尽量使用其它硬件来完成合成操作。

每个硬件支持能力不同，比如：支持的layer数量，是否支持缩放时旋转，缩放倍率等。

合成方式的选择要结合具体的硬件来调整。硬件详细能力请查阅相关芯片手册。

注意事项：

  • 如果GSP列表非空，那clientLayer作为GSP的合成结果，会占用DPU的plane0.

  • 由于Layer图层是有顺序的，所以连续的图层会选择同一种硬件合成。

比如：DPU只支持4个图层，如果总图层有6个，那前面3个将使用GSP合成结果到clientLayer,再与后面的3个图层一起，共4个layer给DPU合成送显。

代码示例:

复制代码 
int32_t HdiGfxComposition::SetLayers(std::vector<HdiLayer *> &layers, HdiLayer &clientLayer)
{
    ......
    HdiLayer *layer;
    uint32_t dpuSize = 0;
    for (uint32_t i = 0; i < layers.size(); i++) {
        layer = layers[i];
        if (CanHandle(*layer)) {
            if ((layer->GetCompositionType() != COMPOSITION_VIDEO) &&
                (layer->GetCompositionType() != COMPOSITION_CURSOR)) {
                if((mask == 0) && (layers.size() < 4)) {//直接给DPU处理
                    layer->SetAcceleratorType(ACCELERATOR_DPU);
                    ......
                } else {
                    //GSP+DPU
                    int32_t tempMask = CheckLayers(layers, i);// 判断剩下的layers DPU是否支持
                    uint32_t tempSize = layers.size() - i;
                    if(tempMask) {//复杂场景交给GSP
                        layer->SetAcceleratorType(ACCELERATOR_GSP);
                        ......
                    }  else {
                        if((dpuSize + tempSize) < 5) {//dpu支持6个layer，先只使用4个
                            layer->SetAcceleratorType(ACCELERATOR_DPU);
                            ......
                        } else {
                            layer->SetAcceleratorType(ACCELERATOR_GSP);
                            ......
                        }
                    }
                }
            } else {
                layer->SetDeviceSelect(layer->GetCompositionType());
            }
            mCompLayers.push_back(layer);
        } else { //GPU
            layer->SetDeviceSelect(COMPOSITION_CLIENT);
            ......
        }
    }
    ......
}

2.2 GFX适配之GSP

2.3 DRM适配之DPU

2.4 GPU适配

三、调测及优化

3.1 测试程序-hello_composer

hello_composer在3.2-Release中默认没有参与编译，修改如下：

foundation/graphic/graphic_2d/bundle.json

复制代码 
--- a/bundle.json
+++ b/bundle.json
@@ -61,6 +61,7 @@
             "//foundation/graphic/graphic_2d/rosen/modules/2d_graphics:2d_graphics",
             "//foundation/graphic/graphic_2d/rosen/samples/2d_graphics:drawing_sample_rs",
+            "//foundation/graphic/graphic_2d/rosen/samples/composer:hello_composer",
             "//foundation/graphic/graphic_2d/rosen/samples/2d_graphics:drawing_engine_sample",

在第一次运行hello_composer前，需要先把render_service服务停止。

复制代码 
service_control stop render_service

执行hello_composer

复制代码 
cd /system/bin
./hello_composer

测试分以下几个点进行：

  • 图层数量测试
    foundation/graphic/graphic_2d/rosen/samples/composer/hello_composer.cpp

    void HelloComposer::InitLayers(uint32_t screenId)
    {
    ......
    // status bar
    drawLayers.emplace_back(std::make_unique<LayerContext>(
    IRect { 0, 0, displayWidth, statusHeight },
    IRect { 0, 0, displayWidth, statusHeight },
    3, LayerType::LAYER_STATUS));
    ......
    }

    默认是4个图层，可以根据实际测试情况，添加、删除layers的信息。

  • 图层旋转
    foundation/graphic/graphic_2d/rosen/samples/composer/layer_context.h

    drawLayers.emplace_back(std::make_unique<LayerContext>(
    IRect { layerPositionX, layerPositionY, 200, 400},
    IRect { 0, 0, 100, 200},
    1, LayerType::LAYER_EXTRA));

    修改为true后，LayerType::LAYER_EXTRA 图层会周期旋转。

  • 图层缩放
    foundation/graphic/graphic_2d/rosen/samples/composer/hello_composer.cpp

    bool testYUV_ = true;

通过修改目的图层的大小，来达到缩放测试的目的

  • yuv测试
    foundation/graphic/graphic_2d/rosen/samples/composer/layer_context.h

    bool testYUV_ = true;

    修改为true后，LayerType::LAYER_EXTRA图层会以yuv格式合成。

  • 透明度测试
    foundation/graphic/graphic_2d/rosen/samples/composer/layer_context.h

    const std::vector<uint32_t> colors_ = {0xff0000ff, 0xffff00ff, 0xaa00ff00, 0xff00ffaa, 0xff0f0f00};

    修改colors_最高8位值，可以测试透明度。0x00:全透明 0xFF:不透明

3.2 TRACE抓取分析

合成消耗了多少时间，帧率的统计都可以使用抓trace来分析。

trace命令:

复制代码 
hdc shell bytrace -t 5 --overwrite app graphic > mytrace.ftrace

帧率统计:

帧率首先由vsync频率决定，当合成总时间大于vsync间隔时，会影响帧率，并需要进行优化。合成计算帧率就是统计1s内合成帧的个数。

合成时间统计:

以上标记的时间就是实际硬件合成的时间，在commit方法中执行。我们从前面两个图片可看出，他们的合成间隔是有明显区别的，赵成这个现象的原因是同步及异步设置导致。

3.3 fence机制

当我们的操作需要使用其它硬件资源执行时，就涉及到同步的方式问题。总结如下：

  • 同步执行

    调用硬件接口后，需要等待硬件所有指令执行完成。libdrm接口中示例如下：

    uint32_t flags = DRM_MODE_ATOMIC_ALLOW_MODESET | DRM_MODE_ATOMIC_NONBLOCK;//去掉DRM_MODE_ATOMIC_NONBLOCK代表同步执行
    ret = drmModeAtomicCommit(drmFd, atomicReqPtr.Get(), flags, nullptr);

  • 异步执行

    异步在图形中常用的就是fence机制。fence机制框架由内核提供，当硬件完成时，会修改fence的状态。常用的如AcqureFenceFd、ReleaseFenceFd。

    AcqureFenceFd 由GPU提供，标记渲染结果。

    ReleaseFenceFd 由drm crtc提供，标记送显结果。

    例如 ReleaseFenceFd：

    ret = drmModeAtomicAddProperty(atomicReqPtr.Get(), mCrtc->GetId(), mCrtc->GetOutFencePropId(),
    (uint64_t)&crtcOutFence);
    ......
    layer->SetReleaseFence(dup(crtcOutFence));

    fence机制，让CPU在硬件工作时，释放生产力，继续执行与当前操作无关代码，把流程继续向前推进。当再次需要执行与当前硬件相关的操作时，再检查fence完成状态或等待。在整个周期中，大大增加了代码执行效率。

四、常见问题分析

4.1 状态栏背景为黑色

实际显示效果状态栏和工具栏为黑色。这个一般是透明度没有处理好。修改drm blend_mode可以解决。

复制代码 
drmModeAtomicAddProperty(pset,  drmPlane.GetId(), drmPlane.property_blend_mode, 0);//0-2.具体类型可以使用modetest查看

4.2 滑动列表时有闪烁的现象

如果硬件没有报错，那大概率是ReleaseFence没有同步。buffer还没有使用完成，又对buffer进行了操作。

复制代码 
layer->SetReleaseFence(dup(crtcOutFence));//step1: 检查ReleaseFence是否设置
currSbuffer_->releaseFence_ = Merge(currSbuffer_->releaseFence_, layerReleaseFence);//step2: 检查ReleaseFece是否有合并

4.3 滑动列表时有抖动的现象

这种一般只有在低端GPU上才会出现。原因是AcqureFence没有同步，使用了未准备好的渲染结果。增加对fence的等待：

复制代码 
if(layer->GetAcquireFenceFd() > 0) {
    sync_wait(layer->GetAcquireFenceFd(), 100);
}

4.4 Layer区域显示黑色或者丢失

主要有以下几种可能。

  • zorder顺序不对，被其它图层覆盖。

  • layer内容为空。显示成了背景填充色0

  • 超出硬件支持的图层上限，需要增加循环合成处理

五、知识分享

在模块开发过程中，如果我们对layer的数据不确定时，可以把layer的数据dumper出来。

复制代码 
setenforce 0
param set rosen.afbc.enabled 0

//start
touch /data/bq_dump
//end
rm /data/bq_dump

数据生成在/data目录下。文件可以使用yuvplayer.exe工具查看，它支持yuv、rgb等不同的格式类型及分辨率大小。

为了能让大家更好的学习鸿蒙 (Harmony OS) 开发技术，这边特意整理了《鸿蒙 (Harmony OS)开发学习手册》（共计890页），希望对大家有所帮助：https://qr21.cn/FV7h05

《鸿蒙 (Harmony OS)开发学习手册》

入门必看：https://qr21.cn/FV7h05

  1. 应用开发导读(ArkTS)
  2. ......

HarmonyOS 概念：https://qr21.cn/FV7h05

  1. 系统定义
  2. 技术架构
  3. 技术特性
  4. 系统安全

如何快速入门？：https://qr21.cn/FV7h05

  1. 基本概念
  2. 构建第一个ArkTS应用
  3. 构建第一个JS应用
  4. ......

开发基础知识：https://qr21.cn/FV7h05

  1. 应用基础知识
  2. 配置文件
  3. 应用数据管理
  4. 应用安全管理
  5. 应用隐私保护
  6. 三方应用调用管控机制
  7. 资源分类与访问
  8. 学习ArkTS语言
  9. ......

基于ArkTS 开发：https://qr21.cn/FV7h05

1.Ability开发

2.UI开发

3.公共事件与通知

4.窗口管理

5.媒体

6.安全

7.网络与链接

8.电话服务

9.数据管理

10.后台任务(Background Task)管理

11.设备管理

12.设备使用信息统计

13.DFX

14.国际化开发

15.折叠屏系列

16.......

相关推荐
大丈夫立于天地间9 小时前
ISIS协议中的数据库同步
运维·网络·信息与通信
Dream Algorithm9 小时前
路由器的 WAN（广域网）口 和 LAN（局域网）口
网络·智能路由器
IT猿手9 小时前
基于CNN-LSTM的深度Q网络（Deep Q-Network，DQN）求解移动机器人路径规划，MATLAB代码
网络·cnn·lstm
吴盐煮_9 小时前
使用UDP建立连接，会存在什么问题？
网络·网络协议·udp
hyshhhh10 小时前
【算法岗面试题】深度学习中如何防止过拟合？
网络·人工智能·深度学习·神经网络·算法·计算机视觉
写雨.010 小时前
鸿蒙定位开发服务
华为·harmonyos·鸿蒙
Hellc00711 小时前
轮询、WebSocket 和 SSE：实时通信技术全面指南（含C#实现）
网络
xujiangyan_11 小时前
nginx的反向代理和负载均衡
服务器·网络·nginx
GalaxyPokemon11 小时前
Muduo网络库实现 [十] - EventLoopThreadPool模块
linux·服务器·网络·c++
热门推荐
01我决定放弃搞 Java 了02DeepSeek各版本说明与优缺点分析03如何在WPS和Word/Excel中直接使用DeepSeek功能04【AUTOSAR 基础软件】Can模块详解（Can栈之驱动模块）05RAG 实践- Ollama+RagFlow 部署本地知识库06从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑07Mac cursor设置jdk、Maven版本08本地化部署AI知识库：基于Ollama+DeepSeek+AnythingLLM保姆级教程09如何本地部署AI智能体平台，带你手搓一个AI Agent10纯离线部署本地知识库LLM大模型