| 申请号 | CN202310942944.X |
| 公开号（公开） | CN117058421A |
| 申请日 | 申请日 2023.07.28 |
| 申请人（公开） | 超音速人工智能科技股份有限公司(833753) |
| 发明人（公开） | 张俊峰（总）; 沈俊羽; 杨培文; 张小村 |
原文摘要
本发明公开了一种基于多头模型的图像检测关键点方法、系统及平台，通过方法实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据，可以同时训练多个数据集，每个数据集对应一个输出头，每个输出头可以检测其对应数据集中标注范围内指定的类别。多头模型同时预测多组关键点的精度跟多个单头模型分别预测多组关键点的精度基本一致，模型参数量、推理时间、内存开销都降低若干倍，有几个单头模型就降低几倍。
AI摘要
本文提出了一种基于多头模型的图像关键点检测方法，通过构建多头模型实现不同类型关键点的并行检测。方法包括：预处理图像数据并提取批量特征；构建多头模型初始化多个单头数据集，通过补零处理统一数据维度；将特征数据分组分配给不同检测头预测，并去除补零数据；根据检测结果动态调整损失函数系数。系统包含数据预处理、特征提取和多头检测单元。该方法解决了单头模型在处理多类型关键点时存在的干扰问题，提高了模型的可解释性和检测精度，同时减少了多模型带来的计算开销。
步骤
特征一：
一，实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；
二，根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据；
构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据。
特征二：
所述实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据，还包括：
构建与多头数据相对应的预处理数据集，并于多头数据集中分别初始化多个与多头模型相对应的单头数据集；其中，所述单头数据集为单头模型单头数据集；
根据每个单头数据集的长度数据，判定并选择用于数据处理的单头数据集。
特征三
所述实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据，还包括：
补全处理待检测关键点的图像数据，并用0补全每个单头数据集产生的数据；其中，补全的维度为所有单头数据集中最大的类别数。
特征四
所述根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据，还包括：
切分处理批量特征数据，并生成与批量特征数据相对应的组别数据；
于不同的检测关键点头中，预测处理不同组的组别数据。
特征五：所述切分处理批量特征数据，并生成与批量特征数据相对应的组别数据，还包括：
获取单头数据集处理的批量特征数据，并将批量特征数据切分成不同的组；
去除每组数据中的0数据，其中，所述的0数据为分组中每组数据对应的单头数据集类别数与最大数据集类别数补全的0数据。
特征六：
所述构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据，还包括：
根据图像关键点的检测数据，判定并生成与检测数据相对应的难易程度数据；
根据所述难易程度数据，生成与每个网络预测头相对应损失函数的系数。
系统组成：
数据预处理单元，用于实时获取待检测关键点的图像数据，并预处理所述待检测关键点的图像数据；
数据提取单元，用于根据预处理后的待检测图像数据，并结合特征提取网络，实时提取与所述待检测图像数据相对应的批量特征数据；其中，所述批量特征数据为每个图像的特征数据；
构建检测单元，用于构建多头模型，并根据所述多头模型，实时检测图像关键点以及生成与图像关键点相对应的检测数据。
预处理单元包括：
构建初始化模块，用于构建与多头数据相对应的预处理数据集，并于多头数据集中分别初始化多个与多头模型相对应的单头数据集；其中，所述单头数据集为单头模型单头数据集；
判定选择模块，用于根据每个单头数据集的长度数据，判定并选择用于数据处理的单头数据集；
和/或，所述数据预处理单元，还包括：
补全处理模块，用于补全处理待检测关键点的图像数据，并用0补全每个单头数据集产生的数据；其中，补全的维度为所有单头数据集中最大的类别数；
数据提取单元
切分处理模块，用于切分处理批量特征数据，并生成与批量特征数据相对应的组别数据；
预测处理模块，用于不同的检测关键点头中，预测处理不同组的组别数据；
和/或，所述切分处理模块，还包括：
第一切分模块，用于获取单头数据集处理的批量特征数据，并将批量特征数据切分成不同的组；
第二切分模块，用于去除每组数据中的0数据，其中，所述的0数据为分组中每组数据对应的单头数据集类别数与最大数据集类别数补全的0数据；
构建检测单元，还包括：
判定生成模块，用于根据图像关键点的检测数据，判定并生成与检测数据相对应的难易程度数据；
第一生成模块，用于根据所述难易程度数据，生成与每个网络预测头相对应损失函数的系数。
硬件
电脑（工控机）+摄像机相关
扩展阅读
| 我想对大家说的话 |
|---|
| 工作中遇到的问题，可以按类别查阅鄙人的算法文章，请点击《算法与数据汇总》。 |
| 学习算法：按章节学习《喜缺全书算法册》，大量的题目和测试用例，打包下载。重视操作 |
| 有效学习：明确的目标 及时的反馈 拉伸区（难度合适） 专注 |
| 员工说：技术至上，老板不信；投资人的代表说：技术至上，老板会信。 |
| 闻缺陷则喜(喜缺)是一个美好的愿望，早发现问题，早修改问题，给老板节约钱。 |
| 子墨子言之：事无终始，无务多业。也就是我们常说的专业的人做专业的事。 |
| 如果程序是一条龙，那算法就是他的是睛 |
| 失败+反思=成功 成功+反思=成功 |
视频课程
先学简单的课程，请移步CSDN学院，听白银讲师（也就是鄙人）的讲解。
https://edu.csdn.net/course/detail/38771
如何你想快速形成战斗了，为老板分忧，请学习C#入职培训、C++入职培训等课程
https://edu.csdn.net/lecturer/6176
测试环境
操作系统：win7 开发环境： VS2019 C++17
或者 操作系统：win10 开发环境： VS2022 C++17
如无特殊说明，本算法 用**C++**实现。
