疲劳驾驶检测和识别3：Android实现疲劳驾驶检测和识别(含源码，可实时检测)

AI吃大瓜2023-07-26 17:10

疲劳驾驶检测和识别3：Android实现疲劳驾驶检测和识别(含源码，可实时检测)

目录

疲劳驾驶检测和识别3：Android实现疲劳驾驶检测和识别(含源码，可实时检测)

1.疲劳驾驶检测和识别方法

2.人脸检测方法

3.疲劳驾驶检测和识别模型训练

4.疲劳驾驶检测和识别模型Android部署

[（1） 将Pytorch模型转换ONNX模型](#（1） 将Pytorch模型转换ONNX模型)

[（2） 将ONNX模型转换为TNN模型](#（2） 将ONNX模型转换为TNN模型)

[（3） Android端上部署模型](#（3） Android端上部署模型)

[（4） Android测试效果](#（4） Android测试效果)

[（5） 运行APP闪退：dlopen failed: library "libomp.so" not found](#（5） 运行APP闪退：dlopen failed: library "libomp.so" not found)

5.项目源码下载

[6. C++实现疲劳驾驶检测识别](#6. C++实现疲劳驾驶检测识别)

这是项目《疲劳驾驶检测和识别 》系列之《Android实现疲劳驾驶检测和识别(含源码，可实时检测)》，主要分享将Python训练后的疲劳驾驶检测和识别模型，移植到Android平台。我们将开发一个简易的、可实时运行的疲劳驾驶检测和识别的Android Demo。准确率还挺高的，采用轻量级mobilenet_v2模型的疲劳驾驶识别准确率也可以高达97.8682%左右，满足业务性能需求。

项目将手把手教你将训练好的疲劳驾驶检测和识别模型部署到Android平台中，包括如何转为ONNX，TNN模型，并移植到Android上进行部署，实现一个疲劳驾驶检测和识别的Android Demo APP 。APP在普通Android手机上可以达到实时的检测识别效果，CPU(4线程)约30ms左右，GPU约25ms左右 ，基本满足业务的性能需求。

【尊重原创，转载请注明出处 】https://blog.csdn.net/guyuealian/article/details/131834970

先展示一下Android版本疲劳驾驶检测和识别Demo效果：

Android疲劳驾驶检测和识别APP Demo体验：https://download.csdn.net/download/guyuealian/88088257

更多项目《疲劳驾驶检测和识别》系列文章请参考：

  1. 疲劳驾驶检测和识别1： 疲劳驾驶检测和识别数据集(含下载链接)https://blog.csdn.net/guyuealian/article/details/131718648

  2. 疲劳驾驶检测和识别2：Pytorch实现疲劳驾驶检测和识别(含疲劳驾驶数据集和训练代码)https://blog.csdn.net/guyuealian/article/details/131834946

  3. 疲劳驾驶检测和识别3：Android实现疲劳驾驶检测和识别(含源码，可实时检测)https://blog.csdn.net/guyuealian/article/details/131834970

  4. 疲劳驾驶检测和识别4：C++实现疲劳驾驶检测和识别(含源码，可实时检测)https://panjinquan.blog.csdn.net/article/details/131834980

1.疲劳驾驶检测和识别方法

疲劳驾驶检测和识别 方法有多种实现方案，这里采用最常规的方法：基于人脸检测+疲劳驾驶分类识别方法 ，即先采用通用的人脸检测模型，进行人脸检测定位人体区域，然后按照一定规则裁剪人脸检测区域，再训练一个疲劳驾驶行为识别 分类器，完成疲劳驾驶检测和识别任务；

这样做的好处，是可以利用现有的人脸检测模型进行人脸检测，而无需重新标注疲劳驾驶的人脸检测框，可减少人工标注成本低；而疲劳驾驶分类数据相对而言比较容易采集，分类模型可针对性进行优化。

2.人脸检测方法

本项目人脸检测训练代码请参考：https://github.com/Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB

这是一个基于SSD改进且轻量化后人脸检测模型，很slim，整个模型仅仅1.7M左右，在普通Android手机都可以实时检测。人脸检测方法在网上有一大堆现成的方法可以使用，完全可以不局限我这个方法。

​​

关于人脸检测的方法，可以参考我的另一篇博客：

当然可以基于YOLOv5训练一个人脸检测模型：人脸检测和行人检测2：YOLOv5实现人脸检测和行人检测(含数据集和训练代码)

3.疲劳驾驶检测和识别模型训练

关于疲劳驾驶检测和识别模型的训练方法，请参考本人另一篇博文《疲劳驾驶检测和识别2：Pytorch实现疲劳驾驶检测和识别(含疲劳驾驶数据集和训练代码) 》https://blog.csdn.net/guyuealian/article/details/131834946

4.疲劳驾驶检测和识别模型Android部署

目前CNN模型有多种部署方式，可以采用TNN，MNN,NCNN，以及TensorRT等部署工具，鄙人采用TNN进行Android端上部署。部署流程可分为四步：训练模型->将模型转换ONNX模型->将ONNX模型转换为TNN模型->Android端上部署TNN模型。

（1） 将Pytorch模型转换ONNX模型

训练好Pytorch模型后，我们需要先将模型转换为ONNX模型，以便后续模型部署。

  • 原始项目提供转换脚本，你只需要修改model_file为你模型路径即可
  • convert_torch_to_onnx.py实现将Pytorch模型转换ONNX模型的脚本
bash 复制代码 
python libs/convert/convert_torch_to_onnx.py
python 复制代码 
"""
This code is used to convert the pytorch model into an onnx format model.
"""
import sys
import os

sys.path.insert(0, os.getcwd())
import torch.onnx
import onnx
from classifier.models.build_models import get_models
from basetrainer.utils import torch_tools


def build_net(model_file, net_type, input_size, num_classes, width_mult=1.0):
    """
    :param model_file: 模型文件
    :param net_type: 模型名称
    :param input_size: 模型输入大小
    :param num_classes: 类别数
    :param width_mult:
    :return:
    """
    model = get_models(net_type, input_size, num_classes, width_mult=width_mult, is_train=False, pretrained=False)
    state_dict = torch_tools.load_state_dict(model_file)
    model.load_state_dict(state_dict)
    return model


def convert2onnx(model_file, net_type, input_size, num_classes, width_mult=1.0, device="cpu", onnx_type="default"):
    model = build_net(model_file, net_type, input_size, num_classes, width_mult=width_mult)
    model = model.to(device)
    model.eval()
    model_name = os.path.basename(model_file)[:-len(".pth")] + ".onnx"
    onnx_path = os.path.join(os.path.dirname(model_file), model_name)
    # dummy_input = torch.randn(1, 3, 240, 320).to("cuda")
    dummy_input = torch.randn(1, 3, input_size[1], input_size[0]).to(device)
    # torch.onnx.export(model, dummy_input, onnx_path, verbose=False,
    #                   input_names=['input'],output_names=['scores', 'boxes'])
    do_constant_folding = True
    if onnx_type == "default":
        torch.onnx.export(model, dummy_input, onnx_path, verbose=False, export_params=True,
                          do_constant_folding=do_constant_folding,
                          input_names=['input'],
                          output_names=['output'])
    elif onnx_type == "det":
        torch.onnx.export(model,
                          dummy_input,
                          onnx_path,
                          do_constant_folding=do_constant_folding,
                          export_params=True,
                          verbose=False,
                          input_names=['input'],
                          output_names=['scores', 'boxes', 'ldmks'])
    elif onnx_type == "kp":
        torch.onnx.export(model,
                          dummy_input,
                          onnx_path,
                          do_constant_folding=do_constant_folding,
                          export_params=True,
                          verbose=False,
                          input_names=['input'],
                          output_names=['output'])
    onnx_model = onnx.load(onnx_path)
    onnx.checker.check_model(onnx_model)
    print(onnx_path)


if __name__ == "__main__":
    net_type = "mobilenet_v2"
    width_mult = 1.0
    input_size = [112, 112]
    num_classes = 2
    model_file = "work_space/mobilenet_v2_1.0_CrossEntropyLoss/model/best_model_022_98.1848.pth"
    convert2onnx(model_file, net_type, input_size, num_classes, width_mult=width_mult)

（2） 将ONNX模型转换为TNN模型

目前CNN模型有多种部署方式，可以采用TNN，MNN,NCNN，以及TensorRT等部署工具，鄙人采用TNN进行Android端上部署

TNN转换工具：

​​

（3） Android端上部署模型

项目实现了Android版本的疲劳驾驶检测和识别Demo，部署框架采用TNN，支持多线程CPU和GPU加速推理，在普通手机上可以实时处理。项目Android源码，核心算法均采用C++实现，上层通过JNI接口调用.

如果你想在这个Android Demo部署你自己训练的分类模型，你可将训练好的Pytorch模型转换ONNX ，再转换成TNN模型，然后把TNN模型代替你模型即可。

  • 这是项目Android源码JNI接口 ，Java部分
java 复制代码 
package com.cv.tnn.model;

import android.graphics.Bitmap;

public class Detector {

    static {
        System.loadLibrary("tnn_wrapper");
    }


    /***
     * 初始化检测模型
     * @param det_model： 检测模型（不含后缀名）
     * @param cls_model： 识别模型（不含后缀名）
     * @param root：模型文件的根目录，放在assets文件夹下
     * @param model_type：模型类型
     * @param num_thread：开启线程数
     * @param useGPU：是否开启GPU进行加速
     */
    public static native void init(String det_model, String cls_model, String root, int model_type, int num_thread, boolean useGPU);

    /***
     * 返回检测和识别结果
     * @param bitmap 图像（bitmap），ARGB_8888格式
     * @param score_thresh：置信度阈值
     * @param iou_thresh：  IOU阈值
     * @return
     */
    public static native FrameInfo[] detect(Bitmap bitmap, float score_thresh, float iou_thresh);
}
  • 这是Android项目源码JNI接口 ，C++部分
cpp 复制代码 
#include <jni.h>
#include <string>
#include <fstream>
#include "src/object_detection.h"
#include "src/classification.h"
#include "src/Types.h"
#include "debug.h"
#include "android_utils.h"
#include "opencv2/opencv.hpp"
#include "file_utils.h"

using namespace dl;
using namespace vision;

static ObjectDetection *detector = nullptr;
static Classification *classifier = nullptr;

JNIEXPORT jint JNI_OnLoad(JavaVM *vm, void *reserved) {
    return JNI_VERSION_1_6;
}

JNIEXPORT void JNI_OnUnload(JavaVM *vm, void *reserved) {

}


extern "C"
JNIEXPORT void JNICALL
Java_com_cv_tnn_model_Detector_init(JNIEnv *env,
                                    jclass clazz,
                                    jstring det_model,
                                    jstring cls_model,
                                    jstring root,
                                    jint model_type,
                                    jint num_thread,
                                    jboolean use_gpu) {
    if (detector != nullptr) {
        delete detector;
        detector = nullptr;
    }
    std::string parent = env->GetStringUTFChars(root, 0);
    std::string det_model_ = env->GetStringUTFChars(det_model, 0);
    std::string cls_model_ = env->GetStringUTFChars(cls_model, 0);
    string det_model_file = path_joint(parent, det_model_ + ".tnnmodel");
    string det_proto_file = path_joint(parent, det_model_ + ".tnnproto");
    string cls_model_file = path_joint(parent, cls_model_ + ".tnnmodel");
    string cls_proto_file = path_joint(parent, cls_model_ + ".tnnproto");
    DeviceType device = use_gpu ? GPU : CPU;
    LOGW("parent     : %s", parent.c_str());
    LOGW("useGPU     : %d", use_gpu);
    LOGW("device_type: %d", device);
    LOGW("model_type : %d", model_type);
    LOGW("num_thread : %d", num_thread);
    ObjectDetectionParam model_param = FACE_MODEL;
    detector = new ObjectDetection(det_model_file,
                                   det_proto_file,
                                   model_param,
                                   num_thread,
                                   device);

    //ClassificationParam ClassParam = FACE_MASK_MODEL;
    ClassificationParam ClassParam = DROWSY_MODEL;
    classifier = new Classification(cls_model_file,
                                    cls_proto_file,
                                    ClassParam,
                                    num_thread,
                                    device);
}

extern "C"
JNIEXPORT jobjectArray JNICALL
Java_com_cv_tnn_model_Detector_detect(JNIEnv *env, jclass clazz, jobject bitmap,
                                      jfloat score_thresh, jfloat iou_thresh) {
    cv::Mat bgr;
    BitmapToMatrix(env, bitmap, bgr);
    int src_h = bgr.rows;
    int src_w = bgr.cols;
    // 检测区域为整张图片的大小
    FrameInfo resultInfo;
    // 开始检测
    if (detector != nullptr) {
        detector->detect(bgr, &resultInfo, score_thresh, iou_thresh);
    } else {
        ObjectInfo objectInfo;
        objectInfo.x1 = 0;
        objectInfo.y1 = 0;
        objectInfo.x2 = (float)src_w;
        objectInfo.y2 = (float)src_h;
        objectInfo.label = 0;
        resultInfo.info.push_back(objectInfo);
    }

    int nums = resultInfo.info.size();
    LOGW("object nums: %d\n", nums);
    if (nums > 0) {
        // 开始检测
        classifier->detect(bgr, &resultInfo);
        // 可视化代码
        //classifier->visualizeResult(bgr, &resultInfo);
    }
    //cv::cvtColor(bgr, bgr, cv::COLOR_BGR2RGB);
    //MatrixToBitmap(env, bgr, dst_bitmap);
    auto BoxInfo = env->FindClass("com/cv/tnn/model/FrameInfo");
    auto init_id = env->GetMethodID(BoxInfo, "<init>", "()V");
    auto box_id = env->GetMethodID(BoxInfo, "addBox", "(FFFFIF)V");
    auto ky_id = env->GetMethodID(BoxInfo, "addKeyPoint", "(FFF)V");
    jobjectArray ret = env->NewObjectArray(resultInfo.info.size(), BoxInfo, nullptr);
    for (int i = 0; i < nums; ++i) {
        auto info = resultInfo.info[i];
        env->PushLocalFrame(1);
        //jobject obj = env->AllocObject(BoxInfo);
        jobject obj = env->NewObject(BoxInfo, init_id);
        // set bbox
        //LOGW("rect:[%f,%f,%f，%f] label:%d,score:%f \n", info.rect.x,info.rect.y, info.rect.w, info.rect.h, 0, 1.0f);
        env->CallVoidMethod(obj, box_id, info.x1, info.y1, info.x2 - info.x1, info.y2 - info.y1,
                            info.category.label, info.category.score);
        // set keypoint
        for (const auto &kps : info.landmarks) {
            //LOGW("point:[%f,%f] score:%f \n", lm.point.x, lm.point.y, lm.score);
            env->CallVoidMethod(obj, ky_id, (float) kps.x, (float) kps.y, 1.0f);
        }
        obj = env->PopLocalFrame(obj);
        env->SetObjectArrayElement(ret, i, obj);
    }
    return ret;
}

（4） Android测试效果

Android Demo在普通手机CPU/GPU上可以达到实时检测和识别效果；CPU(4线程)约30ms左右，GPU约25ms左右 ，基本满足业务的性能需求。

（5） 运行APP闪退：dlopen failed: library "libomp.so" not found

参考解决方法：
解决dlopen failed: library "libomp.so" not found_PKing666666的博客-CSDN博客_dlopen failed

Android SDK和NDK相关版本信息，请参考：

5.项目源码下载

Android项目源码下载地址：疲劳驾驶检测和识别3：Android实现疲劳驾驶检测和识别(含源码，可实时检测)

整套Android项目源码内容包含：

  1. 提供Android版本的人脸检测模型
  2. 提供整套疲劳驾驶检测和识别Android Demo源码
  3. Android Demo在普通手机CPU/GPU上可以实时检测和识别,约30ms左右
  4. Android Demo支持图片，视频，摄像头测试
  5. 所有依赖库都已经配置好，可直接build运行，若运行出现闪退，请参考dlopen failed: library "libomp.so" not found 解决。

Android疲劳驾驶检测和识别APP Demo体验：https://download.csdn.net/download/guyuealian/88088257

如果你需要疲劳驾驶检测和识别的训练代码，请参考：《疲劳驾驶检测和识别2：Pytorch实现疲劳驾驶检测和识别(含疲劳驾驶数据集和训练代码) 》https://blog.csdn.net/guyuealian/article/details/131834946

6. C++实现疲劳驾驶检测识别

参考文章：疲劳驾驶检测和识别4：C++实现疲劳驾驶检测和识别(含源码，可实时检测)https://panjinquan.blog.csdn.net/article/details/131834980

相关推荐
大白要努力！37 分钟前
Android opencv使用Core.hconcat 进行图像拼接
android·opencv
天空中的野鸟1 小时前
Android音频采集
android·音视频
小白也想学C3 小时前
Android 功耗分析（底层篇）
android·功耗
曙曙学编程3 小时前
初级数据结构——树
android·java·数据结构
闲暇部落5 小时前
‌Kotlin中的?.和!!主要区别
android·开发语言·kotlin
诸神黄昏EX7 小时前
Android 分区相关介绍
android
大白要努力！8 小时前
android 使用SQLiteOpenHelper 如何优化数据库的性能
android·数据库·oracle
Estar.Lee8 小时前
时间操作[取当前北京时间]免费API接口教程
android·网络·后端·网络协议·tcp/ip
Winston Wood8 小时前
Perfetto学习大全
android·性能优化·perfetto
Dnelic-11 小时前
【单元测试】【Android】JUnit 4 和 JUnit 5 的差异记录
android·junit·单元测试·android studio·自学笔记
热门推荐
01(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明02PyTorch机器学习实现液态神经网络03【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总04玄机平台应急响应—webshell查杀05Coze扣子平台完整体验和实践（附国内和国际版对比）06Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO07怎样让音频速度变慢？请跟随以下方法进行操作08Unity中PICO实现 隔空取物 和 接触抓取物体09RAG 实践- Ollama+RagFlow 部署本地知识库10【目标跟踪】相机运动补偿