【终端目标检测03】nanodet训练自己的数据集、NCNN部署到Android

nanodet训练自己的数据集、NCNN部署到Android

    • 一、介绍
    • 二、训练自己的数据集
      • [1. 运行环境](#1. 运行环境)
      • [2. 数据集](#2. 数据集)
      • [3. 配置文件](#3. 配置文件)
      • [4. 训练](#4. 训练)
      • [5. 训练可视化](#5. 训练可视化)
      • [6. 测试](#6. 测试)
    • 三、部署到android
      • [1. 使用官方权重文件部署](#1. 使用官方权重文件部署)
        • [1.1 下载权重文件](#1.1 下载权重文件)
        • [1.2 使用Android Studio部署apk](#1.2 使用Android Studio部署apk)
      • [2. 部署自己的模型【暂时存在问题】](#2. 部署自己的模型【暂时存在问题】)
        • [2.1 生成ncnn模型](#2.1 生成ncnn模型)
        • [2.2 部署到android](#2.2 部署到android)

一、介绍

看看作者自己的介绍吧

NanoDet-Plus 知乎中文介绍

NanoDet 知乎中文介绍

二、训练自己的数据集

1. 运行环境

bash 复制代码
conda create -n nanodet python=3.8 -y
conda activate nanodet

conda install pytorch torchvision cudatoolkit=11.1 -c pytorch -c conda-forge

git clone https://github.com/RangiLyu/nanodet.git
cd nanodet

pip install -r requirements.txt

python setup.py develop

2. 数据集

该示例最后使用的是coco格式的标注文件,下方提供了一个voc转coco的脚本。

python 复制代码
import os
from tqdm import tqdm
import xml.etree.ElementTree as ET
import json
 
class_names = ["cat", "bird", "dog"]


def voc2coco(data_dir, train_path, val_path):
    xml_dir = os.path.join(data_dir, 'Annotations')
    img_dir = os.path.join(data_dir, 'JPEGImages')
     
    train_xmls = []
    for f in os.listdir(train_path):
        train_xmls.append(os.path.join(train_path, f))
    val_xmls = []
    for f in os.listdir(val_path):
        val_xmls.append(os.path.join(val_path, f))

    print('got xmls')
    train_coco = xml2coco(train_xmls)
    val_coco = xml2coco(val_xmls)
    with open(os.path.join(data_dir, 'coco_train.json'), 'w') as f:
        json.dump(train_coco, f, ensure_ascii=False, indent=2)
        json.dump(val_coco, f, ensure_ascii=False, indent=2)
    print('done')
 
 
def xml2coco(xmls):
    coco_anno = {'info': {}, 'images': [], 'licenses': [], 'annotations': [], 'categories': []}
    coco_anno['categories'] = [{'supercategory': j, 'id': i + 1, 'name': j} for i, j in enumerate(class_names)]
    img_id = 0
    anno_id = 0
    for fxml in tqdm(xmls):
        try:
            tree = ET.parse(fxml)
            objects = tree.findall('object')
        except:
            print('err xml file: ', fxml)
            continue
        if len(objects) < 1:
            print('no object in ', fxml)
            continue
        img_id += 1
        size = tree.find('size')
        ih = float(size.find('height').text)
        iw = float(size.find('width').text)
        img_name = fxml.strip().split('/')[-1].replace('xml', 'jpg')
        img_name = img_name.split('\\')
        img_name = img_name[-1]
        img_info = {}
        img_info['id'] = img_id
        img_info['file_name'] = img_name
        img_info['height'] = ih
        img_info['width'] = iw
        coco_anno['images'].append(img_info)
 
        for obj in objects:
            cls_name = obj.find('name').text
            if cls_name == "water":
                continue
            bbox = obj.find('bndbox')
            x1 = float(bbox.find('xmin').text)
            y1 = float(bbox.find('ymin').text)
            x2 = float(bbox.find('xmax').text)
            y2 = float(bbox.find('ymax').text)
            if x2 < x1 or y2 < y1:
                print('bbox not valid: ', fxml)
                continue
            anno_id += 1
            bb = [x1, y1, x2 - x1, y2 - y1]
            categery_id = class_names.index(cls_name) + 1
            area = (x2 - x1) * (y2 - y1)
            anno_info = {}
            anno_info['segmentation'] = []
            anno_info['area'] = area
            anno_info['image_id'] = img_id
            anno_info['bbox'] = bb
            anno_info['iscrowd'] = 0
            anno_info['category_id'] = categery_id
            anno_info['id'] = anno_id
            coco_anno['annotations'].append(anno_info)
 
    return coco_anno

if __name__ == '__main__':
    save_dir = './datasets/annotations' # 保存json文件的路径
    train_dir = './datasets/annotations/train/' # 训练集xml文件的存放路径
    val_dir = './datasets/annotations/val/' # 验证集xml文件的存放路径
    voc2coco(save_dir, train_dir, val_dir)

最后数据集的路径如下:

复制代码
-datasets
|--images
|	|--train
|	|	|--00001.jpg
|	|	|--00004.jpg
|	|	|--...
|	|--val
|	|	|--00002.jpg
|	|	|--00003.jpg
|	|	|--...
|--annatotions
|	|--coco_train.json
|	|--coco_val.json

3. 配置文件

nanodet-m-416.yml为例,对照自己的数据集主要修改以下部分

yaml 复制代码
model:
	head:
		num_classes: 3 # 数据集类别数
		
data:
  train:
    img_path: F:/datasets/images/train # 训练集图片路径
    ann_path: F:/datasets/annotations/coco_train.json # 训练集json文件路径
  val:
    img_path: F:/datasets/images/val # 验证集图片路径
    ann_path: F:/datasets/annotations/coco_val.json # 验证集json文件路径
    
device:
  gpu_ids: [0] # GPU
  workers_per_gpu: 8 # 线程数
  batchsize_per_gpu: 60 # batch size

schedule:
  total_epochs: 280 # 总epoch数
  val_intervals: 10 # 每10个epoch进行输出一次对验证集的识别结果
  
class_names: ["cat", "bird", "dog"] # 数据集类别

4. 训练

bash 复制代码
python tools/train.py config/legacy_v0.x_configs/nanodet-m-416.yml

如果训练中途断了,需要接着训练。首先修改nanodet-m-416.ymlresumeload_model这两行注释去掉,并将model_last.ckpt的路径补上(注意去掉注释后检查下这两行缩进是否正确),然后再python tools/train.py config/legacy_v0.x_configs/nanodet-m-416.yml

yaml 复制代码
schedule:
  resume:
  load_model: F:/nanodet/workspace/nanodet_m_416/model_last.ckpt
  optimizer:
    name: SGD
    lr: 0.14
    momentum: 0.9
    weight_decay: 0.0001

报错:

bash 复制代码
OSError: [WinError 1455] 页面文件太小,无法完成操作。 Error loading "F:\Anaconda3\envs\
nanodet\lib\site-packages\torch\lib\shm.dll" or one of its dependencies.

方案:减小配置文件中线程数workers_per_gpu,或者直接设为0不使用并行。

5. 训练可视化

TensorBoard日志保存在./nanodet/workspace/nanodet_m_416路径下,可视化命令如下:

bash 复制代码
tensorboard --logdir=./nanodet/workspace/nanodet_m_416

6. 测试

方法一:

bash 复制代码
python demo/demo.py image --config config/legacy_v0.x_configs/nanodet-m-416.yml --model nanodet_m_416.ckpt --path test.jpg

方法二:

运行demo\demo-inference-with-pytorch.ipynb脚本(修改代码中from demo.demo import Predictorfrom demo import Predictor

三、部署到android

1. 使用官方权重文件部署

1.1 下载权重文件

1)在F:\nanodet\demo_android_ncnn\app\src\main路径下新建一个文件夹assets

2)将F:\nanodet\demo_android_ncnn\app\src\main\cpp\ncnn-20211208-android-vulkan路径下的nanodet-plus-m_416.binnanodet-plus-m_416.param复制到F:\nanodet\demo_android_ncnn\app\src\main\assets下,并重命名为nanodet.binnanodet.param

3)(可选)下载Yolov4和v5的ncnn模型到F:\nanodet\demo_android_ncnn\app\src\main\assets路径下;

1.2 使用Android Studio部署apk

使用Android Studio打开F:\nanodet\demo_android_ncnn文件夹,按照自己的安卓版本选择相应的Platforms,值得注意的是,NDK需要安装21.0.6113669版本的,否则会报错类似"No version of NDK matched the requested version 21.0.6113669. Versions available locally: 21.3.6528147"。【详细操作可以查看我之前的文章中的1.2节:【终端目标检测01】基于NCNN将YOLOX部署到Android

部署结果:

2. 部署自己的模型【暂时存在问题】

2.1 生成ncnn模型
  • 先转换为onnx文件:
bash 复制代码
python tools/export_onnx.py --cfg_path config\legacy_v0.x_configs\nanodet-m-416.yml --model_path nanodet_m_416.ckpt
  • 再转换为ncnn模型:

使用在线转换https://convertmodel.com/

将转换后的bin和param文件放置到assets文件夹下,可以重命名为nanodet.bin和nanodet.param,也可以修改jni_interface.cpp文件中NanoDet::detector = new NanoDet(mgr, "nanodet_self-sim-opt.param", "nanodet_self-sim-opt.bin", useGPU);

2.2 部署到android

我使用的是nanodet-m-416.yml训练了自己的模型,按照官方的文档修改nanodet.h中超参数,make projectrun app都没有报错,但是手机运行程序时识别有问题(类别并不是我自己数据集的类别),暂时还没发现问题所在。

相关推荐
百锦再3 分钟前
Android Studio开发 SharedPreferences 详解
android·ide·android studio
AIGC大时代13 分钟前
高效使用DeepSeek对“情境+ 对象 +问题“型课题进行开题!
数据库·人工智能·算法·aigc·智能写作·deepseek
硅谷秋水14 分钟前
GAIA-2:用于自动驾驶的可控多视图生成世界模型
人工智能·机器学习·自动驾驶
青春给了狗15 分钟前
Android 14 修改侧滑手势动画效果
android
CYRUS STUDIO22 分钟前
Android APP 热修复原理
android·app·frida·hotfix·热修复
偶尔微微一笑26 分钟前
AI网络渗透kali应用(gptshell)
linux·人工智能·python·自然语言处理·编辑器
深度之眼41 分钟前
2025时间序列都有哪些创新点可做——总结篇
人工智能·深度学习·机器学习·时间序列
晓数1 小时前
【硬核干货】JetBrains AI Assistant 干货笔记
人工智能·笔记·jetbrains·ai assistant
jndingxin1 小时前
OpenCV 图形API(60)颜色空间转换-----将图像从 YUV 色彩空间转换为 RGB 色彩空间函数YUV2RGB()
人工智能·opencv·计算机视觉
火柴就是我1 小时前
首次使用Android Studio时,http proxy,gradle问题解决
android