自己动手写深度学习框架（最终的ncnn部署和测试）

既然前面已经做好了pytorch到onnx，onnx到ncnn的转换，那么接下来就是用ncnn来执行这些model和参数了。有的人也许会问，既然pytorch都训练好model了，为什么不直接用pytorch在板子上跑呢？那是因为训练的时候，一般都是用nvidia显卡跑的，资源非常富裕。但是在嵌入式板子上，需要用cpu、或者npu来优化处理，整体资源要少得多。所以，model本身也要做适当的裁剪。

1、依赖的文件

ncnn主要就是依赖于param文件和bin文件。其中param文件描述模型本身，bin则是模型参数。

2、支持的平台

本身ncnn支持的平台非常多。除了arm平台之外，它还支持x86、riscv、mips等很多平台。最重要的，ncnn居然支持x86平台，也就是说，我们完全可以用windows的vs2017、vs2019对param、bin进行调试，还是十分方便的。

复制代码

https://github.com/Tencent/ncnn/releases

3、怎么在x86调试

建议直接下载对应的x86 vs2017开发包，里面有bin、include和lib。其中include是头文件，lib是静态文件，bin里面有执行需要的dll文件，就是这么简单。

4、demo代码

为了演示ncnn怎么使用，这里给出一个简单的mnist手写代码识别的case。即，假设我们拿到了对应的param、bin文件，那么对应的识别代码就可以这么来写，

复制代码

#include <iostream>
using namespace std;

// add header file

#include "net.h"

// add lib here

#pragma comment(lib, "ncnn.lib")

// function starts here

int main(int argc, char* argv[])
{
    ncnn::Net net;

    // load parameter

    net.load_param("mnist_clean.ncnn.param");
    net.load_model("mnist_clean.ncnn.bin");

    // prepare input image

    ncnn::Mat in = ncnn::Mat(28, 28, 1);
    in.fill(0.0f);

    // execute it

    ncnn::Extractor ex = net.create_extractor();
    ex.input("in0", in);

    ncnn::Mat out;
    ex.extract("out0", out);

    // check result

    int best = 0;
    float maxv = out[0];
    for (int i = 1; i < 10; i++)
    {
        if (out[i] > maxv)
        {
            maxv = out[i];
            best = i;
        }
    }

    // print result

    std::cout << "predict = " << best << std::endl;
    return 0;
}

中间比较容易出错的地方有两处，一个是in0、out0的名称，这个要根据param文件来判断。还有一个是最终概率的判别，也是要自己写的。有的model还需要图像后处理，比如说yolo，这部分也是需要自己手动补充好的，和ncnn没有关系。

5、移植到arm

之前已经描述过如何移植到树莓派，这里不再赘述，主要还是常规的cmake&make机制。一般来说，如果x86调试没问题之后，arm平台也不会有太大的问题。