模型部署:C++libtorch实现全连接模型10分类和卷积模型ResNet18的四分类的模型部署推理

C++libtorch实现模型部署推理

模型

  • 全连接模型:公开mnist手写识别数字的十分类
  • 卷积模型:自行采集的鲜花四分类

部署

语言环境:C++

对比Python

python是解释性语言,效率很慢,安全性很低

系统开发一般是java、C/C++,python无法直接部署到系统上

pytorch部署

原生部署,不会丢失精度

环境

下载torch-c+±cpu-release版本,下载点击

注意:debug版本用于模型开发

opencv-c++版本,传送门:Releases - OpenCV

推荐安装带星号版本的windows版本

下载CLion,并配置环境,具体步骤可参考之前笔记传送门:安装CLion配置opencv和torch环境

模型打包

torch.jit进行打包

python 复制代码
traced_model = jit.trace(model, data)
traced_model.save("model.pt")

C++实现推理

全连接模型推理
c++ 复制代码
#include <opencv2/opencv.hpp>
#include <torch/torch.h>
#include <torch/script.h>
#include <vector>
#include <string>

int main() {
    cv::Mat image = cv::imread("img/0.jpg",cv::IMREAD_GRAYSCALE);
    torch::Tensor tensor_image = torch::from_blob(image.data,{1,image.rows*image.cols},torch::kByte).toType(torch::kFloat);
    tensor_image /= 255.;

//    std::cout<<tensor_image<<std::endl;

    auto model = torch::jit::load("model/mnist.pt");

    std::vector<torch::jit::IValue> inputs;
    inputs.push_back(tensor_image);

    auto rst = model.forward(inputs).toTensor();

    std::cout<< rst << std::endl;
    std::cout<< torch::argmax(rst,1) << std::endl;
}
卷积模型推理
c++ 复制代码
#include <torch/script.h> // 包含TorchScript头文件
#include <torch/torch.h>
#include <opencv2/opencv.hpp>
#include <iostream>
#include <memory>

int main() {
    // 加载模型
    torch::jit::script::Module module;
    module = torch::jit::load("model/model.pt");

    // 读取并处理图像
    cv::Mat image = cv::imread("img/flower_1.jpg");

    // 根据模型输入大小调整
    cv::resize(image, image, cv::Size(224, 224));  
    // 将BGR转换为RGB
    cv::cvtColor(image, image, cv::COLOR_BGR2RGB); 

    // 转换图像为Tensor
    torch::Tensor img_tensor = torch::from_blob(
            image.data,
            {1, 3, image.rows, image.cols},
            torch::kByte
    );

    // 转换为浮点
    img_tensor = img_tensor.to(torch::kFloat); 
    // 归一化到[0, 1]
    img_tensor = img_tensor.div(255.0); 

    // 准备输入
    std::vector<torch::jit::IValue> inputs;
    inputs.push_back(img_tensor);

    // 执行模型推理
    at::Tensor output = module.forward(inputs).toTensor();

    // 输出结果
    std::cout << "Model output: " << output << '\n';

    return 0;
}

鲜花四分类模型输出四个结果如下,即为成功转换模型

相关推荐
guygg883 分钟前
基于matlab的FIR滤波器
开发语言·算法·matlab
双叶83618 分钟前
(C++)学生管理系统(正式版)(map数组的应用)(string应用)(引用)(文件储存的应用)(C++教学)(C++项目)
c语言·开发语言·数据结构·c++
源代码•宸33 分钟前
C++高频知识点(二)
开发语言·c++·经验分享
你怎么知道我是队长1 小时前
python-input内置函数
开发语言·python
X_StarX1 小时前
【Unity笔记02】订阅事件-自动开门
笔记·学习·unity·游戏引擎·游戏开发·大学生
加油吧zkf1 小时前
YOLO目标检测数据集类别:分类与应用
人工智能·计算机视觉·目标跟踪
MingYue_SSS1 小时前
开关电源抄板学习
经验分享·笔记·嵌入式硬件·学习
weixin_437398212 小时前
转Go学习笔记(2)进阶
服务器·笔记·后端·学习·架构·golang
jyan_敬言2 小时前
【C++】string类(二)相关接口介绍及其使用
android·开发语言·c++·青少年编程·visual studio
慕y2742 小时前
Java学习第十六部分——JUnit框架
java·开发语言·学习