模型部署:C++libtorch实现全连接模型10分类和卷积模型ResNet18的四分类的模型部署推理

C++libtorch实现模型部署推理

模型

  • 全连接模型:公开mnist手写识别数字的十分类
  • 卷积模型:自行采集的鲜花四分类

部署

语言环境:C++

对比Python

python是解释性语言,效率很慢,安全性很低

系统开发一般是java、C/C++,python无法直接部署到系统上

pytorch部署

原生部署,不会丢失精度

环境

下载torch-c+±cpu-release版本,下载点击

注意:debug版本用于模型开发

opencv-c++版本,传送门:Releases - OpenCV

推荐安装带星号版本的windows版本

下载CLion,并配置环境,具体步骤可参考之前笔记传送门:安装CLion配置opencv和torch环境

模型打包

torch.jit进行打包

python 复制代码
traced_model = jit.trace(model, data)
traced_model.save("model.pt")

C++实现推理

全连接模型推理
c++ 复制代码
#include <opencv2/opencv.hpp>
#include <torch/torch.h>
#include <torch/script.h>
#include <vector>
#include <string>

int main() {
    cv::Mat image = cv::imread("img/0.jpg",cv::IMREAD_GRAYSCALE);
    torch::Tensor tensor_image = torch::from_blob(image.data,{1,image.rows*image.cols},torch::kByte).toType(torch::kFloat);
    tensor_image /= 255.;

//    std::cout<<tensor_image<<std::endl;

    auto model = torch::jit::load("model/mnist.pt");

    std::vector<torch::jit::IValue> inputs;
    inputs.push_back(tensor_image);

    auto rst = model.forward(inputs).toTensor();

    std::cout<< rst << std::endl;
    std::cout<< torch::argmax(rst,1) << std::endl;
}
卷积模型推理
c++ 复制代码
#include <torch/script.h> // 包含TorchScript头文件
#include <torch/torch.h>
#include <opencv2/opencv.hpp>
#include <iostream>
#include <memory>

int main() {
    // 加载模型
    torch::jit::script::Module module;
    module = torch::jit::load("model/model.pt");

    // 读取并处理图像
    cv::Mat image = cv::imread("img/flower_1.jpg");

    // 根据模型输入大小调整
    cv::resize(image, image, cv::Size(224, 224));  
    // 将BGR转换为RGB
    cv::cvtColor(image, image, cv::COLOR_BGR2RGB); 

    // 转换图像为Tensor
    torch::Tensor img_tensor = torch::from_blob(
            image.data,
            {1, 3, image.rows, image.cols},
            torch::kByte
    );

    // 转换为浮点
    img_tensor = img_tensor.to(torch::kFloat); 
    // 归一化到[0, 1]
    img_tensor = img_tensor.div(255.0); 

    // 准备输入
    std::vector<torch::jit::IValue> inputs;
    inputs.push_back(img_tensor);

    // 执行模型推理
    at::Tensor output = module.forward(inputs).toTensor();

    // 输出结果
    std::cout << "Model output: " << output << '\n';

    return 0;
}

鲜花四分类模型输出四个结果如下,即为成功转换模型

相关推荐
董先生_ad986ad2 小时前
C# 中的 `lock` 关键字本质
开发语言·c#
元亓亓亓2 小时前
Java后端开发day36--源码解析:HashMap
java·开发语言·数据结构
道剑剑非道2 小时前
QT 打包安装程序【windeployqt.exe】报错c000007d原因:Conda巨坑
开发语言·qt·conda
豆沙沙包?3 小时前
5.学习笔记-SpringMVC(P61-P70)
数据库·笔记·学习
小邓儿◑.◑3 小时前
C++武功秘籍 | 入门知识点
开发语言·c++
每次的天空4 小时前
Android学习总结之Room篇
android·学习·oracle
码银5 小时前
Java 集合:泛型、Set 集合及其实现类详解
java·开发语言
大G哥5 小时前
PHP标签+注释+html混写+变量
android·开发语言·前端·html·php
傻啦嘿哟5 小时前
HTTP代理基础:网络新手的入门指南
开发语言·php
fish_study_csdn5 小时前
pytest 技术总结
开发语言·python·pytest