模型部署:C++libtorch实现全连接模型10分类和卷积模型ResNet18的四分类的模型部署推理

C++libtorch实现模型部署推理

模型

  • 全连接模型:公开mnist手写识别数字的十分类
  • 卷积模型:自行采集的鲜花四分类

部署

语言环境:C++

对比Python

python是解释性语言,效率很慢,安全性很低

系统开发一般是java、C/C++,python无法直接部署到系统上

pytorch部署

原生部署,不会丢失精度

环境

下载torch-c+±cpu-release版本,下载点击

注意:debug版本用于模型开发

opencv-c++版本,传送门:Releases - OpenCV

推荐安装带星号版本的windows版本

下载CLion,并配置环境,具体步骤可参考之前笔记传送门:安装CLion配置opencv和torch环境

模型打包

torch.jit进行打包

python 复制代码
traced_model = jit.trace(model, data)
traced_model.save("model.pt")

C++实现推理

全连接模型推理
c++ 复制代码
#include <opencv2/opencv.hpp>
#include <torch/torch.h>
#include <torch/script.h>
#include <vector>
#include <string>

int main() {
    cv::Mat image = cv::imread("img/0.jpg",cv::IMREAD_GRAYSCALE);
    torch::Tensor tensor_image = torch::from_blob(image.data,{1,image.rows*image.cols},torch::kByte).toType(torch::kFloat);
    tensor_image /= 255.;

//    std::cout<<tensor_image<<std::endl;

    auto model = torch::jit::load("model/mnist.pt");

    std::vector<torch::jit::IValue> inputs;
    inputs.push_back(tensor_image);

    auto rst = model.forward(inputs).toTensor();

    std::cout<< rst << std::endl;
    std::cout<< torch::argmax(rst,1) << std::endl;
}
卷积模型推理
c++ 复制代码
#include <torch/script.h> // 包含TorchScript头文件
#include <torch/torch.h>
#include <opencv2/opencv.hpp>
#include <iostream>
#include <memory>

int main() {
    // 加载模型
    torch::jit::script::Module module;
    module = torch::jit::load("model/model.pt");

    // 读取并处理图像
    cv::Mat image = cv::imread("img/flower_1.jpg");

    // 根据模型输入大小调整
    cv::resize(image, image, cv::Size(224, 224));  
    // 将BGR转换为RGB
    cv::cvtColor(image, image, cv::COLOR_BGR2RGB); 

    // 转换图像为Tensor
    torch::Tensor img_tensor = torch::from_blob(
            image.data,
            {1, 3, image.rows, image.cols},
            torch::kByte
    );

    // 转换为浮点
    img_tensor = img_tensor.to(torch::kFloat); 
    // 归一化到[0, 1]
    img_tensor = img_tensor.div(255.0); 

    // 准备输入
    std::vector<torch::jit::IValue> inputs;
    inputs.push_back(img_tensor);

    // 执行模型推理
    at::Tensor output = module.forward(inputs).toTensor();

    // 输出结果
    std::cout << "Model output: " << output << '\n';

    return 0;
}

鲜花四分类模型输出四个结果如下,即为成功转换模型

相关推荐
cherryc_40 分钟前
JavaSE基础——第六章 类与对象(二)
java·开发语言
同勉共进3 小时前
虚函数表里有什么?(二)——普通单继承下的虚函数表
c++·单继承·虚函数表·dynamic_cast·rtii
永恒迷星.by5 小时前
文件操作(c语言)
c语言·c++·算法·文件操作
Qlittleboy5 小时前
windows如何安装wkhtmltoimage 给PHP使用根据HTML生成图片
开发语言·windows·php
一个真正のman.5 小时前
c加加学习之day01
学习
蔗理苦6 小时前
2025-04-03 Latex学习1——本地配置Latex + VScode环境
ide·vscode·学习·latex
水w6 小时前
【Android Studio】解决报错问题Algorithm HmacPBESHA256 not available
android·开发语言·android studio
冷琅辞6 小时前
Elixir语言的云计算
开发语言·后端·golang
Zhichao_977 小时前
【UE5 C++课程系列笔记】32——读Json文件并解析
c++·ue5
Mryan20057 小时前
解决GraalVM Native Maven Plugin错误:JAVA_HOME未指向GraalVM Distribution
java·开发语言·spring boot·maven