推理框架

Xorbits Inference（Xinference）：一款性能强大且功能全面的大模型部署与分布式推理框架Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。

程序猿小三

基础篇| 全网最全详解12个大模型推理框架01 什么是框架?开始介绍之前, 我们先了解一下什么是框架?xx框架-IT人经常听到的名词。但是又有多少人知道框架的意思?

爱听歌的周童鞋

八. 实战：CUDA-BEVFusion部署分析-学习CUDA-BEVFusion推理框架设计模式自动驾驶之心推出的《CUDA与TensorRT部署实战课程》，链接。记录下个人学习笔记，仅供自己参考

【Kuiperinfer】笔记03 张量（Tensor）类设计与实现，单元测试解析张量的数据按照channels，rows，cols的顺序排放，主要包含以下部分：Tensor类需要提供高效的矩阵计算算法，同时也应该在软件工程的层面上优化接口。