openvino-genai - openvino-genai技术,学习,经验文章

小毕超

3 小时前

没有NVIDIA显卡，基于 OpenVINO_GenAI 框架在Intel集显GPU上也能流畅本地运行14B大模型在本专栏的上篇文章中，介绍了使用 OpenVINO 分别在 CPU、NPU、核显 GPU 上加速过 YOLO 系列模型的推理，对 OpenVINO 的推理能力已经有了比较直观的感受。