fara - fara技术,学习,经验文章

伟大的大威

2 小时前

NVIDIA Jetson Orin Nano 大模型量化与部署指南 (Fara-7B)适用设备：NVIDIA Jetson Orin Nano (8GB) / Orin NX 系统环境：Ubuntu 22.04 (JetPack 6.x) 目标：将 Fara-7B 模型转换为 GGUF 格式并进行 Int4 量化，最终在 Ollama 中运行。