技术栈
llama-3
Robot侠
22 天前
llama
·
modelscope
·
llama-3
·
unsloth
·
llm 微调
·
rtx 3090
RTX 3090单卡微调 Llama-3 / Qwen2.5：基于 Unsloth + ModelScope 的极速实战
摘要：手握 RTX 3090 这种“深度学习民用神卡”，却苦于 Hugging Face 下载太慢？微调大模型动辄 OOM（显存溢出）？本文将带你体验一套完全适配国内网络环境的本地微调流水线：Unsloth (训练加速) + ModelScope (极速下载)。实测 Llama-3-8B 下载仅需 5 分钟，微调仅需 20 秒！
姚家湾
2 年前
ollama
·
llama-3
llama-3 本地化部署实验
国产大模型的API 有限，编写langchain 应用问题很多。使用openai 总是遇到网络问题，尝试使用ollama在本地运行llama-3。结果异常简单。效果不错。llama-3 的推理能力感觉比openai 的GPT-3.5 好。
我是有底线的