羊驼系列大模型LLaMa、Alpaca、Vicuna

羊驼系列大模型:大模型的安卓系统

GPT系列:类比ios系统,不开源

LLaMa让大模型平民化

LLaMa优势

用到的数据:大部分英语、西班牙语,少中文

模型下载地址

https://huggingface.co/meta-llama

Alpaca模型

Alpaca是斯坦福从Meta的LLaMA 7B微调而来的全新模型 (套壳)仅用了52k数据,性能约等于GPT-3.5。

训练成本奇低,总成本不到600美元

  • 在8个80GB A100上训练了3个小时,不到100美元;
  • 生成数据使用OpenAl的AP1,500美元。(数据标注: 问题问chatgpt,用它的回答作为标注数据)

Alpaca模型的训练

Vicuna模型

Vicuna简介

具体工作流程

用GPT4做评估,用更厉害的大模型做大模型

ChatGPT没找到合适的盈利模式

诸驼对比

华驼模型

百川大模型

LLaMa+中文数据

LLaMa2.0

具备人的情商

国内大模型清华6B(中英文数据各一半)、百度文心一言是原创,其它的套壳。

找大模型工作不要找研究型工作,而要找将大模型落地的工作。

微调的本质

  • 原生llama用的通用语料
  • 在自己的数据上进行微调,让模型能够满足自己的需求

羊驼系列的共性

相关推荐
AI大模型学徒几秒前
大模型应用开发(十七)_RAG架构概述
大模型·知识库·rag·deepseek
ezeroyoung1 小时前
鸿蒙MindSpore Lite 离线模型转换指南
华为·大模型·harmonyos
北邮刘老师1 小时前
【智能体互联协议解析】ACPs/AIP为什么还在用“落后”的“中心化”架构?
网络·人工智能·架构·大模型·智能体·智能体互联网
北邮刘老师2 小时前
【智能体协议解析】一个完整的智能体互联协作流程
人工智能·大模型·智能体·智能体互联网
Elwin Wong7 小时前
本地运行LangChain Agent用于开发调试
人工智能·langchain·大模型·llm·agent·codingagent
我很哇塞耶9 小时前
英伟达开源发布最新AI模型!引入突破性专家混合架构,推理性能超越Qwen3和GPT,百万token上下文,模型数据集全开源!
人工智能·ai·大模型
zuoyou-HPU9 小时前
ChatGLM4 的 tokenizer 配置文件解析
python·大模型·glm
找方案10 小时前
hello-agents 学习笔记:从概念到落地,初识智能体的奇妙世界
人工智能·笔记·学习·大模型
mingchen_peng1 天前
第三章 大语言模型基础
大模型·llm·hello-agent
骚戴1 天前
深入解析:Gemini 3.0 Pro 的 SSE 流式响应与跨区域延迟优化实践
java·人工智能·python·大模型·llm