羊驼系列大模型LLaMa、Alpaca、Vicuna

羊驼系列大模型:大模型的安卓系统

GPT系列:类比ios系统,不开源

LLaMa让大模型平民化

LLaMa优势

用到的数据:大部分英语、西班牙语,少中文

模型下载地址

https://huggingface.co/meta-llama

Alpaca模型

Alpaca是斯坦福从Meta的LLaMA 7B微调而来的全新模型 (套壳)仅用了52k数据,性能约等于GPT-3.5。

训练成本奇低,总成本不到600美元

  • 在8个80GB A100上训练了3个小时,不到100美元;
  • 生成数据使用OpenAl的AP1,500美元。(数据标注: 问题问chatgpt,用它的回答作为标注数据)

Alpaca模型的训练

Vicuna模型

Vicuna简介

具体工作流程

用GPT4做评估,用更厉害的大模型做大模型

ChatGPT没找到合适的盈利模式

诸驼对比

华驼模型

百川大模型

LLaMa+中文数据

LLaMa2.0

具备人的情商

国内大模型清华6B(中英文数据各一半)、百度文心一言是原创,其它的套壳。

找大模型工作不要找研究型工作,而要找将大模型落地的工作。

微调的本质

  • 原生llama用的通用语料
  • 在自己的数据上进行微调,让模型能够满足自己的需求

羊驼系列的共性

相关推荐
zhangfeng11338 小时前
LLaMA Factory 完全支自定义词库(包括自定义微调数据集、自定义领域词汇/词表)
人工智能·llama
大模型RAG和Agent技术实践9 小时前
突破RAG边界:构建能“读懂“PPT逻辑与图文的智能问答系统实战(附完整源代码)
大模型·powerpoint·智能问答·rag
AndrewHZ10 小时前
【AI黑话日日新】什么是skills?
语言模型·大模型·llm·claude code·skills
小毅&Nora10 小时前
【人工智能】【大模型】从厨房到实验室:解密LLaMA架构如何重塑大模型世界
人工智能·架构·llama
国家一级假勤奋大学生19 小时前
InternVL系列 technical report 解析
大模型·llm·vlm·mllm·internvl·调研笔记
杀生丸学AI20 小时前
【物理重建】PPISP :辐射场重建中光度变化的物理合理补偿与控制
人工智能·大模型·aigc·三维重建·世界模型·逆渲染
人工智能培训21 小时前
大模型训练数据版权与知识产权问题的解决路径
人工智能·大模型·数字化转型·大模型算法·大模型应用工程师
找了一圈尾巴21 小时前
Agent Skills 与其它技术方案的对比
大模型·大模型应用开发
阿里巴啦1 天前
clawdbot (openclaw) + discord 机器人部署指南学习教程
机器人·大模型·discord·clawdbot·openclaw·clawbot安装教程
kimi-2221 天前
LLaMA Factory: 一站式大模型高效微调平台
llama