羊驼系列大模型LLaMa、Alpaca、Vicuna

羊驼系列大模型:大模型的安卓系统

GPT系列:类比ios系统,不开源

LLaMa让大模型平民化

LLaMa优势

用到的数据:大部分英语、西班牙语,少中文

模型下载地址

https://huggingface.co/meta-llama

Alpaca模型

Alpaca是斯坦福从Meta的LLaMA 7B微调而来的全新模型 (套壳)仅用了52k数据,性能约等于GPT-3.5。

训练成本奇低,总成本不到600美元

  • 在8个80GB A100上训练了3个小时,不到100美元;
  • 生成数据使用OpenAl的AP1,500美元。(数据标注: 问题问chatgpt,用它的回答作为标注数据)

Alpaca模型的训练

Vicuna模型

Vicuna简介

具体工作流程

用GPT4做评估,用更厉害的大模型做大模型

ChatGPT没找到合适的盈利模式

诸驼对比

华驼模型

百川大模型

LLaMa+中文数据

LLaMa2.0

具备人的情商

国内大模型清华6B(中英文数据各一半)、百度文心一言是原创,其它的套壳。

找大模型工作不要找研究型工作,而要找将大模型落地的工作。

微调的本质

  • 原生llama用的通用语料
  • 在自己的数据上进行微调,让模型能够满足自己的需求

羊驼系列的共性

相关推荐
西西弗Sisyphus8 分钟前
RAGFlow 基于深度文档理解构建的开源 RAG引擎 - 在 Ubuntu 上安装 Docker Engine
docker·大模型·rag
西西弗Sisyphus2 小时前
RAGFlow 基于深度文档理解构建的开源 RAG引擎 vm.max_map_count配置
大模型·rag
西西弗Sisyphus8 小时前
大型语言模型(LLMs)演化树 Large Language Models
人工智能·语言模型·自然语言处理·大模型
又困又爱睡15 小时前
LLaMA-Factory(一)环境配置及包下载
llama
每天八杯水D15 小时前
LLaMA-Factory GLM4-9B-CHAT LoRA 微调实战
lora·微调·llama·peft·glm4-9b-chat
一只敲代码的猪15 小时前
Llama 3 模型系列解析(一)
大数据·python·llama
西西弗Sisyphus17 小时前
探索多模态大语言模型(MLLMs)的推理能力
人工智能·计算机视觉·语言模型·大模型
暮暮七1 天前
理想很丰满的Ollama-OCR
linux·python·大模型·ocr·markdown·ollama
ibrahim3 天前
Llama 3.2 900亿参数视觉多模态大模型本地部署及案例展示
ai·大模型·llama·提示词
算力魔方AIPC3 天前
Meta重磅发布Llama 3.3 70B:开源AI模型的新里程碑
人工智能·llama