大语言模型(3)--GPT-2

GPT-2(《Language Models are Unsupervised Multitask Learners》)是继GPT-1之后的第二个开源版本(考虑到技术滥用的担心只发布了mini版本),它的训练语料与参数比GPT-1多了一个数量级。正如题目,它是一个无监督、无领域知识调优的模型,然而在阅读理解、摘要生成、翻译、问答等方面可以超过多个领域下调优的已知模型。

模型

GPT-2是一个基于transformer的语言模型,在800万个网页上训练得到,它包含15亿参数。训练语料与参数数量都比GPT-1多了一个数量级。它仍使用GPT-1的模型,在此基础上做了少量调优:

  • layer norm前置到每个block的输入
  • 残差层参数使用层次N进行归一化(1/sqrt(N)
  • 词表扩大到5w+
  • 上下文词的数量从512->1024
  • batch size扩大到512

效果

GPT-2显示了很强的zero-shot能力,它的效果超过了多个基于领域语料(例如wikipedia/news/books等)训练的模型。如下图所示:

下面给出了一些问答的例子:

相关推荐
fanstuck1 小时前
AI辅助数学建模有哪些优势?
人工智能·数学建模·语言模型·aigc
一只安1 小时前
从零开发AI(不依赖任何模型)
人工智能·python
2501_938782091 小时前
实战 Python NLP:处理 PDF 文档批量提取文本并进行主题建模
python·自然语言处理·pdf
11年老程序猿在线搬砖2 小时前
如何搭建自己的量化交易平台
大数据·人工智能·python·自动交易·量化交易系统
Elastic 中国社区官方博客2 小时前
Elasticsearch 开放推理 API 增加了对 Google 的 Gemini 模型的支持
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索·googlecloud
周杰伦_Jay2 小时前
【实战|旅游知识问答RAG系统全链路解析】从配置到落地(附真实日志数据)
大数据·人工智能·分布式·机器学习·架构·旅游·1024程序员节
架构技术专栏2 小时前
大模型安全:从对齐问题到对抗性攻击的深度分析
人工智能
麻雀无能为力2 小时前
深度学习计算
人工智能·深度学习
墨风如雪3 小时前
MiniMax Speech 2.6:告别“慢半拍”,AI语音新纪元!
aigc
周杰伦_Jay3 小时前
【向量检索与RAG全流程解析】HNSW原理、实践及阿里云灵积DashScope嵌入
人工智能·阿里云·数据挖掘·云计算·database·1024程序员节