gpt2

薛定谔的猫1982

十六、用 GPT2 中文古文模型实现经典名句续写在传统文化与人工智能融合的场景中，基于大语言模型实现古文、经典名句的续写，既能展现 AI 对中文语义和韵律的理解，也能为国学创作、教学辅助提供有趣的工具。本文以gpt2-chinese-ancient（GPT2 中文古文模型）为例，从代码解析、核心原理到效果优化，手把手教你实现 “温故而知新，可以为师矣” 这类经典名句的自动续写，让 AI 也能写出有 “古风” 的文本。

薛定谔的猫1982

十五、基于 GPT2 中文模型实现歌词自动续写在自然语言生成（NLG）领域，GPT2 凭借轻量化、易部署的特性，成为中文场景下文本创作的优选模型之一。本文将以 “GPT2 中文歌词生成模型” 为例，从代码解析、核心原理到实战优化，手把手教你实现歌词自动续写功能，让机器也能写出有 “氛围感” 的中文歌词。

跳跳糖炒酸奶

第十二章、GPT2：Language Models are Unsupervised Multitask Learners（理论部分）阅读经典论文是想深入任何领域都必须经历的过程，接下来让我们看看openai的经典之作GPT2。下述内容包含很多个人观点可能存在有问题的地方，欢迎一起讨论。

基于BERT和GPT2的实现来理解Transformer的结构和原理核心就是编码器和解码器，简单理解：编码器就是特征提取，解码器就是特征还原。Transformer最初是一个Encoder-Decoder架构，用于机器翻译任务：

【大模型实战篇】大模型分词算法BPE(Byte-Pair Encoding tokenization)及代码示例词元化是针对自然语言处理任务的数据预处理中一个重要步骤，目的是将原始文本切分成模型可以识别和处理的词元序列。在大模型训练任务中，就是作为大模型的输入。传统的自然语言处理方法，如基于条件随机场的序列标注，主要采用基于词汇的分词方式，这与我们人类的语言认知更为契合。但是，这种分词方法在中文等语言中，可能会导致对同一输入产生不同的分词结果，从而生成包含大量低频词的庞大词表，并可能出现未登录词（OOV）的问题。因此，一些语言模型开始使用字符作为最小单位进行分词，例如，ELMo 使用了 CNN 词编码器。近年来，子

GPT(Generative Pre-Training)论文解读及源码实现(二)本篇为gpt2的pytorch实现，参考 nanoGPTnanoGPT如何使用见后面第5节data/shakespeare/prepare.py 文件源码分析

我是有底线的