代码生成和扩展能力：GPT 可以根据任务要求生成代码，实现强大的扩展能力。例如，它可以生成代码来控制外围设备，大大拓展了语言模型的应用领域。
大语言模型生成代码
语言理解和生成是人工智能研究中的一个重要课题。早期的方法通过语法规则解析句子结构并指导句子生成，这种方法过于僵硬，难以应对语言的复杂性。
语言是刻画语言现象的另一种方法。通过统计词语之间的搭配频率，语言模型可以判断一句话是否符合常理，也可以用来生成句子。然而，传统的 N 元文法模型能够考虑的上下文信息有限，生成的句子往往缺乏连贯性。
大语言模型（如GPT）利用Transformer 等神经网络结构实现了长距离上下文建模，突破了传统语言模型的局限。这一突破不仅让这些模型可以写出流畅的文章和小说，还对语言产生了理解能力，因而可以理解人的对话意图，和人自由交流。特别重要的是，对语言的理解打破了人类语言的屏障，使大语言模型可以吸收人类的知识，从而表现出了强大的智能。