GPT的强大能力主要来源于超长的上下文建模能力。超长的上下文使得机器在写当前句子的时候,可以照顾到以前所写的大量句子。另外,GPT的强大也得益于大规模语料学习。因为学习了大量语料,掌握了人类语言的大量知识,从而学习到了人类的写作方式和谋篇技巧。