终于学完了 生成式AI和大语言模型 Generative AI & LLMs.
LLMs 解决了如下问题：
- 对NLP的不能够理解长句子，解决方案 自注意力机制Transformers architecture Attention is all you need
- 大模型算力不够，解决方案 LLMs 缩放法则和计算最优模型Scaling laws and compute-optimal models
- 高效微调，解决方案 LLMs参数高效微调（PEFT） Parameter efficient fine-tuning (PEFT)， LLMs PEFT技术1：LoRA， LLMs 参数高效微调技术2 Soft prompts
- 优化最佳答案，解决方案 LLMs 用强化学习进行微调 RLHF: Fine-tuning with reinforcement learning
- LLMs知识老旧，链接外部资源，计算能力，解决方案 Lang Chain帮助LLMs进行推理和计划的思维链，LLMs与外部应用程序交互， RAG检索增强生成在应用中使用
除了负责任AI，研究人员还在探索一些技术，以使模型与人类的价值观和偏好相一致，提高模型的可解释性，并实施高效的模型治理。随着模型能力的增加，我们还需要更多可扩展的人类监督技术，如宪法AI，正如我在之前的课程中所讨论的。研究人员继续探索项目生命周期各个步骤的扩展规律，包括更好地预测模型性能的技术，以确保资源的高效利用，例如通过模拟等。
而规模并不总是指更大，研究团队正在致力于小型设备和边缘部署的模型优化。例如，llama.cpp是LLaMA模型的C++实现，使用四位整数量化以在笔记本电脑上运行。
同样，我相信我们将在整个模型开发生命周期中看到进展和效率的提高。
特别是，在预训练、微调和强化学习方面将出现更高效的技术。我们将看到越来越多的大型语言模型的能力不断涌现。
例如，研究人员正在考虑开发支持更长提示和上下文的模型，例如用于总结整本书的模型。实际上，在开发本课程期间，我们已经看到了第一个支持10万标记上下文窗口的模型的宣布。这大致相当于7.5万字和数百页。
模型还将越来越多地支持语言、图像、视频、音频等多模式。这将开辟新的应用和用例，并改变我们与模型互动的方式。我们已经在最新一代文本到图像模型中看到了这一点的第一个令人惊叹的成果，其中自然语言成为用户界面，用于创建视觉内容。研究人员还试图更多地了解LLM的推理，并在探索结构化知识和符号方法相结合的LLM。这一神经符号AI研究领域探讨了模型从经验中学习和从所学内容进行推理的能力。非常感谢您参加本课程。我们希望您享受了这些课程，并迫不及待地想看到您如何运用这些知识来构建什么。最后，让我们询问我们的AI，未来会带来什么。
Reference
https://www.coursera.org/learn/generative-ai-with-llms/lecture/Qg6G8/course-conclusion