大模型（七）Agent AI学习笔记

前言

读这篇文章想弄明白如下问题：

Embodied AI：用 Agent AI 解决实际问题

Interactive Learning：用用户的显式和隐式反馈来迭代大模型

Agent AI当前的问题：

幻觉（Hallucinations）：pretrain 的语料在某个领域的语料比较少，导致模型在 inference 时出现幻觉。内在幻觉：和源知识相悖；外在幻觉：在源知识的基础上，额外添加一些不正确的信息。可以通过 rag 来缓解幻觉问题。
偏见和包容性：生成的内容有偏且包容性较差，可以通过搜集更多的训练数据以及用户反馈来缓解偏见和包容性的问题。
隐私和安全性：暂时不关注。
可解释性：
- 从模仿到解耦：模仿一个专家的 policy 很不通用，可以将一个复杂的任务转换成多个简单的子任务，实现一个复杂任务到多个子任务的"解耦"。
- 从解耦到泛化性：每个子任务都比较简单，生成的 policy 可以做到比较通用，甚至可以 transfer 到其他任务中。
- 从泛化性到涌现能力：多个泛化的子结构组合在一起，通常能够解决一些更复杂的任务。
增强推理能力：加数据、加 human feedback等等
规范化：prompt engineering

new paradigm for training Agent AI：

LLM：task planning、reasoning

VLM：visual recognition capability

Agent transformer definition：add agent tokens into transformer model structure, such as controller actions.

过程中目标定义和实时监控非常重要。

reward designing: dedicate design

data collection: more data

long horizon steps: task planing

mimic learning

疑问是否得到解答？