1. 什么是AI大模型
- LLM（large language modle）:有关语言处理的深度学习模型，根据输入产出输出。
- 基座大模型网址：https://www.datalearner.com/leaderboards
- 405B：4050亿参数
2. AI大模型提示工程
3. AI大模型RAG
- RAG原理：
让大模型更聪明：给AI大模型补充专业数据，将数据结构化，进行split,转为段落，使用embedding模型处理为向量，存到向量数据库。
用户问问题，发送给向量数据库，从向量数据库中选出topN段落，和问题结合生成prompt传给大模型。 - Embedding（词向量化）到向量数据库
4. AI大模型微调（调参）
- 微调流程图示
预训练大模型-->基座大模型
使用微调算法做低参微调，使用LoRA模型
目的：生成某一行业专业的功能（比如：土木工程） - 微调相当于小批量的训练模型
5. AI大模型私有化部署
6. AI大模型Agent
7. AI大模型Langchain
1. Lnagchain是什么
- 开源框架：是用来语言模型驱动的应用程序框架。从自己数据库或文件中提取信息，并根据这些信息执行具体操作，架构基座大模型和外部的计算和数据源结合起来。
- 包括：Compents组件、Chains链、Agents
- Compents组件：为LLMs提供接口封装，模板提示和信息检索索引
- Chains链：将不同的组件组合起来解决特定的任务
- Agents代理：使LLMs能够与外部环境进行交互，例如通过API请求执行操作。
2. Langchain核心
- 开发功能性软件
- 为什么用：
数据连接：允许你将LLMs接到自己的数据库
行动执行：不仅可以提取信息，还可以执行特定操作 - 核心：
- 模型Models：连接到大语言模型
- Prompt Templates(提示模板):避免硬编码文本输入，动态将用户插入到模板，并发送给语言模型
- Chains:将多个组件联合在一起
- Agents:语言模型与外界交互
- Embedding:
- Indexes:索引
3. Langchain底层原理
- 底层原理：
- 用户问题-->相似性搜索（Similarity Search）-->向量数据库或向量空间-->信息与原始问题结合-->传给模型-->给出答案-->采取行动
- 应用场景：
- 个人助手：预定航班、转账、交税等
- 学习辅助：可以参考整个课程大纲，使你更快的学习资料
- 数据分析和数据科学：连接数据
4.Langchain环境和监控
- pip install langchain
- pip install langchain-openai
- 监控langSmish的APIkey:跟踪调用大模型key的数量（https://smith.langchain.com/settings）
- 是什么：
- 调试与测试
- 评估应用效果
- 监控应用性能
- 数据管理与分析
- 团队协作
- 可扩展与可维护