大模型学习笔记

1. 什么是AI大模型

• LLM（large language modle）:有关语言处理的深度学习模型，根据输入产出输出。
• 基座大模型网址：https://www.datalearner.com/leaderboards
• 405B：4050亿参数
• 

2. AI大模型提示工程

3. AI大模型RAG

• RAG原理：
  让大模型更聪明：给AI大模型补充专业数据，将数据结构化，进行split,转为段落，使用embedding模型处理为向量，存到向量数据库。
  用户问问题，发送给向量数据库，从向量数据库中选出topN段落，和问题结合生成prompt传给大模型。
• Embedding（词向量化）到向量数据库

4. AI大模型微调（调参）

• 微调流程图示
  
  预训练大模型-->基座大模型
  使用微调算法做低参微调，使用LoRA模型
  目的：生成某一行业专业的功能（比如：土木工程）
• 微调相当于小批量的训练模型

5. AI大模型私有化部署

6. AI大模型Agent

7. AI大模型Langchain

1. Lnagchain是什么

• 开源框架：是用来语言模型驱动的应用程序框架。从自己数据库或文件中提取信息，并根据这些信息执行具体操作，架构基座大模型和外部的计算和数据源结合起来。
• 包括：Compents组件、Chains链、Agents
• Compents组件：为LLMs提供接口封装，模板提示和信息检索索引
• Chains链：将不同的组件组合起来解决特定的任务
• Agents代理：使LLMs能够与外部环境进行交互，例如通过API请求执行操作。

2. Langchain核心

• 开发功能性软件
• 为什么用：
  数据连接：允许你将LLMs接到自己的数据库
  行动执行：不仅可以提取信息，还可以执行特定操作
• 核心：
  • 模型Models：连接到大语言模型
  • Prompt Templates(提示模板):避免硬编码文本输入，动态将用户插入到模板，并发送给语言模型
  • Chains:将多个组件联合在一起
  • Agents:语言模型与外界交互
  • Embedding:
  • Indexes:索引

3. Langchain底层原理

• 底层原理：
  • 用户问题-->相似性搜索（Similarity Search）-->向量数据库或向量空间-->信息与原始问题结合-->传给模型-->给出答案-->采取行动
• 应用场景：
  • 个人助手：预定航班、转账、交税等
  • 学习辅助：可以参考整个课程大纲，使你更快的学习资料
  • 数据分析和数据科学：连接数据

4.Langchain环境和监控

• pip install langchain
• pip install langchain-openai
• 监控langSmish的APIkey:跟踪调用大模型key的数量（https://smith.langchain.com/settings）
• 是什么：
  • 调试与测试
  • 评估应用效果
  • 监控应用性能
  • 数据管理与分析
  • 团队协作
  • 可扩展与可维护

5. Langchain调用LLM

6. Langchain提示模板

7. Langchain部署

8.