大模型从入门到应用——LangChain：模型（Models）-[大型语言模型（LLMs）：基础知识！

LangChain系列文章：

基础知识
快速入门
模型（Models）
- 基础知识
- 大型语言模型（LLMs）
- 聊天模型（Chat Models）
  - 基础知识
  - 使用少量示例和响应流式传输
- 文本嵌入模型
  - Aleph Alpha、Amazon Bedrock、Azure OpenAI、Cohere等
  - Embaas、Fake Embeddings、Google Vertex AI PaLM等
提示（Prompts）
记忆（Memory）
索引（Indexes）
链（Chains）
代理（Agents）
回调函数（Callbacks）

大型语言模型（LLMs）是LangChain的核心组件。LangChain不提供大型语言模型，而是提供了一个标准接口，通过该接口我们可以与各种LLMs进行交互。LLM类是专为与LLM接口设计的类。有许多LLM提供者（如：OpenAI、Cohere、Hugging Face），此类旨在为所有LLM提供一个标准接口。在《[自然语言处理从入门到应用------LangChain：模型（Models）-大型语言模型（LLMs）]》系列文章中，我们将专注于通用的LLM功能，而有关使用特定LLM包装器的详细信息，请参见具体的示例。

在本文中，我们将使用OpenAI LLM包装器，其功能对于所有LLM类型都是通用的。

dart 复制代码

from langchain.llms import OpenAI
llm = OpenAI(model_name="text-ada-001", n=2, best_of=2)
12

生成文本（Generate Text）是LLM最基本的功能，其传入一个字符串并返回一个字符串：

dart 复制代码

llm("Tell me a joke")
1

输出：

'\n\nWhy did the chicken cross the road?\n\nTo get to the other side.'
1

generate：我们还可以用一个输入列表来调用它，得到是比仅输入文本更完整的响应。这个完整的响应包括多个顶级响应，以及LLM供应商特定的信息。

dart 复制代码

llm_result = llm.generate(["Tell me a joke", "Tell me a poem"]*15)
len(llm_result.generations)
12

输出：

dart 复制代码

30
1

输入：

dart 复制代码

llm_result.generations[0]
1

输出：

dart 复制代码

[Generation(text='\n\nWhy did the chicken cross the road?\n\nTo get to the other side!'), 
Generation(text='\n\nWhy did the chicken cross the road?\n\nTo get to the other side.')]
12

输入：

dart 复制代码

llm_result.generations[-1]
1
[Generation(text="\n\nWhat if love neverspeech\n\nWhat if love never ended\n\nWhat if love was only a feeling\n\nI'll never know this love\n\nIt's not a feeling\n\nBut it's what we have for each other\n\nWe just know that love is something strong\n\nAnd we can't help but be happy\n\nWe just feel what love is for us\n\nAnd we love each other with all our heart\n\nWe just don't know how\n\nHow it will go\n\nBut we know that love is something strong\n\nAnd we'll always have each other\n\nIn our lives."), 
Generation(text='\n\nOnce upon a time\n\nThere was a love so pure and true\n\nIt lasted for centuries\n\nAnd never became stale or dry\n\nIt was moving and alive\n\nAnd the heart of the love-ick\n\nIs still beating strong and true.')]
12

我们还可以访问返回的特定于服务提供商的信息，这些信息在不同的服务提供商之间并不标准化：

dart 复制代码

llm_result.llm_output
1

输出：

dart 复制代码

{'token_usage': {'completion_tokens': 3903, 'total_tokens': 4023, 'prompt_tokens': 120}}
1

Number of Tokens：我们还可以估算在该模型中一段文本将包含多少tokens。这很有用，因为模型有一个上下文长度，并且对于更多tokens的成本更高，这意味着我们需要知道传入的文本有多长。按默认设置，使用tiktoken估计tokens：

dart 复制代码

llm.get_num_tokens("what a joke")
1

输出：

dart 复制代码

3
1

参考文献：

[1] LangChain 🦜️🔗 中文网，跟着LangChain一起学LLM/GPT开发：https://www.langchain.com.cn/

[2] LangChain中文网 - LangChain 是一个用于开发由语言模型驱动的应用程序的框架：http://www.cnlangchain.com/

最后如果您也对AI大模型感兴趣想学习却苦于没有方向👀

小编给自己收藏整理好的学习资料分享出来给大家💖

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码 关注免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉如何学习AI大模型？👈

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。至于能学习到多少就看你的学习毅力和能力了。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费 】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。