大模型从入门到应用——LangChain:模型(Models)-[大型语言模型(LLMs):基础知识!

LangChain系列文章:


大型语言模型(LLMs)是LangChain的核心组件。LangChain不提供大型语言模型,而是提供了一个标准接口,通过该接口我们可以与各种LLMs进行交互。LLM类是专为与LLM接口设计的类。有许多LLM提供者(如:OpenAI、Cohere、Hugging Face),此类旨在为所有LLM提供一个标准接口。在《[自然语言处理从入门到应用------LangChain:模型(Models)-大型语言模型(LLMs)]》系列文章中,我们将专注于通用的LLM功能,而有关使用特定LLM包装器的详细信息,请参见具体的示例。

在本文中,我们将使用OpenAI LLM包装器,其功能对于所有LLM类型都是通用的。

dart 复制代码
from langchain.llms import OpenAI
llm = OpenAI(model_name="text-ada-001", n=2, best_of=2)
12

生成文本(Generate Text)是LLM最基本的功能,其传入一个字符串并返回一个字符串:

dart 复制代码
llm("Tell me a joke")
1

输出:

复制代码
'\n\nWhy did the chicken cross the road?\n\nTo get to the other side.'
1

generate:我们还可以用一个输入列表来调用它,得到是比仅输入文本更完整的响应。这个完整的响应包括多个顶级响应,以及LLM供应商特定的信息。

dart 复制代码
llm_result = llm.generate(["Tell me a joke", "Tell me a poem"]*15)
len(llm_result.generations)
12

输出:

dart 复制代码
30
1

输入:

dart 复制代码
llm_result.generations[0]
1

输出:

dart 复制代码
[Generation(text='\n\nWhy did the chicken cross the road?\n\nTo get to the other side!'), 
Generation(text='\n\nWhy did the chicken cross the road?\n\nTo get to the other side.')]
12

输入:

dart 复制代码
llm_result.generations[-1]
1
[Generation(text="\n\nWhat if love neverspeech\n\nWhat if love never ended\n\nWhat if love was only a feeling\n\nI'll never know this love\n\nIt's not a feeling\n\nBut it's what we have for each other\n\nWe just know that love is something strong\n\nAnd we can't help but be happy\n\nWe just feel what love is for us\n\nAnd we love each other with all our heart\n\nWe just don't know how\n\nHow it will go\n\nBut we know that love is something strong\n\nAnd we'll always have each other\n\nIn our lives."), 
Generation(text='\n\nOnce upon a time\n\nThere was a love so pure and true\n\nIt lasted for centuries\n\nAnd never became stale or dry\n\nIt was moving and alive\n\nAnd the heart of the love-ick\n\nIs still beating strong and true.')]
12

我们还可以访问返回的特定于服务提供商的信息,这些信息在不同的服务提供商之间并不标准化:

dart 复制代码
llm_result.llm_output
1

输出:

dart 复制代码
{'token_usage': {'completion_tokens': 3903, 'total_tokens': 4023, 'prompt_tokens': 120}}
1

Number of Tokens:我们还可以估算在该模型中一段文本将包含多少tokens。这很有用,因为模型有一个上下文长度,并且对于更多tokens的成本更高,这意味着我们需要知道传入的文本有多长。按默认设置,使用tiktoken估计tokens:

dart 复制代码
llm.get_num_tokens("what a joke")
1

输出:

dart 复制代码
3
1

参考文献:

1\] LangChain 🦜️🔗 中文网,跟着LangChain一起学LLM/GPT开发:https://www.langchain.com.cn/ \[2\] LangChain中文网 - LangChain 是一个用于开发由语言模型驱动的应用程序的框架:http://www.cnlangchain.com/ ###### 最后如果您也对AI大模型感兴趣想学习却苦于没有方向👀 ###### 小编给自己收藏整理好的学习资料分享出来给大家💖 ###### 👉获取方式: 😝有需要的小伙伴,可以保存图片到**wx扫描二v码** 关注免费领取【`保证100%免费`】🆓 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/3a1481b065d447bc9a6e8c0ccca3b189.png) #### 👉AI大模型学习路线汇总👈 大模型学习路线图,整体分为7个大的阶段:**(全套教程文末领取哈)** ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/896c5e390f6f4e0fbcbbfd38337d4b9f.png) **第一阶段:** 从大模型系统设计入手,讲解大模型的主要方法; **第二阶段:** 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用; **第三阶段:** 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统; **第四阶段:** 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统; **第五阶段:** 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型; **第六阶段:** 以SD多模态大模型为主,搭建了文生图小程序案例; **第七阶段:** 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。 #### 👉如何学习AI大模型?👈 作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。 这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【**`保证100%免费`** 】 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/e61d2f906da04231bdfb0b6e13c79d69.png) #### 一、全套AGI大模型学习路线 AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能! ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/221d66f2d24d48d9a363b37387f16122.png) #### 二、640套AI大模型报告合集 这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/35f3823f4d2b4182904219a7ae9007d4.png) #### 三、AI大模型经典PDF籍 随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/4495f1a4f84641d0a7e8f57b13fbd377.png) #### 四、AI大模型商业化落地方案 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/cdbaefa8279c44edb87c5f89d4dab29c.png) 作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。 ![](https://i-blog.csdnimg.cn/direct/1823fb701bb0469ab9e4ff426f01d20a.png)

相关推荐
athrunsunny几秒前
LeAD-M3D :单目3D检测新SOTA
人工智能·深度学习·计算机视觉·3d
free-elcmacom几秒前
机器学习进阶<6>神奇的披萨店与学区房:走进RBFN的直觉世界
人工智能·python·机器学习·rbfn
nunca_te_rindas1 分钟前
Gemini初体验
ai·chatgpt·gemini·deepseek
熊文豪5 分钟前
借助 AI Ping 的 Kimi-K2-Thinking 与 ClaudeCode 的加解密工具开发
人工智能·aiping
阿杰学AI6 分钟前
AI核心知识45——大语言模型之PPO(简洁且通俗易懂版)
人工智能·ai·语言模型·自然语言处理·aigc·ppo·近端策略优化
da_vinci_x8 分钟前
PS 神经滤镜:一张夏天变雪景?场景美术的“季节魔术”
人工智能·3d·aigc·建模·游戏美术·pbr·场景美术
深蓝易网10 分钟前
MES系统如何帮助企业实现产品质量的全过程追溯
大数据·人工智能
free-elcmacom11 分钟前
机器学习进阶<7>人脸识别特征锚点Python实现
人工智能·python·机器学习·rbfn
天才少女爱迪生12 分钟前
图像序列预测有什么算法方案
人工智能·python·深度学习·算法
乐迪信息14 分钟前
乐迪信息:AI摄像机+反光衣佩戴检测,保障智慧煤矿人员作业安全
大数据·运维·人工智能·物联网·安全