1.大模型介绍

小肝一下2026-10-22 12:15

1.大模型介绍

1.1认识模型

模型是⼀个从数据中学习规律的"数学函数"或"程序"。旨在处理和⽣成信息的算法，通常模仿⼈ 类的认知功能。通过从⼤型数据集中学习模式和洞察，这些模型可以进⾏预测、⽣成⽂本、图像或其 他输出，从⽽增强各个⾏业的各种应⽤。

可以简单理解为模型是⼀个**"超级加⼯⼚"**，这个⼯⼚是经过特殊训练的，训练师给它看了海量的例⼦ (数据)，并告诉它该怎么做。通过看这些例⼦，它⾃⼰摸索出了⼀套规则，学会了完成某个"特定任 务"。模型就是⼀套学到的"规则"或者"模式",它能根据你给的东西，产⽣你想要的东西。 最简单的⽐喻：给模型很多组数据：

模型的任务就是找出输⼊和输出之间的规律（⽐如：输出是中间那个数）。学成之后：当我们再输⼊ 8, 9, 10 时，它能根据学到的规律预测出输出应该是 9 。 模型的关键特点在于：

  1. 特定任务：⼀个模型通常只擅⻓⼀件事。⽐如：
    • ⼀个模型专⻔识别图⽚⾥是不是猫。
    • ⼀个模型专⻔预测明天会不会下⾬。
    • ⼀个模型专⻔判断⼀条评论是好评还是差评。
  2. 需要"标注数据"：训练这种模型需要⼤量"标准答案"。（⽐如：成千上万张已经标注好"是 猫"或"不是猫"的图⽚）。
  3. 参数较少：参数是模型从数据中学到的"知识要点"或"内部规则"（⽐如：上述⽰例中的规则仅 是"中间数"）。参数较少说明模型的复杂度和能⼒相对有限。

1.2 认识大语言模型

1.2.1 什么是⼤语⾔模型？

⼤语⾔模型==（LargeLanguageModel，LLM）==是指基于⼤规模神经⽹络（参数规模通常达数⼗亿⾄万 亿级别，例如GPT-3包含1750亿参数），通过**⾃监督或半监督**⽅式，对海量⽂本进⾏训练的语⾔模 型。

名词解释：

  1. 神经⽹络：⼀个极其⾼效的"团队⼯作流程"或"条件反射链"。 例如教⼀个⼩朋友识别猫：

    • 不会只给⼀条规则（⽐如"有胡⼦就是猫"），因为兔⼦也有胡⼦。

    • 我们会让他看很多猫的图⽚，他⼤脑⾥的视觉神经会协同⼯作： ◦

    有的神经元负责识别"尖⽿朵"

    有的负责识别"胡须"

    有的负责识别"⽑茸茸的尾巴"

    • 这些神经元⼀层层地传递和组合信息，最后⼤脑综合判断：

神经⽹络就是模仿⼈脑的这种⼯作⽅式。

• 它由⼤量虚拟的"神经元"（也就是参数）和连接组成。

• 每个神经元都像⼀个⼩处理单元，负责处理⼀点点信息。⽆数个神经元分成很多层，前⼀层的输 出作为后⼀层的输⼊。

• 通过海量数据的训练，这个⽹络会⾃⼰调整每个"神经元"的重要性（即参数的值），最终形成 ⼀个⾮常复杂的"判断流⽔线"。⽐如，⼀个识别猫的神经⽹络，某些参数可能专⻔负责识别猫 的眼睛，另⼀些参数专⻔负责识别猫的轮廓。

简单说：神经⽹络就是⼀个通过数据训练出来的、由⼤量参数组成的复杂决策系统。

  1. ⾃监督学习："完形填空"超级⼤师。

    例如我们想学会⼀⻔外语，但没有⽼师给出题和批改。怎么办？

    • 我们可以拿⼀本该语⾔的⼩说，⾃⼰玩"完形填空"：随机盖住⼀个词，然后根据上下⽂猜测这 个词是什么。

    • ⼀开始猜得乱七⼋糟。

    • 但不断地重复这个过程，看了成千上万本书后，对这个语⾔的语法、词汇搭配、上下⽂逻辑了如 指掌。现在不仅能轻松猜对被盖住的词，甚⾄能⾃⼰写出流畅的⽂章

⾃监督学习就是这个过程。

• 模型⾯对海量的、没有标签的原始⽂本（⽐如互联⽹上的所有⽂章、⽹⻚）。

• 它⾃⼰给⾃⼰创造任务：把⼀句话中间的某个词遮住，然后尝试根据前后的词来预测这个被遮住 的词。

• 通过亿万次这样的练习，模型就深刻地学会了语⾔的规律。它不需要⼈类⼿动去给每句话标 注"这是主语"、"这是谓语"。

简单说：⾃监督就是让模型从数据本⾝找规律，⾃⼰给⾃⼰当⽼师。

  1. 半监督学习："师⽗领进⻔，修⾏在个⼈"。

    例如你想学做菜：

    • 师傅先教你⼏道招牌菜（⽐如⿇婆⾖腐、宫保鸡丁）⸺这相当于给了你⼀些"有标注的数据" （菜谱和成品）。

    • 然后，师傅让你去尝遍天下各种美⻝，⾃⼰研究其中的⻔道⸺这相当于接触海量的"⽆标注数 据"（各种未知的⻝材和味道）。

    • 你结合师傅教的基本功和⾃⼰尝遍天下美⻝的经验，最终不仅能完美复刻招牌菜，还能创新出新 的菜式。这就是"半监督"。
    先⽤少量带标签的数据让模型"⼊⻔"，掌握⼀些基本规则，然后再让它去海量的⽆标签数据中⾃我 学习和提升。这对于⼤语⾔模型来说也是⼀种常⽤的训练⽅式。

简单说：半监督就是"少量指导+⼤量⾃学"的结合模式。

  1. 语⾔模型：⼀个"超级⾃动补全"或"语⾔预测器"。

    例如你在⽤⼿机打字，输⼊"今天天⽓真"，输⼊法会⾃动提⽰"好"、"不错"、"冷"等。这个 输⼊法之所以能提⽰，就是因为它内部有⼀个⼩型的"语⾔模型"，它根据你输⼊的前⽂，计算下⼀ 个词最可能是什么。

语⾔模型的核⼼任务就是预测下⼀个词。⼀个强⼤的语⾔模型，能够根据⼀段话，预测出最合理、最 通顺的下⼀个词是什么，这样⼀个个词接下去，就能⽣成⼀整段话、⼀篇⽂章。

简单说：语⾔模型就是⼀个计算"接下来最可能说什么"的模型。

现在，我们再回头看那段描述，就⼀⽬了然了。翻译成⼤⽩话就是： ⼤语⾔模型是⼀个：

• ⽤"超级团队⼯作流程"（⼤规模神经⽹络）搭建的，拥有数百亿甚⾄上万亿个"脑细胞"（参 数）的"超级⾃动补全系统"（语⾔模型）。

• 它学习的⽅式，主要是通过⾃⼰玩"海量完形填空"（⾃监督学习），或者"少量名师指导+海量 ⾃学"（半监督学习）......

• 从互联⽹上所有的⽂本数据中学会了语⾔的规律。

因此，它具有以下⼏个核⼼特点：

• 规模巨⼤：它的"脑细胞"（参数）特别多（通常达到数⼗亿甚⾄万亿级别），所以思考问题更复 杂、更全⾯，就像⼀⽀百万⼤军和⼀个⼩分队的区别。

• 通⽤性强：它不是为单⼀任务训练的。因为它通过"完形填空"学会的是整个语⾔世界的底层规律 （语法、逻辑、知识关联），⽽不是只背会了"猫的图⽚"。所以它能举⼀反三，把底层能⼒灵活 应⽤到聊天、翻译、写代码等各种任务上。这种"涌现"能⼒，就像孩⼦通过⼤量阅读后，突然能 写出意想不到的优美句⼦⼀样。

• 训练⽅式不同：主要使⽤⾃监督学习，从海量⽆标注的原始⽂本中学习。它不依赖⼈⼯⼀张张地给 图⽚标"这是猫"，⽽是直接从原始⽂本中⾃学，效率极⾼，规模可以做得⾮常⼤。

• 交互⽅式⾰命：我们不⽤点按钮、写代码，直接像对⼈说话⼀样给它指令（Prompt）它就能听懂 并执⾏，⽐如你直接说"写⼀⾸关于春天的诗"，它就能给你写出来

1.2.2主流的⼤语⾔模型

  • GPT-6 Astra(OpenAI)：支持 1050k 超长上下文，128k 最大输出标记，在复杂 Agent 任务、计算机操作、科研与多轮深度推理、创意写作上达到新高度，原生强工具调用能力
  • DeepSeek-V4-Pro (深度求索)：开源权重，标配 1M 上下文窗口，专注数学、代码与复杂逻辑推理，支持 20 + 语言，Agent 自动化任务性能突出，私有化部署友好DeepSeek
  • Qwen3.8-Max-Thinking (阿里巴巴通义千问)：通义千问旗舰推理模型，擅长代码生成、JSON 结构化数据、角色扮演与企业复杂任务，支持 119 种语言及方言，内置自适应工具调用能力Alibaba Cl...
  • Gemini 3.1 Pro(Google)：新一代多模态标杆，原生支持图像、音频、视频、代码混合输入，擅长长视频解析、图文联合推理、技术文档深度解析，深度绑定谷歌搜索生态Google Dee...

1.3 LLM的能⼒包括哪些？

⼤模型，对不少⼈来说已变得⽿熟能详，从⼤型科技公司到初创企业，都纷纷投⾝于这场技术变⾰。 AI ⼤模型不仅仅是技术圈的热⻔话题，它也正⽇新⽉异的速度融⼊我们的⽇常⽣活，改变着我们获取 信息、处理⼯作、甚⾄进⾏创作的⽅式。

我们将⼤模型的能⼒归纳为四点，这不仅仅是技术指标，更是它改变世界的核⼼利器。

  1. 语言大师：理解与创造的革命。大模型能够读懂人类自然语言，准确捕捉文本中的语义、情绪、隐含意图，不局限于简单字面翻译。它既可以完成日常对话、文本摘要、文章润色，也能独立开展创意写作，撰写小说、剧本、文案与演讲稿，还能根据需求调整语言风格，在正式书面表达、口语化沟通之间灵活切换。面对长段多轮对话，模型可以持续承接上下文，顺着对话逻辑持续交流，打破传统机器只能响应固定指令的局限，实现和人类流畅自然的交互。

  2. 知识巨人：拥有"全互联网"的记忆。大模型在海量公开文本数据上完成训练，沉淀了覆盖多学科、多领域的知识储备，包含历史、理工、人文、行业常识等各类内容。当用户提出查询时，模型可以快速调取相关知识进行整合输出，解答专业概念、科普问题、行业基础知识。需要注意的是，这类知识来源于训练数据，存在时间边界，无法实时获取训练之后的信息，也有可能产生知识幻觉。它更像一个海量知识库，帮助人们快速检索、整理零散信息，降低学习和资料调研的门槛。

  3. 逻辑与代码巫师：从思维到实现的跨越。大模型具备推理思考能力，可以拆解复杂问题，分步进行逻辑推导，完成数学运算、方案论证、问题排查。在代码领域，它能够读懂各类编程语言，根据需求编写程序、注释代码、排查bug，还可以把自然语言描述直接转换成可执行代码，快速搭建脚本、接口和简单应用。对于复杂业务任务，它可以梳理业务流程、生成结构化JSON数据、设计方案框架，把抽象想法转化成具体可落地的内容，辅助开发者、科研人员完成思考到实现这一步的转化。

  4. 多模态先知：开启"全感知"AI的大门。传统语言模型只能处理文字，而新一代大模型可以同时接收文本、图片、音频、视频等多种类型信息，实现跨模态理解与生成。它能够识别图片中的文字、物体、图表，读取图纸与技术文档截图，分析视频画面内容，听懂音频里的对话。用户可以直接上传图片提问，或是结合图文一起下达指令，模型可以完成图文理解、图表解析、图像描述，也能够根据文字描述生成图片，实现多类型信息的融合处理，打通文字、视觉、听觉之间的信息壁垒，向全方位感知信息的智能体方向演进。

1.4 提⽰词编写技巧

编写合理且有效的提⽰词，是我们与AI进⾏有效对话的第⼀步，好的提⽰词能显著提升模型输出的质 量和相关性。宗旨就是：将你的问题限定范围，让AI知道你要的答案具体要包含什么，提⽰词效果会 ⼤幅提升。

核⼼在于换位思考：想象AI对你提供的信息⼀⽆所知，你需要清晰、具体、⽆歧义地告诉它你要什 么、在什么背景下、以什么⽅式呈现。善⽤⽰例、⻆⾊扮演、具体约束和迭代优化。

提⽰技巧不⽌⼀种，掌握多种技巧，并根据不同任务灵活组合使⽤，才是成为提⽰词⾼⼿的秘诀。

1.4.1 CO-STAR结构化框架

在⽬标设定和问题解决的场景下，清晰性和结构性是⾄关重要的。⽽有⼀种⽅法论，在这些⽅⾯表现 都⾮常出⾊，那就是CO-STAR框架。这个提⽰词编写框架，由新加坡政府技术局（GovTech）的数据 科学与AI团队开发，重点在于确保提供给LLM的提⽰词是全⾯且结构良好的，从⽽⽣成更相关和准确 的回答。

CO-STAR可以拆解为六个维度。

例如，我需要进⾏健康咨询，希望给出营养建议。那么我可以这样构建提⽰词：

优化前（模糊、低效）：

我 该怎么吃才能更健康？

优化后（清晰、有效）：

⻆⾊：你是⼀个基于科学证据的AI营养顾问。重要约束：你提供的所有建议都仅为通⽤信息，不能 替代专业医疗诊断。在给出任何具体建议前，必须⾸先声明此免责条款。

任务：基于以下⽤⼾信息，提供⼀份个性化的每⽇饮⻝原则性建议。

⽤⼾信息：

• 年龄：30岁

• 性别：男性

• ⽬标：减脂增肌

• ⽇常活动⽔平：办公室久坐，每周进⾏3次⼒量训练 回答要求：

  1. ⾸先，输出免责声明："请注意：以下建议为通⽤健康信息..."

  2. 核⼼原则应围绕"控制总热量摄⼊，确保充⾜蛋⽩质"。 3

  3. 分别对早餐、午餐、晚餐和训练加餐提出各1条核⼼建议（例如：早餐应包含优质蛋⽩和复合碳 ⽔）。

  4. 推荐2种适合该⽤⼾的具体健康零⻝。

  5. 避免推荐任何具体的保健品或药物。 输出格式： 【免责声明】 此处输出声明

    【核⼼原则】 • ...

    【分餐建议】 • 早餐：... • 午餐：...

    【健康零⻝推荐】 1. ... 2. ...

1.4.2 少样本提⽰/多⽰例提⽰

这种⽅式通过给AI提供⼀两个 输⼊ 输出 的例⼦，让它"照葫芦画瓢"。

核⼼思想：你不是在给它下指令，⽽是在"教"它你想要的格式、⻛格和逻辑。

适⽤场景：格式固定、⻛格独特、逻辑复杂的任务，如⻛格仿写、数据提取、复杂格式⽣成。

例如：

优化前（零样本提⽰）：

2🦜9

优化后（少样本提⽰）：

根据以下⽰例，处理问题。 等于多少?

⽰例1：2🦜3=5

⽰例2：4🦜7=11

现在请分析这个：2🦜9等于多少?

再例如： 优化前（零样本提⽰）：

请分析以下客⼾反馈，提取产品名称、情感倾向和具体问题。 反馈："我刚买的⽿机，才⽤了⼀周左边就没声⾳了，太让⼈失望了。"
优化后（少样本提⽰）：

请根据以下⽰例，分析后续的客⼾反馈，并提取产品名称、情感倾向和具体问题。 ⽰例1：

• 反馈："笔记本的电池续航太差了，完全达不到宣传的10⼩时，最多就4⼩时。"

• 分析：

◦ 产品名称：笔记本电池

◦ 情感倾向：负⾯

◦ 具体问题：续航远低于宣传

⽰例2：

• 反馈："客服响应很快，⾮常专业地帮我解决了软件激活问题，点赞！"

• 分析：

◦ 产品名称：客服服务

◦ 情感倾向：正⾯

◦ 具体问题：⽆ 现在请分析这个： • 反馈："我刚买的⽿机，才⽤了⼀周左边就没声⾳了，太让⼈失望了。"

通过⽰例，AI清晰地学会了"产品名称"如何概括，"情感倾向"的标签是什么，"具体问题"如何 简洁描述。这⽐单纯⽤⽂字描述规则要有效得多。

1.4.3 思维链提⽰

提⽰⼯程的关键⽬标是让AI更好地理解复杂语义。这种能⼒的⾼低，可以直接通过模型处理复杂逻辑 推理题的表现来检验。

可以这样理解：当好的提⽰词能帮助模型解决原本解决不了的难题时，就说明它确实提升了模型的推 理⽔平。并且，提⽰词设计得越出⾊，这种提升效果就越显著。通过设置不同难度的推理测试，可以 很清晰地验证这⼀点。

参考论文《Large Language Models are Zero-Shot Reasoners》中的经典示例，

在不添加任何推理引导的普通提问方式下，直接向模型提问：一个商店里有 3 个篮子，每个篮子里放 4 个苹果，卖出 2 个苹果之后，还剩多少苹果。模型有时会直接给出错误答案。而使用论文提出的零样本思维链提示，只在问题末尾增加一句 "Let's think step by step"，也就请一步一步思考，提示词没有额外给出范例，仅仅引导模型分步推导，模型就会主动拆分计算过程：首先计算总苹果数量 3 乘以 4 等于 12 个，再减去卖掉的 2 个，得到剩余 10 个苹果。同一道题目，模型本身参数和权重没有发生任何改变，仅仅依靠提示词的微调，推理准确率就明显上升，直观证明提示工程可以激发大模型内部已有的推理能力。

1.4.4 ⾃动推理与零样本链式思考

零样本思维链（Zero-shot-CoT）是少样本思维链（Few-shot-CoT）的简化版。只需在提示词末尾加上一句魔法短语，即可激发AI的推理能力。

核心思想：通过指令"请一步步进行推理并得出结论"，强制AI在给出答案前先进行内部推理。

适用场景：任何需要一点逻辑思考的问题，即使你不太清楚具体步骤。

例如：罗杰有五个网球，他又买了两盒网球，每盒有3个网球，请问他现在总共有多少个网球？请一步步进行推理并得出结论。

AI 的输出可能会变成： 罗杰最初有5个网球。 他买了两盒网球，每盒有3个网球，所以买来的网球数量是：2×3=6个网球。 因此，他现在总共有网球：5+6=11个。 答案：11个网球。

"一步步进行推理"这个指令，相当于在引导模型的"注意力机制"。它告诉模型："在生成最终答案之前，请先在你的'脑海'里（即生成的文本序列中）模拟出一个缓慢、有序的推理上下文。"

当模型开始输出"第一步...第二步..."时，它实际上是在为自己创造一个更丰富、更逻辑化的上下文。它在这个自己创造的优质上下文中进行推理，最终得出的结论自然比在贫瘠的上下文中（只有原始问题）更准确。

根据《Large Language Models are Zero-Shot Reasoners》论文中的结论，从海量数据的测试结果来看，Few-shot-CoT比Zero-shot-CoT准确率更高。

1.4.5 ⾃我批判与迭代

要求AI在生成答案后，从特定角度对自己的答案进行审查和优化。

核心思想：将"生成"和"评审"两个步骤分离，利用AI的批判性思维来提升内容质量。

适用场景：代码审查、文案优化、论证强化、安全检查。

案例：编写一段代码后进行检查 优化前： 写一个Python函数，计算列表中的最大值。

优化后： 请执行以下两个步骤： 步骤一：编写代码 写一个Python函数 find_max ，用于计算一个数字列表中的最大值。 步骤二：自我审查与优化 现在，请从代码健壮性和可读性的角度，审查你上面编写的代码。 请回答：

  1. 如果输入是空列表，函数会怎样？如何改进？
  2. 变量命名和代码结构是否清晰？能否让它更易于理解？
  3. 请根据你的审查，给出一个优化后的最终版本。

在实际应用中，这些技巧常常是组合使用的。例如，我们可以：

  1. 使用CO-STAR框架设定基本结构和角色。
  2. 在框架的"Steps"或"Response"部分，融入思维链指令。
  3. 对于格式复杂的输出，在最后附上少样本示例。
  4. 最后，要求AI进行自我审查。

我们更多使用LLM的场景大都是编写代码，如果用过Cursor、Trae这样的AIIDE，应该不陌生在AI帮我们编码之前，需要配置相关的"编码规则"------Rules。它其实就是这些IDE输入给LLM的提示词，告诉LLM编写代码时的注意事项与要求。

==Cursor 官⽅提⽰词：==https://cursor.directory/rules

1.5为什么LLM如此重要？

如果说前⼏年AI还是"炫技"的概念，那么⼤模型就是将AI变成⼀种基础资源，像电⼀样融⼊各⾏各 业，驱动创新。

1.6 LLM的接⼊⽅式

前⾯我们演⽰的都是通过现成的客⼾端，来进⾏AI⾏为，如聊天、⽣图等。如果现在要我们⾃⼰写⼀ 个AI应⽤来实现相关AI⾏为，则需要我们⾃⾏接⼊LLM。

常⻅的原⽣LLM（不经过第三⽅平台或复杂的代理层，直接与⼤语⾔模型提供⽅进⾏交互的⽅法）

接 ⼊⽅式有三种：【API远程调⽤】、【开源模型本地部署】和【SDK和官⽅客⼾端库】

1.6.1 API接⼊

这是⽬前最主流、最便捷的接⼊⽅式，尤其适⽤于快速开发、集成到现有应⽤以及不想管理硬件资源 的场景。

通过HTTP请求（通常是RESTfulAPI）直接调⽤模型提供商部署在云端的模型服务。代表⼚商： OpenAI(GPT-4o)，Anthropic (Claude)，Google (Gemini)，百度⽂⼼⼀⾔，阿⾥通义千问，智谱AI 等。

典型流程就是：

  1. 注册账号并获取APIKey：在模型提供商的平台上注册，获得⽤于⾝份验证的密钥。
  2. 查阅API⽂档：了解请求的端点、参数（如模型名称、提⽰词、温度、最⼤⽣成⻓度等）和返回的 数据格式。
  3. 构建HTTP请求：在你的代码中，使⽤HTTP客⼾端库（如Python的 requests ）构建⼀个包 含APIKey（通常在Header中）和请求体（JSON格式，包含你的提⽰和参数）的请求。
  4. 发送请求并处理响应：将请求发送到提供商指定的API地址，然后解析返回的JSON数据，提取⽣ 成的⽂本。

以deepseek为例

1.6.2 本地接⼊

大模型本地部署，这种方式就是将开源的大型语言模型（如Llama、ChatGLM、Qwen等）部署在你自己的硬件环境（本地服务器或私有云）中。核心概念就是，将下载模型的文件（权重和配置文件），使用专门的推理框架在本地服务器或GPU上加载并运行模型，然后通过类似API的方式进行交互。

典型流程是：

  1. 获取模型：从HuggingFace（国外）、魔搭社区（国内）等平台下载开源模型的权重。（平台参考本篇章第四节）
  2. 准备环境：配置具有足够显存（如NVIDIA GPU）的服务器，安装必要的驱动和推理框架。
  3. 选择推理框架：使用专为生产环境设计的框架来部署模型，例如： vLLM：特别注重高吞吐量的推理服务，性能极佳。 TGI：HuggingFace推出的推理框架，功能全面。 Ollama：非常用户友好，可以一键拉取和运行模型，适合快速入门和本地开发。 LMStudio：提供图形化界面，让本地运行模型像使用软件一样简单。
  4. 启动服务并调用：框架会启动一个本地API服务器，可以像调用云端API一样向这个本地地址发送请求。

以Ollama为例，下面我们来演示下具体过程。

1.6.2.1 下载并安装Ollama

Ollama是⼀款专为本地部署和运⾏⼤型语⾔模型(LLM)设计的开源⼯具，旨在简化⼤型语⾔模型 (LLM) 的安装、运⾏和管理。它⽀持多种开源模型(如qwen、deepseek、LLaMA)，并提供简单的API 接⼝，⽅便开发者调⽤，适合开发者和企业快速搭建私有化AI服务。

Ollama官⽹: https://ollama.ai/

  1. 下载Ollama
  1. 安装Ollama

下载完成之后，⼀步⼀步安装即可。

  1. 验证

安装完成后，Ollama默认会启动。

访问:http://127.0.0.1:11434

或者使⽤cmd访问

复制代码 
ollama --version
1.6.2.2 拉取模型

Ollama可以管理和部署模型，我们使⽤之前，需要先拉取模型。

• 修改模型存储路径 模型默认安装在C盘个⼈⽬录下 C:\Users\XXX.ollama ，可以修改ollama的模型存储路径， 使得每次下载的模型都在指定的⽬录下。

有以下两种⽅式：

  1. 配置系统环境变量

    1 变量名: OLLAMA_MODELS
    2 变量值: ${⾃定义路径}

  2. 通过Ollama界⾯来进⾏设置

设置完成后，重启 Ollama 。

• 拉取模型

查找模型:https://ollama.com/search

以 D eepSeek-R1 为例， DeepSeek-R1 是⼀系列开放推理模型，其性能接近O3和Gemini2.5 Pro 等领先模型。 DeepSeek-R1 有不同的版本，我们需要根据⾃⼰机器的配置及需求来选择相应的 版本。

分为 1.5b ， 7b ， 8b 等，"b"是"Billion"(⼗亿) 的缩写，代表模型的参数量级。 671b 表⽰ "满⾎"版本，其他版本称为"蒸馏"版本。

参数越多→模型"知识量"越⼤→处理复杂任务的能⼒越强，硬件需求也越⾼。

根据需求及电脑配置，选择合适的模型版本，以 1.5b 为例：

复制代码 
1	ollama run deepseek-r1:1.5b

下载完成之后，就会出现命令⾏，可以通过命令⾏和AI模型对话。

1.6.2.3 测试

模型拉取之后，可以通过命令⾏和AI模型对话。

复制代码 
ollama run deepseek-r1:1.5b

可以通过接⼝调⽤：

复制代码 
curl "http://127.0.0.1:11434/api/chat" \
	-d '{
	"model": "deepseek-r1:1.5b",
	"messages":[
	{"role": "user", "content": "夸夸我"}
		],
		"stream": false
	}'

1.6.3 SDK接⼊

这并⾮⼀种独⽴的接⼊⽅式，⽽是对第⼀种API接⼊的封装和简化。模型提供商通常会发布官⽅编程 语⾔SDK，为我们封装好了底层的HTTP请求细节，提供⼀个更符合编程习惯的、语⾔特定的函数 库。

典型流程（以OpenAIPythonSDK为例）：

安装库：

复制代码 
pip install openai

安装OpenAISDK后，可以创建⼀个名为 example.py 的⽂件并将⽰例代码复制到其中：

复制代码 
from openai import OpenAI
client = OpenAI(api_key="your-api-key")

response = client.responses.create(
model="gpt-5",
input="介绍⼀下你⾃⼰。"
)

print(response.output_text)

相⽐直接构造HTTP请求，代码更简洁、更易读、更易维护。

1.6.4 问题与思考

对于以上三种接入方式，我们该如何选择？

看数据敏感性：如果数据极其敏感，必须留在内部，本地部署是唯一选择。

看技术实力和资源：如果团队没有强大的 MLops（机器学习运维）能力，也没有预算购买和维护 GPU 服务器，云端 API 是更实际的选择。

看成本和规模：如果应用规模很大，长期来看，本地部署的固定成本可能低于持续的 API 调用费用。反之，小规模应用用 API 更划算。

看定制需求：如果只是使用模型的通用能力，云端 API 足够。如果需要用自己的数据微调模型，则需要选择支持微调的 API 或直接本地部署。

实际上，只要是原生 LLM，无论怎么接入都有限制。为什么？

  1. 输入长度限制：所有 LLM 都有固定的输入长度（如 4K、8K、128K、400K Token）。我们无法将一本几百页的 PDF 或整个公司知识库直接塞给模型。
  2. 缺乏私有知识：模型的训练数据有截止日期，且不包含我们的私人数据（如公司内部文档、个人笔记等）。让它基于这些知识回答问题，非常困难。
  3. 复杂任务处理能力弱：原生 API 本质是一个 "一问一答" 的接口。对于需要多个步骤的复杂任务（如 "分析这份财报，总结要点，并生成一份 PPT 大纲"），我们需要自己编写复杂的逻辑来拆解任务、多次调用 API 并管理中间状态。
  4. 输出格式不可控：虽然可以通过提示词要求模型输出 JSON 或特定格式，但它仍可能产生格式错误或不合规的内容，需要我们自己编写后处理代码来校验和清洗。

成本和规模：如果应用规模很大，长期来看，本地部署的固定成本可能低于持续的 API 调用费用。反之，小规模应用用 API 更划算。

看定制需求：如果只是使用模型的通用能力，云端 API 足够。如果需要用自己的数据微调模型，则需要选择支持微调的 API 或直接本地部署。

像 LangChain 这样的框架，正是为了系统性地解决这些问题而诞生的。

相关推荐
xiangjiaodalishi1 小时前
从 0 到 1 搭建 AI 友好的网站结构：信息架构与 GEO 的交叉地带
人工智能·python
凯瑟琳.奥古斯特1 小时前
OCR文字检测算法对比解析
开发语言·python·职场和发展
Misnice1 小时前
Python 内置函数大全
开发语言·windows·python
沉下心来学鲁班1 小时前
具身智能进阶：让 MicroDuck 踩着高跷走路
人工智能·python·机器人
comedate1 小时前
【AI】Jev API 接入实战：用 Python 调用 TypeSafe Jev 做结构化判断
人工智能·python·jev·typesafe·快速判断模型
德林恩宝2 小时前
搜索 Agent 的两条路——训练一个，还是工程搭一个
人工智能·大模型·llm·agent
cc_瀚海知行2 小时前
工具调用 6｜助手什么时候该停下来？
java·服务器·前端·人工智能·python·ai
溪语流沙2 小时前
【Web全栈进阶】Nginx反向代理 + HTTPS：正式上线
前端·vue.js·python·nginx·https·fastapi
全栈弄潮儿3 小时前
Python实战第11期：面向对象编程基础
后端·python·编程语言
热门推荐
01如何新建文件夹？ 电脑新建文件夹的4种方法02国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）03历年考研数学一、数学二、数学三真题试卷及答案PDF04GitHub 镜像站点05乙二醇水溶液物性参数06几个好用的ip纯净度检测网站07「全语录+省流版」邵艾伦 × 孙宇晨：聊风口、聊个人IP、聊年轻人如何抓住 AI 时代的机会08昇腾910B系列芯片完全指南：四款型号对比、服务器选型与大模型部署实战09苹果iPA游戏软件资源下载网站10Windows 10/11 如何退出微软账户并改用本地账户登录（含找不到选项的解决方法）