从懵懂到落地:记录我们第一次成功将大模型“塞”进业务的曲折历程

Hello, 大家好,我是程序员海军, 全栈开发 |AI爱好者独立开发

记录第一次在公司内部分享AI+业务 落地实践。

如今,AI时代带来的无限可能性,很多业务都值得从做一遍。

最近,老大参加了行业的AI 大会,回来之后将这项任务交给了我。由于我经常研究各种AI 玩法以及AI圈动态,对这块还是有点研究的。

于是,我调研了一天,用最快的时间验证我的思路是否可行跑通,我采用了我最熟悉最快的技术栈, Express + Langchain + Mysql 去将 业务 + AI大模型 结合 开发落地 MVP, LangChain 对于我是陌生的。于是开始学习了3天,建立了对它大概的认知,并开始搭建项目,以及微调提示词等,并开发了 业务的MCP Server 来扩展大模型的能力,以便它能了解公司业务并将业务数据 语义化后返回给客户,最终,从调研+学习大模型开发+实战用时一周,最终结果符合老大的预期效果。 于是就有了这个次的内部分享会,给团队 讲解 LLM 以及 如何将业务 + LLM 结合。

根据团队技术储备情况以及其它因素,我采用的方案是:非本地部署方案,这样节省了很多成本。
提示词工程 + RAG + 大模型语义化

下面主要讲了需要的AI 技术储备,可以让团队快速建立AI方面的技术认知,以及如何将业务+AI LLM 结合起来的思路,更多细节没有在本文里面去表现。有什么问题咨询或交流,可以加我微信(备注来意)。

实现效果

新建表

查询操作

写入操作,后台增删改操作

记录AI & 用户之间信息

后期也可以训练 提高精准度

MCP协议

它是由Anthropic在2024年11月提出,目标是让大模型和外部工具、数据的交互变得标准化、简单化。

MCP让大模型的交互规则更统一,也方便了模型之间的调用和协作。

没有MCP 协议之前:

**规则各异:**每个模型调用的接口各异,需要为不同的模型编写对应的调用规则。

多模型协作困难:不同模型之间几乎没办法"串联"工作。


有了MCP 协议之后:

统一接口: 开发者不用为每个大模型写适配器,只需要遵循MCP 协议写一次,就能适配所有支持MCP的模型。

跨模型调用: 每个模型之间可互通调用。

工具调用更加灵活

模型上下文协议 (Model Context Protocol, MCP)是一种专为机器学习模型服务设计的通信协议,

MCP 通过定义统一的接口,使 AI 应用能够安全、灵活地访问和操作本地及远程数据资源,提升模型的功能性和可扩展性。

MCP本身并不处理复杂的逻辑;它只是协调AI模型与工具之间的数据和指令流动,MCP简化了AI模型与你的数据、工具和服务的交互方式。

MCP核心功能

上下文管理: MCP 协议旨在标准化和优化模型上下文的管理和传递,从而提高模型的性能和应用范围。

外部数据集成: 使 LLMs 能够安全地访问和操作本地及远程数据,为 LLMs 应用提供连接万物的接口。

工具调用: MCP 协议能够为 LLMs 提供执行具体操作的能力,例如调用 API、访问数据库等。

MCP 架构

** MCP 遵循客户端-服务器架构,包含以下核心组件:**

  • MCP 主机(MCP Hosts): 提供了连接大模型的能力,例如当前的 豆包,元宝,DeepSeek。
  • MCP 客户端(MCP Clients): 客户端可通过 调用MCP Server 来扩展其功能
  • MCP 服务器(MCP Servers): 提供数据、工具和服务的外部系统来扩展大模型的功能,可以根据自己的业务搭建使用。

当下主流MCP以及 应用

Supabase MCP - 数据与数据库集成

通过MCP将Supabase数据库连接到Cursor,自动化创建管理数据库。

Figma MCP - Figma 设计稿转换为代码

MCP Server

@modelcontextprotocol/sdk 提供了核心的四个概念:ServerResourcesToolsPrompts

**Server**** 是 MCP 的核心入口,扮演一个中枢管理者的角色**,它将各类资源(资源模型、外部工具、提示词)注册进来,然后对外提供统一的处理能力。

可以使用 官方提供的SDK 进行开发 MCP Server 开发,供LLM 调用。

LangChain

LangChain 是构建 基于大语言模型(LLM)应用的一个核心的框架, 它可以高效的对接大模型,内部封装了很多模块,方便与大模型之间进行协作。

LangChain = Prompt [提示词] + Chain [链] + Tool [工具]+ Memory [记忆] + Retrieval [RAG]

执行流程

主要模块

向量数据库 + RAG

向量数据库 是一种专门用于存储和检索高维向量(embedding)的数据库。

通俗的说,就是它可以更接近"语义相似"标准去检索文本最接近的信息块。

**RAG **主要是将外部知识检索与大模型生成结合的技术框架,解决大模型"幻觉"、数据时效性、隐私安全三大痛点

实战环节

我的方案是: 「Prompt Engineering → 模型输出 → 业务路由/执行 → 模型润色」

提示词微调面临问题

应对的策略

优化提示词设计

  • 模块化提示词 静态部分(如数据库结构、规则)和动态部分(如用户输入、历史记录)
  • 精简上下文 只在必要时传递数据库结构。
  • 明确边界 在提示词中加入更详细的边界条件

输入预处理和校验

  • 在调用大模型之前,添加一层输入预处理逻辑,使用正则表达式或NLP工具过滤用户输入中的潜在危险内容
  • 对用户输入进行意图分类,明确是否需要SQL查询、调用MCP server,还是直接返回语义化回答。

结果把控

  • 在大模型生成SQL后,添加一层校验逻辑(如SQL解析器)检查生成的SQL是否符合数据库结构和规则,避免无效或危险的SQL被执行。
  • 对返回的JSON结果进行格式校验,确保字段完整且符合预期。

最后

接下来的小半年时间,会落地上面这些结合业务,需要一些时间。这样在具体的业务场景提高效率,增加了成交率,也减少了企业的额外支出。

在当今这个AI迅猛发展的时代,传统互联网企业正面临着前所未有的挑战与机遇。AI 正在重塑各行各业的格局,推动着产业升级和变革。

业务不上AI,许多传统互联网企业可能会逐渐被淘汰。AI技术能够大幅提升效率、优化用户体验、降低运营成本,并为企业带来新的增长点。

只能拥抱变化,拥抱AI, 在未来的商业竞争中立于不败之地。

点击:欢迎关注我,第一时间获取AI 最新动态

相关推荐
aneasystone本尊几秒前
使用 OpenMemory MCP 跨客户端共享记忆
后端
Tesla_king几秒前
用提示词写程序(3),VSCODE+Claude3.5+deepseek开发edge扩展插件V2
前端·edge
花千烬1 分钟前
云原生之Docker, Containerd 与 CRI-O 全面对比
后端
仔仔 v1.01 分钟前
解决Vue3+uni-app导航栏高亮自动同步方案
前端·javascript·vue.js
tonydf2 分钟前
还在用旧的认证授权方案?快来试试现代化的OpenIddict!
后端·安全
Wo3Shi4七3 分钟前
消息积压:业务突然增长,导致消息消费不过来怎么办?
后端·kafka·消息队列
Mintopia5 分钟前
Three.js 形变动画(Morph Target Animation):让 3D 模型跳起变形之舞
前端·javascript·three.js
清幽竹客6 分钟前
vue-11(命名路由和命名视图)
前端·vue.js
sg_knight7 分钟前
Flutter嵌入式开发实战 ——从树莓派到智能家居控制面板,打造工业级交互终端
android·前端·flutter·ios·智能家居·跨平台
陈_杨13 分钟前
鸿蒙5开发宝藏案例分享---切面编程实战揭秘
前端