关于 LLMOPS 的一些粗浅思考

最近一年在从事 LLMOPS 相关的开发。这里分享一个之前的关于 LLMOPS 的一些思考。观点具有主观性,所以仅供参考。抛砖引玉,希望能听到更多的思考,共同学习。

先来看下 LLMOPS 是什么?LMOps(Large Language Model Operations)是一个涵盖了大型语言模型(如GPT系列)开发、部署、维护和优化的一整套实践和流程。类似于 MLOPS,但专门针对 LLM。LLMOPS 专注于 LLM 的整个声明周期操作和管理,包括:数据管理、模型微调、模型部署、模型评估、模型监控、模型维护等;

LLMOPS 其实是一个 LLM 连接器,连接着业务和 LLM,通过这种连接可以降低 AI 赋能业务的难度,加速 AI 赋能业务的进程。

LLM 代表一种 AI 能力,其从技术实现、使用等方面在当前阶段,对于业务团队(产品、运营、C 端用户等)其实都有一定的门槛,LLMOPS 的作用就是起到一个桥梁的作用,将业务和 LLM 连接起来,通过 LLMOPS 这个桥梁,能够降低业务使用 LLM 的理解难度、接入难度和使用难度,从而消除屏障,让 AI 赋能业务变成可能,并降低其中的难度,提高使用效果。

所以,在我看来 LLMOPS 承载着一个非常重要的使命:AI 赋能业务的践行者和加速器。

其实,这种关系在 IT 行业并不少见。例如在云原生领域,这几年 Serverless 异常火爆,例如:低代码、FaaS、Serverless 容器,甚至整个阿里云的 2022 年最重要的使命就是技术栈全面 Serverless 化。通过 Serverless,开发者可以不用去关注和实现底层的云原生技术,直接使用平台封装好的能力,通过点点的方式,部署业务。

为什么呢?因为 Serverless 解决的是开发者和云原生技术的技术鸿沟。让开发者可以更容易的去享受云原生技术带来的效能提升。

说到底,还是云原生技术能够产生真正的价值,开发者(业务可以说业务团队,开发者是业务团队的技术代表),才愿意去使用云原生技术,在使用过程中遇到一些技术鸿沟,才会诞生出 Serverless 这种技术形态。在刚性需求、刚性价值的驱动下,Serverless 才逐渐由前沿的技术研究,到少数一些团队尝鲜,再到大规模使用,再到如今的技术标准。LLMOPS 底层部署在容器云平台上,其实容器云平台底层就是一种 Serverless 容器。

也许,我们可以从云原生、Serverless 技术的发展,来看到 LLM、Agents 智能体的发展:

所以在我看来,只要 AI 能够真正赋能业务,就会有业务连接 LLM 的刚性需求,如果能够解决业务接入 LLM 过程中的各类问题,那么 Agent 就具有刚性价值,这种刚性价值,会在 Agent 智能体平台、AI 发展到一定阶段,会逐渐成为一种标准。正这个阶段供需关系也会发生改变:由 Agent 平台主动拉业务,到业务主动对接 Agent 平台。

这里分享下,我在 2018 ~ 2022 年做云原生开发工作时的一个经历。之前负责开发过的一个容器云平台,在刚上线的时候,以 Docker、Kubernetes 为代表的云原生技术才刚刚起步,很多业务不了解,甚至不敢用这些云原生平台。所以当时,为了扩展客户,团队内使出了浑身解数,但是平台的规模和接入的业务并不多。这种情况持续了 1 年多。

随着云原生技术的快速发展,在 2018 年第~ 2020 年的时候云原生处在一个爆发增长阶段,很多业务开始尝试迁移到 Kubernetes 平台上,之后在 2022 年左右,其实云原生(上云)已经成为一种事实的上云标准。也就是从 2018 年 ~ 至今,容器云平台的供需关系其实已经变成了,业务主动介入容器云平台,容器云平台更好的去服务业务。从主动获客变成了被动获客。

所以,在我看来也无需 LLMOPS 也会经过这样一个阶段。只要 AI 赋能业务的刚性价值存在,LLMOPS 将来的供需关系也会由主动获客变成被动获客。所以,我觉得 LLMOPS 只需要努力去实现连接器的价值,静待 AI 化成为标准,静待 LLM 连接器成为标准,到那时候获客关系会发生变化,平台的价值也会真正最大化。

  • 欢迎加入 云原生AI实战营 知识星球。P8 技术专家出品,12+ 高质量体系课、20+ 高质量实战项目,助你在 AI 浪潮中建立不可替代的技术竞争力,冲击百万年薪!实战营聚焦 Go、云原生、AI Infra 三大领域;
  • 欢迎关注 令飞编程,Go、云原生、AI Infra、职场干货不错过!回复「资料」可免费下载 Go、云原生等学习资料;
  • 我的 B 站:云原生AI,欢迎关注,会分享技术、职场和课程等视频内容。
相关推荐
yangmf204027 分钟前
私有知识库 Coco AI 实战(四):打造 ES 索引参数小助手
大数据·人工智能·elasticsearch·coco ai
大数据在线1 小时前
当向量数据库与云计算相遇:AI应用全面提速
人工智能·云计算·向量数据库·亚马逊云科技·zilliz
stevenzqzq1 小时前
编程中如何与AI交互-结构化输入和理解确认机制
人工智能·交互
高峰君主1 小时前
生成式AI全栈入侵:当GPT-4开始自动编写你的Next.js路由时,人类开发者该如何重新定义存在价值?
人工智能
J先生x2 小时前
【开源项目】基于sherpa-onnx的实时语音识别系统 - LiveASR
人工智能·语音识别
火星资讯2 小时前
“兴火·燎原”总冠军诞生,云宏信息《金融高算力轻量云平台》登顶
人工智能·科技
whaosoft-1432 小时前
51c自动驾驶~合集37
人工智能
小技工丨2 小时前
详解大语言模型生态系统概念:lama,llama.cpp,HuggingFace 模型 ,GGUF,MLX,lm-studio,ollama这都是什么?
人工智能·语言模型·llama
陈奕昆2 小时前
大模型微调之LLaMA-Factory 系列教程大纲
人工智能·llama·大模型微调·llama-factory
上海云盾商务经理杨杨3 小时前
AI如何重塑DDoS防护行业?六大变革与未来展望
人工智能·安全·web安全·ddos