llmops

thesky1234561 天前
缓存·llmops·智能体·模型路由·成本工程·预算控制·小模型分工
智能体面试准备(二十六):Agent 成本工程——模型路由、缓存、预算控制与大小模型分工上一篇《多模态 Agent》让 Agent 看得懂图、听得见话,但随之而来一个很现实的问题:每张图几百 token、每段视频上万 token、每轮对话都调一次大模型,账单会爆炸。这是 B 系列第二十六篇,也是本系列收官前的最后一块拼图。成本工程(Cost Engineering)是 2025 年之后 Agent 落地最被甲方在意的主题——模型能力再强,跑一个月烧掉一家公司也白搭。它和 B20 可观测性(成本归因)、A25 推理服务化(单位 token 成本)、B13 记忆(避免重复计算)都强相关。本文按"
thesky1234562 天前
llmops·灰度发布·智能体·版本治理·影子流量·回归门禁·自动回滚
智能体面试准备(二十三):灰度发布与回滚——版本治理、影子流量、回归门禁与自动熔断上一篇《高并发编排与多租户隔离》解决的是"系统能不能扛住",这一篇解决的是它的下一个问题:"改动能不能安全地上线"。这是 B 系列第二十三篇。Agent 系统的发布有一个传统软件没有的特性——它的行为变更是概率性的、不可静态审查的。改一行 prompt,代码 diff 只有一行,但影响面可能覆盖全部流量,且没有任何编译器或类型系统能提前告诉你哪里会坏。更麻烦的是,上游模型供应商可能在你毫不知情的情况下悄悄更新了模型权重,你的系统在没有任何代码变更的情况下行为漂移。"你们的 Agent 怎么发版"是有生产经
爱好曙光1 个月前
llm·llmops·a/b测试·模型评测·自动化回归
LLM在线评测:A/B测试与回归自动化实战离线评测依赖固定测试集(如 MMLU、HumanEval)计算 BLEU、ROUGE、GPT-4 评分等指标,优点是成本低、可重复,但存在两大天然鸿沟:静态数据集永远无法覆盖线上长尾分布(用户真实提问的风格、上下文长度、领域混合度),指标本身与用户体验弱相关(高分未必意味着用户喜欢)。例如一个回答 BLEU 得分 0.85 但带有事实性错误,用户可能直接点踩;而另一个回答虽然转述略有不同但正确且友好,用户会点赞。
Soari3 个月前
人工智能·软件工程·llmops·架构优化·genai·aiagent·生产级部署
告别玩具级 Demo!深度拆解 agents-towards-production,用硬核工程把 AI Agent 推向工业级生产线发布日期: 2026-05-18标签: #AIAgent #生产级部署 #GenAI #LLMOps #软件工程 #架构优化
长路 ㅤ   6 个月前
向量数据库·llmops·知识库管理·docker容器化·dify部署
dify系列之01、快速本地一键搭建dify博主介绍:✌目前全网粉丝4W+,csdn博客专家、Java领域优质创作者,博客之星、阿里云平台优质作者、专注于Java后端技术领域。
百度智能云技术站2 年前
低代码·llmops·rag·智能体·模型精调
百度智能云千帆大模型平台引领企业创新增长本文整理自百度世界大会 2024——「智能跃迁 产业加速」论坛的同名演讲。更多大会演讲内容,请访问:https://baiduworld.baidu.com
百度智能云技术站2 年前
llmops·lmops
百度智能云千帆 ModelBuilder 大模型服务及开发解读本文整理自百度云智峰会 2024 —— 大模型平台技术实践论坛的同名演讲。更多大会演讲内容,请访问:https://cloud.baidu.com/summit/AIcloudsummit_2024/index.html
SRETalk2 年前
运维·llm·aiops·llmops
运维 + AI,你得先搞懂这些很感谢夜莺提供如此优质的平台能和行业内顶尖技术大佬做面对面的交流,在这个会议中又学习到了很多有趣有深度的内容,给我在未来探索的道路上提供了一些新的指引方向。同时感谢夜莺社区的邀请,在此再做一次关于AI方面的交流文章,由于目前我也是在AI这条赛道上的探索者,如果有不专业的地方还希望各位手下留情,同时希望能结识更多的同行,一起在AI这条赛道上做一些更高级更有趣的事情。
百度智能云技术站2 年前
百度·llmops·大模型训练·lmops
百度智能云千帆 ModelBuilder 技术实践系列:通过 SDK 快速构建并发布垂域模型百度智能云千帆大模型平台(百度智能云千帆大模型平台 ModelBuilder)作为面向企业开发者的一站式大模型开发平台,自上线以来受到了广大开发者、企业的关注。至今已经上线收纳了超过 70 种预置模型服务,用户可以快速的调用,并部署不同的模型以寻求最适合自身业务的方案。平台提供了全流程大模型开发工具链,为成千上万的应用提供了稳定的大模型平台服务。
龙井茶Sky2 年前
ai·llmops·dify
Dify安装使用说明dify可以说是一个功能不错的LLMOps,可以通过dify集中管理模型,可以通过界面创建AI应用,可以上传文档形成知识库,可以创建自定义工具(API),并可以对外提供API。
小明java问道之路3 年前
ai·开源·百度智能云·千帆大模型·llmops·千帆sdk
百度智能云千帆大模型平台再升级,SDK版本开源发布!📫作者简介:小明java问道之路,2022年度博客之星全国TOP3,专注于后端、中间件、计算机底层、架构设计演进与稳定性建设优化,文章内容兼具广度、深度、大厂技术方案,对待技术喜欢推理加验证,就职于知名金融公司后端高级工程师。
悟乙己3 年前
前端·python·大模型·fastapi·llmops
FastAPI 构建 API 高性能的 web 框架(一)如果要部署一些大模型一般langchain+fastapi,或者fastchat, 先大概了解一下fastapi,本篇主要就是贴几个实际例子。
我是有底线的