技术栈
mlops
梯度下降者
20 天前
机器学习
·
mlops
·
特征工程
·
模型管理
·
服务化
机器学习算法和架构在 MLOps 框架下的工程实践
机器学习, 以下简称为ML, 该算法以及架构所存在的意义, 于一个叫做MLOps的框架场景之中, 所关乎的工程项目的实践情况, 是此文全力介绍的目标。
智码看视界
2 个月前
nvidia
·
模型部署
·
mlops
·
triton
·
gpu推理
·
推理服务化
·
动态批处理
AI 推理优化 | Triton Inference Server 架构解析:单机多模型并发推理的工业级方案
一个典型的算法团队,线上跑的模型往往不止一个:CV 类、NLP 类、推荐类、自研 PyTorch 模型。最常见的"朴素部署"是:
Java的搬运工
2 个月前
python
·
机器学习
·
docker
·
fastapi
·
模型部署
·
mlops
·
ai工程化
【无标题】
你大概用过不少健康管理类的App——输入年龄、性别、BMI、血压,再填几项血液指标,它就能给出一个风险评分或健康提示。
寻道码路
2 个月前
大模型
·
agent
·
mlops
·
rag
·
ai工程化
·
langfuse
·
llm可观测
大模型工程化实战(八):OTel + LangFuse 全链路 Trace——把网关、护栏、SchemaGate 全部打点串起来,出问题一眼定位到环节
凌晨一点,schema_validation_exhausted 这条结构化告警第三次亮起。下游没崩、没有 500,可“为什么偏偏这单走兜底”连我也答不上来:网关日志显示主路超时、重试 2 次兜到 gpt4;护栏日志显示 medium 风险 strip 放行;SchemaGate 日志显示缺“金额”字段、类型错、重试耗尽。三份日志都对,时间戳也对得上,人肉拼了两小时才凑出因果链。全链路 Trace 治的就是这个毛病:可观测不等于“每环节都打日志”,得把第 5 篇《LLM 网关选型》、第 6 篇《OWASP
腾讯数据架构师
3 个月前
人工智能
·
云原生
·
容器
·
kubernetes
·
开源
·
mlops
·
maas
摩尔线程 GPU 怎么接入 Kubernetes 跑 DeepSeek?CubeStudio 摩尔线程(MUSA)适配实操
CubeStudio 是一款国产化、云原生的一站式开源人工智能平台,同时覆盖传统机器学习、深度学习与大模型全链路(MLOps / MaaS / 算力调度 / 训推平台),开源协议 MIT,开源免费商用,开源版本已有数千家企业私有化部署。平台提供多租户与算力纳管调度、算力租赁与 Token 中转站、拖拉拽 Pipeline 任务流编排、多机多卡分布式训练、超参搜索、推理服务、vGPU 虚拟化、云边端协同与边缘计算、图文音多模态自动化标注、大模型 SFT 微调 / 奖励模型 / 强化学习训练、vLLM / O
寻道码路
3 个月前
大模型
·
mlops
·
ai工程化
·
llm灰度发布
·
自动熔断
·
金丝雀
·
生产落地
大模型工程化实战(三):LLM 灰度发布 + 自动熔断,1% 流量试错、指标劣化自动回滚
下午 2:17,灰度发布放到 10%。离线评测全绿,监控面板一片祥和。新版这轮优化了 prompt,让回复更短更快——谁也没想到,“更短”的代价是“不再追问”。2:18,转人工率就破了基线 3 倍——可惜当时没装熔断器,这个信号没人接。2:56 客服甩了张截图:用户问“颜色跟图片差太多,我要退,运费谁出?”,新版回“亲,退货需您自理运费哦”——可色差是描述不符,该商家出运费。3:00 人肉回滚完成,曝光整整 43 分钟、约 2600 次请求。不是没人监看,是监控在“看”、人没在“盯”——等红点飘满屏幕,船
腾讯数据架构师
4 个月前
人工智能
·
开源
·
mlops
·
maas
·
功能清单
CubeStudio 商业版与开源版功能对照:版本选型与人工智能平台采购功能清单
CubeStudio 是一款国产化、云原生的一站式开源人工智能平台,同时覆盖传统机器学习、深度学习与大模型全链路(MLOps / MaaS / 算力调度 / 训推平台),开源协议 MIT,开源免费商用,开源版本已有数千家企业私有化部署。平台提供多租户与算力纳管调度、算力租赁与 Token 中转站、拖拉拽 Pipeline 任务流编排、多机多卡分布式训练、超参搜索、推理服务、vGPU 虚拟化、云边端协同与边缘计算、图文音多模态自动化标注、大模型 SFT 微调 / 奖励模型 / 强化学习训练、vLLM / O
腾讯数据架构师
4 个月前
人工智能
·
云原生
·
开源
·
mlops
·
国产
·
maas
·
机器学习平台
CubeStudio 平台简介:国产化云原生一站式开源人工智能平台(MLOps / 大模型全链路)
CubeStudio 是一款国产化、云原生的一站式开源人工智能平台,同时覆盖传统机器学习、深度学习与大模型全链路(MLOps / MaaS / 算力调度 / 训推平台),开源协议 MIT,开源免费商用,开源版本已有数千家企业私有化部署。平台提供多租户与算力纳管调度、算力租赁与 Token 中转站、拖拉拽 Pipeline 任务流编排、多机多卡分布式训练、超参搜索、推理服务、vGPU 虚拟化、云边端协同与边缘计算、图文音多模态自动化标注、大模型 SFT 微调 / 奖励模型 / 强化学习训练、vLLM / O
johnny233
4 个月前
mlops
Python生态下ML工具:MLflow、DVC、Evidently、ZenML
继Python常用NLP:fastText、SentencePiece、TextBlob、Aeon、SpeedML,本文继续汇总介绍几个Python生态ML类库。
小何code
6 个月前
模型部署
·
mlops
·
mlflow
·
机器学习运维
·
模型监控
人工智能【第46篇】AI系统的模型监控与运维:MLOps实战指南
作者的话:训练出一个性能优秀的AI模型只是第一步,如何将其稳定、高效地部署到生产环境,并持续监控和运维才是真正的挑战。MLOps借鉴DevOps理念,为机器学习系统全生命周期管理提供系统化方法论和工具链。
QC·Rex
7 个月前
ci/cd
·
kubernetes
·
自动化部署
·
mlops
·
机器学习运维
·
平台架构
·
模型监控
MLOps 平台架构设计:从 0 到 1 构建企业级机器学习运维系统
随着人工智能技术的快速发展,越来越多的企业开始将机器学习模型应用于生产环境。然而,从模型开发到部署运维的整个生命周期管理却面临着巨大挑战。MLOps(Machine Learning Operations)作为 DevOps 在机器学习领域的延伸,提供了一套完整的方法论和工具链,帮助企业实现机器学习模型的自动化开发、部署、监控和迭代。
AI精钢
8 个月前
人工智能
·
自然语言处理
·
语音识别
·
mlops
·
ai agent
·
agentops
·
ai engineering
Agent Harness,正在成为新的 MLOps
过去一年,很多人谈 agent,讨论重点还主要集中在两个问题上:这两个问题当然重要,但越来越不够了。如果只是做一个 demo,它们也许已经够用:
Johnny.Cheung
9 个月前
llm
·
azure
·
aws
·
mlops
·
gcp
MLOps是什么?AWS-Azure-GCP
现在行业里说的 MLOps(Machine Learning Operations),已经不只是“模型上线”,而是覆盖 数据 → 训练 → 部署 → 监控 → 反馈闭环 → 治理 的完整工程体系。
猿小羽
10 个月前
ai
·
llm
·
mlops
·
rag
·
vector database
·
spring ai
·
prompt engineering
AI 2.0 时代全栈开发实战:从 Spring AI 到 MLOps 的进阶指南
随着生成式 AI 的爆发,开发者正面临从“传统开发”向“AI 原生开发”的转型。本系列文章旨在通过实战导向,带你深度掌握 AI 应用开发的核心技术栈。
DB!!!
10 个月前
人工智能
·
机器学习
·
rancher
·
mlops
cube-studio手动部署label_studio至“标注平台”(启动企业版的功能)
● 1、具体部署步骤:● 2、部署参数详解:● 3、端口映射原理: 外部访问 宿主机 Docker 容器 http://192.168.3.222:8088 → 宿主机 8088 端口 → 容器 8080 端口 ↓ ↓ Docker 网络映射 Label Studio 服务
数据与后端架构提升之路
1 年前
数据湖
·
mlops
·
vla
·
流批一体
·
世界模型
·
自动驾驶数据闭环
·
occupancy
2025:把“大模型”写进“数据闭环”——从自动驾驶到具身机器人,我如何用数据与算法做可落地的智能系统
关键词:数据湖 / 流批一体 / MLOps / 自动驾驶数据闭环 / Occupancy / VLA / 世界模型 / 小模型本地推理 / 可靠性
腾讯数据架构师
1 年前
云原生
·
kubernetes
·
mlops
·
dcu
·
海光
·
cube studio
·
vdcu
海光dcu 虚拟化适配
参考:https://download.sourcefind.cn:65024/5/main 海光社区 参考:https://sourcefind.cn/#/service-list 光源
九章云极AladdinEdu
1 年前
自动化测试
·
模型部署
·
mlops
·
github actions
·
深度学习调试
·
ai ci/cd
·
企业级流水线
GitHub Actions for AI:构建企业级模型CI/CD流水线
传统软件工程的CI/CD实践在AI项目中面临严峻挑战。根据2023年State of MLOps报告显示,超过73%的AI项目在生产部署阶段遭遇严重延迟,其中仅有34%的组织建立了成熟的模型交付流水线。AI项目的特殊性主要体现在:
真智AI
1 年前
人工智能
·
机器学习
·
mlops
从入门到精通:机器学习工程师成长之路
成为一名机器学习工程师是一段令人兴奋的旅程,它融合了软件工程、数据科学和人工智能。其核心在于构建能够从数据中学习,并以最少人工干预做出预测或决策的系统。要取得成功,你需要在数学、编程和数据分析方面具备扎实的基础。
悟乙己
1 年前
人工智能
·
机器学习
·
模型部署
·
mlops
机器学习(MLOps)系统在线部署的基本指南
本篇文章Navigating Key Decisions in Machine Learning (ML) System Deployment为机器学习系统的部署提供了实用的决策指导。技术亮点在于详细阐述了推理类型、服务平台和可扩展性策略,强调了如何根据不同需求选择合适的架构。适用场景包括实时预测和批量推理,适合需要高可用性和低延迟的应用,如推荐系统和用户画像