MLOps - 技术栈

参考：

什么是MLOps？与DevOps有何异同？有什么价值？https://baijiahao.baidu.com/s?id=1765071998288593530&wfr=spider&for=pc MLOps简介_AI开发平台ModelArts_WorkflowMLOps(Machine Learning Operation)是机器学习（Machine Learning）和DevOps（Development and Operations）的组合实践。随着机器学习的发展，人们对它的期待不仅仅是学术研究方面的领先突破，更希望这些技术能够系统化地落地到各个场景中。但技术的真实落地和学术研究还是有比较https://support.huaweicloud.com/intl/zh-cn/workflow-modelarts/modelarts_workflow_0265.html 什么是MLOps？与DevOps有何异同？有什么价值？

什么是MLOps

MLOps (Machine Learning Operations) 是一种新兴的概念，是"机器学习"（Machine Learning）和"DevOps"（Development and Operations）的组合实践。是指将 DevOps （Development and Operations）的理念和方法应用到机器学习的开发、部署、运维等各个环节，从而提高机器学习模型的生产效率和质量。

MLOps 的概念起源于企业在实际应用机器学习时面临的困境，包括模型部署、运维、监控等方面的问题。在传统的软件开发中，已经形成了一套成熟的 DevOps 流程，而在机器学习领域，MLOps 的概念正是借鉴了 DevOps 的经验和思想，为机器学习开发提供一种系统化、标准化的解决方案。

MLOps 的流程主要包括数据准备、模型训练、模型部署、模型监控、模型更新等多个环节。

DevOps

DevOps，即Development and Operations，是一组过程、方法与系统的统称，用于促进软件开发、运维和质量保障部门之间的沟通、协作与整合。

在大型的软件系统开发中，DevOps被验证是一个非常成功的方法。DevOps不仅可以加快业务与开发之间的互动与迭代，还可以解决开发与运维之间的冲突。开发侧很快，运维侧太稳，这个就是常说的开发与运维之间固有的、根因的冲突。

在AI应用落地的过程中，也有类似的冲突。AI应用的开发门槛较高，需要有一定的算法基础，而且算法需要快速高效地迭代。专业的运维人员追求的更多是稳定、安全和可靠；专业知识也和AI算法大相径庭。运维人员需要去理解算法人员的设计与思路才能保障服务，这对于运维人员来说，门槛更高了。在这种情况下，更多时候可能需要一个算法人员去端到端负责，这样一来，人力成本就会过高。这种模式在少量模型应用的场景是可行的，但是当规模化落地AI应用时，人力问题将会成为瓶颈。

MLOps与DevOps的异同

MLOps (Machine Learning Operations) 和 DevOps (Development and Operations) 有相同点也有不同点:

相同点：

1. 注重自动化：MLOps 和 DevOps 都注重自动化，通过自动化流程来提高开发和部署效率，减少人工干预，降低出错率。

2. 强调跨部门合作：MLOps 和 DevOps 强调团队合作和跨部门合作，协同开发和部署，以实现更高效的产品开发和交付。

3. 采用迭代开发模式：MLOps 和 DevOps 都采用迭代开发模式，通过不断迭代来优化产品质量和效率。

不同点：

1. 目标不同：DevOps 旨在提高软件的开发、部署和维护效率，而 MLOps 的目标是提高机器学习模型的生产效率和质量，同时确保模型的稳定性和可靠性。

2. 流程不同：MLOps 与 DevOps 的流程不完全相同。在模型开发和部署中，MLOps 需要特别考虑数据预处理、模型选择、模型训练、模型验证和模型部署等步骤。此外，MLOps 还需要在模型生命周期中考虑模型更新、版本控制和性能优化等方面。

3. 工具和技术不同：MLOps 和 DevOps 使用的工具和技术也有所不同。例如，MLOps 使用的工具包括数据管理和处理工具、模型训练和评估工具、模型部署和管理工具、自动化测试和监控工具等。MLOps 还需要考虑到深度学习框架、分布式计算平台和 GPU 等硬件设备的支持。

总体而言，MLOps 是一种特殊的 DevOps 应用，主要面向机器学习模型的开发和部署，是 DevOps 的一种扩展和延伸。MLOps 在传统 DevOps 的基础上，提供了更加全面和细致的技术和方法，以满足机器学习模型开发和部署中的特殊需求。

MLOps有何价值？

MLOps 的价值主要体现在以下几个方面：

提高机器学习模型的部署和运维效率，缩短上线时间；
降低模型上线后出现问题的风险，提高模型的稳定性和可靠性；
可以更好地管理模型的生命周期，从而更好地管理模型的质量；
促进机器学习应用的落地，提升企业的效益。

MLOps的应用

MLOps 对各行各业都具有很大的影响，尤其是在金融、医疗、零售、制造等领域，可以帮助企业更好地理解用户需求、提高产品质量、优化流程效率等。

金融行业：金融行业对于机器学习和人工智能的应用需求很高，特别是在风控、反欺诈、推荐系统、投资决策等方面。MLOps 算法工程师可以帮助金融机构构建高效、可靠的机器学习系统，提高业务效率和风险控制能力。
医疗行业：机器学习可以在医疗影像分析、疾病预测、诊断、治疗等方面发挥重要作用。MLOps 算法工程师可以帮助医疗机构构建高效、安全的机器学习系统，保证医疗数据的隐私和安全。
零售和电商行业：MLOps 算法工程师可以帮助企业构建精准的推荐系统、销售预测模型、价格优化模型等，提高企业的销售业绩和用户满意度。
制造业：机器学习可以在生产质量控制、设备故障预测、供应链优化等方面发挥作用。MLOps 算法工程师可以帮助制造企业构建高效、可靠的机器学习系统，提高生产效率和质量。