阿里巴巴开源联邦学习框架FederatedScope

5月5日,阿里巴巴达摩院发布新型联邦学习框架FederatedScope,声称可以在不共享训练数据的情况下开发机器学习算法,从而保护隐私。,其源代码现已在Apache 2.0许可下发布在GitHub上。

介绍

该平台被描述为一个全面的联邦学习框架,为学术界和工业界的各种机器学习任务提供灵活的定制。它还被声称易于掌握,允许用户集成自己的组件,包括特定应用程序的数据集和模型。

联邦学习,顾名思义,是一种跨多个分布式节点或主机训练模型的机器学习技术。每个节点使用本地训练数据,如果模型参数在节点之间共享,而不是原始数据,这意味着数据本身可以保持私有。

根据阿里巴巴的说法,由于潜在的隐私问题,收集训练数据来构建和进化机器学习模型越来越受到审查,而联邦学习可以帮助解决其中的一些问题

达摩院智能计算实验室隐私保护计算团队负责人丁博麟表示,"数据已成为重要的生产要素,而隐私保护计算是保障这一要素发挥作用的关键技术。通过开源最新联邦学习框架,我们希望促进隐私保护计算在研究和生产中的广泛应用,让医药研发、政务互通、人机交互等数据密集领域更安全、更顺畅地发展。"

流程图

特点

  • 该框架使用事件驱动的编程范式来构建联邦学习,即将联邦学习看成是参与方之间收发消息的过程,通过定义消息类型以及处理消息的行为来描述联邦学习过程。通过这一方式,FederatedScope实现了支持在丰富应用场景中进行大规模、高效率的联邦学习异步训练。

  • 为进一步适应不同应用场景,FederatedScope还集成了多种功能模块,包括自动调参、隐私保护、性能监控、端模型个性化等。FederatedScope支持开发者通过配置文件便捷地调用集成模块,方便快速入门;也允许通过注册的方式添加新的算法实现并调用,支持定制化及深度开发。

这些功能使开发人员能够针对计算机视觉、自然语言处理、语音识别、图形学习和推荐等领域构建和定制特定于任务的联邦学习应用程序。

隐私保护

FederatedScope还通过使用差分隐私和多方计算来满足不同的隐私保护需求,提供隐私保护。

Swarm Learning

阿里巴巴并不是唯一一家提供联合学习框架的公司。上个月,HPE推出了群学习(Swarm Learning),这是它自己针对边缘应用或分布式站点的去中心化机器学习框架。HPE的群学习是作为群学习库的一部分提供的,它是容器化的,可以在Docker、虚拟机或裸机上运行,并使用区块链技术来确保模型参数可以安全地交换

转载于:阿里巴巴开源联邦学习框架FederatedScope - 掘金 (juejin.cn)

相关推荐
十六年开源服务商31 分钟前
2026年用开源CMS建站完整步骤指南
开源
扬帆破浪42 分钟前
免费开源AI软件.桌面单机版,可移动的AI知识库,察元 AI桌面版:本地离线知识库的妥协与收益 老电脑跑察元AI的可行边界
人工智能·windows·开源·电脑·知识图谱
xmdy58661 小时前
Flutter+开源鸿蒙实战|校园易生活Day7 个人中心完善+我的发布/收藏+退出登录+主题切换+全局UI美化(项目闭环)
flutter·开源·harmonyos
一直会游泳的小猫1 小时前
UI-TARS-desktop
开源·字节跳动·bytedance·多模态gui agent
扬帆破浪1 小时前
免费开源AI软件.桌面单机版,可移动的AI知识库,察元 AI桌面版:本地离线知识库的真完全离线 内网无外网装察元AI的拼装步骤
人工智能·windows·开源·电脑·知识图谱
想你依然心痛2 小时前
DeepSeek V4 开源生态实战:从 LangChain 集成到私有化部署的完整指南
langchain·开源
北冥有羽Victoria3 小时前
Django中间件实战:FBV/CBV日志全兼容
数据库·vscode·后端·python·django·sqlite·开源
星栈3 小时前
事件写进去了但查不到?CQRS 投影层的坑我都替你踩了
开源·设计
开开心心_Every3 小时前
进程启动瞬间暂停工具,适合调试多开
运维·服务器·gitee·pdf·开源·电脑·excel
xmdy58664 小时前
Flutter + 开源鸿蒙实战|城市智慧停车管理系统 Day1 项目初始化+架构搭建+全局依赖集成+多端适配基座
flutter·开源·harmonyos