IBM Spectrum LSF Data Manager,独立于群集工作负载进行数据传输管理,以提高吞吐量并优化计算资源的使用

IBM Spectrum LSF Data Manager,独立于群集工作负载进行数据传输管理,以提高吞吐量并优化计算资源的使用

亮点

● 独立于群集工作负载管理数据传输,提高吞吐量,优化计算资源的使用;

● 利用智能托管缓存消除重复数据传输,降低存储成本;

● 使用 IBM® Spectrum LSF 调度策略全面了解和控制数据传输作业;

● 通过为入站/出站数据传输配置专用 I/O 节点来简化管理;

● 对缓存数据提供用户和管理员访问控制。

随着全球组织将 IT 资源整合到更大的集中式数据中心,并通过公有云和私有云提供服务,应用程序的性能受到影响。由于业务用户、客户和合作伙伴都访问相同的系统和数据,因此当数据从存储资源移动到计算资源并再返回时,关键工作负载可能会变慢。

安排数据传输以降低成本

IBM Spectrum LSF Data Manager 可控制数据传输,通过最大限度地减少计算周期和节省磁盘空间,帮助组织提高数据吞吐量并降低成本。IBM Spectrum LSF Data Manager 可自动传输在 IBM Spectrum LSF 集群和云上运行的应用程序工作负载所使用的数据,通过将常用数据存储在可在用户和工作负载之间共享的智能托管缓存中,使这些数据更接近计算资源。

数据的存储独立于工作负载, 从而释放计算资源以处理其他作业,同时在计算资源和存储之间来回传输数据。IBM Spectrum LSF Data Manager 还利用了已有的数据移动基础架构,使其能够轻松集成到现有集群基础架构中。

智能托管缓存

IBM Spectrum LSF Data Manager 利用智能托管缓存来重用多个工作负载通用的数据,并加快获得结果的时间。传输的文件会自动缓存在执行的集群上,并具有可选的缓存时间。缓存副本可用于需要访问数据的所有工作负载,并且可以在适当的情况下在多个用户之间共享。在执行集群上运行的工作负载还可以将中间数据(例如重启数据)写入本地缓存,以供其他作业使用。

精确控制数据移动

IBM Spectrum LSF Data Manager 允许将数据传输调度为 IBM Spectrum LSF 中的作业。通过集中查看传输流量并控制并发传输的数量和这些传输的优先级,组织可以按工作负载或项目精确控制数据移动。可以建立由用户确定优先级的传输,也可以将输入数据集的传输优先于结果的返回。

相关推荐
Eloudy3 天前
直接法 读书笔记 01 第1章 引言
人工智能·机器学习·hpc
H Journey4 天前
Docker Swarm集群管理
docker·集群管理·swarm
神工坊5 天前
案例分享︱仿真软件并行架构升级——基于swOpenFOAM的智慧风场平台
二次开发·hpc·cfd·cae·流体力学·风电场仿真·加速库
科研计算中心10 天前
超算服务器在科研和工程仿真中的价值解析——从算力瓶颈到解决方案的底层逻辑
运维·服务器·算力·高性能计算·超算服务器·仿真分析工作站
科研计算中心19 天前
2026年仿真计算对电脑的要求深度解析:从硬件选型到算力方案的全维度适配指南
人工智能·云计算·算力·高性能计算·仿真计算
毅硕科技1 个月前
毅硕HPC | InfiniBand网络在HPC集群中的核心应用
hpc·infiniband·网络技术·高性能计算集群·专业服务
英雄各有见1 个月前
Chapter 5.1.1: 编写你的第一个GPU kernel——Cuda Basics
c++·gpu·cuda·hpc
DeepVis Research1 个月前
【Chaos/Neuro】2026年度混沌动力学仿真与机器遗忘算法基准索引 (Benchmark Index)
人工智能·算法·数据集·混沌工程·高性能计算
盛寒1 个月前
高性能计算----期末周速通
高性能计算
wanzhong23331 个月前
CUDA学习5-矩阵乘法(共享内存版)
深度学习·学习·算法·cuda·高性能计算