IBM Spectrum LSF Data Manager,独立于群集工作负载进行数据传输管理,以提高吞吐量并优化计算资源的使用

IBM Spectrum LSF Data Manager,独立于群集工作负载进行数据传输管理,以提高吞吐量并优化计算资源的使用

亮点

● 独立于群集工作负载管理数据传输,提高吞吐量,优化计算资源的使用;

● 利用智能托管缓存消除重复数据传输,降低存储成本;

● 使用 IBM® Spectrum LSF 调度策略全面了解和控制数据传输作业;

● 通过为入站/出站数据传输配置专用 I/O 节点来简化管理;

● 对缓存数据提供用户和管理员访问控制。

随着全球组织将 IT 资源整合到更大的集中式数据中心,并通过公有云和私有云提供服务,应用程序的性能受到影响。由于业务用户、客户和合作伙伴都访问相同的系统和数据,因此当数据从存储资源移动到计算资源并再返回时,关键工作负载可能会变慢。

安排数据传输以降低成本

IBM Spectrum LSF Data Manager 可控制数据传输,通过最大限度地减少计算周期和节省磁盘空间,帮助组织提高数据吞吐量并降低成本。IBM Spectrum LSF Data Manager 可自动传输在 IBM Spectrum LSF 集群和云上运行的应用程序工作负载所使用的数据,通过将常用数据存储在可在用户和工作负载之间共享的智能托管缓存中,使这些数据更接近计算资源。

数据的存储独立于工作负载, 从而释放计算资源以处理其他作业,同时在计算资源和存储之间来回传输数据。IBM Spectrum LSF Data Manager 还利用了已有的数据移动基础架构,使其能够轻松集成到现有集群基础架构中。

智能托管缓存

IBM Spectrum LSF Data Manager 利用智能托管缓存来重用多个工作负载通用的数据,并加快获得结果的时间。传输的文件会自动缓存在执行的集群上,并具有可选的缓存时间。缓存副本可用于需要访问数据的所有工作负载,并且可以在适当的情况下在多个用户之间共享。在执行集群上运行的工作负载还可以将中间数据(例如重启数据)写入本地缓存,以供其他作业使用。

精确控制数据移动

IBM Spectrum LSF Data Manager 允许将数据传输调度为 IBM Spectrum LSF 中的作业。通过集中查看传输流量并控制并发传输的数量和这些传输的优先级,组织可以按工作负载或项目精确控制数据移动。可以建立由用户确定优先级的传输,也可以将输入数据集的传输优先于结果的返回。

相关推荐
Eloudy6 天前
CHI 开发备忘 08 记 -- CHI spec 08
人工智能·arch·hpc
Eloudy6 天前
稀疏矩阵的 CSR 格式(Compressed Sparse Row)
人工智能·算法·arch·hpc
Eloudy8 天前
CHI 开发备忘 06 记 -- CHI spec 06 独占访问
人工智能·arch·hpc
Eloudy8 天前
直接法 读书笔记 07 第7章 减少填充的排序
人工智能·arch·hpc
Eloudy9 天前
CHI 开发备忘 05 记 -- CHI spec 05 互连协议流程
人工智能·ai·arch·hpc
Eloudy10 天前
直接法 读书笔记 06 第6章 LU分解
人工智能·算法·ai·hpc
Eloudy11 天前
CHI 开发备忘 03 记 -- CHI spec 03 网络层
人工智能·ai·arch·hpc
Eloudy12 天前
CHI 开发备忘 02 记 -- CHI spec 02 事务
人工智能·ai·arch·hpc
Eloudy19 天前
SuiteSparse 的 README
人工智能·算法·机器学习·hpc
Eloudy22 天前
计算引擎 CUTLASS 01章: 目录结构
人工智能·线性代数·算法·机器学习·hpc