IBM Spectrum LSF Data Manager,独立于群集工作负载进行数据传输管理,以提高吞吐量并优化计算资源的使用

IBM Spectrum LSF Data Manager,独立于群集工作负载进行数据传输管理,以提高吞吐量并优化计算资源的使用

亮点

● 独立于群集工作负载管理数据传输,提高吞吐量,优化计算资源的使用;

● 利用智能托管缓存消除重复数据传输,降低存储成本;

● 使用 IBM® Spectrum LSF 调度策略全面了解和控制数据传输作业;

● 通过为入站/出站数据传输配置专用 I/O 节点来简化管理;

● 对缓存数据提供用户和管理员访问控制。

随着全球组织将 IT 资源整合到更大的集中式数据中心,并通过公有云和私有云提供服务,应用程序的性能受到影响。由于业务用户、客户和合作伙伴都访问相同的系统和数据,因此当数据从存储资源移动到计算资源并再返回时,关键工作负载可能会变慢。

安排数据传输以降低成本

IBM Spectrum LSF Data Manager 可控制数据传输,通过最大限度地减少计算周期和节省磁盘空间,帮助组织提高数据吞吐量并降低成本。IBM Spectrum LSF Data Manager 可自动传输在 IBM Spectrum LSF 集群和云上运行的应用程序工作负载所使用的数据,通过将常用数据存储在可在用户和工作负载之间共享的智能托管缓存中,使这些数据更接近计算资源。

数据的存储独立于工作负载, 从而释放计算资源以处理其他作业,同时在计算资源和存储之间来回传输数据。IBM Spectrum LSF Data Manager 还利用了已有的数据移动基础架构,使其能够轻松集成到现有集群基础架构中。

智能托管缓存

IBM Spectrum LSF Data Manager 利用智能托管缓存来重用多个工作负载通用的数据,并加快获得结果的时间。传输的文件会自动缓存在执行的集群上,并具有可选的缓存时间。缓存副本可用于需要访问数据的所有工作负载,并且可以在适当的情况下在多个用户之间共享。在执行集群上运行的工作负载还可以将中间数据(例如重启数据)写入本地缓存,以供其他作业使用。

精确控制数据移动

IBM Spectrum LSF Data Manager 允许将数据传输调度为 IBM Spectrum LSF 中的作业。通过集中查看传输流量并控制并发传输的数量和这些传输的优先级,组织可以按工作负载或项目精确控制数据移动。可以建立由用户确定优先级的传输,也可以将输入数据集的传输优先于结果的返回。

相关推荐
高性能服务器9 天前
马斯克万卡集群AI数据中心引发的科技涟漪:智算数据中心挑战与机遇的全景洞察
数据中心·hpc·高性能计算·智算中心·马斯克ai数据中心·colossus·xai
景天科技苑11 天前
【云原生开发】K8S集群管理后端开发设计与实现
云原生·容器·kubernetes·集群管理·k8s二次开发
orlion1 个月前
使用AVX2指令集加速推荐系统MMR层余弦相似度计算
go·高性能计算
高性能服务器2 个月前
探索GPU算力在大模型和高性能计算中的无限潜能
算法·语言模型·gpu算力·hpc·高性能计算
Eloudy3 个月前
基于 Householder 变换的 qr 分解 算法与源码实现
算法·hpc
吴bug4 个月前
配置提交节点
hpc·lsf
迪普微社区4 个月前
解锁算力新极限,Xilinx UltraScale+赋能的高性能低延时FPGA加速卡
网络·fpga开发·fpga·芯片·xilinx·高性能计算·加速卡
小信瑞5 个月前
分布式高性能计算 (HPC)的工作负载管理平台和作业调度程序—— IBM Spectrum® LSF® Suites
分布式·ibm lsf·计算资源管理·hpc·工作负载管理·作业调度系统·作业调度程序
云计算练习生7 个月前
docker容器技术篇:集群管理实战mesos+zookeeper+marathon(二)
docker·集群管理·mesos·zookeepe·marathon