IBM Spectrum LSF Data Manager,独立于群集工作负载进行数据传输管理,以提高吞吐量并优化计算资源的使用

IBM Spectrum LSF Data Manager,独立于群集工作负载进行数据传输管理,以提高吞吐量并优化计算资源的使用

亮点

● 独立于群集工作负载管理数据传输,提高吞吐量,优化计算资源的使用;

● 利用智能托管缓存消除重复数据传输,降低存储成本;

● 使用 IBM® Spectrum LSF 调度策略全面了解和控制数据传输作业;

● 通过为入站/出站数据传输配置专用 I/O 节点来简化管理;

● 对缓存数据提供用户和管理员访问控制。

随着全球组织将 IT 资源整合到更大的集中式数据中心,并通过公有云和私有云提供服务,应用程序的性能受到影响。由于业务用户、客户和合作伙伴都访问相同的系统和数据,因此当数据从存储资源移动到计算资源并再返回时,关键工作负载可能会变慢。

安排数据传输以降低成本

IBM Spectrum LSF Data Manager 可控制数据传输,通过最大限度地减少计算周期和节省磁盘空间,帮助组织提高数据吞吐量并降低成本。IBM Spectrum LSF Data Manager 可自动传输在 IBM Spectrum LSF 集群和云上运行的应用程序工作负载所使用的数据,通过将常用数据存储在可在用户和工作负载之间共享的智能托管缓存中,使这些数据更接近计算资源。

数据的存储独立于工作负载, 从而释放计算资源以处理其他作业,同时在计算资源和存储之间来回传输数据。IBM Spectrum LSF Data Manager 还利用了已有的数据移动基础架构,使其能够轻松集成到现有集群基础架构中。

智能托管缓存

IBM Spectrum LSF Data Manager 利用智能托管缓存来重用多个工作负载通用的数据,并加快获得结果的时间。传输的文件会自动缓存在执行的集群上,并具有可选的缓存时间。缓存副本可用于需要访问数据的所有工作负载,并且可以在适当的情况下在多个用户之间共享。在执行集群上运行的工作负载还可以将中间数据(例如重启数据)写入本地缓存,以供其他作业使用。

精确控制数据移动

IBM Spectrum LSF Data Manager 允许将数据传输调度为 IBM Spectrum LSF 中的作业。通过集中查看传输流量并控制并发传输的数量和这些传输的优先级,组织可以按工作负载或项目精确控制数据移动。可以建立由用户确定优先级的传输,也可以将输入数据集的传输优先于结果的返回。

相关推荐
jianpeng的工程笔记7 天前
EL8 / EL9 安装 Slurm 26.05.4:主备控制器、MariaDB 记账与作业验收
linux·数据库·mariadb·高性能计算·slurm
神工坊7 天前
新闻︱神工坊“超智融合数值引擎”亮相2026世界制造业大会“人工智能+制造”专场发布会
hpc·cae·物理ai·高保真仿真·先进工程计算·超智融合·超智融合数值引擎
神工坊8 天前
应用场景 | 从“救火”到“预判”:高保真数字孪生重构两机运维
数字孪生·hpc·cae·航空发动机·内燃机·装置运维健康管理·高保真仿真
喜壹LittlePrince1 个月前
CUDA 入门第一课:从线程索引到向量加法与朴素矩阵乘法
cuda·hpc
乱七八糟的屋子2 个月前
【C++数值计算】NumCpp超详细入门教程(纯正Numpy语法、零学习成本、C++首选科学计算库、性能压测对比)
c++·数值计算·numpy·高性能计算·科学计算·ndarray
一只独角兽3 个月前
不会写 sbatch,也能正确提交计算作业吗?
hpc·slurm
胖大和尚3 个月前
Linux 内核工程师、HPC工程师、C++工程师
c++·kernel·hpc
神工坊4 个月前
性能测试︱Abaqus 非线性瞬态热固耦合仿真——增材制造求解效率实测
abaqus·hpc·并行计算·cae·结构仿真·非线性·热固耦合
Jay Kay4 个月前
cuda reduce完整优化思路
高性能计算
时光飞逝的日子4 个月前
Chiplet 架构嵌入式设计:异构计算平台搭建与性能调优实战
工业视觉·高性能计算·异构计算·嵌入式设计·chiplet 架构