一、课程介绍

演讲与主题:来自AMD的产品开发工程师Rajesh和Wiwynn的散热工程师Yuzhou Lin,共同探讨高功率密度AI数据中心的Mega AALC(高级辅助液体冷却)解决方案。
文档文本+视频(中英文版本)已上传至星球,见文末:
或知识星球搜索星球号:54295154
二、数据中心发展趋势

核心挑战:AI芯片功率密度急剧攀升,现有风冷基础设施已无法满足散热需求。
液冷转型的瓶颈:将商业数据中心全面转型为液冷,需要3到6年时间进行场地准备、审批、设计和施工,这与芯片技术快速迭代的节奏不匹配。
AALC的价值:AALC提供了一种过渡性液冷方案,能利用现有数据中心的大量闲置机架空间,加速AI机架的部署。
三、机架功率密度与冷却技术
1. 冷却趋势

AI芯片热流密度:AI芯片的热流密度已高达400 W/cm²,正在逼近现有基础设施的极限,迫使数据中心向100%液冷转型。
机架功率密度飙升:机架级功率密度从2024年的120-150 kW,预计到2030年将超过1000 kW(1兆瓦)。

液冷占比快速提升:随着机架功率密度增长,单机柜所需的液冷能力同步增加。预计到2027年,液冷占比将接近98%,最终走向100%液冷。
2. 混合冷却技术

两种主流混合冷却方案:无需全面改造,即可增强AI机架冷却。
·RDHx(后门热交换器):一种混合冷却方式。
·Sidecar(侧挂式冷却):另一种混合冷却方式。
Sidecar的优势:在相同热负载(24 kW)下,Sidecar的功耗比RDHx低30%-40%,效率更高,可扩展性更强。
原因:两者在风扇效率和泵效率上存在差异。

Mega AALC的设计方向:为了进一步提升效率,Mega AALC需要采用AC(交流电)供电的风扇和泵。
应对未来高密度机架:当机架功率密度从当前的80-120 kW提升到0.5兆瓦甚至1兆瓦时,Mega AALC方案能更好地利用现有数据中心的空间。
四、Mega Sidecar介绍
1. 趋势与预测

现有挑战:在现有风冷数据中心部署AI机柜,需解决配电布局、气流管理和集成限制等问题。
Mega Sidecar方案:为高功率AI机柜设计的冷却方案,采用交流(AC)供电的风机与泵,提升单机柜整体效率。
当前功率密度:单机柜功率密度约在80到120千瓦。
AI芯片机柜TDP:可达约500千瓦。
乐高式模块化设计:侧边冷却方案采用模块化设计,换热器和泵组数量可按需增减,以适应不同机柜功率密度。
当前方案:现有侧边冷却方案多为2个机柜宽度。
未来演进:到2027或2030年,可能演进到10个机柜宽度的AALC部署。
运营与物流:以2柜宽或3柜宽的乐高式模块进行规划,这些模块可按需倍数扩展。

单相冷却Mega Sidecar:为实现1兆瓦冷却,未来配置可能需要超过10个机柜宽度。
两相冷却Mega Sidecar:通过应用两相冷却剂,所需侧边宽度可能因设计而异。
2. 设计特点
1)风扇与泵的选型设计

现有方案:当前多数AALC系统使用直流(DC)风扇和泵模块。
优势:可在数据中心快速部署,无需额外控制模块,易于与服务器系统管理集成,简化机房电源设计。
未来趋势:对于即将到来的高功率AI机柜,交流(AC)泵和风扇方案预计将成为主要选择。
性能优势:在同等占地空间下,AC方案能提供更高的扬程和风压,非常适合更高功率密度的AI机柜。
HVDC方案:高压直流(HVDC)风扇和泵模块仍将是未来AI机柜的可行选项。

AC泵 vs DC泵:
·扬程:AC泵 > 200 psid,DC泵 < 100 psid。
·最大流量:AC泵 400-600 LPM,DC泵 200-300 LPM。
AC风扇 vs DC风扇:
·静压:AC风扇 > 1800 Pa,DC风扇 1000-1200 Pa。
·最大流量:AC风扇 4000-6000 CFM,DC风扇 1000-1500 CFM。
·尺寸:AC风扇 > 360 mm,DC风扇 Φ200-240 mm。
2)风泵功率效率对比

实验设置:在2024年展示的实验中,对风扇和泵使用不同电源进行对比。
效率对比结果:
·60 kW热负载下:AC风扇与泵同DC风扇与泵的pPUE几乎相同。
·150 kW热负载下:AC风扇与泵的pPUE是DC方案的0.9倍,即AC方案显示出约10%的效率优势。
结论:对于即将到来的AI负载,AC模块是Mega AALC的更好选择。
3)微级过滤

冷板制造技术演进:随着AI芯片发热量增加,冷板制造技术向更小特征尺寸演进,以实现更高效散热。
·Skived Fin:最小特征尺寸约150微米。
·激光粉末床熔融:最小特征尺寸100-150微米。
·电化学增材制造:最小特征尺寸可小于50微米。
Mega AALC过滤器设计要求:
·颗粒尺寸:过滤器截止尺寸必须不大于冷板翅片间隙的一半,以阻挡潜在污染物。
·过滤效率(β值):β值应尽可能高,确保污染物在一个循环周期内被捕获。
·长期可靠性:高β值对于确保Mega AALC系统具备长期可靠性和持续稳定运行至关重要。
4)高可用性与维护性

设计关键点:构建AALC时,需考虑以下三个关键点以实现高可用性:
·热插拔设计:支持快速维护的风扇和泵模块,可热插拔。
·UPS系统与应急计划:为备份电源提供不间断电源系统和应急计划。
·冷却液监控系统:用于检查冷却液状态,确保系统可靠性。
系统可用性参数:
·m:任务成功所需单元数。
·n:在线活动单元总数(n = m + 冗余数)。
·MTBF:平均无故障时间,需具备热插拔功能。
·Mct:平均纠正维护时间,即服务停机时间。
3. 测试指南与设备

现有AALC产品测试结果:常见AALC产品通常提供两类测试结果:
·热性能测试结果:不同风量下,热负载(kW)与逼近温度(°C)的关系。
·液冷冷却液测试结果:不同LPM/kW下,流量(LPM)与压力(PSI)的关系。
未来AI芯片冷却需求:冷却需求将不限于1.5 LPM/kW,建议测试要求高于此值。

AALC验证测试计划:为获得整体AALC性能,提出以下三类测试:
·气流测试:使用机架级风洞,每10%占空比测量风扇墙性能。
·热性能测试:使用步入式环境试验箱模拟数据中心环境。
·测试条件:服务器入口液体温度35°C,流量1.5 LPM/kW,环境温度30°C。
·PQ曲线测试:使用可调阀门测试不同阻抗下的性能。
测试目的:这些测试共同帮助真实测试Mega AALC的工作包络线,以应对AI负载。
4. 现有数据中心的物流规划

物流关键性:当扩展到整机柜系统或模块系统时,物流变得至关重要。
包装要求:需要更坚固的木质包装和防震托盘。
部署协助:在数据中心内部署时需要相应协助,以支持Mega AALC的部署。
楼层承重限制:需考虑数据中心楼层承重限制,设计值需低于1600 kg/m²。
设计考量:未来Mega AALC设计需始终考虑这些物流因素。
五、行动倡议
参与邀请:邀请解决方案提供商和客户参与,共同定义指南并推动能力提升。
六、知识小结
|-------------------|------------------------------------------------|------------------------------------------------------------|----------------------------------|---------------------------------------------------|
| 型号 | 功能亮点 | 技术参数 | 适用场景 | 竞品对比 |
| Mega ALC(空气-液体冷却) | 从低功率密度向高功率密度机架过渡的解决方案;采用AC供电风扇和AC泵,效率提升30%-40% | 当前机架功率密度:120-150 kW/rack → 未来3-5年:1 MW/rack;TDP高达400 W/cm² | 高功率密度AI数据中心;现有数据中心空间利用(空置机架空间填充) | 与混合冷却(radiator/侧车)对比:AC泵+风扇效率比DC泵+风扇高10%(150 kW时) |
| Mega ALC(乐高模块化设计) | 模块化可扩展设计(2-3机架宽度模块可倍增);支持半兆瓦到1兆瓦机架功率密度 | 半兆瓦机架:3-4个热交换器;1兆瓦机架:20个热交换器;未来(2027-2030)扩展到10机架宽度 | 现有数据中心升级;适应快速变化的机架功率密度需求 | 传统侧车方案:2机架宽度固定;Mega ALC:灵活增减热交换器和泵机架 |
| Mega ALC(AC模块) | AC泵和AC风扇提供更高功率密度和性能;支持未来AI芯片更高TDP | 冷却液需求:1.5 LPM/kW;过滤器精度:≤25微米;CDP(冷却液分配板)压降:550微米 | 下一代AI芯片(更高TDP);需要更高可靠性和持续服务的数据中心 | DC模块:达到极限;AC模块:在相同占地面积下提供更高性能 |
| Mega ALC(设计关键点) | 高可维护性(热插拔风扇/泵模块);UPS电源交互;冷却液监控系统 | 气流测试:机架级风洞;热测试:工作腔模拟数据中心条件;PQ曲线:可调阀门测试不同阻抗 | 最小化停机时间;确保长期可靠性 | 传统方案:缺乏模块化热插拔和实时监控 |
|------|----------------------------|-------------------|-----------|
| 对比维度 | 传统方案 | Mega ALC方案 | 优势 |
| 时间线 | 数据中心建设需3-6年(场地准备、设计、审批、施工) | 利用现有空间,快速部署(模块化) | 与芯片技术迭代同步 |
| 功率密度 | 当前:80-120 kW/rack | 未来:0.5-1 MW/rack | 提升5-10倍 |
| 冷却效率 | 混合冷却(80%液冷+20%风冷) | 98%-100%液冷 | 消除效率差距 |
| 电源效率 | DC泵+风扇(效率较低) | AC泵+风扇(效率高10%) | 降低功耗 |
| 可扩展性 | 固定2机架宽度 | 乐高模块化(2-3机架模块可倍增) | 灵活适应需求变化 |
| 维护性 | 传统维护方式 | 热插拔模块+实时监控 | 减少停机时间 |
ketnoye+演讲视频(中文字幕)已上传至星球!