QSFP-DD MSA定义了行业中最高端口密度、400GbE光模块模块的封装形式，目前规范已经更新至V4.0版本。针对1U 36口的设备来说，可以提供高达14Tb/s带宽的能力。随着带宽的增加，成本也随之增加。而一个36×400GbE的设备，光模块温度需要在保持在70℃，整个设备光模块热耗高达504W（36口×14W）。这还不包括电源、CPU和交换芯片等。因此，热设计就显得非常重要。

本文将研究:

• QSFP-DD设计中影响热性能的因素

• 1U交换机（32口、单个光模块14W）的热设计

• Samtec Inc.的热解决方案

  2用于大功率、高密度应用的QSFP-DD保持架和散热器的热设计

随着支持32口×400GbE的以太网交换芯片的推出，系统设计的重点成为了QSFP-DD光模块的散热设计。虽然Samtec的业务不是设计和制造QSFP-DD模块，但我们的业务是设计和制造QSFP-DD MSA兼容连接器，鼠笼以及散热器的应用。在很大程度上，Samtec将重点关注影响设计的因素，同时尽可能保留设计的灵活性和与不同模块体系结构的兼容性。

本文将讨论QSFP-DD设计中影响热性能的因素。

光收发器产生的大部分热量来自于光器件。由于模块内激光器的热敏感性，需要将尽可能多的热量传递到散热器。为此，热路径需要优化。一般来说，需要具备以下特点:

1. 光器件需要位于QSFP-DD贴近散热器的一侧。

2. 光器件需要尽可能地集中在模块到散热器热窗口的位置。

3.壳体需要尽可能靠近光器件，以利用壳体材料的高导热性。

4.使用高性能界面材料。注意，对于那些导热系统和压缩量相关的界面材料而言，在不损害光模块的情况下设计最大的压缩量

5. 顶部壳体与散热器之间的界面热阻要最小。这包括减小模块顶部壳体和散热器接触面的表面粗糙度。还包括使界面法向力最大，以达到尽可能多的微观变形。

6. 散热片的高度和长度必须达到设计外壳所允许的最大限度。

7. 散热器翅片的厚度和间距需要根据流速和允许的压降进行优化。

8. 翅片周围的气流旁路需要最小化。

9. 交换机内的发热子系统需要按灵敏度的升序排列，即环境对光模块、交换芯片、CPU、电源模块。

图 1 – Heat Sources and Transfer Paths: (I) Single Sided Configuration, (II) Dual Sided (Mezzanine) Configuration; Heat Sources (1) Controller Device, (2) Optic Engine; Heat Transfer Paths (A) to Heat Sink, (B) to Printed Circuit Board, (C) to QSFP-DD connector, (D) sides of cage.

光器件包括激光驱动器、激光器、超单脉冲放大器(TIA)、光电二极管、透镜和局部热管理组件。设计中，影响最大的是温度规格最低的器件，通常是激光器。虽然各厂家都在提高激光器阵列的工作温度，但激光器的目标最高工作温度一般为70℃。

QSFP-DD MSA将功率级别设置为表1所示，热范围分类如表2所示。系统级设计的目标是每个模块热耗14W时保持最高70°C。

如图1，有四种途径可以传到光模块的热量。

路径(A)为主要路径，热量从光器件传递到热界面材料，再到光模块上壳体，再到散热器，然后会通过散热器的气流带走热量。

路径(B)是二次路径，热量通过光器件的PCB传递到下壳体，然后再到系统PCB。

路径(C)是从光器件通过模块PCB传导到光模块连接器，然后再到系统板。

路径(D)是从光器件沿模块PCB的侧面横向穿过到外壳的侧面，然后辐射到鼠笼的侧壁，然后热量要么传导到系统PCB，要么按照惯例从鼠笼的侧壁耗散。

以铝挤散热器的性能为基准，采用加热块模拟QSFP-DD光模块，进行了相关研究。通过对模块的精确测量，建立QSFP-DD的实体模型。基本结构是包含一个PCB及前后区域的发热块。(图2)PCB背面有一个连接器，连接到一个控制器，用于加热和控制电阻。热量通过4块热界面材料传递到QSFP-DD壳体上。

图 2. – Multilane QSFP-DD Heater Module: (A) Upper Shell, (B) PCB, (C) Lower Shell, (D1-D4) Thermal Interface Material, (E1-E2) resistor banks for heating on both sides of module PCB, (TC1- TC3) are the thermocouple locations for physical testing.

图3描述了研究的测试设置。它是4个Samtec FQSFP-DD的背对背鼠笼。加热器模块被激发到7W:3W在前组(E1)发热电阻上，4W在后组(E2)发热电阻上。

图 3. – Test Setup: (A) Samtec FQSFP-DD Cage connector and heatsink, (B) Multilane QSFP- DD heater modules excited to 7 Watts, (C) 80% Open Grill, (D) Direction of Airflow which is 800LFM measured at a cross section about (E).

图4显示了模块/鼠笼/散热器组件内的温度分布图。热量没有有效地传递到壳体上，也没有直接流向模块/散热器之间

图 4. – Temperature profile from simulation

如图5所示，加热器的设计是存在一些缺陷的。主要的问题是热量没有有效的分流到上壳体。在设计有源模块时，要确保外壳上的热点靠近模块/散热器。在加热模块中，最直接的热路径是到下壳体。由于热界面材料不同的压缩速率和厚度。(D3)和(D4)的导热性比(D1)和(D2)好得多。根据Dynacast数据，模块壳体中常用的合金Zamak 3的导热系数为113 W/m-K。大约是TIM导热系数的100倍(表3)。外壳应该更好地用来转移热量。

图 5. – Cross Section of Multilane QSFP-DD Heater Module: (A) Upper Shell, (B) PCB, (C) Lower Shell, (D1-D4) Thermal Interface Material, (E1-E2) resistor banks for heating on both sides of module PCB, (TC1-TC3) are the thermocouple locations for physical testing.

除加热器模块的结构限制外，翅片周围的气流旁路对传热也有很大的抑制作用。在图6中，我们可以看到旁路气流的速度在9 - 12m /s之间，而与翅片接触的气流速度在3 - 6m /s之间。

图 6. – Velocity profile from simulation

由于气流旁通问题，没有办法推断散热器的性能，实验再次运用独立模块，鼠笼和散热器。采用起一个空气隔离装置（图7）覆盖在测试装置上，使气流通道内翅片（图8）与它之间只留2mm空间。测试时，功耗在2W~14W之间调节，风量在1~7 cfm之间调节。图9的报告是将测试结果归一化为测点温度与环境入口温度之间的温差。使用图9，系统工程师可以在给定功率负载的情况下估算维持目标温度所需的流量。

图 7. – Second Test Setup: (A) SLA Air Shield; (B) SLA covers open grid; (C) lower grid was covered to force all airflow through (D).

图 8. – Second Test Setup: (A) SLA Air Shield; (B) SLA covers open grid; (C) lower grid was covered to force all airflow through (D).

图 9. - Results of Second Test: normalized to differential temperature between Thermocouple 2 (inside the upper shell) and the ambient inlet air temperature.

表4为仿真温度与实测温度的关系。实际测试结果优于仿真结果，表明仿真结果趋于悲观。

Facebook Wedge 100S是我们参考设计的基础原型。(图10)该系统的设计和规范由Open Compute项目提供。Samtec参考该设计规范(图11)将每个主要子系统按照要求进行设计。该规范允许通过线缆将高速信号从IO模块连接到交换芯片，从而提高了信号的完整性。此外还允许通过组件改进空气流量控制，从而更好地管理温度。

图 10. – Top View of Facebook Wedge 100S. From Facebook Wedge 100S Rev 1.3, Figure 3, January 2017.

图 11. – Conceptual Architecture: (A) Fans (B,C) Power Supply Units, (D) Switching ASIC Module, (E) CPU and Power Distribution Module, (F) IO Module with 32 Samtec FQSFP-DD routed via 34 AWG twinax cable to the (D) switch ASIC.

图12显示了模块如何将气流划分为上层气流和下层气流。IO模块到交换芯片的线缆通过组件固定在电源/CPU及钣金件之间。这样做可以减小因线缆引起的压损。

图 12. – Air flow paths: (1) Upper Route; (F) through the FQSFP-DD, bypass the CPU board (E) by a cable management panel, through the ASIC Heatsink (D), and through the Fan (A): (2) Lower Route; (F) through the FQSFP-DD, cooling CPU board (E), bypassing the ASIC Heatsink (D), and through the Fan (A).

该系统的首要问题是风扇的风量，需要提供足够的风量来冷却FQSFP-DD的。图13为Delta gfb0412ehss - da06的PQ曲线，这是Facebook Wedge 100S OCP规范中推荐的。假设压头在0.5到2 inH20之间，流量范围大约为20到30 CFM。整个系统流量约为100至150 CFM，分配到每个QSFP-DD模块，大概3.2至4.7 CFM。如图9所示，对于14W的QSFP-DD模块，目标温度为70℃，环境温度在40℃到45℃之间。

图 13. – PQ Curve for counter rotating fan Delta GFB0412EHS-DA06

为了更准确地预测压降，确定速度场和相应的温度，我们进行了仿真。图15显示了FQSFP-DD上层的速度场。FQSFP-DD散热器区域风速约为12.3 m/s，等于2.74 cfm。如图9所示，在14W和2.74 cfm时，我们应该看到环境温度升高了31℃左右。而仿真结果表明，环境温度升高29-31℃，与图中结果吻合较好。

为了进一步优化散热，采用了两种策略。首先是增加散热器的表面积，其次是增加通过散热器的流速。为了增加表面积，翅片进行了重新合计(图14)，翅片的数量增加一倍以上。然而，通过增加翅片的数量，由于表面阻力的增加，空气流量可能会减少，因此需要重新选择风扇。图15显示了Digikey提供的各种风扇的PQ曲线的比较。之所以选用三洋9CRH0412P5J001，是因为即使压降增加，随着压力的增加，三洋风扇的流量几乎不会减少。

图 14. – Zip Fin Heatsink

图 15. – Comparison of various 40mm X 40mm X 56mm Fan PQ Curves.

仿真结果(表5)显示，温升仅仅11.8℃，即使应用环境温度要求为55℃时，还有一定余量。

图 16. – Velocity Simulation Results, Samtec modular switch architecture.

Samtec的新型散热器和鼠笼设计，可以采用更多的创新手段。例如可以利用热管将热量传递到副散热器上；再例如可以用TEC来把模块中的热量转移出去。甚至可以考虑采用液冷来转移热量。

我们正在对散热器的Zip Fin版本进行原型化，并计划对散热器进行特性描述，并生成类似于图9的性能图。

Samtec的FQSFP-DD定位独特，不仅从带宽上，而且从热的角度，都能满足各种应用的需求。我们具备各种散热器翅片形式、热管、液冷等多种散热解决方案能力。同时，我们也广泛开展合作，不断提升FQSFP-DD应用上的竞争力。