Vollständig flüssigkeitsgekühlter Cold Plate Server

 

Um die Entwicklung der Flüssigkeitskühlungstechnologie weiter voranzutreiben und das Ökosystem weiterzuentwickeln, hat sich Inspur Information in Zusammenarbeit mit Intel auf die Optimierung von Flüssigkeitskühlungsdesigns für universelle Hochdichteserver konzentriert.

 

Neben der weitverbreiteten Einführung der CPU- und GPU-Flüssigkeitskühlung in der Branche wurden eingehende Untersuchungen und Forschungen zur Flüssigkeitskühlung für Hochleistungsspeicher, Solid-State-Laufwerke (SSDs), OCP-Netzwerkkarten, Netzteile, PCIe-Karten und optische Module durchgeführt.

 

Durch diese Bemühungen wurde die höchste Flüssigkeitskühlungsabdeckung der Branche erreicht, verschiedene Bereitstellungsanforderungen für verschiedene Ebenen der Flüssigkeitskühlungsabdeckung erfüllt und allgemeine Infrastrukturfunktionen sowie vielfältiger technischer Support für Kunden in Branchen wie Internet und Telekommunikation bereitgestellt.

 

Diese Entwicklung eines vollständig flüssigkeitsgekühlten Cold-Plate-Systems basiert auf dem 2U-Vierknoten-Hochdichte-Rechenserver i24 von Inspur Information. Jeder flüssigkeitsgekühlte Knoten unterstützt zwei Intel Xeon Scalable-Prozessoren der 5. Generation, gepaart mit 16 DDR5-Speichermodulen, einer PCIe-Erweiterungskarte und einer OCP 3.0-Netzwerkkarte. Das gesamte System kann bis zu acht SSDs unterstützen und erfüllt so die Speicheranforderungen der Kunden bei gleichzeitig hoher Rechenleistung.Zu den wichtigsten wärmeerzeugenden Komponenten des Servers zählen die CPU, der Speicher, die E/A-Karten, die lokalen Festplatten und die Gehäusestromversorgung.

 

Die Flüssigkeitskühlungslösung ermöglicht die direkte Ableitung von ca. 95 % der Systemwärme durch Flüssigkeit über den Kontakt der Kühlplatte mit der Wärmequelle. Die restlichen 5 % der Wärme werden durch das Kühlwasser im Luft-Flüssigkeits-Wärmetauscher hinter dem Netzteil abgeführt, wodurch auf Systemebene eine nahezu 100 %ige Flüssigkeitswärmeableitung erreicht wird.

 

 

I Systemzusammensetzung und Pipeline-Layout

 

1. Übersicht über das vollständig flüssigkeitsgekühlte Serversystem

Das 2U-Serversystem mit vier Knoten und vollständiger Flüssigkeitskühlung besteht aus Knoten, Gehäuse, Mittelplatine und SSD-Modulen. Die Verbindung zwischen Knoten und Gehäusekomponenten erfolgt über Blindsteckverbindungen für Wasser, Strom und Signale über Schnellverbinder, Strom- und Signalanschlüsse.

 

▲ Abbildung 1. 2U-Server mit vier Knoten und Vollwellenkühlung

 

2. Übersicht über den vollständig flüssigkeitsgekühlten Server-Einzelknoten

Der vollständig flüssigkeitsgekühlte Serverknoten besteht aus Knotengehäuse, Motherboard, CPU-Chips, Speichermodulen, Speicherkühlplatte, CPU-Kühlplatte, I/O-Kühlplatte, Netzteil und dem hinteren Wärmetauscher für das Netzteil.

 

▲ Abbildung 2. Vollständig flüssigkeitsgekühlter Serverknoten

 

 

II Auswahl des Strömungsmusters und Berechnung der Strömungsrate

 

Um die Komplexität des Strömungspfaddesigns zu vereinfachen, verwendet dieser vollständig flüssigkeitsgekühlte Server ein serielles Strömungspfaddesign für das Kühlmittel. Das Kühlmittel fließt zur Wärmeableitung von Komponenten mit geringem Stromverbrauch zu Komponenten mit hohem Stromverbrauch. Die detaillierte Strömungsrichtung ist im Diagramm und in der Tabelle unten dargestellt.

 

▲ Serienflusspfad eines 2U-Vierknoten-Servers mit vollständiger Flüssigkeitskühlung

 

▲ Tabelle 3. Kühlmittelflusssequenz

 

Die Durchflussmenge der vollständig flüssiggekühltengeführtServer mmuss den Kühlbedarf des Systems decken:

• Um die langfristige Zuverlässigkeit des sekundärseitigen Rohrleitungsmaterials zu gewährleisten, sollte die Rücklaufwassertemperatur auf der Sekundärseite 65 Grad nicht überschreiten.
• Um sicherzustellen, dass alle Komponenten des vollständig flüssigkeitsgekühlten Servers die Kühlanforderungen innerhalb der definierten Randbedingungen erfüllen, werden für die Durchflussraten-Designanalyse eine Kupferkühlplatte und PG25 ausgewählt.

 

Um die Anforderung zu erfüllen, dass die Rücklaufwassertemperatur auf der Sekundärseite 65 Grad nicht überschreitet, wird die Mindestdurchflussrate von PG25 pro Knoten, Qmin, mithilfe der folgenden Formel berechnet:

 

Qmin=Psys / (ρ * C * ∆T) ≈ 1,3 LPM

 

 

III Design der Hauptkomponenten der vollständig flüssigkeitsgekühlten Server-Kühlplatte

 

1. CPU-Kühlplattendesign

Das CPU-Kühlplattenmodul ist ein Referenzdesign, das auf Grundlage der Kühlplattendesignanforderungen für Intels Xeon Scalable-Prozessoren der 5. Generation optimiert wurde. Dabei werden Faktoren wie Kühlung, strukturelle Leistung, Ertragsrate, Kosten und Kompatibilität mit verschiedenen Materialien berücksichtigt. Die CPU-Kühlplatte besteht hauptsächlich aus einer CPU-Kühlplatten-Aluminiumhalterung, einer CPU-Kühlplatte und Kühlplattenanschlüssen.

 

▲ Abbildung 4. CPU-Kühlplattenmodul

 

2. Design der Speicherflüssigkeitskühlung

Das Design der Speicherflüssigkeitskühlung verwendet eine innovative Flüssigkeitskühlungslösung mit Schwellenkühlkörper, benannt nach den Speichermodulen, die wie Schwellen auf einem Eisenbahngleis angeordnet sind. Diese Lösung kombiniert traditionelle Luftkühlung und Kaltplattenkühlung. Der Kühlkörper mit integrierten Wärmerohren (oder Platten aus reinem Aluminium/Kupfer, Vapor Chamber usw.) überträgt die Wärme von den Speichermodulen an beide Enden. Die Wärme wird dann über ausgewählte Wärmepads an die Kaltplatte übertragen, und schließlich leitet das Kühlmittel in der Kaltplatte die Wärme ab, wodurch die Speicherkühlung erreicht wird.

 

Speicher und Kühlkörper können in der kleinsten Wartungseinheit außerhalb des Systems zusammengebaut werden (im Folgenden als Speichermodul bezeichnet). Die Speicherkühlplatte verfügt über eine Speichermodul-Befestigungsstruktur, um einen guten Kontakt zwischen Kühlkörper und Speicherkühlplatte sicherzustellen. Diese Befestigungsstruktur kann mit Schrauben befestigt oder je nach Bedarf ohne Werkzeug gewartet werden. Die Oberseite der Speicherkühlplatte kühlt den Speicher, während die Unterseite andere wärmeerzeugende Komponenten auf dem Motherboard, wie z. B. VRs, kühlen kann. Um das Design der Speicherkühlplatte zu vereinfachen, kann zwischen Speicher und Motherboard eine Adapterhalterung entworfen werden, um den Höhenbeschränkungen verschiedener Motherboards gerecht zu werden.

 

▲ Abbildung 5. Flüssigkeitskühllösung mit Sleeper-Kühlkörper

 

Im Vergleich zu den auf dem Markt vorhandenen Flüssigkeitskühlungslösungen für Rohrspeicher bietet die Flüssigkeitskühlungslösung mit Sleeper-Kühlkörper die folgenden Hauptvorteile:

 

Einfache Wartung:Die Wartung des Speichers ist so einfach wie die eines luftgekühlten Speichermoduls, ohne dass Kühlkörper und Befestigungselemente entfernt werden müssen. Dies verbessert die Montageeffizienz und Zuverlässigkeit des flüssigkeitsgekühlten Speichers erheblich und reduziert potenzielle Schäden an Speicherchips und Wärmeleitpads während der Demontage und Neumontage im System.

 

Gute Kompatibilität:Die Wärmeableitungsleistung dieser Lösung wird durch unterschiedliche Speicherchipdicken und Speicherabstände nicht beeinträchtigt. Sie ist mit einem minimalen Speicherabstand von 7,5 mm und mehr kompatibel. Das entkoppelte Design von Kühlkörper und Kühlplatte ermöglicht die Wiederverwendung und Standardisierung der Speicherflüssigkeitskühlung.

 

Höhere Wirtschaftlichkeit:Der Speicherkühlkörper kann je nach Speicherstromverbrauch mit unterschiedlichen Prozessen und Kühltechnologien ausgewählt werden, und die Menge kann je nach Speicherbedarf konfiguriert werden. In einem Szenario mit 7,5 mm Speicherabstand kann er den Kühlbedarf von Speichermodulen über 30 W decken.

 

Einfache Herstellung und Montage:Zwischen den Speichersteckplätzen befinden sich keine Flüssigkeitskühlschläuche, sodass aufwändiges Rohrschweißen und Prozesskontrolle überflüssig sind. Es können die herkömmlichen Herstellungsverfahren für luftgekühlte Kühlkörper und allgemeine CPU-Kühlplatten verwendet werden. Bei der Montage des Kühlkörpers ist die Wärmeableitungsleistung nicht empfindlich gegenüber Toleranzen zwischen dem Kühlkörper und der Hauptplatine in der Richtung senkrecht zur Speicherchipebene, wodurch ein schlechter Wärmekontakt vermieden und die Montage erleichtert wird.

 

Gute Zuverlässigkeit:Die Sleeper-Flüssigkeitskühlungslösung verhindert mögliche Schäden an Speicherchips und Wärmeleitpads während der Montage und hält mehrfachem Einsetzen und Entfernen stand. Darüber hinaus verhindert sie das Risiko eines Signalkontaktfehlers, der durch ein Verkanten zwischen Speicher und Steckplätzen nach der Installation der Speicher- und Schlauchflüssigkeitskühlungslösungen verursacht wird, wodurch die Systemzuverlässigkeit erheblich verbessert wird.

 

3. Design der Festplattenflüssigkeitskühlung

Die innovative Flüssigkeitskühlungslösung für Solid-State-Laufwerke (SSDs) verwendet einen Kühlkörper mit integrierten Wärmerohren, um die Wärme durch direkten Kontakt mit Wärmeleitpads vom Festplattenbereich auf die Kühlplatte außerhalb des Festplattenbereichs zu übertragen und so einen Wärmeaustausch zu erreichen.

 

Diese SSD-Flüssigkeitskühlungslösung besteht hauptsächlich aus einem SSD-Modul mit Kühlkörper, einer SSD-Kühlplatte, einem Verriegelungsmechanismus für das Festplattenmodul und einer Festplattenhalterung. Der Verriegelungsmechanismus des Festplattenmoduls ist an der Festplattenhalterung befestigt, um eine angemessene Vorspannkraft bereitzustellen und so eine langfristige Kontaktzuverlässigkeit zwischen dem SSD-Modul und der SSD-Kühlplatte sicherzustellen. Um die Installation der Festplatten-Kühlplattenschleife auf engstem Raum zu erleichtern, ist die Festplattenhalterung mit einer schubladenartigen Installationsmethode in Tiefenrichtung des Servers ausgestattet.

 

▲ Abbildung 6. Innovative Flüssigkeitskühlungslösung für Solid-State-Laufwerke

 

Zu den erweiterten Funktionen dieser Lösung im Vergleich zu bestehenden Flüssigkeitskühlungsversuchen für Festplatten in der Branche zählen:

 

• Unterstützt über 30 Hot-Swaps ohne Ausschalten des Systems.
• Keine Gefahr von Scherschäden an den Wärmeleitmaterialien während der Festplatteninstallation; das Design des Verriegelungsmechanismus gewährleistet langfristige Kontaktzuverlässigkeit.
• Geringe Verarbeitungsanforderungen für die Flüssigkeitskühllösung; es werden nur herkömmliche Luftkühlungs- und CPU-Kühlplattenverarbeitungstechniken benötigt.
• Kein Wasserschutz zwischen den Festplatten; mehrere Festplatten können die gleiche Kühlplatte gemeinsam nutzen, wodurch die Anzahl der Verbindungen reduziert und das Risiko von Lecks gesenkt wird.
• Passt sich flexibel an Systeme mit unterschiedlichen Dicken und Mengen an Solid-State-Laufwerken (SSDs) an.

 

4. PCIe/OCP-Karten-Flüssigkeitskühlungsdesign

 

PCIe-Flüssigkeitskühllösung

Die Flüssigkeitskühlungslösung für PCIe-Karten basiert auf der vorhandenen luftgekühlten PCIe-Karte. Sie erreicht die Kühlung des optischen Moduls und der Hauptchips auf der PCIe-Karte durch die Entwicklung eines PCIe-Kartenkühlmoduls, das mit der Systemkühlplatte in Kontakt treten kann. Die Wärme vom optischen Modul wird über Wärmerohre an das Hauptkühlmodul auf dem PCIe-Kartenchip übertragen, und das Kühlmodul tauscht dann über ein geeignetes thermisches Schnittstellenmaterial Wärme mit der IO-Kühlplatte aus.

 

Die flüssigkeitsgekühlte PCIe-Karte besteht hauptsächlich aus einem QSFP-Kühlkörperclip, einem PCIe-Chip-Kühlmodul und der PCIe-Karte selbst. Der QSFP-Kühlkörperclip ist mit der entsprechenden Elastizität ausgestattet, um ein ordnungsgemäßes Schweben zu gewährleisten, wenn der QSFP-Kühlkörper und der Käfig auf dem PCIe-Kühlmodul verbunden werden. Dies sorgt für ein gutes Benutzererlebnis, vermeidet Schäden am optischen Modul und gewährleistet einen stabilen Kontakt für eine effektive Kühlung.

 

▲ Abbildung 7. PCle-Karten-Flüssigkeitskühlungsmodul

 

OCP3.0 Flüssigkeitskühllösung

Die Flüssigkeitskühlungslösung der OCP3.0-Karte ähnelt der PCIe-Karte, bei der für die OCP3.0-Karte ein benutzerdefinierter flüssigkeitsgekühlter Kühlkörper verwendet wird. Die von den Chips auf der Karte erzeugte Wärme wird auf den flüssigkeitsgekühlten Kühlkörper übertragen und schließlich durch den Kontakt zwischen dem Kühlkörper und der IO-Kühlplatte des Systems abgeleitet.

 

Das OCP3.0 Flüssigkeitskühlmodul besteht hauptsächlich aus dem Kühlkörpermodul, der OCP3.0-Karte und ihrer Halterung. Aus Platzgründen wird eine Federschraube als Verriegelungsmechanismus verwendet, um nach der Montage der flüssigkeitsgekühlten OCP3.0-Karte eine langfristige Kontaktzuverlässigkeit zwischen dem Kühlkörpermodul und der IO-Kühlplatte zu gewährleisten.

 

▲ Abbildung 8. OCp3.0 Flüssigkeitskühlungsmodul

 

Im Hinblick auf die einfache zukünftige Wartung und die Notwendigkeit mehrerer Hot-Swaps der OCP3.0-Karte wurden das Design des Verriegelungsmechanismus und die Auswahl der Wärmeleitmaterialien optimiert, um die allgemeine Zuverlässigkeit sowie die Benutzerfreundlichkeit bei Betrieb und Wartung zu verbessern.

 

IO-Kühlplattenlösung

Die IO-Kühlplatte ist eine multifunktionale Kühlplatte, die nicht nur Wärme von den Heizkomponenten im IO-Bereich des Motherboards ableitet, sondern auch die flüssigkeitsgekühlte PCIe-Karte und die flüssigkeitsgekühlte OCP3.0-Karte kühlt.

 

▲ Abbildung 9. lO-Kühlplatte

 

▲ Abbildung 10. Position der flüssigkeitsgekühlten PCle-Karte, des flüssigkeitsgekühlten OCP3.0 und der IO-Kühlplatte

 

Die IO-Kühlplatte besteht hauptsächlich aus dem IO-Kühlplattenkörper und den Kupferrohrkanälen. Der IO-Kühlplattenkörper besteht aus einer Aluminiumlegierung, während die Kupferrohre für die Kühlflüssigkeitskanäle und die Verbesserung der Wärmeableitung verantwortlich sind. Das spezifische Design muss basierend auf dem Motherboard-Layout und den Anforderungen an die Komponentenkühlung optimiert werden. Die Kühlkörpermodule auf der flüssigkeitsgekühlten PCIe-Karte und der flüssigkeitsgekühlten OCP3.0-Karte berühren die IO-Kühlplatte entlang der Pfeilrichtung. Bei der Materialauswahl für die Kühlflüssigkeitskanäle muss die Kompatibilität mit der Rohrleitungskühlflüssigkeit und den Benetzungsmaterialien des Systems berücksichtigt werden.

 

Diese IO-Kühlplatten-Flüssigkeitskühlungslösung erfüllt die mehrdimensionalen Montageanforderungen mehrerer Komponenten. Die gemischte Verwendung von Kupfer- und Aluminiummaterialien behebt Probleme der Materialkompatibilität, gewährleistet Kühleffizienz, trägt zur Gewichtsreduzierung der Kühlplatte um 60 % bei und senkt die Kosten.

 

5. Design der Kühlplatte des Netzteils

Bei der Flüssigkeitskühlungslösung für das Netzteil wird die Abluft des Netzteillüfters durch den Anschluss eines externen Luft-Flüssigkeits-Wärmetauschers an das vorhandene luftgekühlte Netzteil gekühlt. Dadurch wird die Vorerwärmung der externen Rechenzentrumsumgebung durch das System reduziert.

 

Der hintere Wärmetauscher des Netzteils hat eine mehrschichtige Struktur mit übereinander gestapelten Kanälen und Lamellen. Die Größe des hinteren Wärmetauschers des Netzteils muss Kühlanforderungen, Gewicht und Kosten berücksichtigen und gleichzeitig sicherstellen, dass er die Funktion zum Einstecken/Entfernen des Netzkabels nicht beeinträchtigt und die Platzbeschränkungen des Systemschranks einhält. Der hintere Wärmetauscher des Netzteils ist unabhängig an der Knotenhalterung montiert.

 

▲ Abbildung 11. Wärmetauscher hinten am Netzteil

 

Diese innovative Flüssigkeitskühlungslösung für Netzteile macht die Entwicklung neuer flüssigkeitsgekühlter Netzteile überflüssig, verkürzt den Entwicklungszyklus und senkt die Entwicklungskosten. Dank ihrer hervorragenden Vielseitigkeit lässt sie sich flexibel an Netzteillösungen verschiedener Anbieter anpassen und spart so mehr als 60 % im Vergleich zu kundenspezifischen flüssigkeitsgekühlten Netzteilen.

 

Bei Anwendungen mit ganzen Schränken kann die Flüssigkeitskühlung des Netzteils auch eine zentrale Luft-Flüssigkeits-Wärmetauscherlösung nutzen. Dabei werden die Vorder- und Hintertüren des Schranks abgedichtet und ein zentraler Luft-Flüssigkeits-Wärmetauscher am Boden des Schranks platziert. Die verteilte Luft-Flüssigkeits-Wärmetauscherstruktur hinter dem Netzteil wird durch eine zentrale ersetzt.

 

Der zentralisierte Luft-Flüssigkeits-Wärmetauscher besteht aus gewellten Aluminiumrippen, die mit einer hydrophilen Schicht beschichtet sind, um den Wärmeaustausch zu verbessern, kombiniert mit Kupferrohren mit hohem Wärmeübergangskoeffizienten. Er kann mindestens 8 kW Kühlleistung bei einem Temperaturunterschied von 10 Grad bereitstellen. Der Strömungsweg des Wärmetauschers wird durch Simulation optimiert, um mehr Strömung bei geringem Widerstand zu bewältigen. Er verfügt über ein Antikondensationsdesign und eine umfassende Leckerkennung, um Sicherheitsrisiken auszuschließen. Ein spezielles Scharnierdesign erfüllt hohe Belastungsanforderungen und ein Kartensteckplatz-Verbindungsdesign erleichtert Installation und Wartung.

 

Da über 95 % der Wärme eines einzelnen flüssigkeitsgekühlten Servers von der Kühlplatte verwaltet werden, müssen weniger als 5 % der Wärme vom Luft-Flüssigkeits-Wärmetauscher bewältigt werden. Jeder Knoten benötigt nur 40-50 W Luft-Flüssigkeits-Wärmetauscher, und ein einzelner zentralisierter Luft-Flüssigkeits-Wärmetauscher unterstützt 8 kW Wärmetauschleistung und ermöglicht die Kühlung von nicht weniger als 150 Knoten zu weitaus geringeren Kosten als 150 verteilte Luft-Flüssigkeits-Wärmetauscher.

 

Bei dieser Lösung können die Netzteile des Servers unverändert bleiben. Die erzeugte Wärme wird vom zentralen Luft-Flüssigkeits-Wärmetauscher an der Rückseite des Gehäuses gesammelt und gleichmäßig ausgetauscht. Die Wärme bildet einen geschlossenen Kreislauf im Gehäuse und hat keine Auswirkungen auf die Umgebung des Rechenzentrums. So wird wirklich „Rack as a Computer“ erreicht.