Revolution der vollständig flüssigkeitsgekühlten Server Effiziente Kühllösungen für CPU, Speicher und PCIe

 

Vor dem Hintergrund des 14. Fünfjahresplans Chinas, der die Entwicklung der digitalen Wirtschaft betont, dienen Rechenzentren als zentrale Infrastruktur zur Unterstützung der digitalen Transformation, sie sind jedoch auch einem erheblichen Druck durch Kohlenstoffemissionen ausgesetzt. Mit dem Anstieg des Stromverbrauchs von Chips und Servern steigt die Leistungsdichte pro Rack, und die herkömmliche Luftkühlung stößt hinsichtlich der Wärmeableitung und Energieoptimierung allmählich an ihre Grenzen.

 

▲ Rechenzentren

 

Bei der Flüssigkeitskühlung, einer neuen Kühltechnologie, wird flüssiges Kühlmittel verwendet, um die von den Komponenten erzeugte Wärme abzuleiten. Im Vergleich zur Luftkühlung bietet die Flüssigkeitskühlung mehrere Vorteile, darunter die Unterstützung von Hochleistungschips, eine längere Chip-Lebensdauer, eine geringere PUE (Power Usage Effectiveness) von Rechenzentren, eine verbesserte Wärmeübertragungseffizienz, weniger Hitzestellen, die Unterstützung höherer Rack-Dichten, weniger Lärm und eine bessere Anpassungsfähigkeit an die Umwelt. Daher wird die Flüssigkeitskühlung ein wichtiger Bestandteil des Rechenzentrumsbaus der Zukunft sein und ist entscheidend für die Erreichung der Ziele „Green Computing“ und „Kohlenstoffneutralität“.

 

Die Knoten vollständig flüssigkeitsgekühlter Server bestehen aus einem Knotengehäuse, einer Hauptplatine, CPU-Chips, Speichermodulen, Speicherkühlplatten, CPU-Kühlplatten, IO-Kühlplatten, Netzteilen und Netzteil-Wärmetauschern.

 

 

I CPU-Kühlplattendesign

 

Das CPU-Kühlplattenmodul wurde basierend auf den Anforderungen für die skalierbare Intel Xeon-Prozessorkühlplatte der 5. Generation entwickelt. Dabei werden Faktoren wie Wärmeableitung, strukturelle Leistung, Ertrag, Kosten und Kompatibilität mit verschiedenen Materialien im Kühlplattendesign berücksichtigt, was zu einem optimierten Referenzdesign führt. Die CPU-Kühlplatte besteht hauptsächlich aus einer Aluminiumhalterung, einer Kühlplatte und Kühlplattenanschlüssen.

 

▲ CPU-Kühlplatte

 

 

II Speicherflüssigkeitskühlungsdesign

 

Das Design der Speicherflüssigkeitskühlung verwendet einen innovativen Kühlkörper mit „Schienenschwellen“-Flüssigkeitskühlung, der nach seiner Ähnlichkeit mit den Schwellen auf Eisenbahnschienen benannt ist, wenn die Speichersteckplätze voll belegt sind. Dieses Design kombiniert traditionelle Luftkühlung mit Kaltplattenkühlung. Der Kühlkörper, der Wärmerohre enthält (oder aus reinem Aluminium/Kupfer, VaporChamber usw. besteht), überträgt die Wärme vom Speicher an beide Enden, die dann über ausgewählte Wärmeleitpads mit der Kaltplatte in Kontakt kommen, sodass das flüssige Kühlmittel in der Kaltplatte die Wärme abführen kann.

 

Der Speicher und der Kühlkörper können mithilfe von Vorrichtungen außerhalb des Systems zu einer wartungsarmen Einheit (Speichermodul genannt) zusammengebaut werden. Die Speicherkühlplatte ist so konstruiert, dass ein guter Kontakt zwischen dem Kühlkörper und der Speicherkühlplatte gewährleistet ist. Diese Struktur kann bei Bedarf mit Schrauben befestigt oder ohne Werkzeug gewartet werden. Die Oberseite der Speicherkühlplatte kühlt den Speicher, während die Unterseite andere wärmeerzeugende Komponenten auf der Hauptplatine, wie z. B. VR, kühlen kann, wodurch die Speicherkühlplatte optimal genutzt wird. Um das Kühlplattendesign zu vereinfachen, kann eine Adapterhalterung zwischen Speicher und Hauptplatine eingesetzt werden, um den Höhenabstand verschiedener Hauptplatinen zu erfüllen.

 

▲ Speicherkühlplatte

 

Im Vergleich zu den auf dem Markt vorhandenen rohrbasierten Flüssigkeitskühlungslösungen bietet das „Rail Tie“-Flüssigkeitskühlungsdesign die folgenden Vorteile:

 

Einfache Wartung:Während der Speicherwartung wird das Speichermodul wie ein luftgekühltes Speichermodul gewartet, ohne dass Kühlkörper und Befestigungselemente entfernt werden müssen. Dies verbessert die Montageeffizienz und -zuverlässigkeit erheblich und reduziert potenzielle Schäden an Speicherchips und Wärmeleitpads während der Installation und Entfernung.

 

Gute Kompatibilität: TDie Kühlleistung wird durch unterschiedliche Speicherchipdicken oder -abstände nicht beeinträchtigt. Die Lösung unterstützt einen minimalen Speicherabstand von 7,5 mm und ist aufwärtskompatibel. Das entkoppelte Design von Kühlkörper und Kühlplatte ermöglicht die Wiederverwendung und Standardisierung von flüssigkeitsgekühltem Speicher.

 

Höhere Wirtschaftlichkeit:Der Kühlkörper kann je nach Speicherstromverbrauch ausgewählt werden, und die Anzahl der Kühlkörper kann entsprechend den Speicheranforderungen konfiguriert werden. Bei einem Speicherabstand von 7,5 mm kann diese Lösung den Kühlbedarf von Speichermodulen mit einem Stromverbrauch von über 30 W erfüllen.

 

Einfach herzustellen und zu montieren:Zwischen den Speichersteckplätzen befinden sich keine Flüssigkeitskühlschläuche, sodass aufwändiges Schweißen und Prozesskontrolle der Schläuche nicht erforderlich sind. Der Kühlkörper kann mit herkömmlichen Luftkühlungs- und Standard-CPU-Kühlplatten-Herstellungsverfahren hergestellt werden. Die Wärmeleistung ist nicht empfindlich gegenüber den Toleranzen zwischen Kühlkörper und Motherboard in der Richtung senkrecht zur Speicherchipebene, was die Montage erleichtert.

 

Hohe Zuverlässigkeit:Das „Rail Tie“-Flüssigkeitskühlungsdesign verhindert mögliche Schäden an Speicherchips und Wärmeleitpads während der Montage und erfüllt die Anforderungen für mehrfaches Einsetzen/Entfernen. Darüber hinaus wird das Risiko von Signalkontaktproblemen zwischen Speicher und Sockeln aufgrund von Fehlausrichtung eliminiert, was die Systemzuverlässigkeit erheblich verbessert.

 

 

III SSD-Flüssigkeitskühlungsdesign

 

Die innovative SSD-Flüssigkeitskühlungslösung leitet die Wärme vom SSD-Bereich über einen Kühlkörper mit integrierten Wärmerohren ab. Die Wärme wird dann durch direkten Kontakt mit Wärmeleitpads an die Kühlplatte außerhalb des SSD-Bereichs geleitet.

 

Diese SSD-Flüssigkeitskühlungslösung besteht hauptsächlich aus einem SSD-Modul mit Kühlkörper, einer SSD-Kühlplatte, einem Verriegelungsmechanismus für das SSD-Modul und einer SSD-Halterung. Der Verriegelungsmechanismus an der SSD-Halterung sorgt für eine ordnungsgemäße Vorspannung, um einen zuverlässigen Langzeitkontakt zwischen dem SSD-Modul und der Kühlplatte aufrechtzuerhalten. Um die Installation in beengten Räumen zu erleichtern, weist die SSD-Halterung in der Tiefe des Servers ein schubladenartiges Design auf.

 

▲ SSD-Flüssigkeitskühlungsdesign

 

Im Vergleich zu bestehenden SSD-Flüssigkeitskühlungsversuchen umfassen die Fortschritte dieser Lösung:

• Unterstützt über 30 Hot-Swap-Einfügungen/Entfernungen ohne Ausschalten.
• Keine Gefahr von Scherschäden an den Wärmeleitmaterialien während der SSD-Installation; der Verriegelungsmechanismus gewährleistet langfristige Kontaktzuverlässigkeit.
• Geringe Komplexität bei der Herstellung, da nur herkömmliche Prozesse zur Luftkühlung und CPU-Kühlplattenherstellung erforderlich sind.
• Keine Wasserwege zwischen den SSDs, sodass mehrere SSDs eine einzige Kühlplatte gemeinsam nutzen können. Dies reduziert die Anzahl der Anschlüsse und verringert das Risiko von Leckagen.
• Flexible Anpassung an unterschiedliche SSD-Dicken und Systemkonfigurationen.

 

 

IV NPCIe/OCP-Karten-Flüssigkeitskühlungsdesign

 

1. PCIe-Flüssigkeitskühllösung

Die Flüssigkeitskühlungslösung für PCIe-Karten basiert auf der vorhandenen luftgekühlten PCIe-Karte. Sie erreicht die Kühlung des optischen Moduls und der Hauptchips auf der PCIe-Karte durch die Entwicklung eines Kühlmoduls, das mit der Kühlplatte des Systems in Kontakt steht. Die Wärme vom optischen Modul wird über Wärmerohre an das Hauptkühlkörpermodul auf der PCIe-Karte übertragen, das die Wärme dann durch Kontakt mit der IO-Kühlplatte unter Verwendung geeigneter thermischer Schnittstellenmaterialien ableitet.

 

Die flüssigkeitsgekühlte PCIe-Karte besteht hauptsächlich aus einer QSFP-Kühlkörperklemme, einem PCIe-Chip-Kühlkörpermodul und einer PCIe-Karte. Die QSFP-Klemme muss ausreichend elastisch sein, um während der Installation einen ordnungsgemäßen schwebenden Kontakt zu gewährleisten. So wird eine Beschädigung des optischen Moduls verhindert und gleichzeitig ein guter Kontakt für eine optimale Kühlleistung sichergestellt.

 

▲ PCIe-Flüssigkeitskühlung

 

2. OCP 3.0 Flüssigkeitskühllösung

Die Flüssigkeitskühlungslösung der OCP 3.0-Karte ähnelt der PCIe-Karte. Sie passt einen Flüssigkeitskühlkörper für die OCP 3.0-Karte an und überträgt Wärme von den Hauptchips der Karte auf den Flüssigkeitskühlkörper. Die Wärme wird dann durch Kontakt zwischen dem Kühlkörper und der IO-Kühlplatte des Systems abgeführt.

 

Das OCP 3.0 Flüssigkeitskühlmodul besteht hauptsächlich aus einem Kühlkörpermodul, einer OCP 3.0 Karte und deren Halterung. Aus Platzgründen verwendet der Verriegelungsmechanismus Federschrauben, um eine langfristige Kontaktzuverlässigkeit zwischen dem Kühlkörpermodul und der IO-Kühlplatte zu gewährleisten.

 

▲ OCP 3.0 Flüssigkeitskühlung

 

Angesichts der Notwendigkeit einer einfachen Wartung und mehrfachen Hot-Swap-fähigen Einfügungen/Entfernungen der OCP 3.0-Karte wurden der Verriegelungsmechanismus und die Materialien der Wärmeschnittstelle optimiert, um die allgemeine Zuverlässigkeit und den Wartungskomfort zu verbessern.

 

 3. IO-Kühlplattenlösung 

Die IO-Kühlplatte ist eine multifunktionale Kühlplatte, die nicht nur die wärmeerzeugenden Komponenten im IO-Bereich des Motherboards kühlt, sondern auch die flüssigkeitsgekühlten PCIe- und OCP 3.0-Karten.

 

▲ IO-Kühlplatte

 

Die IO-Kühlplatte besteht hauptsächlich aus einem Gehäuse aus Aluminiumlegierung und Kupferrohren für den Kühlmittelfluss und eine verbesserte Wärmeableitung. Das Design muss entsprechend dem Motherboard-Layout und den Wärmeableitungsanforderungen optimiert werden. Die flüssigkeitsgekühlten PCIe- und OCP 3.0-Kartenmodule haben über bestimmte Pfade Kontakt mit der IO-Kühlplatte. Die Kühlmittelmaterialien müssen mit dem Kühlmittel und den Benetzungsmitteln der Systemleitung kompatibel sein.

 

▲ IO-Kühlplatte

 

Diese Flüssigkeitskühlungslösung für die IO-Kühlplatte erfüllt die mehrdimensionalen Montageanforderungen mehrerer Komponenten und verwendet eine Kombination aus Kupfer- und Aluminiummaterialien, um Kompatibilitätsprobleme zu lösen. Sie gewährleistet eine effektive Wärmeableitung, reduziert das Gewicht der Kühlplatte um 60 % und senkt die Kosten.

 

 

V-Netzteil-Kühlplattendesign

 

Die Flüssigkeitskühlungslösung für das Netzteil integriert einen externen Luft-Flüssigkeits-Wärmetauscher in das vorhandene luftgekühlte Netzteil (PSU), kühlt die vom Lüfter des Netzteils ausgestoßene Luft und reduziert den Vorwärmeffekt auf die externe Rechenzentrumsumgebung.

 

Der hintere Wärmetauscher des Netzteils verfügt über eine mehrschichtige Struktur mit überlappenden Strömungskanälen und Lamellen. Die Abmessungen des Wärmetauschers sind für Platz- und Funktionsanforderungen optimiert, ohne die Kabelverbindungen des Netzteils zu beeinträchtigen. Der Wärmetauscher ist unabhängig am Knotenchassis montiert.

 

▲ Netzteil Flüssigkeitskühlung

 

Diese innovative Flüssigkeitskühlungslösung für Netzteile macht die Entwicklung neuer flüssigkeitsgekühlter Netzteile überflüssig, verkürzt die Entwicklungszeit und senkt die Kosten. Dank ihrer hohen Anpassungsfähigkeit kann sie flexibel auf verschiedene Netzteildesigns angewendet werden, wodurch im Vergleich zu kundenspezifischen flüssigkeitsgekühlten Netzteilen über 60 % gespart werden.

 

Bei Vollrack-Anwendungen kann anstelle der verteilten hinteren Wärmetauscher für jedes Netzteil ein zentraler Luft-Flüssigkeits-Wärmetauscher verwendet werden. Diese zentralisierte Struktur ersetzt einzelne Wärmetauscher für Netzteile und sorgt für Kühlung durch ein System, das in die Luftstromwege des Racks integriert ist und so dafür sorgt, dass die Serverraumumgebung nicht beeinträchtigt wird.

 

Ein einziger zentralisierter Wärmetauscher kann 8 kW Kühlleistung bewältigen und unterstützt mindestens 150Netzteile. Die Hauptkomponenten des zentralisierten Luft-Flüssigkeits-Wärmetauschers umfassen einen Wärmetauscherkern, Wassereinlass- und -auslassöffnungen, Kupferkühlrohre, ein Aluminiumgehäuse und Strömungsleitrippen. Dieser Aufbau ermöglicht eine effiziente und skalierbare Netzteilkühlung in hochdichten Rechenzentren.

 

 

Abschluss

 

▲ Vollständig flüssigkeitsgekühlter Server

 

Flüssigkeitskühlungstechnologie, wie sie in diesen optimierten Designs zum Einsatz kommt, ist der Schlüssel zur Bewältigung der zunehmenden Wärmeabgabe moderner Rechenzentren bei gleichzeitiger Erreichung von Effizienz- und Nachhaltigkeitszielen. Mit Innovationen bei Kühlplattenlösungen für CPUs, Speicher, SSDs, PCIe/OCP-Karten und Netzteile ebnen diese flüssigkeitsgekühlten Server den Weg in eine Zukunft mit umweltfreundlicheren und leistungsstärkeren Rechenzentren.