Entwurf effizienter Flüssigkeitskühlsysteme für Rechenzentren

Sep 02, 2024

Eine Nachricht hinterlassen

 

I Komponenten des Rechenzentrums-Kühlsystems

 

Der Großteil der von IT-Geräten verbrauchten elektrischen Energie wird in Abwärme umgewandelt. Um sicherzustellen, dass die IT-Geräte in einem angemessenen Temperaturbereich arbeiten, sind Rechenzentren mit Kühl- und Wärmeableitungssystemen ausgestattet, darunter Kühler, Kühltürme und Präzisionsklimaanlagen, die die Abwärme aus dem Rechenzentrum abführen. Der Wärmeübertragungsprozess ist in Abbildung 1 dargestellt. Zu den wichtigsten Energieverbrauchspunkten gehören Kühler, Kühltürme, Pumpen und Präzisionsklimaanlagen.

 

 Heat Transfer in Data Centers

▲ Abbildung 1: Wärmeübertragung in Rechenzentren

 

Derzeit sind Luft und Wasser die primären Wärmeübertragungsmedien in Rechenzentren. Wasser hat eine spezifische Wärmekapazität von 1,004 kJ/(KgK) bei konstantem Druck und eine spezifische Wärmekapazität von 4200 kJ/(KgK) und damit eine Wärmeübertragungskapazität, die etwa 1,000 Mal größer ist als die von Luft. Daher ist die Verwendung von Wasser als Kühlmedium eine effektive Methode zur Energieeinsparung bei der Konstruktion von Kühlsystemen. Um die Energieeffizienz von Kühlsystemen zu verbessern, werden Maßnahmen wie hocheffiziente Heizkörper und präzise Luftzufuhr eingesetzt, um Wärme zu erfassen und zu übertragen.

 

Bei der Präzisionsklimatisierung hat sich die Kühlung von der Raumkühlung hin zu modularen Datenräumen und Rack-Kühlung entwickelt, wobei die Wärmequelle näher heranrückt und der Energieverbrauch beim Kühlmitteltransport sinkt. Die Generation der Kühlquellen hat sich von der Luftkühlung zur Wasserkühlung und natürlichen Kühlung entwickelt, wodurch die Effizienz der externen Wärmeübertragung verbessert wird.

 

Cooling with rear door heat exchangers

 

Herkömmliche Kühlsysteme verfügen über unabhängige Steuerungssysteme und Betriebsstrategien für Präzisionsklimaanlagen, Kühler und Kühltürme, wodurch die Effizienz vor Ort optimiert wird. Die Gesamteffizienz der Kühlung muss jedoch noch verbessert werden.

 

Durch ein durchgängiges Management und eine präzise Steuerung der Wärmesammlung, der Kältequellenaufbereitung und der externen Wärmeübertragung können systematische Verbesserungen erzielt und so der Stromverbrauch des Kühlsystems gesenkt werden.

 

 

II End-to-End-Design des Flüssigkeitskühlsystems

 

1. Flüssigkeitskühlungsdesign auf Platinenebene

Mit dem exponentiellen Wachstum des Bedarfs an Rechenleistung haben die Integration und der Stromverbrauch von CPUs und GPUs erheblich zugenommen, wobei der Stromverbrauch eines einzelnen Chips 300 W erreicht hat. Herkömmliche Chip-Kühlkörper und Luftkühlungslösungen sind auf Kühlengpässe gestoßen. Da der Chip die Wärmequelle ist, besteht die größte Herausforderung für das Kühlsystem des Rechenzentrums darin, die Wärme effizient aus dem Inneren des Chips abzuleiten.

 

Aus Wärmeableitungssicht muss die vom Chip erzeugte Wärme zunächst an den Kühlkörper auf Platinenebene übertragen werden. Effizientere Kühlkörperlösungen ermöglichen eine bessere Wärmesammlung.

 

Für einzelne Chips mit einem Stromverbrauch unter 200 W und IT-Geräte mit einem Stromverbrauch unter 20 kW pro Rack kann weiterhin Luft als Wärmeübertragungsmedium verwendet werden. Heatpipe-Kühlkörper und Vapor-Chamber-Kühlkörper (VC) in Kombination mit TIM-Materialien mit hoher Wärmeleitfähigkeit (wie Graphitplatten/Graphen) reduzieren effektiv den Wärmewiderstand zwischen dem Chip und der Kühlkörperbasis und verbessern so die Effizienz des Kühlkörpers.

 

Bei einzelnen Chips mit einem Stromverbrauch von über 200 W und IT-Geräten mit einem Stromverbrauch von über 20 kW pro Rack reicht Luft als Wärmeübertragungsmedium nicht mehr aus, und zur Kühlung muss flüssiges Kühlmittel verwendet werden. Die flüssigkeitsgekühlte Kühlplattentechnologie ist derzeit eine ausgereifte Lösung für die Chipkühlung auf Platinenebene. Eine flüssigkeitsgekühlte Kühlplatte besteht aus Einlass- und Auslassanschlüssen, einer oberen Abdeckung und einer Grundplatte, die durch Vakuumlöten verbunden sind, um eine abgedichtete Flüssigkeitswärmetauscherkammer zu bilden. Die Kammer umfasst Verteilungskammern und Strömungskanäle unterschiedlicher Breite, die den Flüssigkeitsfluss steuern und die Turbulenz erhöhen, wodurch die lokale Kühlleistung verbessert und Hotspots vermieden werden, die durch Hochleistungschips verursacht werden. Die interne Struktur ist in Abbildung 2 dargestellt.

 

Cross-Section of a Liquid-Cooled Cold Plate

▲ Abbildung 2: Querschnitt einer flüssigkeitsgekühlten Kühlplatte

 

Verschiedene Arten von Platinen im selben Rack weisen unterschiedliche Leistungspegel und Hotspots auf, aber der Versorgungsdruck am Einlassanschluss der Flüssigkeitsversorgungsleitung ist im Allgemeinen derselbe, sodass die Verteilerkammer der Kühlplatte die Drosselung steuern muss. Bei Platinen mit geringerem Chip-Stromverbrauch reduziert die Drosselung den Kühlmittelfluss. In der Praxis decken flüssigkeitsgekühlte Kühlplatten die CPU, den Speicher und andere Hochleistungskomponenten ab, aber Komponenten wie Widerstände und Kondensatoren, die nicht abgedeckt sind, erzeugen Restwärme, die eine Lüfterkühlung erfordert. Dies führt zu einer Kombination aus Flüssigkeits- und Luftkühlung innerhalb des Systems, wodurch Spielraum für Verbesserungen der Kühleffizienz besteht.

 

Durch die Verwendung von TIM-Materialien zum Abdecken aller Komponenten während des Kühlplattendesigns kann technisch eine 100-prozentige Flüssigkeitskühlung erreicht werden, dies erhöht jedoch die Kosten und die Komplexität der Kühlplatte. Beim Streben nach effizienter Kühlung müssen auch die anfänglichen Kosten berücksichtigt werden. Wenn die Knotenplatinentypen einheitlich sind, kann eine vollständig abgedeckte Platine in Betracht gezogen werden, wobei die anfänglichen Kosten durch die Skalierung der Produktion ausgeglichen werden, wodurch ein Gleichgewicht zwischen Energieeinsparungen und Investition erreicht wird.

 

cold plate

 

Bei der Flüssigkeitskühlung wird typischerweise deionisiertes Wasser als Kühlmittel verwendet, da es eine hohe spezifische Wärmekapazität besitzt, die eine schnelle Wärmeabsorption ermöglicht und gleichzeitig nicht korrodiert, sodass die Zuverlässigkeit der Rohrleitung nicht beeinträchtigt wird. Die Kaltplatten-Flüssigkeitskühlung ist indirekt, da der Chip nicht direkt mit dem flüssigen Kühlmittel in Kontakt kommt, was zu hoher Zuverlässigkeit und ausgereifter Technologie führt.

 

Allerdings besteht zwischen dem Chip und dem flüssigen Kühlmittel ein thermischer Widerstand, weshalb einige Hersteller Immersionskühlungslösungen propagieren. Bei der Immersionskühlung wird die IT-Ausrüstung in zirkulierende Flüssigkeit getaucht, wobei der Chip direkt mit dem Kühlmittel in Kontakt kommt. Dies reduziert den thermischen Widerstand und nutzt gleichzeitig den Phasenwechsel, um mehr Wärme abzuführen, was es zu einem neuen Hotspot in der Flüssigkeitskühlung macht. Fluorierte Flüssigkeiten werden häufig als Kühlmittel bei der Immersionskühlung verwendet, aber ihre hohen Kosten sind ein Hindernis für den großflächigen kommerziellen Einsatz.

 

2. Flüssigkeitskühlung auf Rack-Ebene

In Rechenzentren ist die IT-Ausrüstung in Racks angeordnet, in denen die Informationsausrüstung des Rechenzentrums wie Server, Speichergeräte und Netzwerk-Switches untergebracht ist. Während die Kühlung auf Platinenebene die Wärme von einzelnen IT-Geräten abführt, sammelt die Kühlung auf Rackebene die Wärme und leitet sie nach draußen. Zu den wichtigsten Komponenten der Flüssigkeitskühlung auf Rackebene gehören Einlass- und Auslassverteiler, Überwachungseinheiten, Temperatursensoren, Magnetventile und Rückschlagventile, wie in Abbildung 3 dargestellt.

 

Rack-Level Liquid Cooling Configuration

▲ Abbildung 3: Rack-Level-Flüssigkeitskühlungskonfiguration

 

Der Verteiler wird extern an die Flüssigkeitskühlungs-Verteilungseinheit auf Raumebene und intern über Schnellverbinder an die Einlass- und Auslassanschlüsse der flüssigkeitsgekühlten Kühlplatte angeschlossen und erleichtert so die Übertragung der Systemwärme an die Außenseite des Racks.

Die Hauptfunktionen des Magnetventils und des Rückschlagventils bestehen darin, den Flüssigkeitsfluss zu steuern und im Falle einer Leckage das Ausmaß des Ausfalls auf ein einzelnes Rack zu begrenzen.

 

Die Hauptaufgabe des Temperatursensors besteht darin, die Wassertemperaturen am Einlass und Auslass kontinuierlich zu überwachen. Durch Ausnutzung des Temperaturunterschieds zwischen dem Einlass- und dem Auslasswasser steuert er die Öffnung des Magnetventils und damit den Wasserfluss. So wird sichergestellt, dass Wärme und Durchfluss übereinstimmen.

Das Flüssigkeitskühlsystem verwendet deionisiertes Wasser als Arbeitsflüssigkeit, wodurch theoretisch keine Kurzschlüsse entstehen.

 

Leiterplatten oder elektronische Komponenten enthalten jedoch häufig Staubpartikel, und wenn deionisiertes Wasser mit der Leiterplatte in Kontakt kommt, kann dies einen Kurzschluss verursachen. Dies ist eines der größten Hindernisse und Bedenken bei der Implementierung der Flüssigkeitskühlung. Um das Problem der Leckage der Kühlplatte zu lösen, werden Maßnahmen wie Qualitätskontrolle, Überwachung von Mikroleckagen und Verhinderung plötzlicher großer Leckagen ergriffen.

 

Die Qualitätskontrolle ist in die Phasen Produktion und Installation unterteilt. In der Produktionsphase wird die Prozesszuverlässigkeit sichergestellt, 100 % der Kühlplatten werden einem Drucktest unterzogen und Ultraschall wird zur Stichprobenentnahme und Fehlererkennung eingesetzt. Schnellkupplungen müssen auf effektives Einsetzen und langfristige Zuverlässigkeit validiert werden. In der Installationsphase müssen die Sekundärrohre vor der Installation sauber gespült werden, um zu verhindern, dass Verunreinigungen Verstopfungen in Schnellkupplungen, Federklemmen oder Gummiringfehler verursachen und so Leckagen während des Betriebs vermieden werden. Die oben genannten Maßnahmen zielen darauf ab, Leckagen so weit wie möglich zu verhindern.

 

Rack-Level

 

Wenn eine Kühlplatte ein Mikroleck entwickelt, muss dies erkennbar sein und einen Alarm auslösen, damit das Wartungspersonal das Leck umgehend reparieren kann. Es gibt zwei Erkennungsmethoden: Eine davon ist die Verwendung eines Wassertauchsensors, der an der Tropfschale installiert ist. Die Hauptfunktion der Tropfschale besteht darin, die Leckerkennung zu erleichtern und zu verhindern, dass Flüssigkeit aus dem Rack austritt, wodurch die Ausbreitung von Fehlern verringert wird.

 

Die Erkennung von Wassereintauchsensoren ist zwar ausgereift und zuverlässig, erfordert jedoch, dass sich die austretende Flüssigkeit nach dem Fließen entlang der Hardwareplatine und der Rack-Anschlüsse in der Auffangschale sammelt. Zu diesem Zeitpunkt kann die Gesamtmenge der ausgetretenen Flüssigkeit beträchtlich sein und die Platine und Komponenten während des Fließens bereits beschädigt haben.

 

Die andere Methode ist die Echtzeitüberwachung. Dem Arbeitsmedium wird eine Tracer-Substanz mit niedrigem Siedepunkt beigemischt. Im Falle eines Lecks erkennt dies ein in die Platine eingebauter Gassensor. Große, plötzliche Lecks sind selten, haben aber große Auswirkungen. Um solche Vorfälle zu verhindern, sind am Einlass und Auslass des Verteilers auf dem Rack Rückschlagventile installiert. Diese Rückschlagventile schließen automatisch, wenn ein signifikanter Druckunterschied erkannt wird.

 

3. Flüssigkeitskühlungsdesign auf Raumebene

Die Kühlung auf Raumebene dient dazu, die von den Racks abgesaugte Wärme nach außen zu leiten. Die Flüssigkeitskühlungslösung auf Raumebene umfasst einen flüssigkeitsgekühlten modularen Datenraum, Kühler, Wasserpumpen, Kühltürme, Rohrleitungen und mehr, wie in Abbildung 4 dargestellt.

 

Room-Level Liquid Cooling Configuration

▲ Abbildung 4: Flüssigkeitskühlungskonfiguration auf Raumebene

 

Normalerweise enthält ein flüssigkeitsgekühlter modularer Datenraum zwei Backup-CDUs (Flüssigkeitskühlungsverteilereinheiten), 10-20 IT-Racks, 1-2 Klimaanlagen auf Reihenebene und Stromversorgungsgeräte, wie in Abbildung 4 dargestellt.

 

Die Flüssigkeitskühlungsverteilungseinheit (CDU) ist für die Verteilung des Arbeitsmediums zwischen den flüssigkeitsgekühlten IT-Racks verantwortlich und bietet Funktionen für die sekundärseitige Durchflussverteilung, Druckregelung, physikalische Isolierung und Kondensationsschutz. Während des tatsächlichen Betriebs liefert die CDU Kühlwasser mit einem bestimmten Durchfluss und einer bestimmten Temperatur an die flüssigkeitsgekühlten IT-Racks, das über den Verteiler in die flüssigkeitsgekühlten Kühlplatten gelangt, die von Prozessoren und Schlüsselkomponenten erzeugte Wärme abführt und das erwärmte Kühlwasser an die Zwischenwärmetauschereinheit der CDU zurückführt. Die Wärme wird dann in die Außenrücklaufleitung abgegeben und dieser Teil der Wärme wird über Kühler oder Trockenkühler an die Außenumgebung abgegeben, wodurch der Wärmemanagementprozess für die flüssigkeitsgekühlten Server abgeschlossen wird.

 

Die CDU reguliert die Temperatur und den Durchfluss des Kühlmittels, das in die flüssigkeitsgekühlten Kühlplatten eintritt, und sorgt so für die Kühlung der IT-Racks und die Verteilung der Kühlleistung. Die interne Wärmetauschereinheit spielt auch eine Rolle bei der Isolierung des Flüssigkeitsversorgungskreislaufs zwischen dem modularen Datenraum und der Außenumgebung. Aufgrund ihrer kritischen Rolle verwendet die CDU normalerweise eine 1+1 Redundanzkonfiguration. Die CDU steuert den Durchfluss des flüssigen Kühlmittels, indem sie die Wassertemperaturen und den Versorgungsdruck am Einlass und Auslass erkennt und die Geschwindigkeit der Versorgungswasserpumpe anpasst.

 

Room-Level Liquid Cooling

 

Derzeit sind die meisten CDU-Steuerungssysteme nicht mit den Temperatursensoren in den Racks verbunden, was zu einer relativ groben Steuerung führt. Um dieses Problem zu lösen, wurden in einigen Anwendungen zentrale CDUs durch verteilte CDUs ersetzt, die in die Racks integriert sind. Auf diese Weise basieren CDU-Flussanpassungen vollständig auf dem Betriebsstatus und den Stromverbrauchsschwankungen des Racks. Zentrale CDUs eignen sich für Szenarien mit einer großen Anzahl flüssigkeitsgekühlter Racks, die in einem modularen Datenraum konsolidiert werden können, während verteilte CDUs besser für Situationen mit nur 2-3 flüssigkeitsgekühlten Racks geeignet sind, was die Bereitstellung vereinfacht.

 

 

III Schlussfolgerung

 

Unter dem Leitbild der dualen Kohlenstoffziele erfüllen Rechenzentren eine doppelte Aufgabe: Einerseits stellen sie durch intensiven und skalierten Betrieb ausreichend Rechenleistung für die digitale Wirtschaft bereit. Der weitverbreitete Einsatz hochdichter Racks und Hochleistungschips, der durch die Effizienz der Rechenleistung von Rechenzentren vorangetrieben wird, hat dazu geführt, dass die herkömmliche Luftkühlung an Engpässe stößt. Andererseits können Rechenzentren durch den Einsatz hocheffizienter Wärmetauscher, Flüssigkeitskühlung und natürlicher Kühlung durch Trockenkühler ihren eigenen Energieverbrauch senken.

 

Nach der Einführung der Flüssigkeitskühlung wird die Kühleffizienz deutlich verbessert, wobei der Energieverbrauch der Kühlsysteme von 37 % auf etwa 10 % gesenkt wird, was zu erheblichen Energieeinsparungen und einer Reduzierung des CO2-Ausstoßes führt. Wenn 50 % der neu gebauten Rechenzentren im ganzen Land auf Flüssigkeitskühlung umsteigen, können jährlich 45 Milliarden kWh Strom und 3 Millionen Tonnen CO2 eingespart werden.2 -Emissionen können reduziert werden.

 

 

Anfrage senden