Cooling – CoolTherm® Flüssigkeitsgekühlter Serverschrank

Den CoolTherm® gibt es mit Kühlleistungen zwischen 10 und 35 kW. Für Leistungen unterhalb von 10 kW gibt es kaum Bedarf, falls gewünscht, lassen sich aber auch jederzeit kleinere Leistungen realisieren. Hierfür stehen auch Lösungen wie CoolAdd bzw. Schrankan- und Einbaugeräte von Knürr zur Verfügung.

2. Sind für den Einsatz im CoolTherm® spezielle Komponenten - insbesondere Server - erforderlich?

Alle Komponenten, die in einem herkömmlichen Schrank eingesetzt werden, können ohne Einschränkung im CoolTherm® verwendet werden. Die Server sind von vorne und hinten frei zugänglich, wie bei einem normalen Schrank. Speziell auch für Blades ist die sichere Umgebung gewährleistet.

3. Wird die Raumluft durch zusätzliche Wärme aus diesen Schränken heraus erwärmt?

Das Kühlsystem im Schrank arbeitet völlig unabhängig von der Raumluft. Die gesamte Abwärme wird über den Kühlwasserkreislauf nach außen abgeführt.

4. Lässt sich die Wärmemengenabfuhr in Abhängigkeit der Verlustwärme regeln?

Mit dem Dreiwegeventil (bzw. auch Zweiwegeventil) lässt sich entsprechend dem Wärmebelastungsgrad die Kühlung regeln.
So wird sichergestellt, dass keine Unterkühlung erfolgt sowie Energiekosten eingespart werden.
Weiterhin wird mit den geregelten AC-Lüftern wird die Umluftmenge auf den jeweiligen Kühlbedarf angepasst und so der Stromverbrauch des Systems minimiert.

5. Wie erfolgt der Luftstrom im Schrank und welche Vorteile ergeben sich daraus?

Der im untersten Bereich des Schranks eingebaute Wärmetauscher bläst die Kühlluft mit einer Temperatur im Bereich von 20-25 °C (ASHRAE Standard) von unten vor die Server. Jeder Server saugt seine Kühlluft von vorne an und gibt sie nach hinten mit einer vom Equipment abhängigen erhöhten Temperatur ab. Die erwärmte Luft wird hinter den Servern wiederum abgesaugt und mit redundant ausgeführten Lüftern durch Kanäle in der Rücktür nach unten in den Wärmetauscher gedrückt.
Vorteile:
- geschlossener Luftkreislauf
- eindeutige Luftführung mit minimalen Strömungsumlenkungen
- sehr hohe Kühlleistung auf engstem Bauraum

6. Werden die Server über die gesamte Schrankhöhe gleichmäßig gekühlt oder werden die oberen Server weniger gekühlt?

Durch die Art der Luftführung (s.o.) und die hohe Umluftmenge werden alle Server von vorne gleichmäßig mit Kühlluft versorgt, auch bei ungleichmäßiger Lastverteilung über die Höhe. Die Bauweise des Schranks verhindert, dass erwärmte Luft von der Rückseite ungekühlt zur Vorderseite gelangen kann.

7. Kann der CoolTherm® mit geöffneten Türen betrieben werden?

Bei geöffneter Vordertür ohne Einschränkung, die zurückgekühlte Luft aus dem Wärmetauscher wird durch die spezielle Luftführung so ausgerichtet, dass kaum eine Wechselwirkung zum Raum auftritt. Insgesamt wird keine Wärme an den Raum abgegeben.
Wird die Rücktür im Betrieb geöffnet, ist der Kühlluftkreislauf unterbrochen und die Abwärme in den Raum abgegeben.

8. Warum hat Knürr sich für eine Positionierung des Wärmetauschers am Schrankboden entschieden und nicht auf dem Dach oder in einer der Seiten- oder Rückwände?

Hauptgrund ist die konsequente Absicherung des Systems gegen Leckagerisiken. Beim CoolTherm® finden sich alle wasserführenden Komponenten ausschließlich im untersten Bereich des Schrankes, dort erfolgt auch der Anschluss an das Kühlwassernetz im Boden. Selbst bei einer – an sich sehr unwahrscheinlichen – Leckage kann nie Wasser in den Bereich der elektronischen Komponenten gelangen. Eine Positionierung auf dem Dach ist damit auf jeden Fall ausgeschlossen.
Bei einem Anbau seitlich oder in einer der Türen gilt dieses Argument genauso, wenn auch mit Einschränkungen.
Gegen einen Anbau an die Seitenwand spricht, dass der Schrank mit seiner dann erheblich größeren Breite nicht mehr in das Rastermaß der Schrankreihen im Rechenzentrum passt. Auch kann die gleichmäßige Lufterteilung vor der Serverebene bei einem einseitigen seitlichen Einblas nicht gewährleistet werden.
Insgesamt ist die Anordnung im untersten Schrankbereich die kompakteste, günstigste und sicherste Lösung.

9. Wie erfolgt der Wasseranschluss an die CoolTherm® Schränke von Knürr?

Der Anschluss an das Gebäudenetz erfolgt von unten über die in der Haustechnik üblichen und bewährten Rohrsysteme. Knürr empfiehlt hier die Verwendung des Knürr-Anschlusssets mit flexiblen Schläuchen und entsprechenden einstellbaren Absperrungen. An den speziellen Absperrungen lassen sich der notwendige hydraulische Abgleich sowie Entlüftungen und eventuelle Prüfmessungen einfach durchführen.

10. Können in einem Rechenzentrum luftgekühlte und wassergekühlte Serverschränke nebeneinander betrieben werden?

Ohne Weiteres, die Schränke sind maßlich vollständig kompatibel. Für wassergekühlte Schränke muss lediglich die Kühlwasserinstallation vorhanden sein.

Zurzeit in 700 und 800 mm Breite, 1200 mm / 1300 mm Tiefe und ab 1.800 (29 HE) bis 2.400 mm (44 HE) Höhe.
Knürr trägt  der Tendenz Rechnung, dass auf dem Servermarkt Geräte mit bis zu 950mm Tiefe angeboten werden. CoolTherm ist als Sondergröße mit einer Bautiefe bis zu 1500 mm verfügbar.

12. Im CoolTherm® sind zwei bzw. drei Lüfter eingebaut.
Kann auch bei dem Ausfall eines Lüfters die erforderliche ausgewiesene Nennwärmelast abgefahren werden?

Die Lüfter sind redundant ausgelegt, d.h. einer bzw. zwei reichen aus um das System mit voller Leistung zu betreiben. Dabei steigt lediglich die Schrankinnentemperatur geringfügig (einige Grad) an.

13. Müssen die CoolTherm® Schränke von Knürr gewartet werden?

Alle Komponenten des CoolTherm Schranks sind auf eine sehr hohe Lebensdauer ausgelegt. Zudem sind alle kritischen Komponenten fehlertolerant konstruiert, d.h. bei Auftreten eines Einzelfehlers bringt der Schrank noch die voll Kühlleistung. Die Lüfter sind drehzahlüberwacht, sollte ein Lüfter ausfallen, wird eine entsprechende Information über das Netzwerk abgegeben. Bis zum Austausch ist das System auch mit einem Lüfter voll betriebsfähig. Die Regelelektronik ist überwacht. Im Fehelerfall schaltet der CoolTherm automatisch auf "volle Kühlung". Das gilt auch bei einem Fehler am 3-Wege-Ventil.
Für die Sicherheit der Hochverfügbarkeit empfehlen wir dennoch eine jährliche Inspektion durch den Knürr-Servicedienst, d.h. der Abschluss eines Wartungsvertrages über eine Wartung pro Jahr wird empfohlen.

14. Welche Vorteile bringt eine wassergekühlte Lösung gegenüber einer luftgekühlten Lösung im Rechenzentrum?

Der Einsatz wassergekühlter Schränke ermöglicht, auch für höhere Kühlleistungen oberhalb von 4-6 kW pro Schrank Hochleistungsserver bzw. Serverschränke mit der größtmöglichen Packungsdichte einzubauen bzw. aufzustellen. Daraus resultieren ganz erhebliche Einsparungen bei den Investitionskosten und bei den Betriebskosten eines Rechenzentrums. Details und genaue Werte s. TCO*-Studie.
*) TCO = Total Cost of Ownership

15. Ist für die Installation ein Doppelboden erforderlich?
Wenn ja, was ist die notwendige Höhe?

Ein Doppelboden ist für die Führung der Kühlwasserrohre nicht erforderlich, grundsätzlich können die Rohre auch in Kanälen im oder auf dem Boden verlegt werden.
Im Doppelboden benötigt eine Hauptkühlrohr etwa 150 mm, eine Schrankzuleitung etwa 50 mm Bauhöhe.

16. Lassen sich CoolTherm® Schränke auch aneinander reihen?

Ohne Einschränkung, genauso wie konventionelle Serverschränke.

17. Wie wird im CoolTherm® System die Taupunktbildung/Kondensatbildung verhindert?

Kondensatbildung bei Taupunktunterschreitung kann nur an den kältesten Stellen im Schrank auftreten, das sind die Kühlflächen im Wärmetauscher. Der Wärmetauscher ist so ausgelegt, dass evtl. gebildetes Kondensat der Luftströmung entzogen und abgeführt wird.
Generell empfiehlt Knürr den Betrieb mit einer Kühlwasservorlauftempertur von 12°C. Ein noch größere Sicherheit zur Kondesatvermeidung wird durch den Einsatz der CoolTrans Unit erreicht, welche automatisch die Kühlwasservorlauftemperatur auf die entsprechenden Umweltbedingungen anpasst.

18. Wie wird sichergestellt, dass die für die Kühlung erforderliche Luftmenge auch im Schrank vorhanden ist?

Da der Schrank nicht vakuumdicht ist, besteht Druckausgleich zwischen der Umgebung und dem Schrankinneren. Der Schrank ist somit immer vollständig mit Luft gefüllt. Die Kühlleistung hängt von der innerhalb des Schranks umgewälzten Luftmenge ab, die durch eine entsprechende Auslegung von Lüftern und Wärmetauscher sichergestellt ist.

19. Kann das CoolTherm® Aufbausystem von Knürr auch mit der CPU-Kühlungslösung von Knürr zusammen betrieben werden?

Bei sehr hohen Verlustleistungen einer CPU (etwa > 100 W) wird deren Luftkühlung innerhalb des Servers problematisch, besonders in Servern mit sehr wenig Bauvolumen wie Blade- oder Pizzabox-Server. In diesem Fall sollten die CPUs direkt mit Wasser gekühlt werden.
Eine Kombination mit der Schrankkühlung CoolTherm® ist jederzeit möglich, da per CPU-Kühlung nur etwa 50-60% der gesamten Abwärme eine Servers abgeführt werden, bei höheren Kühlleistungen sogar notwendig.

20. Wie wird verhindert, dass im Falle eines Rohrbruchs Wasser in dem Schrank zu Störungen führt?

Durch die sorgfältige Wahl der Komponenten kann ein Rohrbruch praktisch nicht auftreten. Sollte es dennoch zu einem Leck im Kühlwassersystem innerhalb des Schranks kommen, ist durch die Lage aller wasserführenden Teile im untersten Bereich des Schranks sichergestellt, dass kein Wasser nach oben in den Bereich der Server gelangen kann.
Optional wird ein Wassersensor angeboten, mit dem auch kleinste Leckmengen rechtzeitig erkannt werden können.

21. Warum bietet Knürr keine 2-Schrank-Lösung an, d. h. die gemeinsame Kühlung zweier Schränke durch einen Luft/Wasser-Wärmetauscher wie es andere Hersteller tun?

Knürr bietet autonome Einzelschränke an im Wesentlichen aus drei Gründen:
- Volle Flexibilität bei der Aufstellung von wassergekühlten Schränken, Kompatibilität mit luftgekühlten Schränken, Austausch und Mischbestückung möglich.
- Schrank-individuelle Regelung der Kühlleistung.
- Optimale Sicherung der Verfügbarkeit durch unabhängige Systeme.

22. Welche Erfahrungen gibt es mit CoolTherm® Lösung im betrieblichen Einsatz?
Welche Referenzen gibt es hierzu?

Mit dem CoolTherm® wurde das weltweit erste mit autonomen wassergekühlten Serverschränken ausgestattete Rechenzentrum GridKa am Forschungszentrum Karlsruhe in Betrieb genommen. Seit Herbst 2003 arbeiten dort ca. 1.300 Hochleistungsserver in 35 Schränken im Produktivbetrieb. Die installierte Kühlleistung beträgt z. Zt. 350 kW, der Ausbau um Faktor 3 ist geplant. Die gesamte Kühlleistung wird dann über 1 MW betragen.
Das ist nur ein Beispiel aus einer Vielzahl weltweit erfolgreich arbeitender CoolTherm Lösungen für verschiedenste Anwendungen.

23. Für welche Anwendungen und Situationen sollte ich wassergekühlte Aufbausysteme verwenden?

Immer dann, wenn die Kühlkapazität der Raum-Klimaanlage nicht ausreicht, um die Wärmelasten von aktuellen Hochleistungsservern zu bewältigen.
Bei einer optimalen Auslegung in neu geplanten Rechenzentren legt diese Grenze bei etwa 1.000 – 1.200 W/m², in älteren Rechenzentren oft weit darunter. Pro Rack sind damit im besten Fall maximal 4 kW zu verkraften. Dagegen erreichen mit Blade-Servern vollgepackte Racks heute schon bis zu 35 kW. Die Lösung könnte darin bestehen, Racks nur zu einem Viertel zu beladen – oder flüssigkeitsgekühlte Serverschränke einzusetzen.

24. Welche zusätzliche Infrastruktur neben dem Schrank und den entsprechenden Rohren ist notwendig, um das System betreiben zu können?

Die benötigte Infrastruktur entspricht weitgehend der, die heute in konventionell klimatisierten Rechenzentren bereits eingesetzt wird. Die „Kälte“ erzeugen (n+1 redundante) Kaltwassersätze (Chiller), die über ein Kühlwassernetz im Rechenzentrum auf Umluftkühlgeräte oder auch Deckenkühlgeräte verteilt wird.
Zusätzlich benötigt wird lediglich die Rohrführung bis zu den einzelnen Schränken, die bei Verwendung von in der Haustechnik bekannten Installationssystemen flexibel und kostengünstig vorgenommen wird.

25. Wie kann die komplexe Systematik der Kühlwasserversorgung sichergestellt werden?
Knürr kann als Lösungsanbieter die gesamte Kette von der Kühlwassererzeugung, Verteilung und Transport präsentieren. Es stehen eine Vielzahl hocheffizienter Präzisionskühler sowie Verteilstationen zur Auswahl.

Der Knürr CoolTherm ist für die Nutzung alternativer Energieressourcen bestens ausgestattet: Im Gegensatz zu vielen Wettbewerbsprodukten ist der V-Wärmetauscher so ausgelegt, dass eine Nutzung von höheren Kühlwasservorlauftemperaturen ohne weiteres möglich ist. Dabei erfolgt natürlich keine Einschränkung der Kühlleistung.
So lässt sich z.B. über einen Großteil des Jahres die erforderliche Kühlenergie durch freie Kühlung ersetzen, es muss keine um ein vielfaches teurere Kompressionskälte produziert werden. Auch ist die Nutzung der Abwärme durch den Übergang auf den Wärmeträger Wasser für viele Anwendungen gegeben.

27. Welche wesentlichen Nachteile der heutigen luftgekühlten Lösungen wird durch die Wasserkühlung aufgehoben?

Das Hauptproblem der konventionellen Kühlung ist die Führung sehr großer Kühlluftmengen durch Doppelböden, abgehängte Decken und innerhalb der Räume. Die Wasserkühlung übernimmt den kritischen Wärmetransport durch diesen. Da Wasser pro Volumen 3.500-mal so viel Wärme transportieren kann als Luft, reichen sehr kleine Leitungen zum Transport sehr großer Wärmemengen.
Innerhalb eines Schranks ist durch die eindeutige Luftführung innerhalb eines nach allen Seiten abgeschlossenen Raumes die Kühlung mit Luft unproblematisch.

28. Kann auch das Zubehör und sonstige Einrichtungen aus 19“-Aufbauschränken im CoolTherm® verwendet werden?

Die Einbaubedingungen im CoolTherm® unterscheiden sich nicht von gewöhnlichen luftgekühlten 19“ Schränken. Alle Komponenten und Zubehörteile können uneingeschränkt verwendet werden.

29. Verfügt Knürr über die notwendigen Zertifikate zur Betreibung bzw. für die Performance dieses Systems?

Für flüssigkeitsgekühlte Serverschränke gibt es noch keine speziellen Standards, also auch noch keine Zertifikate. Knürr hat als Pionier auf diesem Gebiet das erste operative Rechenzentrum weltweit mit CoolTherm® Schränken ausgestattet und verfügt über das erforderliche Know-how und die notwendigen Einrichtungen (Thermosimulation, Klimakammer), um die Leistung, Sicherheit und Zuverlässigkeit des Systems zu gewährleisten. Natürlich erfüllt der Schrank alle existierenden einschlägigen Normen für konventionelle Schränke.

30. Wo kann ich mehr über die CoolTherm® Lösung oder über Anforderungen an wassergekühlte Systeme oder Notwendigkeiten zu wassergekühlten Systemen erfahren?

Am besten in der neuen Knürr Broschüre zur Flüssigkeitskühlung – als gedrucktes Exemplar oder auf der Knürr Website.

zur Downloadseite  
zur Katalogbestellung

31. Gibt es Möglichkeiten, ganz spezifische Wärme/Wärmelast-Situationen im Vorfeld zu überprüfen?

Knürr verfügt über die Möglichkeit, sowohl durch Thermosimulation als auch durch Vermessung in der Klimakammer Lösungen von vorneherein auf alle möglichen Anforderungen zuzuschneiden.

32. Wie kann ich meine Organisation von den Vorteilen einer wassergekühlten Lösung überzeugen?

- Knürr Broschüre zur Flüssigkeitskühlung
- Vorhandene TCO Studie
- Knürr Expertenpräsentation
- Referenzobjekt besichtigen
- Spezifische Planerstudie

zur Broschüre Thermalmanagment

33. Wo kann ich eine professionelle Beratung über CoolTherm® bei Knürr erhalten?

Die Knürr Vertriebsingenieure bieten qualifizierte Beratung und vermitteln nach Bedarf den direkten Kontakt zu den Knürr-Experten in Engineering, Produktmanagement und Entwicklung.

Kontaktformular

34. Welche zusätzlichen Produkte und Leistungen bietet Knürr im Bereich der Infrastruktur von Rechenzentren und Datenzentren?

- Kühllösungen für alle Anforderungsstufen, vom Lüfter bis zur Flüssigkeitskühlung
- Schränke / Gehäuse, von einfachen LAN-Produkten bis zum Schwerlastschrank MaxLoad
- Eine umfassende Palette von Zubehör für professionelle Verkabelung
- 1 HE TFT-Schubladen und KVM-Switche für die Administration
- Stromversorgung und Verteilung, USV-Anlagen, Steckdosenleisten
- Sicherheitslösungen wie RMS (Rack Monitoring System) und elektronische Schließung @lock