Den „On-Demand-Supercomputer“ Azure HPC verstehen

Vor langer Zeit hat jemand gesagt, dass auf der ganzen Welt nur 5 Computer benötigt werden. Microsoft Azure, Amazon Web Services, Google Cloud Platform usw. sind allesamt massiv skalierbare Rechencluster, bei denen jeder Server und jedes Rechenzentrum eine weitere Komponente ist, und man könnte sagen, dass sie zusammenkommen, um einen riesigen, globalen Computer zu bilden. verfügen über. Tatsächlich wurden viele der Technologien, die die Cloud antreiben, ursprünglich entwickelt, um Supercomputer mit handelsüblicher Hardware zu bauen und zu betreiben.
ⓒ Getty Images Bank

Wäre es nicht schön, ein HPC-System (High Performance Computing) zu erstellen, aufzubauen und auszuführen, das nur existiert, während die Cloud zur Lösung von Problemen verwendet wird? Sie können sich die Cloud in etwa so vorstellen, wie Filmemacher bei Weta Digital an Renderfarmen denken: Hardware-Serverräume, die für CGI-Effekte in Filmen wie King Kong und The Hobbit gebaut wurden. Die Renderfarm dient der neuseeländischen Regierung als temporärer Supercomputer, wenn sie nicht für die Filmproduktion verwendet wird.

Die erste groß angelegte Fallstudie der Public Cloud konzentrierte sich auf diesen Teil: die Nutzung der Public Cloud für temporäre Kapazitätsspitzen, die in der Vergangenheit lokale HPC-Hardware verwendet hätten. Dies bestätigt, dass durch den Einsatz von HPC erhebliche Kosteneinsparungen erzielt werden können, ohne in Platz, Speicher und Strom im Rechenzentrum zu investieren.

Informationen zu Azure HPC

HPC-Funktionen sind in der Cloud, einschließlich Azure, nach wie vor wichtig. Die Cloud ist nicht mehr auf generische Hardware angewiesen, sondern bietet jetzt Recheninstanzen mit Fokus auf HPC und arbeitet mit HPC-Lösungsanbietern zusammen, um spezialisierte Tools als Service bereitzustellen. Insbesondere behandelt es HPC als dynamischen Service, der schnell und einfach ausgeführt werden kann und je nach Bedarf skalierbar ist.

Die HPC-Tools von Azure stellt man sich am besten als eine Sammlung von Architekturprinzipien vor, die darauf abzielen, das bereitzustellen, was Microsoft „Big Computing“ nennt. Der enorme Umfang von Azure kann verwendet werden, um umfangreiche Rechenaufgaben auszuführen. Einige davon werden Big-Data-Jobs sein, andere eher rechenorientiert sein, z. B. Simulationen mit einer begrenzten Anzahl von Eingaben durchführen. Beispiele hierfür sind die Erstellung zeitbasierter Simulationen mithilfe von Computational Fluid Dynamics oder iterativer statistischer Monte-Carlo-Analyse oder der Aufbau und Betrieb von Renderfarmen für CGI-Filme.

Die HPC-Fähigkeiten von Azure sind darauf ausgelegt, HPC einem breiteren Spektrum von Benutzern bereitzustellen, die keinen Supercomputer benötigen, aber eine höhere Rechenleistung als Engineering-Workstations benötigen oder die ein kleiner Servercluster bereitstellen kann. Es werden keine schlüsselfertigen HPC-Systeme bereitgestellt, daher müssen Sie Ihre eigene Windows- oder Linux-Clusterinfrastruktur mit HPC-fokussierten virtuellen Computern und einer geeigneten Speicherplattform aufbauen und mithilfe der RDMA-Netzwerkfunktionen von Azure mit hohem Durchsatz verbinden.

Erstellen einer HPC-Architektur in der Cloud

Technologien wie ARM und Bicep sind der Schlüssel zum Aufbau und zur Wartung von HPC-Umgebungen. Da der größte Teil der Wartungsverantwortung beim Kunden liegt, ist es schwierig, ihn als Plattformdienst von Azure zu bezeichnen. Die Verwendung von Infrastruktur als Code als Grundlage erleichtert den Umgang mit der HPC-Infrastruktur mit Systemen, die nach Bedarf auf- und abgebaut werden können. Diese Infrastruktur wird immer gleich konfiguriert, wenn HPC-Services bereitgestellt werden.

Microsoft bietet eine Vielzahl von VM-Typen für HPC-Netzwerke an. Die meisten Anwendungen verwenden VMs der H-Serie, die für CPU-intensive Berechnungen für rechenintensive Workloads optimiert sind, die sich auf Simulation und Modellierung konzentrieren. Die HBv3-Serie bietet bis zu 120 AMD-Kerne und 448 GB RAM. Ein einzelner Server kostet 9,12 $ pro Stunde für Windows und 3,60 $ pro Stunde für Ubuntu. NVIDIA InfiniBand-Netzwerke eignen sich zum Erstellen von Clustern mit geringer Latenz für die Skalierbarkeit.

Es gibt auch Optionen, die ältere Hardware zu geringeren Kosten anbieten, und die kleineren VMs der HC- und H-Serie verwenden Intel-Prozessoren anstelle von AMD. Wenn Sie Ihrem Cluster GPU-Computing hinzufügen müssen, helfen Ihnen einige VMs der N-Serie, die Infiniband-Konnektivität bieten, beim Aufbau eines hybriden CPU/GPU-Clusters.

Nicht alle VMs der H-Serie sind in allen Azure-Regionen verfügbar. Um also die richtige Hardware für Ihr Projekt zu finden, müssen Sie möglicherweise eine andere Region als Ihren Standort auswählen. Wenn es sich um ein großes Projekt handelt, sollten Sie mit Tausenden von Dollar pro Monat rechnen, insbesondere wenn Sie Speicher und Netzwerke hinzufügen. Zusätzlich zu VMs und Speicher benötigen Sie wahrscheinlich eine Verbindung mit hoher Bandbreite zu Azure, um Daten und deren Ergebnisse zu übertragen.

Nachdem Sie die VM ausgewählt haben, müssen Sie das Betriebssystem, den Planer und den Workload-Manager auswählen. Sie können aus einer Vielzahl von Optionen im Azure Marketplace wählen oder eine vertraute Open-Source-Lösung bereitstellen. Dieser Ansatz macht es relativ einfach, vorhandene HPC-Workloads in Azure zu bringen oder auf vorhandenen Skillsets und Toolchains aufzubauen. Die neuesten Azure-Dienste wie FPGA-Unterstützung sind ebenfalls verfügbar.

Außerdem besteht eine Partnerschaft mit Cray, das einen verwalteten Supercomputer bereitstellt, der bei Bedarf ausgeführt werden kann, und die bekannten HPC-Anwendungen sind auch auf dem Azure Marketplace verfügbar, was die Installation vereinfacht. Es kann jedoch eine Lizenz erforderlich sein, bereiten Sie sich also im Voraus vor.

Verwalten von HPC mit Azure Cycle Cloud

Sie müssen nicht die gesamte Architektur von Grund auf neu erstellen. Azure CycleCloud ist ein Dienst, der beim Verwalten von Speicher und Scheduler hilft und eine Umgebung zum Verwalten von HPC-Tools bereitstellt. CycleCloud kann mit Tools wie ARM verglichen werden. Es ist ein Mittel zum Erstellen von Infrastrukturvorlagen, die sich auf eine höhere Ebene als VMs konzentrieren, die Behandlung der Infrastruktur als eine Reihe von Rechenknoten, das Bereitstellen von VMs nach Bedarf mit dem Planer Ihrer Wahl und das Bereitstellen einer automatisierten Skalierung.

Alles kann über eine zentrale Konsole verwaltet werden, und ein eigenes Portal zur Verwaltung von Rechen- und Speicherressourcen ist in die Überwachungstools von Azure integriert. Es gibt auch APIs, mit denen Sie Ihre eigenen Erweiterungen schreiben können, um Automatisierung hinzuzufügen. CycleCloud ist nicht im Azure-Portal enthalten, es wird als VM mit eigener webbasierter Benutzeroberfläche installiert.

Big Computing mit Azure Batch

Die meisten Azure HPC-Tools sind IaaS, aber es gibt auch Plattformoptionen in Form von Azure Batch. Azure-Bereitstellungen sind für inhärent parallele Workloads wie Monte-Carlo-Simulationen konzipiert, bei denen jeder Teil einer parallelen Anwendung unabhängig von allen anderen Teilen ist (obwohl Datenquellen gemeinsam genutzt werden können). Dieses Modell eignet sich für Life-Science-Aufgaben wie das Rendern von CGI-Filmbildern oder das Analysieren von DNA-Sequenzen. Kunden müssen ihre eigene Software mitbringen, um Jobs auszuführen, die für die Batch-API entwickelt wurde. Bereitstellungen sind kostensensitiv, aber nicht zeitabhängig, sodass Sie VM-Spot-Instances verwenden können, um Jobs auszuführen, wenn Kapazität verfügbar ist.

Sie werden nicht alle HPC-Jobs in Azure-Batches ausführen können, aber realisierbare Jobs bieten interessante Skalierungsoptionen, die die Kosten auf ein Minimum reduzieren. Der Überwachungsdienst ist nützlich für die Verwaltung von Batch-Jobs, die Tausende von Instanzen gleichzeitig ausführen können. Es wird empfohlen, die Daten im Voraus aufzubereiten und separate Vor- und Nachverarbeitungsanwendungen zu verwenden, um die Ein- und Ausgabedaten zu verarbeiten.

Es ist auch eine gute Idee, Azure als DIY-Supercomputer zu verwenden. VMs der H-Serie sind leistungsstarke Server, die umfangreiche Rechenfunktionen bieten. Vertraute Tools werden unterstützt, sodass Sie neue Anwendungen erstellen können, ohne Ihre lokalen Workloads auf Azure HPC zu verschieben oder völlig neue Tools zu erlernen. Der einzige Schlüssel ist die Ökonomie. Die Frage wird sein, ob die Kosten für On-Demand-HPC die Vorteile eines Wechsels von Ihrem eigenen Rechenzentrum zu Azure bieten.
[email protected]


Source: ITWorld Korea by www.itworld.co.kr.

*The article has been translated based on the content of ITWorld Korea by www.itworld.co.kr. If there is any problem regarding the content, copyright, please leave a report below the article. We will try to process as quickly as possible to protect the rights of the author. Thank you very much!

*We just want readers to access information more quickly and easily with other multilingual content, instead of information only available in a certain language.

*We always respect the copyright of the content of the author and always include the original link of the source article.If the author disagrees, just leave the report below the article, the article will be edited or deleted at the request of the author. Thanks very much! Best regards!