A3-VMs jetzt in der privaten Vorschau auf Google Cloud, angetrieben von NVIDIA H100-GPUs

Auf seiner AI-fokussierten I/O-Veranstaltung kündigte Google an , dass Google Cloud-Kunden in einer privaten Vorschau mit der Nutzung virtueller A3-Maschinen mit NVIDIA H100-GPUs beginnen können. Der Suchriese sagte, seine neuen A3VMs seien ein „Fortschritt“ für Kunden, die fortschrittliche Modelle für maschinelles Lernen entwickeln.

Die Hauptmerkmale der virtuellen A3-GPU-Maschinen (VMs) sind wie folgt:

• 8 H100-GPUs nutzen die Hopper-Architektur von NVIDIA und liefern den dreifachen Rechendurchsatz
• 3,6 TB/s Halbierungsbandbreite zwischen den 8 GPUs des A3 über NVIDIA NVSwitch und NVLink 4.0
• Skalierbare Intel Xeon-Prozessoren der nächsten Generation der 4. Generation
• 2 TB Host-Speicher über 4800 MHz DDR5-DIMMs
• 10-mal größere Netzwerkbandbreite durch unsere hardwarefähigen IPUs, speziellen GPU-Kommunikationsstack zwischen Servern und NCCL-Optimierungen

Mithilfe dieser virtuellen Maschinen können Unternehmen, die komplexe ML-Modelle trainieren müssen, dies viel schneller tun. Sie wurden unter Berücksichtigung anspruchsvoller KI-Modelle entwickelt, die für die heutige generative KI verantwortlich sind .

„Die A3-VMs von Google Cloud, die von NVIDIA H100-GPUs der nächsten Generation angetrieben werden, werden das Training und die Bereitstellung generativer KI-Anwendungen beschleunigen“, sagte Ian Buck, Vizepräsident für Hyperscale und High Performance Computing bei NVIDIA. „Nach den kürzlich eingeführten G2-Instanzen von Google Cloud sind wir stolz darauf, unsere Zusammenarbeit mit Google Cloud fortzusetzen, um Unternehmen auf der ganzen Welt mit einer speziell entwickelten KI-Infrastruktur zu transformieren.“

Laut Google können seine neuen A3-Supercomputer bis zu 26 ExaFlops KI-Leistung bereitstellen und sind die erste GPU-Instanz, die speziell entwickelte 200-Gbit/s-IPUs mit GPU-zu-GPU-Datenübertragungen verwendet, die den CPU-Host umgehen können. Dies ermöglicht eine zehnmal höhere Netzwerkbandbreite und beschleunigt die Arbeit.