Verlieren Sie Ihre GPUs nicht bei Wartungen in der Google Cloud

Die weltweite Nachfrage nach GPUs ist enorm. Wenn Ihr Engineering-Team NVIDIA-L4-, A100- oder H100-Ressourcen in der Google Cloud Platform (GCP) ergattert, fühlt sich das oft wie ein großer Erfolg an. Doch genau diese Kapazität können Sie wieder verlieren – bei einer Wartung der zugrunde liegenden Hardware oder wenn Sie Ihre Instanz für Routineaufgaben manuell stoppen.

Beim Stoppen Ihrer VM werden die Ressourcen freigegeben – egal, ob es sich um ein geplantes Google-Cloud-Wartungsereignis handelt oder um einen von Ihnen selbst initiierten Stopp, um einen Treiber zu patchen, ein Image auszutauschen oder Instanz-Scopes zu ändern. Ihre GPU landet damit wieder im öffentlichen Pool, und Ihre kritischen ML-Trainingsläufe oder Inferenz-Workloads bleiben auf der Strecke. So sichern Sie Ihre GPUs ab und stellen sicher, dass sie Infrastruktur-Updates überstehen.

Wichtige Einschränkungen und Sonderfälle

Reservations sind das Standardmittel gegen Kapazitätsverlust, dennoch müssen Sie einige architektonische Besonderheiten von GCP berücksichtigen:

• Eingeschränkte GPU-Konfigurationen: Aufgrund extremer Lieferengpässe lassen sich manche neuere oder besonders gefragte GPU-Konfigurationen nicht über Standard-On-Demand-Capacity-Reservations reservieren. Aktuell gelten beispielsweise Einschränkungen für A4X Max, A3 Ultra sowie A3-High-Konfigurationen mit weniger als acht GPUs. Prüfen Sie die Reservierbarkeit immer in der GCP-Dokumentation.
• Spot-VMs vs. CUDs: Reservations schützen Standard-VM-Workloads. Spot-VMs schützen sie nicht – diese können keine Reservations belegen und sind per Design unterbrechbar.
• CUDs: Committed Use Discounts wirken sich auf den Preis aus; sie reservieren selbst keine Kapazität. Beachten Sie, dass CUDs sowohl für VMs als auch für ungenutzte Reservations berechnet werden.
• GKE-Integration: Compute Engine Reservations können GPU-Kapazität schützen, die von der Google Kubernetes Engine (GKE) genutzt wird. In GKE Standard konfigurieren Sie den Node-Pool mit Reservation Affinity. In GKE Autopilot müssen Sie explizit eine Reservation auswählen oder eine unterstützte benutzerdefinierte ComputeClass konfigurieren.

So setzen Sie GPU Reservations für benutzerinitiierte Wartungen um

Der sicherste Weg, Konfigurationsabweichungen zu vermeiden: Definieren Sie die VM einmal in einem Instance Template und erstellen Sie die Reservation aus diesem Template. Standardmäßig stehen Reservations auf "Automatisch verbrauchen". Jede in Ihrem Projekt erstellte VM, die exakt zu den Spezifikationen der Reservation passt, belegt sie automatisch.

1. Reservation erstellen

Wenn Sie rollierende Wartungen über einen Cluster hinweg durchführen (etwa Node-für-Node-OS-Patching), müssen Sie nicht die Kapazität der gesamten Flotte reservieren. Dimensionieren Sie Ihre Reservation auf exakt die Anzahl der Instanzen, die Sie gleichzeitig herunterfahren wollen. Wenn Sie beispielsweise jeweils zwei Nodes drainen und aktualisieren, setzen Sie --vm-count auf 2, um genau diese Instanzen beim Neustart aufzufangen.

Sie können die Reservation über ein Instance Template provisionieren, um eine exakte Übereinstimmung sicherzustellen – per Kommandozeile:

gcloud compute reservations create gpu-maintenance-reservation \
    --project=my-project-id \
    --source-instance-template=projects/my-project-id/global/instanceTemplates/my-gpu-template \
    --vm-count=1 \
    --zone=us-central1-c

Alternativ können Sie die Reservation direkt definieren:

gcloud compute reservations create reservation-v100 \
    --project=joshua-playground \
    --zone=us-east1-c \
    --machine-type=n1-standard-1 \
    --accelerator=count=1,type=nvidia-tesla-v100 \
    --vm-count=1 \
    --require-specific-reservation=false

Und natürlich geht das auch in der Google Cloud Console.

2. VM bereitstellen und Belegung prüfen

Da --require-specific-reservation auf false steht, müssen Sie Ihre VM-Deployment-Skripte nicht anpassen. Solange Sie eine exakt passende VM in derselben Zone starten, ordnet GCP sie automatisch Ihrer reservierten Kapazität zu.

Um zu prüfen, ob die erwartete Anzahl an Instanzen die reservierten Slots belegt, sehen Sie sich die Reservation-Metriken in der Google Cloud Console an. Aktuelle Reservations finden Sie unter Compute Engine > Reservations, die historische Nutzung in Google Cloud Monitoring – über die Metriken compute.googleapis.com/reservation/used und compute.googleapis.com/reservation/reserved.

3. Reservation bereinigen

Anders als Standard-VMs müssen Capacity Reservations explizit gelöscht werden, sobald Sie sie nicht mehr benötigen. Wenn Sie Ihren Workload dauerhaft stilllegen und die VM löschen, aber vergessen, die Reservation zu entfernen, zahlen Sie weiterhin den vollen On-Demand-Preis für die ungenutzte GPU-Kapazität – und CUDs werden ebenfalls berechnet.

Wenn Sie die Reservation nicht mehr benötigen, entfernen Sie sie per Kommandozeile:

gcloud compute reservations delete gpu-maintenance-reservation \
    --project=my-project-id \
    --zone=us-central1-c \
    --quiet

Die Kostenseite

Reservations in GCP kosten nichts extra, allerdings zahlen Sie für die reservierten Ressourcen – unabhängig davon, ob sie aktiv an eine laufende VM gebunden sind oder brachliegen. Da Sie ohnehin für die aktive GPU-VM zahlen, ist das Absichern per Reservation kostenneutral. Leerlaufkosten fallen nur in den wenigen Minuten an, in denen die VM während der Wartung neu startet – eine günstige Versicherung gegen den Verlust Ihrer Hardware.

Wie viel Sie genau für die reservierte Kapazität gezahlt haben, während Ihre Instanzen gestoppt waren, können Sie mit DoiT Cloud Analytics nachvollziehen. Filtern Sie Ihre Reports nach der SKU compute.googleapis.com/reservation, um die exakten Kosten der garantierten Kapazität während Ihrer Downtime zu prüfen.

Mit GCP Reservations verwandeln Sie Hardware-Verfügbarkeit von einem Glücksspiel in eine planbare Garantie. Da Reservations über Ihre zugrunde liegende Compute-Nutzung hinaus nichts extra kosten, ist es ein unnötiges Risiko, Ihre kritischen GPU-Instanzen nicht mit einer Reservation abzusichern. Provisionieren Sie exakt die benötigte Kapazität in Ihrer Zielzone, deployen Sie aus einem passenden Instance Template und stellen Sie sicher, dass Ihre Workloads bei Routine-Neustarts oder unvermeidbaren Google-Wartungen nie auf der Strecke bleiben.