Vertex AI – Übersicht

Mit Vertex AI auf der Google Distributed Cloud (GDC)-Appliance mit Air Gap können Sie Arbeitslasten für maschinelles Lernen (ML) und künstliche Intelligenz (KI) auf einem sicheren tragbaren Gerät ausführen. Die Appliance bietet Zugriff auf eine Auswahl vortrainierter APIs, sodass Sie Sprach-, Übersetzungs- und Texterkennung in Ihre private Cloud-Lösung einbinden können.

Wichtige Features

Vertex AI auf einer GDC-Appliance mit Air Gap bietet die folgenden Funktionen:

  • Mit Air Gap: Vertex AI-Dienste werden vollständig auf Ihrem tragbaren Gerät ausgeführt, um Datenhoheit und Compliance zu gewährleisten.
  • Vertraute Vertex AI-Umgebung: Nutzen Sie die gleichen Tools und APIs von Google Cloud, um die Entwicklung und Verwaltung zu vereinfachen.
  • Vorgefertigte Modelle und Algorithmen: Sie können auf eine Reihe vortrainierter Modelle für gängige Aufgaben des maschinellen Lernens zugreifen und so die Wertschöpfung beschleunigen.

Verfügbare Dienste

Vertex AI auf der GDC-Appliance mit Air Gap bietet die folgenden vortrainierten Dienste:

Kapazitätsplanung und Rechenanforderungen

Für jeden Vertex AI-Dienst sind unterschiedliche Rechenressourcen erforderlich. In der folgenden Tabelle sind die Anforderungen für jedes vortrainierte Modell aufgeführt:

Vortrainierte API Computing-Ressourcen Anforderungen an die GPU-Anzahl GPU-Arbeitsspeicheranforderungen
Optische Zeichenerkennung (Optical Character Recognition, OCR) GPU Eine einzelne A100-GPU mit 80 GB 40 GB
Speech-to-Text CPU Nicht zutreffend (nur CPU) Nicht zutreffend (nur CPU)
Vertex AI Translation GPU Eine einzelne A100-GPU mit 80 GB 50 GB

Die GDC-Appliance mit Air Gap enthält eine einzelne NVIDIA A100-GPU mit 80 GB. Dadurch kann auf dem Gerät jeweils nur eine GPU-abhängige vortrainierte Vertex AI API ausgeführt werden. Wenn Sie versuchen, sowohl Vertex AI Translation als auch OCR zu aktivieren, schlägt die Aktivierung der zweiten API mit einer Fehlermeldung fehl, die auf unzureichende GPU-Ressourcen hinweist. Sie können Speech-to-Text jedoch zusammen mit Vertex AI Translation oder OCR ausführen, da Speech-to-Text nur CPU-Ressourcen benötigt.

Damit Sie die Anzahl der Appliance-Einheiten bestimmen können, die für Ihre KI/ML-Arbeitslasten erforderlich sind, sollten Sie die folgenden Kapazitätslimits für jede vortrainierte Vertex AI-API berücksichtigen:

Vortrainierte API Kapazität pro Appliance-Einheit
Optische Zeichenerkennung (Optical Character Recognition, OCR) Bis zu 30 Bilder pro Minute (ein Bild alle zwei Sekunden).
Speech-to-Text Bis zu sieben Minuten Audio pro Minute (sieben Sekunden Audio pro Sekunde).
Vertex AI Translation Bis zu 61.000 Zeichen pro Minute (1.024 Zeichen pro Sekunde).

Beachten Sie bei der Planung Ihrer Bereitstellung die folgenden Hinweise:

  • Die Kapazitätslimits sind Näherungswerte und werden nicht garantiert. Die tatsächliche Kapazität kann je nach Faktoren wie den folgenden variieren:

    • Komplexität der Eingabedaten (z. B. Sprache für die Übersetzung, Bildqualität für OCR und Audioklarheit für Speech-to-Text).
    • Spezifische Konfiguration der Appliance.
    • Gleichzeitige Nutzung anderer Dienste auf der Appliance.

  • Es kann jeweils nur eine GPU-intensive API (Vertex AI Translation oder OCR) aktiv sein, da die GDC-Appliance mit Air Gap auf eine einzelne A100-GPU mit 80 GB beschränkt ist.

  • Schätzen Sie Ihre Spitzennutzung und das potenzielle zukünftige Wachstum ein.

  • Für anspruchsvolle Arbeitslasten, die einen höheren Durchsatz erfordern, sollten Sie mehrere Appliance-Einheiten bereitstellen.

In der folgenden Tabelle sind die Speicheranforderungen für die einzelnen Vertex AI-Dienste auf der GDC-Appliance mit Air Gap aufgeführt:

Komponente Speicherbedarf
OCR-Frontend 0,1 GB
OCR-Backend 5 GB
OCR-Extraktor 0,1 GB
Speech-to-Text-Frontend 0,1 GB
Speech-to-Text-Backend 1,5 GB
Vertex AI Translation-Frontend 0,7 GB
Vertex AI Translation-Backend 61,4 GB

Achten Sie darauf, dass Ihre Appliance über genügend Speicherkapazität für die Vertex AI-Dienste verfügt, die Sie verwenden möchten.

Vorteile

Vertex AI auf der GDC-Appliance mit Air Gap bietet folgende Vorteile:

  • Nahtlose Entwicklung: Verwenden Sie dieselben Tools, APIs und Workflows von Vertex AI auf Google Cloud, um die Entwicklung und Verwaltung intuitiv und effizient zu gestalten.
  • Erweiterte Sicherheit und Datenschutz: Sie behalten die vollständige Kontrolle über Ihre Daten und halten die gesetzlichen Anforderungen ein.
  • Schnellere Wertschöpfung: Verwenden Sie vortrainierte Modelle für gängige Aufgaben des maschinellen Lernens.
  • Optimierte MLOps: Profitieren Sie von robusten Funktionen für Machine Learning Operations, um KI nahtlos in Ihre Air-Gap-Umgebung zu integrieren.

Erste Schritte

So verwenden Sie Vertex AI auf einer GDC-Appliance mit Air Gap: