Modellartefakte zur Vorhersage exportieren

Vorabversion: Onlinevorhersagen sind eine Funktion in der Vorabversion, die so wie sie ist verfügbar ist und nicht für Produktionsumgebungen empfohlen wird. Google bietet für Funktionen in der Vorabversion keine Service Level Agreements (SLA) oder Zusicherungen für technischen Support an. Weitere Informationen finden Sie unter Entwicklungsphasen von GDC.

Google Distributed Cloud (GDC) mit Air Gap bietet vordefinierte Container für Onlinevorhersagen von Modellen, die mit den folgenden ML-Frameworks (maschinelles Lernen) trainiert wurden:

• TensorFlow
• PyTorch

Wenn Sie einen dieser vordefinierten Container verwenden möchten, müssen Sie das Modell als ein oder mehrere Modellartefakte speichern, die den Anforderungen des vordefinierten Containers entsprechen. Diese Anforderungen gelten unabhängig davon, ob Ihre Modellartefakte in Distributed Cloud erstellt werden.

Hinweis

Führen Sie vor dem Exportieren von Modellartefakten die folgenden Schritte aus:

1. Erstellen und trainieren Sie ein Vorhersagemodell, das auf einen der unterstützten Container abzielt.
2. Wenn Sie kein Projekt haben, richten Sie ein Projekt für Vertex AI ein.

3. Arbeiten Sie mit Ihrem Infrastruktur-Operator (IO) zusammen, um den Vorhersagecluster zu erstellen.

   Der IO erstellt den Cluster für Sie, verknüpft ihn mit Ihrem Projekt und weist die entsprechenden Knotenpools innerhalb des Clusters zu. Dabei werden die Ressourcen berücksichtigt, die Sie für Onlinevorhersagen benötigen.

4. Erstellen Sie einen Storage-Bucket für Ihr Projekt.

5. Erstellen Sie das Vertex AI-Standarddienstkonto für die Bereitstellung (vai-default-serving-sa) in Ihrem Projekt. Informationen zu Dienstkonten finden Sie unter Dienstkonten einrichten.

6. Weisen Sie dem Vertex AI-Standarddienstkonto für die Bereitstellung (vai-default-serving-sa) für den von Ihnen erstellten Storage-Bucket die Rolle „Project Bucket Object Viewer“ (project-bucket-object-viewer) zu. Informationen zum Gewähren von Bucket-Zugriff für Dienstkonten finden Sie unter Bucket-Zugriff gewähren.

7. Bitten Sie Ihren IAM-Projektadministrator, Ihnen die Rolle „Vertex AI Prediction User“ (vertex-ai-prediction-user) zuzuweisen, um die Berechtigungen zu erhalten, die Sie für den Zugriff auf Online-Vorhersagen benötigen. Informationen zu dieser Rolle finden Sie unter IAM-Berechtigungen vorbereiten.

8. Bitten Sie Ihren IAM-Projektadministrator, Ihnen die Rolle „Vertex AI Prediction Admin“ (vertex-ai-prediction-Admin) zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Bereitstellen von Onlinevorhersagemodellen benötigen. Informationen zu dieser Rolle finden Sie unter IAM-Berechtigungen vorbereiten.

Framework-spezifische Anforderungen für den Export in vordefinierte Container

Je nachdem, welches ML-Framework Sie für die Vorhersage verwenden, müssen Sie Modellartefakte in verschiedene Formate exportieren. In den folgenden Abschnitten werden die zulässigen Modellformate für die einzelnen ML-Frameworks beschrieben.

Wichtig: Für den Zugriff auf die auf dieser Seite aufgeführten URLs müssen Sie mit dem Internet verbunden sein. Die URLs werden für den Zugriff außerhalb Ihrer Air-Gap-Umgebung bereitgestellt.

TensorFlow

Wenn Sie TensorFlow zum Trainieren eines Modells verwenden, exportieren Sie Ihr Modell als TensorFlow SavedModel-Verzeichnis.

Es gibt mehrere Möglichkeiten, SavedModels aus TensorFlow-Trainingscode zu exportieren. In der folgenden Liste werden einige Möglichkeiten für verschiedene TensorFlow APIs erläutert:

• Wenn Sie Keras für das Training verwenden, nutzen Sie tf.keras.Model.save, um ein SavedModel zu exportieren.

• Wenn Sie einen Estimator für das Training verwenden, nutzen Sie tf.estimator.Estimator.export_saved_model, um ein SavedModel zu exportieren.

• Andernfalls verwenden Sie tf.saved_model.save oder tf.compat.v1.saved_model.SavedModelBuilder.

Wenn Sie nicht Keras und keinen Estimator nutzen, müssen Sie das Tag serve und die serving_default-Signatur für das Exportieren des SavedModel verwenden, um sicherzustellen, dass Vertex AI Ihre Modellartefakte für die Bereitstellung von Vorhersagen nutzen kann. Keras und Estimator verarbeiten diese Aufgabe automatisch. Weitere Informationen finden Sie unter Signaturen während des Exports angeben.

Erstellen Sie für die Bereitstellung von Vorhersagen mit diesen Artefakten ein Model mit dem vordefinierten Container für Vorhersagen, der der Version von TensorFlow entspricht, die Sie für das Training verwendet haben.

PyTorch

Wenn Sie PyTorch zum Trainieren eines Modells verwenden, müssen Sie die Modellartefakte verpacken, einschließlich eines Standard- oder benutzerdefinierten Handlers. Erstellen Sie dazu eine Archivdatei mit der Torch-Modellarchivierung. Die vordefinierten PyTorch-Images erwarten, dass das Archiv den Namen model.mar hat. Legen Sie also den Modellnamen auf model fest.

Informationen zur Optimierung von Arbeitsspeichernutzung, Latenz und Durchsatz eines PyTorch-Modells, das mit TorchServe bereitgestellt wird, finden Sie im Leitfaden: PyTorch-Leistung.

Modell hochladen

Sie müssen Ihr Modell in den von Ihnen erstellten Storage-Bucket hochladen. Weitere Informationen zum Hochladen von Objekten in Storage-Buckets finden Sie unter Storage-Objekte in Projekten hoch- und herunterladen.

Der Pfad zum Storage-Bucket Ihres Modells muss die folgende Struktur haben:

s3://BUCKET_NAME/MODEL_ID/MODEL_VERSION_ID

Weitere Informationen zum Export finden Sie unter Framework-spezifische Anforderungen für den Export in vordefinierte Container.