Modellartefakte zur Vorhersage exportieren

**Vorschau**: Online Prediction ist ein Vorschaufeature, das ohne Mängelgewähr zur Verfügung gestellt wird und nicht für Produktionsumgebungen empfohlen wird. Google bietet für Vorschaufeatures keine Service Level Agreements (SLAs) oder Zusicherungen zum technischen Support. Weitere Informationen finden Sie unter Feature-Phasen von GDC.

Google Distributed Cloud (GDC) air-gapped bietet vordefinierte Container für die Bereitstellung von Onlinevorhersagen aus Modellen, die mit den folgenden ML-Frameworks (maschinelles Lernen) trainiert wurden:

• TensorFlow
• PyTorch

Wenn Sie einen dieser vordefinierten Container verwenden möchten, müssen Sie das Modell als ein oder mehrere Modellartefakte speichern, die den Anforderungen des vordefinierten Containers entsprechen. Diese Anforderungen gelten unabhängig davon, ob Ihre Modellartefakte in Distributed Cloud erstellt werden.

Hinweis

Führen Sie vor dem Exportieren von Modellartefakten die folgenden Schritte aus:

1. Erstellen und trainieren Sie ein Vorhersagemodell, das auf einen der unterstützten Container ausgerichtet ist.
2. Wenn Sie kein Projekt haben, richten Sie ein Projekt für Vertex AI ein.

3. Erstellen Sie zusammen mit Ihrem Infrastruktur-Operator (IO) den Vorhersagecluster.

   Der IO erstellt den Cluster für Sie, verknüpft ihn mit Ihrem Projekt und weist die entsprechenden Knotenpools im Cluster zu. Dabei werden die Ressourcen berücksichtigt, die Sie für Onlinevorhersagen benötigen.

4. Erstellen Sie einen Storage-Bucket für Ihr Projekt.

5. Erstellen Sie das Vertex AI-Standarddienstkonto (vai-default-serving-sa) in Ihrem Projekt. Informationen zu Dienstkonten finden Sie unter Dienstkonten einrichten.

6. Weisen Sie dem Vertex AI-Standarddienstkonto (vai-default-serving-sa) die Rolle „Project Bucket Object Viewer“ (project-bucket-object-viewer) für den von Ihnen erstellten Storage-Bucket zu. Informationen zum Gewähren des Bucket-Zugriffs auf Dienstkonten finden Sie unter Bucket-Zugriff gewähren.

7. Bitten Sie Ihren Projekt-IAM-Administrator, Ihnen die Rolle „Vertex AI Prediction User“ (vertex-ai-prediction-user) zuzuweisen, um die Berechtigungen zu erhalten, die Sie für den Zugriff auf Online Prediction benötigen. Informationen zu dieser Rolle finden Sie unter IAM-Berechtigungen vorbereiten.

8. Bitten Sie Ihren Projekt-IAM-Administrator, Ihnen die Rolle „Vertex AI Prediction Admin“ (vertex-ai-prediction-Admin) zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Bereitstellen von Online Prediction-Modellen benötigen. Informationen zu dieser Rolle finden Sie unter IAM-Berechtigungen vorbereiten.

Framework-spezifische Anforderungen für den Export in vordefinierte Container

Je nachdem, welches ML-Framework Sie für die Vorhersage verwenden, müssen Sie Modellartefakte in verschiedene Formate exportieren. In den folgenden Abschnitten werden die zulässigen Modellformate für jedes ML-Framework erläutert.

Wichtig: Um auf die auf dieser Seite aufgeführten URLs zuzugreifen, müssen Sie mit dem Internet verbunden sein. Die URLs werden für den Zugriff außerhalb Ihrer Air-Gapped-Umgebung bereitgestellt.

TensorFlow

Wenn Sie ein Modell mithilfe von TensorFlow trainieren, exportieren Sie das Modell als Verzeichnis TensorFlow SavedModel.

Es gibt mehrere Möglichkeiten, SavedModels aus dem TensorFlow-Trainingscode zu exportieren. In der folgenden Liste werden einige Möglichkeiten für verschiedene TensorFlow APIs erläutert:

• Wenn Sie Keras für das Training verwenden, nutzen Sie tf.keras.Model.save, um ein SavedModel zu exportieren.

• Wenn Sie einen Estimator für das Training verwenden, nutzen Sie tf.estimator.Estimator.export_saved_model um ein SavedModel zu exportieren.

• Verwenden Sie andernfalls tf.saved_model.save oder tf.compat.v1.saved_model.SavedModelBuilder.

Wenn Sie nicht Keras und keinen Estimator nutzen, müssen Sie das Tag serve und die serving_default Signatur für das Exportieren des SavedModel verwenden, damit Vertex AI Ihre Modellartefakte für Vorhersagen nutzen kann. Keras und Estimator verarbeiten diese Aufgabe automatisch. Weitere Informationen finden Sie unter Signaturen während des Exports angeben.

Erstellen Sie für die Bereitstellung von Vorhersagen mit diesen Artefakten ein Model mit dem vordefinierten Container für Vorhersagen , der der Version von TensorFlow entspricht, die Sie für das Training verwendet haben.

PyTorch

Wenn Sie ein Modell mit PyTorch trainieren, müssen Sie die Modellartefakte verpacken, einschließlich eines Standard- oder benutzerdefinierten Handlers. Erstellen Sie dazu eine Archivdatei mit der Torch-Modellarchivierung. Die vordefinierten PyTorch-Images erwarten, dass das Archiv den Namen model.mar hat. Legen Sie also den Modellnamen auf model fest.

Informationen zur Optimierung von Arbeitsspeichernutzung, Latenz und Durchsatz eines PyTorch-Modells, das mit TorchServe bereitgestellt wird, finden Sie im Leitfaden: PyTorch-Leistung.

Modell hochladen

Sie müssen Ihr Modell in den von Ihnen erstellten Storage-Bucket hochladen. Weitere Informationen zum Hochladen von Objekten in Storage-Buckets finden Sie unter Storage-Objekte in Projekten hochladen und herunterladen.

Der Pfad zum Storage-Bucket Ihres Modells muss die folgende Struktur haben:

s3://BUCKET_NAME/MODEL_ID/MODEL_VERSION_ID

Details zum Exportieren finden Sie unter den Framework-spezifischen Anforderungen für den Export in vordefinierte Container.