Inferenzen in Vertex AI abrufen

Eine Inferenz ist die Ausgabe eines trainierten Modells für maschinelles Lernen. Auf dieser Seite finden Sie einen Überblick über den Workflow zum Abrufen von Inferenzen aus Ihren Modellen in Vertex AI.

Vertex AI bietet zwei Methoden zum Abrufen von Inferenzdaten:

  • Online-Inferenzanfragen sind synchrone Anfragen an ein Modell, das in einem Endpoint bereitgestellt wird. Entsprechend müssen Sie vor dem Senden einer Anfrage zuerst die Ressource Model auf einem Endpunkt bereitstellen. Dadurch werden dem Modell Rechenressourcen zugeordnet, sodass es Onlineinferenzen mit niedriger Latenz bereitstellen kann. Verwenden Sie Onlineinferenzen, wenn Sie Anfragen als Reaktion auf Anwendungseingaben stellen oder wenn zeitnahe Inferenzen erforderlich sind.
  • Batchinferenzen sind asynchrone Anfragen an ein Modell, das nicht auf einem Endpunkt bereitgestellt wird. Sie senden die Anfrage (als BatchPredictionJob-Ressource) direkt an die Model-Ressource. Verwenden Sie Batchinferenzen, wenn Sie nicht sofort eine Antwort benötigen und akkumulierte Daten in einer einzigen Anfrage verarbeiten möchten.

Inferenz von benutzerdefinierten trainierten Modellen abrufen

Damit Sie Inferenzen abrufen können, müssen Sie zuerst das Modell importieren. Nach dem Import wird sie zu einer Model-Ressource, die in Vertex AI Model Registry sichtbar ist.

Anschließend erfahren Sie in der folgenden Dokumentation, wie Sie Inferenzdaten abrufen:

Schlussfolgerungen aus AutoML-Modellen abrufen

Im Gegensatz zu benutzerdefinierten trainierten Modellen werden AutoML-Modelle nach dem Training automatisch in die Vertex AI Model Registry importiert.

Ansonsten ist der Workflow für AutoML-Modelle ähnlich, variiert jedoch je nach Datentyp und Modellziel geringfügig. Die Dokumentation zum Abrufen von AutoML-Inferenzdaten finden Sie neben der anderen AutoML-Dokumentation. Hier finden Sie Links zur Dokumentation:

Bild

Hier erfahren Sie, wie Sie Inferenz aus den folgenden Arten von AutoML-Bildmodellen abrufen:

Tabellarisch

Hier erfahren Sie, wie Sie Inferenz aus den folgenden Arten von tabellarischen AutoML-Modellen abrufen:

Inferenzen aus BigQuery ML-Modellen abrufen

Sie haben zwei Möglichkeiten, Inferenzvorhersagen aus BigQuery ML-Modellen abzurufen:

  • Fordern Sie Batchinferenzen direkt vom Modell in BigQuery ML an.
  • Registrieren Sie die Modelle direkt in der Modell-Registry, ohne sie aus BigQuery ML zu exportieren oder in die Modell-Registry zu importieren.