Modellinferenz – Übersicht

In diesem Dokument werden die in BigQuery ML unterstützten Batchinferenzen erläutert, einschließlich:

Bei der Inferenz des maschinellen Lernens werden Datenpunkte einem Modell für maschinelles Lernen zugeführt, um eine Ausgabe zu berechnen, z. B. einen einzelnen numerischen Wert. Dieser Vorgang wird auch als „Operationalisieren eines ML-Modells“ oder „Überführen eines ML-Modells in die Produktion“ bezeichnet.

Batchvorhersage

In den folgenden Abschnitten werden die verfügbaren Möglichkeiten zur Vorhersage in BigQuery ML beschrieben.

Inferenz mit trainierten BigQuery ML-Modellen

Vorhersagen in BigQuery ML werden nicht nur für beaufsichtigte Lernmodelle, sondern auch für unbeaufsichtigte Lernmodelle verwendet.

BigQuery ML unterstützt Vorhersagefunktionen über die Funktion ML.PREDICT mit den folgenden Modellen:

Modellkategorie Modelltypen Aufgabe von ML.PREDICT
Beaufsichtigtes Lernen Lineare und logistische Regression

Boosted Trees

Random Forest

Neuronale Deep-Learning-Netzwerke

Wide-and-Deep

AutoML-Tabellen 		Label vorhersagen, entweder einen numerischen Wert für Regressionsaufgaben oder einen kategorialen Wert für Klassifizierungsaufgaben.
Unbeaufsichtigtes Lernen K-means Cluster der Entität zuweisen.
PCA Dimensionalitätsreduktion auf die Entität anwenden, indem sie in den von den Eigenvektoren umfassten Bereich umgewandelt wird.
Autoencoder Entität in den eingebetteten Bereich umwandeln.

Inferenzen und importierte Modellen

Bei diesem Ansatz erstellen und trainieren Sie ein Modell außerhalb von BigQuery, importieren es mit der Anweisung CREATE MODEL und führen dann mithilfe mit Funktion ML.PREDICT die Inferenz dafür aus. Die gesamte Inferenzverarbeitung erfolgt in BigQuery mithilfe von Daten aus BigQuery. Importierte Modelle können beaufsichtigtes oder unbeaufsichtigtes Lernen durchführen.

BigQuery ML unterstützt folgende importierte Modelltypen:

Nutzen Sie diesen Ansatz, um benutzerdefinierte Modelle zu verwenden, die mit einer Reihe von ML-Frameworks entwickelt wurden. Dabei profitieren Sie von der Inferenzgeschwindigkeit und der Daten-Colocation von BigQuery ML.

Weitere Informationen finden Sie in den folgenden Anleitungen:

Inferenzen und Remote-Modelle

Bei diesem Ansatz können Sie einen Verweis auf ein Modell erstellen, das in Vertex AI Inference gehostet wird, indem Sie die Anweisung CREATE MODEL verwenden und dann mit der Funktion ML.PREDICT die Inferenz dafür ausführen. Die gesamte Inferenzverarbeitung erfolgt in der Agent Platform unter Verwendung von Daten aus BigQuery. Remote-Modelle können beaufsichtigtes oder unbeaufsichtigtes Lernen durchführen.

Mit diesem Ansatz können Sie Inferenzen für große Modelle ausführen, für die die von der Agent Platform bereitgestellte GPU-Hardwareunterstützung erforderlich ist. Wenn die meisten Ihrer Modelle von der Agent Platform gehostet werden, können Sie über SQL Inferenz für diese Modelle ausführen, ohne manuell Datenpipelines erstellen zu müssen, um Daten in die Agent Platform zu importieren und Vorhersagen zurück nach BigQuery senden zu können.

Eine detaillierte Anleitung finden Sie unter Vorhersagen mit Remote-Modellen auf der Agent Platform treffen.

Batch-Inferenz mit BigQuery-Modellen in der Agent Platform

BigQuery ML bietet integrierte Unterstützung für Batch-Vorhersagen, ohne die Agent Platform verwenden zu müssen. Es ist auch möglich, ein BigQuery ML-Modell in Model Registry zu registrieren, um Batch-Vorhersagen in Agent Platform mit einer BigQuery-Tabelle als Eingabe auszuführen. Dies ist jedoch nur mit der Agent Platform API möglich. Legen Sie dazu InstanceConfig.instanceType auf object fest.

Onlinevorhersage

Die integrierte Inferenzfunktion von BigQuery ML ist für umfangreiche Anwendungsfälle wie Batch-Vorhersagen optimiert. BigQuery ML liefert zwar Inferenz-Ergebnisse mit geringer Latenz bei der Verarbeitung kleiner Eingabedaten, aber durch die nahtlose Integration mit der Gemini Enterprise Agent Platform können Sie schnellere Onlinevorhersagen erzielen.

Sie können BigQuery ML-Modelle in der Gemini Enterprise Agent Platform-Umgebung verwalten. Dadurch müssen Sie Modelle nicht aus BigQuery ML exportieren, bevor Sie sie als Gemini Enterprise Agent Platform-Endpunkte bereitstellen. Wenn Sie Modelle in der Gemini Enterprise Agent Platform verwalten, haben Sie Zugriff auf alle MLOps-Funktionen der Gemini Enterprise Agent Platform sowie auf Funktionen wie Vertex AI Feature Store.

Darüber hinaus haben Sie die Flexibilität, BigQuery ML-Modelle nach Cloud Storage zu exportieren, um die Verfügbarkeit auf anderen Modellhosting-Plattformen zu gewährleisten.

Nächste Schritte