KI-Remote-Modelle in AlloyDB registrieren und aufrufen

Bevor Sie einen KI-Modellendpunkt registrieren und Vorhersagen aufrufen, sollten Sie sich mit den wichtigsten Konzepten für die Registrierung von KI-Modellendpunkten und das Aufrufen von Vorhersagen mit der Modellendpunktverwaltung vertraut machen. Dieses Dokument bietet einen Überblick über die Modellendpunktverwaltung, Anwendungsfälle und Konzepte wie Schemas, Modellanbieter und -typen, Authentifizierung und verschiedene Funktionstypen.

Informationen zum Registrieren von Remote-Modellendpunkten mit AlloyDB Omni finden Sie unter Remote-KI-Modelle in AlloyDB Omni registrieren und aufrufen.

Übersicht

Die Modellendpunktverwaltung ist eine AlloyDB AI-Funktion, die Funktionen und Operatoren umfasst, mit denen Sie Metadaten von KI-Modellen registrieren und verwalten können. Sie können einen Modellendpunkt registrieren, Metadaten von Modellendpunkten in Ihrem Datenbankcluster verwalten und mit SQL-Abfragen Aufrufe an die Remote-Modellendpunkte senden.

Die Modellendpunktverwaltung bietet die google_ml_integration Erweiterung, die Funktionen enthält, mit denen Sie die Metadaten von KI-Modellen bei AlloyDB registrieren können. Diese registrierten Metadaten werden verwendet, um Vektoreinbettungen zu generieren oder Vorhersagen aufzurufen.

AI Functions umfasst eine Reihe von Funktionen, die auf der Modellendpunktverwaltung (Vorabversion) aufbauen und Unterstützung für KI-Operatoren hinzufügen, mit denen Sie Sätze in natürlicher Sprache mit SQL-Abfragen kombinieren können, z. B. ai.if() für Filter und Joins, ai.rank() für die Sortierung und ai.generate() zum Generieren von Zusammenfassungen Ihrer Daten. Außerdem wird Unterstützung für multimodale und Ranking-Modelle der Gemini Enterprise Agent Platform hinzugefügt.

Einige der Beispielmodelltypen, die Sie mit der Modellendpunktverwaltung registrieren können, sind:

  • Agent Platform Texteinbettungs- und generische Modelle
  • Multimodales Modell der Agent Platform
  • Ranking-Modelle der Agent Platform (Vorabversion)
  • Einbettungsmodelle von Drittanbietern wie Hugging Face oder OpenAI
  • Benutzerdefinierte Texteinbettungsmodelle, einschließlich selbst gehosteter Modelle oder Modelle, die über private Endpunkte verfügbar sind
  • Generische Modelle mit einer JSON-basierten API, z. B. das Modell facebook/bart-large-mnli, das auf Hugging Face gehostet wird, das Modell gemini-pro aus Model Garden oder die Modelle claude von Anthropic

Anwendungsfälle

Sie können die registrierten Modellendpunkte aufrufen, um mit vorhandenen Daten in Ihrer Datenbank zu interagieren und Einbettungen oder Vorhersagen zu generieren. Einige Anwendungsfälle sind:

  • Echtzeitinferenz mit Transaktionsanwendung: Bietet Echtzeitempfehlungen basierend auf dem aktuellen Browserverlauf des Nutzers und den Inhalten im Warenkorb.
  • Sentiment erkennen und Zusammenfassungen generieren: Generiert für eine Datenbank mit Kundenrezensionen Zusammenfassungen oder erkennt das wichtigste Sentiment für jede Rezension.
  • Intelligente Such- und Abrufsysteme: Erstellen Sie Suchsysteme für eine Datenbank mit interner Wissensdatenbank und führen Sie Abfragen mit KI-gestützten SQL-Operatoren anstelle von Schlüsselwörtern aus.
  • Personalisierte Nutzererlebnisse: Optimieren Sie eine Contentplattform, um die Inhalte, die jedem Nutzer angezeigt werden, dynamisch basierend auf seinen bisherigen Interaktionen zu personalisieren.

Weitere Informationen zu AlloyDB AI-Anwendungsfällen finden Sie unter AlloyDB AI-Anwendungsfälle.

Funktionsweise

Mit der Endpunktverwaltung für Modelle können Sie einen Modellendpunkt registrieren, der die folgenden Anforderungen erfüllt:

  • Die Modell-Ein- und -Ausgabe unterstützt das JSON-Format.
  • Das Modell kann mit dem REST-Protokoll aufgerufen werden.

Wenn Sie einen Modellendpunkt bei der Modellendpunktverwaltung registrieren, wird jeder Endpunkt mit einer eindeutigen Modell-ID registriert, die Sie als Referenz zum Modell angegeben haben.

Sie können die Modellendpunkt-ID verwenden, um Abfragen an Modelle zu senden und Folgendes zu tun:

  • Einbettungen generieren, um Text-Prompts in numerische Vektoren zu übersetzen. Sie können generierte Einbettungen als Vektordaten speichern, wenn die Erweiterung vector in der Datenbank aktiviert ist. Weitere Informationen finden Sie unter Einbettungen mit pgvector abfragen und indexieren.

  • Multimodale Einbettungen generieren, um multimodale Daten wie Text, Bilder und Videos in Einbettungen zu übersetzen. (Vorabversion)

  • Eine Liste von Elementen in einer Abfrage basierend auf einem Kriterium, das in natürlicher Sprache angegeben wurde, bewerten oder einstufen. (Vorabversion)

  • Vorhersagen mit SQL aufrufen.

Wichtige Konzepte

Bevor Sie die Modellendpunktverwaltung verwenden, sollten Sie die Konzepte kennen, die für die Verbindung zu den Modellen und deren Verwendung erforderlich sind.

Schemas

Ihre Anwendungen können über die Erweiterung google_ml_integration auf die Modellendpunktverwaltung zugreifen. Die google_ml_integration Erweiterung enthält Funktionen in den Schemas public, google_ml und ai. Alle Funktionen sind im Schema google_ml enthalten und bestimmte Funktionen sind in den Schemas public und ai verfügbar.

Weitere Informationen zu Schemas finden Sie unter Schemas.

Modellanbieter

Modellanbieter gibt die unterstützten Anbieter für das Modellhosting an. Das Festlegen des Modellanbieters ist optional, hilft aber bei der Modellendpunktverwaltung, indem der Anbieter identifiziert und Header für unterstützte Modelle automatisch formatiert werden.

Weitere Informationen zum Modellanbieter finden Sie unter Modellanbieter.

Modelltyp

Modelltyp gibt den Typ des KI-Modells an. Die Erweiterung unterstützt Texteinbettungen sowie alle generischen Modelltypen. Die unterstützten Modelltypen, die Sie beim Registrieren eines Modellendpunkts festlegen können, sind text-embedding und generic.

Das Festlegen des Modelltyps ist beim Registrieren generischer Modellendpunkte optional, da generic der Standardmodelltyp ist.

Weitere Informationen zum Modelltyp finden Sie unter Modelltyp.

Authentifizierung

Authentifizierungstypen geben den Authentifizierungstyp an, den Sie verwenden können, um mit der Erweiterung google_ml_integration eine Verbindung zur Modellendpunktverwaltung herzustellen. Das Festlegen der Authentifizierung ist optional und nur erforderlich, wenn Sie sich authentifizieren müssen, um auf Ihr Modell zuzugreifen.

Weitere Informationen zur Authentifizierung finden Sie unter Authentifizierung.

Vorhersagefunktionen

Vorhersagefunktionen sind SQL-Funktionen, mit denen Sie in Ihrer AlloyDB-Datenbank mit KI-Modellen interagieren können. Mit diesen Funktionen können Sie Standard-SQL-Abfragen verwenden, um Daten an einen Modellendpunkt zu senden und Einbettungen oder Vorhersagen zu generieren.

Weitere Informationen zu Vorhersagefunktionen finden Sie unter Vorhersagefunktionen.

Operatorfunktionen

Die Erweiterung google_ml_integration enthält die folgenden Operatorfunktionen, die standardmäßig Gemini verwenden, um Abfragen mit KI-gestützten SQL-Operatoren auszuführen.

Weitere Informationen zu Operatorfunktionen finden Sie unter Operatorfunktionen.

Transformationsfunktionen

Transformationsfunktionen ändern die Eingabe in ein Format, das das Modell versteht, und konvertieren die Antwort des Modells in das Format, das die Vorhersagefunktion erwartet. Die Transformationsfunktionen werden verwendet, wenn der Modellendpunkt text-embedding ohne integrierte Unterstützung registriert wird. Die Signatur der Transformationsfunktionen hängt von der vom Modell erwarteten Eingabe ab.

Weitere Informationen zu Transformationsfunktionen finden Sie unter Transformationsfunktionen.

Funktion zum Generieren von HTTP-Headern

Die Funktion zum Generieren von HTTP-Headern generiert die Ausgabe in JSON-Schlüssel/Wert-Paaren, die als HTTP-Header verwendet werden. Die Signatur der Vorhersagefunktion definiert die Signaturen der Funktion zum Generieren von Headern.

Weitere Informationen zur Funktion zum Generieren von HTTP-Headern finden Sie unter Funktion zum Generieren von HTTP-Headern.

Nächste Schritte