Generative KI – Übersicht

In diesem Dokument werden die generativen Funktionen für künstliche Intelligenz (KI) beschrieben, die von BigQuery unterstützt werden. Diese Funktionen akzeptieren Eingaben in natürlicher Sprache und verwenden vortrainierte Vertex AI-Modelle und integrierte BigQuery-Modelle.

Übersicht

BigQuery bietet eine Vielzahl von KI-Funktionen, die bei Aufgaben wie den folgenden helfen:

  • Creative-Inhalte generieren
  • Text oder unstrukturierte Daten wie Bilder analysieren, Stimmungen erkennen und Fragen dazu beantworten
  • Die wichtigsten Ideen oder Eindrücke zusammenfassen, die durch die Inhalte vermittelt werden
  • Strukturierte Daten aus Text extrahieren
  • Text oder unstrukturierte Daten in benutzerdefinierte Kategorien klassifizieren
  • Einbettungen generieren, um nach ähnlichem Text, ähnlichen Bildern und Videos zu suchen
  • Eingaben bewerten, um sie nach Qualität, Ähnlichkeit oder anderen Kriterien zu ordnen

Die folgenden Kategorien von KI-Funktionen helfen Ihnen bei diesen Aufgaben:

  • KI-Funktionen mit allgemeinem Verwendungszweck: Mit diesen Funktionen haben Sie die volle Kontrolle und Transparenz bei der Auswahl von Modell, Prompt und Parametern.

    • LLM-Inferenz durchführen, z. B. um Fragen zu Ihren Daten zu beantworten

      • AI.GENERATE ist die flexibelste Inferenzfunktion, mit der Sie alle strukturierten oder unstrukturierten Daten analysieren können.
      • AI.GENERATE_TEXT ist eine Tabellenwertversion von AI.GENERATE, die auch Partnermodelle und offene Modelle unterstützt.

    • Strukturierte Ausgaben generieren, z. B. Namen, Adressen oder Objektbeschreibungen aus Text, Dokumenten oder Bildern extrahieren.

      • AI.GENERATE, wenn Sie ein Ausgabeschema angeben.
      • AI.GENERATE_TABLE ist eine Tabellenwertversion von AI.GENERATE, die ein Remote-Modell aufruft und mit der Sie ein benutzerdefiniertes Ausgabeschema angeben können.
      • Wenn Ihr Ausgabeschema ein einzelnes Feld hat, können Sie eine der spezialisierten Funktionen verwenden: AI.GENERATE_BOOL, AI.GENERATE_DOUBLE oder AI.GENERATE_INT.

    • Einbettungen für die semantische Suche und das Clustering generieren

      • AI.EMBED: Eine Einbettung aus Text- oder Bilddaten erstellen.
      • AI.GENERATE_EMBEDDING: Eine Tabellenwertfunktion, die Ihrer Tabelle eine Spalte mit eingebetteten Text-, Bild-, Audio-, Video- oder Dokumentdaten hinzufügt.

  • Verwaltete KI-Funktionen: Diese Funktionen haben eine optimierte Syntax und sind auf Kosten und Qualität optimiert.

    • AI.IF: Daten mit Bedingungen in natürlicher Sprache filtern.

    • AI.SCORE: Eingaben bewerten, z. B. nach Qualität oder Stimmung.

    • AI.CLASSIFY: Eingaben in benutzerdefinierte Kategorien klassifizieren.

    • AI.AGG: Eingaben aggregieren, um Ihre Daten zusammenzufassen oder zu analysieren.

  • Aufgabenspezifische Funktionen: Diese Funktionen verwenden Cloud AI APIs, um Sie bei Aufgaben wie Natural Language Processing, maschineller Übersetzung, Dokumentenverarbeitung, Audiotranskription und Computer Vision zu unterstützen.

KI-Funktionen mit allgemeinem Verwendungszweck

KI-Funktionen mit allgemeinem Verwendungszweck bieten Ihnen die volle Kontrolle und Transparenz bei der Auswahl von Modell, Prompt und Parametern. Die Ausgabe enthält detaillierte Informationen zum Aufruf des Modells, einschließlich des Status und der vollständigen Modellantwort, die Informationen zur Sicherheitsbewertung oder Zitate enthalten kann.

LLM-Inferenz durchführen

Die Funktion AI.GENERATE ist eine flexible Inferenzfunktion, die Anfragen an ein Vertex AI Gemini-Modell sendet und die Antwort dieses Modells zurückgibt. Mit dieser Funktion können Sie Text-, Bild-, Audio-, Video- oder PDF-Daten analysieren. Sie können beispielsweise Bilder von Einrichtungsgegenständen analysieren, um Text für eine Spalte design_type zu generieren, sodass die SKU der Einrichtung eine zugehörige Beschreibung wie mid-century modern oder farmhouse hat.

Sie können generative KI-Aufgaben ausführen, indem Sie Remote-Modelle in BigQuery ML verwenden, um auf Modelle zu verweisen, die in Vertex AI bereitgestellt oder gehostet werden. Dazu verwenden Sie die AI.GENERATE_TEXT Tabellenwertfunktion. Sie können die folgenden Arten von Remote-Modellen verwenden:

In den folgenden Themen können Sie die Textgenerierung in BigQuery ML ausprobieren:

Bei einigen Modellen können Sie optional die Konfiguration der überwachten Abstimmungwählen, mit der Sie das Modell mit Ihren eigenen Daten trainieren können, um es besser an Ihren Anwendungsfall anzupassen. Alle Inferenzen treten in Vertex AI auf. Die Ergebnisse werden in BigQuery gespeichert.

Strukturierte Daten generieren

Die Generierung strukturierter Daten ähnelt der Textgenerierung. Sie können die Antwort des Modells jedoch formatieren, indem Sie ein SQL-Schema angeben. Sie können beispielsweise eine Tabelle mit dem Namen, der Telefonnummer, der Adresse, der Anfrage und dem Preisangebot eines Kunden aus einem Transkript eines Telefonanrufs generieren.

Sie können strukturierte Daten auf folgende Arten generieren:

Einbettungen generieren

Eine Einbettung ist ein hochdimensionaler numerischer Vektor, der eine bestimmte Entität darstellt, z. B. einen Text oder eine Audiodatei. Durch das Generieren von Einbettungen können Sie die Semantik Ihrer Daten so erfassen, dass sie leichter zu analysieren und zu vergleichen sind.

Einige häufige Anwendungsfälle für die Einbettungsgenerierung sind:

  • Retrieval-Augmented Generation (RAG) verwenden, um Modellantworten auf Nutzeranfragen zu ergänzen, indem zusätzliche Daten aus einer vertrauenswürdigen Quelle referenziert werden. RAG bietet eine bessere faktische Genauigkeit und Konsistenz der Antworten und ermöglicht auch den Zugriff auf Daten, die neuer sind als die Trainingsdaten des Modells.
  • Multimodale Suche durchführen. Beispielsweise Text eingeben, um nach Bildern zu suchen.
  • Semantische Suche durchführen, um ähnliche Artikel für Empfehlungen, Ersatz und die Deduplizierung von Datensätzen zu finden.
  • Einbettungen erstellen, die mit einem k-Means-Modell für das Clustering verwendet werden.

Weitere Informationen zum Generieren von Einbettungen und deren Verwendung für diese Aufgaben finden Sie unter Einführung in Einbettungen und Vektorsuche.

Verwaltete KI-Funktionen

Verwaltete KI-Funktionen wurden speziell entwickelt, um Routineaufgaben wie Klassifizierung, Sortierung, Aggregation oder Filterung zu automatisieren. Diese Funktionen verwenden Gemini und erfordern keine Anpassung. BigQuery verwendet Prompt-Engineering und kann das geeignete Modell und die entsprechenden Parameter für die jeweilige Aufgabe auswählen, um die Qualität und Konsistenz Ihrer Ergebnisse zu optimieren. Jede Funktion gibt einen Skalarwert zurück, z. B. BOOL, FLOAT64 oder STRING, und enthält keine zusätzlichen Statusinformationen aus dem Modell. Die folgenden verwalteten KI-Funktionen sind verfügbar:

  • AI.IF: Text- oder multimodale Daten, z. B. in einer WHERE- oder JOIN-Klausel, basierend auf einem Prompt filtern. Sie können beispielsweise Produktbeschreibungen nach solchen filtern, die einen Artikel beschreiben, der sich gut als Geschenk eignet.
  • AI.SCORE: Eingaben basierend auf einem Prompt bewerten, um Zeilen nach Qualität, Ähnlichkeit oder anderen Kriterien zu ordnen. Sie können diese Funktion in einer ORDER BY-Klausel verwenden, um die K besten Artikel nach Bewertung zu extrahieren. Sie können beispielsweise die 10 positivsten oder negativsten Nutzerrezensionen für ein Produkt finden.
  • AI.CLASSIFY: Text in benutzerdefinierte Kategorien klassifizieren. Sie können diese Funktion in einer GROUP BY-Klausel verwenden, um Eingaben nach den von Ihnen definierten Kategorien zu gruppieren. Sie können beispielsweise Supporttickets danach klassifizieren, ob sie sich auf die Abrechnung, den Versand, die Produktqualität oder etwas anderes beziehen.
  • AI.AGG: Eingaben basierend auf Anweisungen in natürlicher Sprache aggregieren, um Ihre Daten zusammenzufassen oder zu analysieren. Sie können beispielsweise Logs von Nutzersitzungen in Anwendungen scannen, um herauszufinden, wo Kunden Schwierigkeiten haben, oder Sie können die Inhalte einer großen Anzahl von Bildern zusammenfassen.

Eine Anleitung mit Beispielen zur Verwendung dieser Funktionen finden Sie unter Semantische Analyse mit verwalteten KI-Funktionen durchführen.

Eine Notebook-Anleitung zur Verwendung verwalteter und allgemeiner KI Funktionen finden Sie unter Semantische Analyse mit KI-Funktionen.

Aufgabenspezifische Funktionen

Neben den allgemeineren Funktionen, die in den vorherigen Abschnitten beschrieben wurden, können Sie in BigQuery ML aufgabenspezifische Lösungen mit Cloud AI APIs entwickeln. Zu den unterstützten Aufgaben gehören folgende:

Weitere Informationen finden Sie unter Übersicht über aufgabenspezifische Lösungen.

Standorte

Die unterstützten Standorte für Textgenerierungs- und Einbettungsmodelle variieren je nach verwendetem Modelltyp und der verwendeten Modellversion. Weitere Informationen finden Sie unter Standorte.

Preise

Ihnen werden die Rechenressourcen in Rechnung gestellt, die Sie zum Ausführen von Abfragen für Modelle verwenden. Remote-Modelle rufen Vertex AI-Modelle auf. Daher fallen auch für Abfragen für Remote-Modelle Gebühren von Vertex AI an.

Weitere Informationen finden Sie unter BigQuery ML-Preise.

Kosten im Blick behalten

Die generativen KI-Funktionen in BigQuery senden Anfragen an Vertex AI, wodurch Kosten entstehen können. So verfolgen Sie die Vertex AI-Kosten, die durch einen Job in BigQuery entstehen:

  1. Rufen Sie Ihre Abrechnungsberichte in Cloud Billing auf.

  2. Verwenden Sie Filter, um die Ergebnisse einzugrenzen.

    Wählen Sie für Dienste Vertex AI aus.

  3. Wenn Sie die Gebühren für einen bestimmten Job sehen möchten, filtern Sie nach Label.

    Legen Sie für den Schlüssel bigquery_job_id_prefix und für den Wert die Job-ID Ihres Jobs fest. Wenn Ihre Job-ID länger als 63 Zeichen ist, verwenden Sie nur die ersten 63 Zeichen. Wenn Ihre Job-ID Großbuchstaben enthält, ändern Sie sie in Kleinbuchstaben. Alternativ können Sie Jobs ein benutzerdefiniertes Label zuweisen, damit Sie sie später leichter finden.

Es kann bis zu 24 Stunden dauern, bis einige Gebühren in Cloud Billing angezeigt werden.

Monitoring

Um das Verhalten von KI-Funktionen, die Sie in BigQuery aufrufen, besser zu verstehen, können Sie die Protokollierung von Anfragen und Antworten aktivieren. So protokollieren Sie die gesamte Anfrage und Antwort, die an Vertex AI gesendet und von Vertex AI empfangen wurden:

  1. Aktivieren Sie die Protokollierung von Anfragen und Antworten in Vertex AI. Die Logs werden in BigQuery gespeichert. Sie müssen die Protokollierung für jedes Foundation Model und jede Region separat aktivieren. Wenn Sie Abfragen protokollieren möchten, die in der us Region ausgeführt werden, geben Sie in Ihrer Anfrage die us-central1 Region an. Wenn Sie Abfragen protokollieren möchten, die in der eu Region ausgeführt werden, geben Sie die europe-west4 Region in Ihrer Anfrage an.

  2. Führen Sie eine Abfrage mit einer KI-Funktion aus, die mit dem Modell, für das Sie im vorherigen Schritt die Protokollierung aktiviert haben, einen Aufruf an Vertex AI sendet.

  3. Wenn Sie die vollständige Vertex AI-Anfrage und -Antwort sehen möchten, fragen Sie Ihre Protokolltabelle nach Zeilen ab, in denen das labels.bigquery_job_id_prefix Feld der full_request Spalte mit den ersten 63 Zeichen Ihrer Job-ID übereinstimmt. Optional können Sie ein benutzerdefiniertes Abfragelabel verwenden, um die Abfrage in den Logs zu finden.

    Sie können beispielsweise eine Abfrage ähnlich der folgenden verwenden:

    SELECT *
FROM `my_project.my_dataset.request_response_logging`
WHERE JSON_VALUE(full_request, '$.labels.bigquery_job_id_prefix') = 'bquxjob_123456...';

Nächste Schritte