Generative KI – Übersicht

In diesem Dokument werden die Funktionen der generativen künstlichen Intelligenz (KI) beschrieben, die von BigQuery unterstützt werden. Diese Funktionen akzeptieren Eingaben in natürlicher Sprache und verwenden vortrainierte Gemini Enterprise Agent Platform-Modelle und integrierte BigQuery-Modelle.

BigQuery bietet eine Vielzahl von KI-Funktionen, die bei Aufgaben wie den folgenden helfen:

  • Creative-Inhalte generieren
  • Text oder unstrukturierte Daten wie Bilder analysieren, Sentiment erkennen und Fragen dazu beantworten
  • Die wichtigsten Ideen oder Eindrücke zusammenfassen, die durch die Inhalte vermittelt werden
  • Strukturierte Daten aus Text extrahieren
  • Text oder unstrukturierte Daten in benutzerdefinierte Kategorien klassifizieren
  • Einbettungen generieren, um nach ähnlichem Text, ähnlichen Bildern und ähnlichen Videos zu suchen
  • Eingaben bewerten, um sie nach Qualität, Ähnlichkeit oder anderen Kriterien zu ordnen

KI-Funktionen sind in die folgenden Kategorien gruppiert, um Ihnen bei der Erledigung dieser Aufgaben zu helfen:

  • KI-Funktionen mit allgemeinem Verwendungszweck: Mit diesen Funktionen haben Sie die volle Kontrolle und Transparenz bei der Auswahl von Modell, Prompt und Parametern.

    • LLM-Inferenz ausführen, z. B. um Fragen zu Ihren Daten zu beantworten

      • AI.GENERATE ist die flexibelste Inferenzfunktion, mit der Sie alle strukturierten oder unstrukturierten Daten analysieren können.
      • AI.GENERATE_TEXT ist eine Tabellenwertversion von AI.GENERATE, die auch Partner- und offene Modelle unterstützt.

    • Strukturierte Ausgaben generieren, z. B. Namen, Adressen oder Objektbeschreibungen aus Text, Dokumenten oder Bildern extrahieren.

      • AI.GENERATE, wenn Sie ein Ausgabeschema angeben.
      • AI.GENERATE_TABLE ist eine Tabellenwertversion von AI.GENERATE, die ein Remote-Modell aufruft und mit der Sie ein benutzerdefiniertes Ausgabeschema angeben können.
      • Wenn Ihr Ausgabeschema ein einzelnes Feld hat, können Sie eine der speziellen Funktionen verwenden: AI.GENERATE_BOOL, AI.GENERATE_DOUBLE oder AI.GENERATE_INT.

    • Einbettungen für die semantische Suche und das Clustering generieren

      • AI.EMBED: Eine Einbettung aus Text- oder Bilddaten erstellen.
      • AI.GENERATE_EMBEDDING: Eine Tabellenwertfunktion, die Ihrer Tabelle eine Spalte mit eingebetteten Text-, Bild-, Audio-, Video- oder Dokumentdaten hinzufügt.

  • Verwaltete KI-Funktionen: Diese Funktionen haben eine optimierte Syntax und sind für Kosten und Qualität optimiert. Im optimierten Modus (Vorschau) lassen sich diese Funktionen auf Millionen oder Milliarden von Zeilen skalieren.

    • AI.IF: Daten mit Bedingungen in natürlicher Sprache filtern.

    • AI.SCORE: Eingaben bewerten, z. B. nach Qualität oder Sentiment.

    • AI.CLASSIFY: Eingaben in benutzerdefinierte Kategorien klassifizieren.

    • AI.AGG: Eingaben aggregieren, um Ihre Daten zusammenzufassen oder zu analysieren.

  • Hilfsfunktionen: Mit der Funktion AI.COUNT_TOKENS können Sie die Anzahl der Tokens in einem Eingabe-Prompt schätzen, bevor Sie eine Abfrage ausführen.

  • Aufgabenspezifische Funktionen: Diese Funktionen verwenden Cloud AI APIs, um Sie bei Aufgaben wie Natural Language Processing, maschineller Übersetzung, Dokumentenverarbeitung, Audiotranskription und Computer Vision zu unterstützen.

KI-Funktionen mit allgemeinem Verwendungszweck

Mit KI-Funktionen mit allgemeinem Verwendungszweck haben Sie die volle Kontrolle und Transparenz bei der Auswahl von Modell, Prompt und Parametern. Die Ausgabe enthält detaillierte Informationen zum Aufruf des Modells, einschließlich des Status und der vollständigen Antwort des Modells, die Informationen zur Sicherheitsbewertung oder zu Zitaten enthalten kann.

LLM-Inferenz ausführen

Die AI.GENERATE Funktion ist eine flexible Inferenzfunktion, die Anfragen an ein Gemini-Modell der Gemini Enterprise Agent Platform sendet und die Antwort dieses Modells zurückgibt. Mit dieser Funktion können Sie Text-, Bild-, Audio-, Video- oder PDF-Daten analysieren. Sie können beispielsweise Bilder von Einrichtungsgegenständen analysieren, um Text für eine Spalte design_type zu generieren, sodass die SKU der Einrichtung eine zugehörige Beschreibung wie mid-century modern oder farmhouse hat.

Sie können generative KI-Aufgaben ausführen, indem Sie Remote-Modelle in BigQuery ML verwenden, um auf Modelle zu verweisen, die in der Agent Platform bereitgestellt oder gehostet werden. Verwenden Sie dazu die AI.GENERATE_TEXT Tabellenwertfunktion. Sie können die folgenden Arten von Remote-Modellen verwenden:

In den folgenden Themen finden Sie Informationen zum Generieren von Text in BigQuery ML:

Bei einigen Modellen können Sie optional die Konfiguration der beaufsichtigten Abstimmungwählen, mit der Sie das Modell mit Ihren eigenen Daten trainieren können, um es besser an Ihren Anwendungsfall anzupassen. Alle Inferenzen treten in der Agent Platform auf. Die Ergebnisse werden in BigQuery gespeichert.

Strukturierte Daten generieren

Die Generierung strukturierter Daten ähnelt der Textgenerierung, mit dem Unterschied, dass Sie die Antwort des Modells formatieren können, indem Sie ein SQL-Schema angeben. Sie können beispielsweise eine Tabelle mit dem Namen, der Telefonnummer, der Adresse, der Anfrage und dem Preisangebot eines Kunden aus einem Transkript eines Telefonanrufs generieren.

Sie können strukturierte Daten auf folgende Arten generieren:

Einbettungen generieren

Eine Einbettung ist ein hochdimensionaler numerischer Vektor, der eine bestimmte Entität darstellt, z. B. einen Text oder eine Audiodatei. Durch das Generieren von Einbettungen können Sie die Semantik Ihrer Daten so erfassen, dass sie leichter zu analysieren und zu vergleichen sind.

Einige häufige Anwendungsfälle für die Einbettungsgenerierung sind:

  • Retrieval-Augmented Generation (RAG) verwenden, um Modellantworten auf Nutzeranfragen durch Verweise auf zusätzliche Daten aus einer vertrauenswürdigen Quelle zu ergänzen. RAG bietet eine bessere faktische Genauigkeit und Konsistenz der Antworten und ermöglicht auch den Zugriff auf Daten, die neuer sind als die Trainingsdaten des Modells.
  • Multimodale Suche durchführen. Beispielsweise mit Texteingabe nach Bildern suchen.
  • Semantische Suche durchführen, um ähnliche Artikel für Empfehlungen, Ersatz und Datensatzdeduplizierung zu finden.
  • Einbettungen erstellen, die mit einem k-Means-Modell für das Clustering verwendet werden.

Weitere Informationen zum Generieren von Einbettungen und deren Verwendung für diese Aufgaben finden Sie unter Einführung in Einbettungen und Vektorsuche.

Verwaltete KI-Funktionen

Verwaltete KI-Funktionen vereinfachen Routineaufgaben wie das Filtern, die Klassifizierung oder die Aggregation. Mit diesen Funktionen können Text-, Bild-, Audio-, Video- oder PDF-Daten analysiert werden. Diese Funktionen verwenden Gemini und erfordern keine Anpassung. BigQuery verwendet Prompt Engineering und kann das geeignete Modell und die entsprechenden Parameter für die jeweilige Aufgabe auswählen, um die Qualität und Konsistenz Ihrer Ergebnisse zu optimieren. Jede Funktion gibt einen Skalarwert zurück, z. B. BOOL, FLOAT64 oder STRING, und enthält keine zusätzlichen Statusinformationen aus dem Modell. Die folgenden verwalteten KI-Funktionen sind verfügbar:

  • AI.IF: Text- oder multimodale Daten, z. B. in einer WHERE- oder JOIN-Klausel, basierend auf einem Prompt filtern. Sie können beispielsweise Produktbeschreibungen nach solchen filtern, die einen Artikel beschreiben, der sich gut als Geschenk eignet.
  • AI.SCORE: Eingaben basierend auf einem Prompt bewerten, um Zeilen nach Qualität, Ähnlichkeit oder anderen Kriterien zu ordnen. Sie können diese Funktion in einer ORDER BY-Klausel verwenden, um die K besten Artikel nach Bewertung zu extrahieren. Sie können beispielsweise die 10 positivsten oder negativsten Nutzerrezensionen für ein Produkt finden.
  • AI.CLASSIFY: Text in benutzerdefinierte Kategorien klassifizieren. Sie können diese Funktion in einer GROUP BY-Klausel verwenden, um Eingaben nach den von Ihnen definierten Kategorien zu gruppieren. Sie können beispielsweise Supporttickets danach klassifizieren, ob sie sich auf die Abrechnung, den Versand, die Produktqualität oder etwas anderes beziehen.
  • AI.AGG: Eingaben basierend auf Anweisungen in natürlicher Sprache aggregieren, um Ihre Daten zusammenzufassen oder zu analysieren. Sie können beispielsweise Logs von Nutzersitzungen in Anwendungen scannen, um herauszufinden, wo Kunden Schwierigkeiten haben, oder Sie können die Inhalte einer großen Anzahl von Bildern zusammenfassen.

Eine Anleitung mit Beispielen zur Verwendung dieser Funktionen finden Sie unter Semantische Analyse mit verwalteten KI-Funktionen durchführen.

Eine Notebook-Anleitung zur Verwendung verwalteter und allgemeiner KI Funktionen finden Sie unter Semantische Analyse mit KI-Funktionen.

Aufgabenspezifische Funktionen

Neben den allgemeineren Funktionen, die in den vorherigen Abschnitten beschrieben wurden, können Sie in BigQuery ML mit Cloud AI APIs aufgabenspezifische Lösungen entwickeln. Zu den unterstützten Aufgaben gehören folgende:

Weitere Informationen finden Sie unter Übersicht über aufgabenspezifische Lösungen.

Standorte

Die unterstützten Standorte für Textgenerierungs- und Einbettungsmodelle variieren je nach Modelltyp und -version. Weitere Informationen finden Sie unter Standorte.

BigQuery unterstützt die gemini-3.1-flash-lite und gemini-3.5-flash Modelle. Die Agent Platform unterstützt für diese Modelle nur multiregionale Endpunkte. Regionale Endpunkte werden nicht unterstützt. Wenn Sie einen kurzen Endpunktnamen ohne Region angeben, z. B. gemini-3.5-flash, wählt BigQuery einen Endpunkt gemäß den folgenden Regeln aus:

  • Wenn Ihre Abfrage in der Region us oder einer einzelnen Region in den USA ausgeführt wird, verwendet BigQuery den Endpunkt us.
  • Wenn Ihre Abfrage in der Region eu oder einer einzelnen Region in der EU außer europe-west2 oder europe-west6 ausgeführt wird, verwendet BigQuery den Endpunkt eu.
  • Für alle anderen Standorte, einschließlich europe-west2 und europe-west6, verwendet BigQuery den Endpunkt global.
Wenn Sie einen bestimmten Endpunkt angeben möchten, verwenden Sie einen voll qualifizierten multiregionalen Endpunktnamen in einem der folgenden Formate:
  • https://aiplatform.us.rep.googleapis.com/v1/projects/PROJECT_ID/locations/us/publishers/google/models/MODEL_ID
  • https://aiplatform.eu.rep.googleapis.com/v1/projects/PROJECT_ID/locations/eu/publishers/google/models/MODEL_ID
  • https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/MODEL_ID
Wenn Ihre Abfrage in der Region asia-south1 ausgeführt wird, müssen Sie den voll qualifizierten globalen Endpunktnamen verwenden.

Beschränkungen

Innerhalb eines VPC Service Controls-Perimeters können KI-Funktionen keine ObjectRef-Werte verarbeiten, die den delegierten Zugriff verwenden. Beim delegierten Zugriff wird eine signierte HTTPS-URL für das Objekt generiert. Die Agent Platform blockiert HTTP- und HTTPS-Abrufe für Projekte innerhalb eines Perimeters. Die Funktion schreibt den folgenden Fehler in das Feld status ihrer Ausgabe:

INVALID_ARGUMENT: HTTP links are not supported for requests restricted by VPCSC.

Da in der Spalte ref einer Objekttabelle immer die Verbindung der Objekttabelle als Autorisierer verwendet wird, wird dieser Fehler immer zurückgegeben, wenn ref an eine KI-Funktion innerhalb eines Perimeters übergeben wird. Um das Objekt zu analysieren, übergeben Sie stattdessen einen Wert mit einem Argument OBJ.MAKE_REF(uri), der den direkten Zugriff verwendet und die Cloud Storage-URI an das Modell sendet, ohne eine signierte URL zu generieren.

Preise

Ihnen werden die Rechenressourcen in Rechnung gestellt, die Sie zum Ausführen von Abfragen für Modelle verwenden. Remote-Modelle rufen Agent Platform-Modelle auf. Daher fallen bei Abfragen für Remote-Modelle auch Gebühren für die Agent Platform an.

Weitere Informationen finden Sie unter BigQuery ML-Preise.

Tokennutzung verfolgen

Wenn Sie eine generative KI-Funktion aufrufen, die ein anderes Gemini-Modell als ein Einbettungsmodell verwendet, können Sie die Gesamtzahl der einzelnen Token-Typen sehen, die von der Abfrage verarbeitet wurden. Klicken Sie im Bereich Abfrageergebnisse auf Jobinformationen. Die folgenden Zählungen werden angezeigt, gegebenenfalls aufgeschlüsselt nach Modalität:

  • Anzahl der Eingabetokens:Die Gesamtzahl der Eingabetokens für alle generativen KI-Funktionen, die in der Abfrage aufgerufen werden.
  • Anzahl der Ausgabetokens Die Gesamtzahl der Tokens in allen Kandidatenantworten, die von der Abfrage generiert wurden.
  • Tokenanzahl der Gedanken Die Gesamtzahl der Tokens, die Teil der vom Modell generierten Gedanken waren, falls zutreffend.
  • Tokenanzahl des Cache Die Gesamtzahl der Eingabetokens, die von der Abfrage implizit im Cache gespeichert wurden.

Kosten verfolgen

Die generativen KI-Funktionen in BigQuery senden Anfragen an die Gemini Enterprise Agent Platform, wodurch Kosten entstehen können. Mit der FunktionAI.COUNT_TOKENS können Sie die Anzahl der Eingabetokens schätzen, bevor Sie eine Abfrage ausführen. So verfolgen Sie die Kosten für die Agent Platform, die durch einen Job entstehen, den Sie in BigQuery ausführen:

  1. Rufen Sie Ihre Abrechnungsberichte in Cloud Billing auf.

  2. Grenzen Sie die Ergebnisse mit Filtern ein.

    Wählen Sie für Dienste Vertex AI aus.

  3. Wenn Sie die Gebühren für einen bestimmten Job sehen möchten, filtern Sie nach Label.

    Legen Sie für den Schlüssel bigquery_job_id_prefix und für den Wert die Job-ID Ihres Jobs fest. Wenn Ihre Job-ID länger als 63 Zeichen ist, verwenden Sie nur die ersten 63 Zeichen. Wenn Ihre Job-ID Großbuchstaben enthält, ändern Sie sie in Kleinbuchstaben. Alternativ können Sie Jobs ein benutzerdefiniertes Label zuweisen, damit Sie sie später leichter finden.

Es kann bis zu 24 Stunden dauern, bis einige Gebühren in Cloud Billing angezeigt werden.

Monitoring

Um das Verhalten von KI-Funktionen, die Sie in BigQuery aufrufen, besser zu verstehen, können Sie das Logging von Anfragen und Antworten aktivieren. So protokollieren Sie die gesamte Anfrage und Antwort, die an die Agent Platform gesendet und von ihr empfangen werden:

  1. Aktivieren Sie Anfrage-/Antwort-Logs in der Gemini Enterprise Agent Platform. Die Logs werden in BigQuery gespeichert. Sie müssen das Logging für jedes Foundation Model und jede Region separat aktivieren. Wenn Sie Abfragen protokollieren möchten, die in der us Region ausgeführt werden, geben Sie in Ihrer Anfrage die us-central1 Region an. Wenn Sie Abfragen protokollieren möchten, die in der eu Region ausgeführt werden, geben Sie die europe-west4 Region in Ihrer Anfrage an.

  2. Führen Sie eine Abfrage mit einer KI-Funktion aus, die einen Aufruf an die Agent Platform mit dem Modell ausführt, für das Sie im vorherigen Schritt das Logging aktiviert haben.

  3. Wenn Sie die vollständige Anfrage und Antwort der Agent Platform sehen möchten, fragen Sie Ihre Logging-Tabelle nach Zeilen ab, in denen das labels.bigquery_job_id_prefix Feld der full_request Spalte mit den ersten 63 Zeichen Ihrer Job-ID übereinstimmt. Optional können Sie ein benutzerdefiniertes Abfragelabel verwenden, um die Abfrage in den Logs zu finden.

    Sie können beispielsweise eine Abfrage ähnlich der folgenden verwenden:

    SELECT *
FROM `my_project.my_dataset.request_response_logging`
WHERE JSON_VALUE(full_request, '$.labels.bigquery_job_id_prefix') = 'bquxjob_123456...';

Fehlermanagement

Fehler auf Zeilenebene, z. B. RESOURCE_EXHAUSTED, können auftreten, wenn eine KI-Funktion das Kontingent oder die Limits des Remotedienstes überschreitet. Wenn ein Fehler auf Zeilenebene auftritt, gibt die Funktion für diese Zeile NULL zurück, was zu unvollständigen Abfrageergebnissen führen kann.

Diese Fehler können bei allen KI-Funktionen auftreten. Die verwalteten KI-Funktionen (AI.IF, AI.CLASSIFY und AI.SCORE) unterstützen jedoch das Argument max_error_ratio, um Sie bei der Verwaltung zu unterstützen. Mit diesem Argument können Sie einen Fehlerschwellenwert festlegen, der es ermöglicht, dass die Abfrage trotz Fehlern auf Zeilenebene erfolgreich ausgeführt wird.

Der Standardwert für max_error_ratio ist 1.0. Wenn Sie die Fehlertoleranz senken möchten, legen Sie einen kleineren Wert fest (z. B. 0.2), damit die Abfrage fehlschlägt, anstatt mit teilweisen Fehlern erfolgreich ausgeführt zu werden. Details zur Syntax finden Sie in der Referenz dokumentation für AI.IF, AI.CLASSIFY, oder AI.SCORE.

Wenn die Abfrage mit teilweisen Fehlern erfolgreich ausgeführt wird, gibt BigQuery eine Warnung zurück. Weitere Informationen zu den Funktionsfehlern finden Sie im Feld Gen AI function errors auf dem Tab Job information der Abfrageergebnisse in the Google Cloud Console.

Wenn Ihre Abfrage eine LIMIT-Klausel enthält, wird das Limit angewendet, nachdem das Modell einen Batch von Zeilen verarbeitet hat. Daher kann der Anteil der NULL-Werte in Ihrem endgültigen Ergebnissatz höher sein als die angegebene max_error_ratio.

Angenommen, Ihre Abfrage hat eine LIMIT 10-Klausel und eine max_error_ratio von 0.2. Das Modell verarbeitet möglicherweise 20 Zeilen, bevor das Limit angewendet wird. Wenn 3 dieser 20 Zeilen fehlschlagen, beträgt die Fehlerrate 0.15 (15%), was innerhalb des Schwellenwerts von 20 % liegt. Wenn die von der LIMIT-Klausel ausgewählte Teilmenge der Zeilen jedoch alle 3 fehlgeschlagenen Zeilen enthält, enthält Ihre sichtbare Ausgabe 30% NULL-Werte.

Nächste Schritte