Generative KI – Übersicht

In diesem Dokument werden die Funktionen für generative künstliche Intelligenz (KI) beschrieben, die von BigQuery unterstützt werden. Diese Funktionen akzeptieren Eingaben in natürlicher Sprache und verwenden vortrainierte Gemini Enterprise Agent Platform-Modelle und integrierte BigQuery-Modelle.

BigQuery bietet eine Vielzahl von KI-Funktionen, die Sie bei Aufgaben wie den folgenden unterstützen:

  • Kreative Inhalte erstellen.
  • Text oder unstrukturierte Daten wie Bilder analysieren, Stimmungen erkennen und Fragen dazu beantworten
  • Fassen Sie die wichtigsten Ideen oder Eindrücke zusammen, die durch die Inhalte vermittelt werden.
  • Strukturierte Daten aus Text extrahieren
  • Text oder unstrukturierte Daten in benutzerdefinierte Kategorien einordnen
  • Einbettungen generieren, um nach ähnlichen Texten, Bildern und Videos zu suchen
  • Bewerten Sie Eingaben, um sie nach Qualität, Ähnlichkeit oder anderen Kriterien zu sortieren.

KI-Funktionen sind in die folgenden Kategorien unterteilt, um Sie bei diesen Aufgaben zu unterstützen:

  • Allgemeine KI-Funktionen:Mit diesen Funktionen haben Sie die volle Kontrolle und Transparenz bei der Auswahl von Modell, Prompt und Parametern.

    • LLM-Inferenz ausführen, z. B. um Fragen zu Ihren Daten zu beantworten

      • AI.GENERATE ist die flexibelste Inferenzfunktion, mit der Sie beliebige strukturierte oder unstrukturierte Daten analysieren können.
      • AI.GENERATE_TEXT ist eine tabellarische Version von AI.GENERATE, die auch Partnermodelle und offene Modelle unterstützt.

    • Strukturierte Ausgabe generieren, z. B. Namen, Adressen oder Objektbeschreibungen aus Text, Dokumenten oder Bildern extrahieren.

      • AI.GENERATE, wenn Sie ein Ausgabeschema angeben.
      • AI.GENERATE_TABLE ist eine tabellarische Version von AI.GENERATE, mit der ein Remote-Modell aufgerufen und ein benutzerdefiniertes Ausgabeschema angegeben werden kann.
      • Wenn Ihr Ausgabeschema nur ein Feld hat, können Sie eine der folgenden spezialisierten Funktionen verwenden: AI.GENERATE_BOOL, AI.GENERATE_DOUBLE oder AI.GENERATE_INT.

    • Einbettungen generieren für semantische Suche und Clustering

      • AI.EMBED: Erstellt eine Einbettung aus Text- oder Bilddaten.
      • AI.GENERATE_EMBEDDING: Eine tabellarische Funktion, die Ihrer Tabelle eine Spalte mit eingebetteten Text-, Bild-, Audio-, Video- oder Dokumentdaten hinzufügt.

  • Verwaltete KI-Funktionen:Diese Funktionen haben eine optimierte Syntax und sind für Kosten und Qualität optimiert. Im optimierten Modus (Vorabversion) können diese Funktionen auf Millionen oder Milliarden von Zeilen skaliert werden.

    • AI.IF: Daten mit Bedingungen in natürlicher Sprache filtern

    • AI.SCORE: Eingabe bewerten, z. B. nach Qualität oder Stimmung.

    • AI.CLASSIFY: Eingabe in benutzerdefinierte Kategorien klassifizieren.

    • AI.AGG: Aggregieren Sie Eingaben, um Ihre Daten zusammenzufassen oder zu analysieren.

  • Hilfsfunktionen:Mit der AI.COUNT_TOKENS-Funktion können Sie die Anzahl der Tokens in einem Eingabe-Prompt schätzen, bevor Sie eine Abfrage ausführen.

  • Aufgabenspezifische Funktionen:Diese Funktionen verwenden Cloud AI-APIs, um Sie bei Aufgaben wie der Verarbeitung natürlicher Sprache, der maschinellen Übersetzung, der Dokumentenverarbeitung, der Audiotranskription und Computer Vision zu unterstützen.

KI-Funktionen mit allgemeinem Verwendungszweck

Allgemeine KI-Funktionen bieten Ihnen vollständige Kontrolle und Transparenz bei der Auswahl von Modell, Prompt und Parametern. Die Ausgabe enthält detaillierte Informationen zum Aufruf des Modells, einschließlich des Status und der vollständigen Modellantwort, die Informationen zur Sicherheitsbewertung oder zu Quellenangaben enthalten kann.

LLM-Inferenz durchführen

Die AI.GENERATE-Funktion ist eine flexible Inferenzfunktion, die Anfragen an ein Gemini-Modell der Gemini Enterprise Agent Platform sendet und die Antwort des Modells zurückgibt. Mit dieser Funktion können Sie Text-, Bild-, Audio-, Video- oder PDF-Daten analysieren. Sie können beispielsweise Bilder von Einrichtungsgegenständen analysieren, um Text für eine design_type-Spalte zu generieren, sodass die SKU des Einrichtungsgegenstands eine zugehörige Beschreibung wie mid-century modern oder farmhouse hat.

Sie können generative KI-Aufgaben ausführen, indem Sie mit Remote-Modellen in BigQuery ML auf Modelle verweisen, die in der Agent Platform bereitgestellt oder gehostet werden. Verwenden Sie dazu die Tabellenfunktion AI.GENERATE_TEXT. Sie können die folgenden Typen von Remote-Modellen verwenden:

In den folgenden Themen können Sie die Textgenerierung in BigQuery ML ausprobieren:

Bei einigen Modellen können Sie optional die überwachte Abstimmung konfigurieren. Damit können Sie das Modell mit Ihren eigenen Daten trainieren, um es besser an Ihren Anwendungsfall anzupassen. Alle Inferenzen treten in der Agent Platform auf. Die Ergebnisse werden in BigQuery gespeichert.

Strukturierte Daten generieren

Die Generierung strukturierter Daten ähnelt der Textgenerierung sehr, mit dem Unterschied, dass Sie die Antwort des Modells formatieren können, indem Sie ein SQL-Schema angeben. Sie können beispielsweise aus dem Transkript eines Telefonanrufs eine Tabelle mit dem Namen, der Telefonnummer, der Adresse, der Anfrage und dem Preisangebot eines Kunden erstellen.

Sie haben folgende Möglichkeiten, strukturierte Daten zu generieren:

Einbettungen generieren

Eine Einbettung ist ein hochdimensionaler numerischer Vektor, der eine bestimmte Entität darstellt, z. B. einen Text oder eine Audiodatei. Durch das Generieren von Einbettungen können Sie die Semantik Ihrer Daten so erfassen, dass sie leichter zu analysieren und zu vergleichen sind.

Im Folgenden sind einige gängige Anwendungsfälle für die Generierung von Einbettungen aufgeführt:

  • Mit Retrieval-Augmented Generation (RAG) werden Modellantworten auf Nutzeranfragen durch Verweisen auf zusätzliche Daten aus einer vertrauenswürdigen Quelle ergänzt. RAG bietet eine bessere faktische Richtigkeit und Konsistenz der Antworten und ermöglicht auch den Zugriff auf Daten, die neuer sind als die Trainingsdaten des Modells.
  • Multimodale Suche durchführen Sie können beispielsweise Text eingeben, um nach Bildern zu suchen.
  • Semantische Suche nach ähnlichen Elementen für Empfehlungen, Substitution und Deduplizierung von Datensätzen.
  • Einbettungen erstellen, die mit einem K-Means-Modell für das Clustering verwendet werden können.

Weitere Informationen zum Generieren von Einbettungen und zur Verwendung von Einbettungen für diese Aufgaben finden Sie unter Einführung in Einbettungen und Vektorsuche.

Verwaltete KI-Funktionen

Verwaltete KI-Funktionen vereinfachen Routineaufgaben wie Filtern, Klassifizieren oder Aggregieren. Mit diesen Funktionen können Text-, Bild-, Audio-, Video- oder PDF-Daten analysiert werden. Diese Funktionen nutzen Gemini und erfordern keine Anpassung. BigQuery verwendet Prompt-Engineering und kann das geeignete Modell und die entsprechenden Parameter für die jeweilige Aufgabe auswählen, um die Qualität und Konsistenz Ihrer Ergebnisse zu optimieren. Jede Funktion gibt einen skalaren Wert zurück, z. B. BOOL, FLOAT64 oder STRING, und enthält keine zusätzlichen Statusinformationen aus dem Modell. Die folgenden verwalteten KI-Funktionen sind verfügbar:

  • AI.IF: Text oder multimodale Daten, z. B. in einer WHERE- oder JOIN-Klausel, basierend auf einem Prompt filtern. Sie könnten beispielsweise Produktbeschreibungen filtern, die einen Artikel beschreiben, der sich gut als Geschenk eignet.
  • AI.SCORE: Bewerten Sie Eingaben basierend auf einem Prompt, um Zeilen nach Qualität, Ähnlichkeit oder anderen Kriterien zu sortieren. Sie können diese Funktion in einer ORDER BY-Klausel verwenden, um die K Elemente mit der höchsten Punktzahl zu extrahieren. Sie könnten beispielsweise die zehn positivsten oder negativsten Nutzerrezensionen für ein Produkt finden.
  • AI.CLASSIFY: Text in benutzerdefinierte Kategorien klassifizieren. Sie können diese Funktion in einer GROUP BY-Klausel verwenden, um Eingaben entsprechend den von Ihnen definierten Kategorien zu gruppieren. Sie können Support-Tickets beispielsweise danach klassifizieren, ob sie sich auf die Abrechnung, den Versand, die Produktqualität oder etwas anderes beziehen.
  • AI.AGG: Aggregieren Sie Eingaben basierend auf Anweisungen in natürlicher Sprache, um Ihre Daten zusammenzufassen oder zu analysieren. Sie können beispielsweise Protokolle von Nutzersitzungen in Anwendungen analysieren, um herauszufinden, wo Kunden Schwierigkeiten haben, oder den Inhalt einer großen Anzahl von Bildern zusammenfassen.

Eine Anleitung mit Beispielen für die Verwendung dieser Funktionen finden Sie unter Semantische Analyse mit verwalteten KI-Funktionen durchführen.

Ein Notebook-Tutorial zur Verwendung von verwalteten und allgemeinen KI-Funktionen finden Sie unter Semantische Analyse mit KI-Funktionen.

Aufgabenspezifische Funktionen

Zusätzlich zu den allgemeineren Funktionen, die in den vorherigen Abschnitten beschrieben werden, können Sie in BigQuery ML aufgabenspezifische Lösungen mit Cloud AI APIs entwickeln. Zu den unterstützten Aufgaben gehören folgende:

Weitere Informationen finden Sie unter Aufgabenspezifische Lösungen – Übersicht.

Standorte

Die unterstützten Standorte für Textgenerierungs- und Einbettungsmodelle variieren je nach verwendetem Modelltyp und ‑version. Weitere Informationen finden Sie unter Standorte.

BigQuery unterstützt die folgenden Modelle:

  • gemini-3.1-flash-lite
  • gemini-3.5-flash
  • gemini-3.5-flash-lite
  • gemini-3.6-flash
  • gemini-3.7-flash
  • gemini-3.8-flash
Die Agent Platform unterstützt multiregionale Endpunkte nur für diese Modelle. Regionale Endpunkte werden nicht unterstützt. Wenn Sie einen kurzen Endpunktnamen ohne Angabe der Region angeben, z. B. gemini-3.5-flash, wählt BigQuery einen Endpunkt gemäß den folgenden Regeln aus:
  • Wenn Ihre Abfrage in der Region us oder einer beliebigen einzelnen Region in den USA ausgeführt wird, verwendet BigQuery den Endpunkt us.
  • Wenn Ihre Abfrage in der Region eu oder in einer beliebigen einzelnen Region in der EU außer europe-west2 oder europe-west6 ausgeführt wird, verwendet BigQuery den Endpunkt eu.
  • Für alle anderen Standorte, einschließlich europe-west2 und europe-west6, verwendet BigQuery den global-Endpunkt.
Wenn Sie einen bestimmten Endpunkt angeben möchten, verwenden Sie einen vollständig qualifizierten multiregionalen Endpunktnamen in einem der folgenden Formate:
  • https://aiplatform.us.rep.googleapis.com/v1/projects/PROJECT_ID/locations/us/publishers/google/models/MODEL_ID
  • https://aiplatform.eu.rep.googleapis.com/v1/projects/PROJECT_ID/locations/eu/publishers/google/models/MODEL_ID
  • https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/google/models/MODEL_ID
Wenn Ihre Abfrage in der Region asia-south1 ausgeführt wird, müssen Sie den voll qualifizierten globalen Endpunktnamen verwenden.

Beschränkungen

Innerhalb eines VPC Service Controls-Perimeters können KI-Funktionen keine ObjectRef-Werte verarbeiten, die delegierten Zugriff verwenden. Durch den delegierten Zugriff wird eine signierte HTTPS-URL für das Objekt generiert. Die Agent Platform blockiert HTTP- und HTTPS-Abrufe für Projekte innerhalb eines Perimeters. Die Funktion schreibt den folgenden Fehler in das Feld status ihrer Ausgabe:

INVALID_ARGUMENT: HTTP links are not supported for requests restricted by VPCSC.

Da in der Spalte ref einer Objekttabelle immer die Verbindung der Objekttabelle als Autorisierer verwendet wird, wird dieser Fehler immer zurückgegeben, wenn ref an eine KI-Funktion innerhalb eines Perimeters übergeben wird. Um das Objekt zu analysieren, übergeben Sie stattdessen einen OBJ.MAKE_REF(uri)-Wert mit einem Argument, der direkten Zugriff verwendet und den Cloud Storage-URI an das Modell sendet, ohne eine signierte URL zu generieren.

Preise

Ihnen werden die Rechenressourcen in Rechnung gestellt, die Sie zum Ausführen von Anfragen für Modelle verwenden. Bei Remote-Modellen werden Aufrufe an Agent Platform-Modelle ausgeführt. Daher fallen für Anfragen an Remote-Modelle auch Gebühren von Agent Platform an.

Weitere Informationen finden Sie unter BigQuery ML-Preise.

Tokennutzung verfolgen

Wenn Sie eine KI-Funktion für generative KI aufrufen, die ein anderes Gemini-Modell als ein Einbettungsmodell verwendet, können Sie die Gesamtzahl der einzelnen Tokentypen sehen, die von der Abfrage verarbeitet werden. Klicken Sie im Bereich Abfrageergebnisse auf Jobinformationen. Die folgenden Zählungen werden angezeigt, ggf. aufgeschlüsselt nach Modalität:

  • Anzahl der Eingabetokens:Die Gesamtzahl der Eingabetokens für alle generativen KI-Funktionen, die in der Abfrage aufgerufen werden.
  • Anzahl der Ausgabetokens: Die Gesamtzahl der Tokens in allen Kandidatenantworten, die durch die Anfrage generiert wurden.
  • Tokenanzahl der Gedanken: Die Gesamtzahl der Tokens, die Teil der vom Modell generierten Gedanken waren, sofern zutreffend.
  • Tokenanzahl des Cache: Die Gesamtzahl der Eingabetokens, die von der Abfrage implizit im Cache gespeichert wurden.

Kosten im Blick behalten

Die generativen KI-Funktionen in BigQuery funktionieren, indem Anfragen an die Gemini Enterprise Agent Platform gesendet werden. Dafür können Kosten anfallen. Wenn Sie die Anzahl der Eingabetokens schätzen möchten, bevor Sie eine Abfrage ausführen, verwenden Sie die Funktion AI.COUNT_TOKENS. So verfolgen Sie die Kosten für die Agent Platform, die durch einen Job entstehen, den Sie in BigQuery ausführen:

  1. Abrechnungsberichte in Cloud Billing ansehen

  2. Verwenden Sie Filter, um die Ergebnisse einzugrenzen.

    Wählen Sie für Dienste Vertex AI aus.

  3. Wenn Sie die Gebühren für einen bestimmten Job sehen möchten, filtern Sie nach Label.

    Legen Sie den Schlüssel auf bigquery_job_id_prefix und den Wert auf die Job-ID Ihres Jobs fest. Wenn Ihre Job-ID länger als 63 Zeichen ist, verwenden Sie nur die ersten 63 Zeichen. Wenn Ihre Job-ID Großbuchstaben enthält, ändern Sie diese in Kleinbuchstaben. Alternativ können Sie Jobs mit einem benutzerdefinierten Label verknüpfen, um sie später leichter zu finden.

Es kann bis zu 24 Stunden dauern, bis einige Belastungen in Cloud Billing angezeigt werden.

Monitoring

Wenn Sie das Verhalten von KI-Funktionen, die Sie in BigQuery aufrufen, besser nachvollziehen möchten, können Sie die Protokollierung von Anfragen und Antworten aktivieren. So protokollieren Sie die gesamte Anfrage und Antwort, die an die Agent Platform gesendet und von ihr empfangen wurde:

  1. Aktivieren Sie Anfrage-/Antwort-Logs in der Gemini Enterprise Agent Platform. Die Logs werden in BigQuery gespeichert. Sie müssen die Protokollierung für jedes Foundation Model und jede Region separat aktivieren. Wenn Sie Abfragen protokollieren möchten, die in der Region us ausgeführt werden, geben Sie die Region us-central1 in Ihrer Anfrage an. Wenn Sie Abfragen protokollieren möchten, die in der Region eu ausgeführt werden, geben Sie in Ihrer Anfrage die Region europe-west4 an.

  2. Führen Sie eine Abfrage mit einer KI-Funktion aus, die einen Aufruf an die Agent Platform mit dem Modell ausführt, für das Sie im vorherigen Schritt das Logging aktiviert haben.

  3. Wenn Sie die vollständige Anfrage und Antwort der Agent Platform aufrufen möchten, fragen Sie Ihre Protokolltabelle nach Zeilen ab, in denen das Feld labels.bigquery_job_id_prefix der Spalte full_request mit den ersten 63 Zeichen Ihrer Job-ID übereinstimmt. Optional können Sie ein benutzerdefiniertes Abfragelabel verwenden, um die Abfrage in den Logs zu finden.

    Sie können beispielsweise eine ähnliche Abfrage wie die folgende verwenden:

    SELECT *
FROM `my_project.my_dataset.request_response_logging`
WHERE JSON_VALUE(full_request, '$.labels.bigquery_job_id_prefix') = 'bquxjob_123456...';

Fehlermanagement

Fehler auf Zeilenebene, z. B. RESOURCE_EXHAUSTED, können auftreten, wenn eine KI-Funktion das Kontingent oder die Limits des Remotedienstes überschreitet. Wenn ein Fehler auf Zeilenebene auftritt, gibt die Funktion für diese Zeile NULL zurück, was zu unvollständigen Abfrageergebnissen führen kann.

Diese Fehler können bei allen KI-Funktionen auftreten. Die verwalteten KI-Funktionen (AI.IF, AI.CLASSIFY und AI.SCORE) unterstützen jedoch das max_error_ratio-Argument, damit Sie sie verwalten können. Mit diesem Argument legen Sie einen Fehlerschwellenwert fest, der es ermöglicht, dass die Abfrage trotz Fehlern auf Zeilenebene erfolgreich ausgeführt wird.

Der Standardwert für max_error_ratio ist 1.0. Wenn Sie die Fehlertoleranz verringern möchten, legen Sie einen kleineren Wert fest (z. B. 0.2). In diesem Fall schlägt die Abfrage fehl, anstatt mit Teilausfällen erfolgreich zu sein. Weitere Informationen zur Syntax finden Sie in der Referenzdokumentation für AI.IF, AI.CLASSIFY oder AI.SCORE.

Wenn die Abfrage mit teilweisen Fehlern erfolgreich ausgeführt wird, gibt BigQuery eine Warnung zurück. Weitere Informationen zu den Funktionsfehlern finden Sie in der Google Cloud Console auf dem Tab Jobinformationen im Feld Fehler bei Funktionen der generativen KI.

Wenn Ihre Abfrage eine LIMIT-Klausel enthält, wird das Limit nach der Verarbeitung eines Batches von Zeilen durch das Modell angewendet. Daher kann der Anteil der NULL-Werte in Ihrem endgültigen Ergebnis höher als der angegebene max_error_ratio sein.

Angenommen, Ihre Abfrage enthält eine LIMIT 10-Klausel und eine max_error_ratio von 0.2. Das Modell verarbeitet möglicherweise 20 Zeilen, bevor das Limit angewendet wird. Wenn 3 der 20 Zeilen fehlschlagen, beträgt das Fehlerverhältnis 0.15 (15%), was innerhalb des Grenzwerts von 20 % liegt. Wenn die mit der LIMIT-Klausel ausgewählte Teilmenge der Zeilen jedoch alle drei fehlgeschlagenen Zeilen enthält, enthält die sichtbare Ausgabe 30% NULL-Werte.

Nächste Schritte