Generative KI – Übersicht

In diesem Dokument werden die Funktionen für generative künstliche Intelligenz (KI) beschrieben, die von BigQuery unterstützt werden. Diese Funktionen akzeptieren Eingaben in natürlicher Sprache und verwenden vortrainierte Vertex AI-Modelle und integrierte BigQuery-Modelle.

Übersicht

BigQuery bietet eine Vielzahl von KI-Funktionen, die bei Aufgaben wie den folgenden helfen:

  • Kreative Inhalte erstellen.
  • Text oder unstrukturierte Daten wie Bilder analysieren, Stimmungen erkennen und Fragen dazu beantworten.
  • Fassen Sie die wichtigsten Ideen oder Eindrücke zusammen, die durch die Inhalte vermittelt werden.
  • Strukturierte Daten aus Text extrahieren
  • Klassifizieren Sie Text oder unstrukturierte Daten in benutzerdefinierte Kategorien.
  • Einbettungen generieren, um nach ähnlichen Texten, Bildern und Videos zu suchen
  • Bewerten Sie Eingaben, um sie nach Qualität, Ähnlichkeit oder anderen Kriterien zu sortieren.

Die folgenden Kategorien von KI-Funktionen können Ihnen dabei helfen:

  • Allgemeine KI-Funktionen:Mit diesen Funktionen haben Sie die volle Kontrolle und Transparenz bei der Auswahl von Modell, Prompt und Parametern.

    • LLM-Inferenz ausführen, z. B. um Fragen zu Ihren Daten zu beantworten

      • AI.GENERATE ist die flexibelste Inferenzfunktion, mit der Sie beliebige unstrukturierte Daten analysieren können.
      • AI.GENERATE_TEXT ist eine tabellarische Version von AI.GENERATE, die auch Partnermodelle und offene Modelle unterstützt.

    • Strukturierte Ausgabe generieren, z. B. Namen, Adressen oder Objektbeschreibungen aus Text, Dokumenten oder Bildern extrahieren.

      • AI.GENERATE, wenn Sie ein Ausgabeschema angeben.
      • AI.GENERATE_TABLE ist eine tabellarische Version von AI.GENERATE, mit der ein Remote-Modell aufgerufen und ein benutzerdefiniertes Ausgabeschema angegeben werden kann.
      • Wenn Ihr Ausgabeschema nur ein Feld enthält, können Sie eine der folgenden spezialisierten Funktionen verwenden: AI.GENERATE_BOOL, AI.GENERATE_DOUBLE oder AI.GENERATE_INT.

    • Einbettungen generieren für semantische Suche und Clustering

      • AI.EMBED: Erstellt eine Einbettung aus Text- oder Bilddaten.
      • AI.GENERATE_EMBEDDING: Eine tabellarische Funktion, die Ihrer Tabelle eine Spalte mit eingebetteten Text-, Bild-, Audio-, Video- oder Dokumentdaten hinzufügt.

  • Verwaltete KI-Funktionen:Diese Funktionen haben eine optimierte Syntax und sind für Kosten und Qualität optimiert. BigQuery wählt ein Modell für Sie aus.

    • Daten mit Bedingungen in natürlicher Sprache filtern

      • AI.IF

    • Eingabe bewerten, z. B. nach Qualität oder Stimmung

      • AI.SCORE

    • Eingaben in benutzerdefinierte Kategorien klassifizieren

      • AI.CLASSIFY

  • Aufgabenspezifische Funktionen:Diese Funktionen verwenden Cloud AI-APIs, um Aufgaben wie die Verarbeitung natürlicher Sprache, maschinelle Übersetzung, Dokumentverarbeitung, Audiotranskription und Computer Vision auszuführen.

KI-Funktionen mit allgemeinem Verwendungszweck

Mit KI-Funktionen für allgemeine Zwecke haben Sie die volle Kontrolle und Transparenz bei der Auswahl von Modell, Prompt und Parametern. Die Ausgabe enthält detaillierte Informationen zum Aufruf des Modells, einschließlich des Status und der vollständigen Modellantwort, die Informationen zur Sicherheitsbewertung oder zu Quellenangaben enthalten kann.

LLM-Inferenz durchführen

Die AI.GENERATE-Funktion ist eine flexible Inferenzfunktion, die Anfragen an ein Vertex AI Gemini-Modell sendet und die Antwort des Modells zurückgibt. Mit dieser Funktion können Sie Text-, Bild-, Audio-, Video- oder PDF-Daten analysieren. Sie können beispielsweise Bilder von Einrichtungsgegenständen analysieren, um Text für eine design_type-Spalte zu generieren. So erhält die SKU des Einrichtungsgegenstands eine zugehörige Beschreibung wie mid-century modern oder farmhouse.

Sie können generative KI-Aufgaben ausführen, indem Sie mit Remote-Modellen in BigQuery ML auf Modelle verweisen, die in Vertex AI bereitgestellt oder gehostet werden. Verwenden Sie dazu die tabellenwertige Funktion AI.GENERATE_TEXT. Sie können die folgenden Typen von Remote-Modellen verwenden:

In den folgenden Themen erfahren Sie, wie Sie die Textgenerierung in BigQuery ML ausprobieren können:

Bei einigen Modellen können Sie optional die überwachte Abstimmung konfigurieren. Damit können Sie das Modell mit Ihren eigenen Daten trainieren, um es besser an Ihren Anwendungsfall anzupassen. Alle Inferenzen treten in Vertex AI auf. Die Ergebnisse werden in BigQuery gespeichert.

Strukturierte Daten generieren

Die Generierung strukturierter Daten ähnelt der Textgenerierung sehr, mit dem Unterschied, dass Sie die Antwort des Modells formatieren können, indem Sie ein SQL-Schema angeben. Sie können beispielsweise aus dem Transkript eines Telefonanrufs eine Tabelle mit dem Namen, der Telefonnummer, der Adresse, der Anfrage und dem Preisangebot eines Kunden erstellen.

Sie haben folgende Möglichkeiten, strukturierte Daten zu generieren:

Einbettungen generieren

Eine Einbettung ist ein hochdimensionaler numerischer Vektor, der eine bestimmte Entität darstellt, z. B. einen Text oder eine Audiodatei. Durch das Generieren von Einbettungen können Sie die Semantik Ihrer Daten so erfassen, dass sie leichter zu analysieren und zu vergleichen sind.

Im Folgenden sind einige gängige Anwendungsfälle für die Generierung von Einbettungen aufgeführt:

  • Mit Retrieval-Augmented Generation (RAG) werden Modellantworten auf Nutzeranfragen durch Verweisen auf zusätzliche Daten aus einer vertrauenswürdigen Quelle ergänzt. RAG bietet eine bessere faktische Richtigkeit und Konsistenz der Antworten und ermöglicht auch den Zugriff auf Daten, die neuer sind als die Trainingsdaten des Modells.
  • Multimodale Suche durchführen Zum Beispiel, wenn Sie mit Texteingabe nach Bildern suchen.
  • Semantische Suche nach ähnlichen Elementen für Empfehlungen, Ersetzungen und die Deduplizierung von Datensätzen.
  • Einbettungen erstellen, die mit einem k-Means-Modell für das Clustering verwendet werden.

Weitere Informationen zum Generieren von Einbettungen und zur Verwendung von Einbettungen für diese Aufgaben finden Sie unter Einführung in Einbettungen und Vektorsuche.

Verwaltete KI-Funktionen

Verwaltete KI-Funktionen wurden speziell für die Automatisierung von Routineaufgaben wie Klassifizierung, Sortierung oder Filterung entwickelt. Diese Funktionen nutzen Gemini und müssen nicht angepasst werden. BigQuery verwendet Prompt Engineering und wählt das geeignete Modell und die entsprechenden Parameter für die jeweilige Aufgabe aus, um die Qualität und Konsistenz Ihrer Ergebnisse zu optimieren. Jede Funktion gibt einen skalaren Wert zurück, z. B. BOOL, FLOAT64 oder STRING, und enthält keine zusätzlichen Statusinformationen aus dem Modell. Die folgenden verwalteten KI-Funktionen sind verfügbar:

  • AI.IF: Text oder multimodale Daten filtern, z. B. in einer WHERE- oder JOIN-Klausel, basierend auf einem Prompt. Sie können beispielsweise Produktbeschreibungen nach Artikeln filtern, die sich gut als Geschenk eignen.
  • AI.SCORE: Bewerten Sie Eingaben basierend auf einem Prompt, um Zeilen nach Qualität, Ähnlichkeit oder anderen Kriterien zu sortieren. Sie können diese Funktion in einer ORDER BY-Klausel verwenden, um die K Elemente mit der höchsten Punktzahl zu extrahieren. So können Sie beispielsweise die zehn positivsten oder negativsten Nutzerrezensionen für ein Produkt finden.
  • AI.CLASSIFY: Text in benutzerdefinierte Kategorien klassifizieren. Sie können diese Funktion in einer GROUP BY-Klausel verwenden, um Eingaben entsprechend den von Ihnen definierten Kategorien zu gruppieren. Sie können Supporttickets beispielsweise danach klassifizieren, ob sie sich auf die Abrechnung, den Versand, die Produktqualität oder etwas anderes beziehen.

Eine Anleitung mit Beispielen für die Verwendung dieser Funktionen finden Sie unter Semantische Analyse mit verwalteten KI-Funktionen durchführen.

Ein Notebook-Tutorial zur Verwendung von verwalteten und allgemeinen KI-Funktionen finden Sie unter Semantische Analyse mit KI-Funktionen.

Aufgabenspezifische Funktionen

Zusätzlich zu den allgemeineren Funktionen, die in den vorherigen Abschnitten beschrieben werden, können Sie in BigQuery ML aufgabenspezifische Lösungen mit Cloud AI APIs entwickeln. Zu den unterstützten Aufgaben gehören folgende:

Weitere Informationen finden Sie unter Aufgabenspezifische Lösungen – Übersicht.

Standorte

Die unterstützten Standorte für Textgenerierungs- und Einbettungsmodelle variieren je nach Modelltyp und ‑version. Weitere Informationen finden Sie unter Standorte.

Preise

Ihnen werden die Rechenressourcen in Rechnung gestellt, die Sie zum Ausführen von Anfragen für Modelle verwenden. Remote-Modelle rufen Vertex AI-Modelle auf. Daher fallen für Anfragen an Remote-Modelle auch Gebühren von Vertex AI an.

Weitere Informationen finden Sie unter BigQuery ML-Preise.

Kosten im Blick behalten

Die generativen KI-Funktionen in BigQuery funktionieren, indem Anfragen an Vertex AI gesendet werden, was Kosten verursachen kann. So verfolgen Sie die Vertex AI-Kosten, die durch einen Job anfallen, den Sie in BigQuery ausführen:

  1. Abrechnungsberichte in Cloud Billing ansehen

  2. Verwenden Sie Filter, um die Ergebnisse einzugrenzen.

    Wählen Sie für Dienste Vertex AI aus.

  3. Wenn Sie die Gebühren für einen bestimmten Job sehen möchten, filtern Sie nach Label.

    Legen Sie den Schlüssel auf bigquery_job_id_prefix und den Wert auf die Job-ID Ihres Jobs fest. Wenn Ihre Job-ID länger als 63 Zeichen ist, verwenden Sie nur die ersten 63 Zeichen. Wenn Ihre Job-ID Großbuchstaben enthält, ändern Sie diese in Kleinbuchstaben. Alternativ können Sie Jobs mit einem benutzerdefinierten Label verknüpfen, um sie später leichter zu finden.

Es kann bis zu 24 Stunden dauern, bis einige Belastungen in Cloud Billing angezeigt werden.

Monitoring

Wenn Sie das Verhalten von KI-Funktionen, die Sie in BigQuery aufrufen, besser nachvollziehen möchten, können Sie die Protokollierung von Anfragen und Antworten aktivieren. So protokollieren Sie die gesamte Anfrage und Antwort, die an Vertex AI gesendet und von Vertex AI empfangen wurde:

  1. Anfrage-/Antwort-Logs in Vertex AI aktivieren Die Logs werden in BigQuery gespeichert. Sie müssen die Protokollierung für jedes Foundation Model und jede Region separat aktivieren. Wenn Sie Abfragen protokollieren möchten, die in der Region us ausgeführt werden, geben Sie die Region us-central1 in Ihrer Anfrage an. Wenn Sie Abfragen protokollieren möchten, die in der Region eu ausgeführt werden, geben Sie in Ihrer Anfrage die Region europe-west4 an.

  2. Führen Sie eine Abfrage mit einer KI-Funktion aus, die einen Aufruf an Vertex AI mit dem Modell ausführt, für das Sie im vorherigen Schritt die Protokollierung aktiviert haben.

  3. Wenn Sie die vollständige Vertex AI-Anfrage und -Antwort aufrufen möchten, fragen Sie Ihre Logging-Tabelle nach Zeilen ab, in denen das Feld labels.bigquery_job_id_prefix der Spalte full_request mit den ersten 63 Zeichen Ihrer Job-ID übereinstimmt. Optional können Sie ein benutzerdefiniertes Abfragelabel verwenden, um die Abfrage in den Logs zu finden.

    Sie können beispielsweise eine ähnliche Abfrage wie die folgende verwenden:

    SELECT *
FROM `my_project.my_dataset.request_response_logging`
WHERE JSON_VALUE(full_request, '$.labels.bigquery_job_id_prefix') = 'bquxjob_123456...';

Nächste Schritte