Text mit der Funktion ML.GENERATE_TEXT generieren

In diesem Dokument erfahren Sie, wie Sie ein BigQuery ML-Remote-Modell erstellen, das ein Vertex AI-Modell darstellt, und dieses Remote-Modell dann mit der ML.GENERATE_TEXT-Funktion verwenden, um Text zu generieren.

Die folgenden Typen von Remote-Modellen werden unterstützt:

Abhängig vom ausgewählten Vertex AI-Modell können Sie Text basierend auf unstrukturierten Daten aus Objekttabellen oder Texteingaben aus Standardtabellen generieren.

Erforderliche Rollen

Zum Erstellen eines Remote-Modells und Generieren von Text benötigen Sie die folgenden IAM-Rollen (Identity and Access Management):

  • BigQuery-Datasets, -Tabellen und -Modelle erstellen und verwenden: BigQuery-Dateneditor (roles/bigquery.dataEditor) für Ihr Projekt.

  • BigQuery-Verbindungen erstellen, delegieren und verwenden: BigQuery-Verbindungsadministrator (roles/bigquery.connectionsAdmin) für Ihr Projekt.

    Wenn Sie keine Standardverbindung konfiguriert haben, können Sie eine erstellen und festlegen, wenn Sie die CREATE MODEL-Anweisung ausführen. Dazu benötigen Sie die Rolle „BigQuery Admin“ (roles/bigquery.admin) für Ihr Projekt. Weitere Informationen finden Sie unter Standardverbindung konfigurieren.

  • Gewähren Sie dem Dienstkonto der Verbindung die Berechtigungen „Projekt-IAM-Administrator“ (roles/resourcemanager.projectIamAdmin) für das Projekt, das den Vertex AI-Endpunkt enthält. Dies ist das aktuelle Projekt für Remote-Modelle, die Sie erstellen, indem Sie den Modellnamen als Endpunkt angeben. Dies ist das Projekt, das in der URL für Remote-Modelle angegeben ist, die Sie durch Angabe einer URL als Endpunkt erstellen.

    Wenn Sie das Remote-Modell zum Analysieren unstrukturierter Daten aus einer Objekttabelle verwenden und sich der Cloud Storage-Bucket, den Sie in der Objekttabelle verwenden, in einem anderen Projekt als Ihr Vertex AI-Endpunkt befindet, müssen Sie auch die Rolle „Storage Admin“ (roles/storage.admin) für den von der Objekttabelle verwendeten Cloud Storage-Bucket haben.

  • BigQuery-Jobs erstellen: Rolle „BigQuery Job User“ (roles/bigquery.jobUser) für Ihr Projekt.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Ausführen der Aufgaben in diesem Dokument erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

  • Dataset erstellen: bigquery.datasets.create
  • Verbindung erstellen, delegieren und verwenden: bigquery.connections.*
  • Dienstkontoberechtigungen festlegen: resourcemanager.projects.getIamPolicy und resourcemanager.projects.setIamPolicy
  • Modell erstellen und Inferenz ausführen:
    • bigquery.jobs.create
    • bigquery.models.create
    • bigquery.models.getData
    • bigquery.models.updateData
    • bigquery.models.updateMetadata

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Hinweise

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Enable the BigQuery, BigQuery Connection, and Vertex AI APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

Dataset erstellen

Erstellen Sie ein BigQuery-Dataset, das Ihre Ressourcen enthält:

Console

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    BigQuery aufrufen

  2. Klicken Sie im linken Bereich auf  Explorer:

    Hervorgehobene Schaltfläche für den Explorer-Bereich.

    Wenn Sie den linken Bereich nicht sehen, klicken Sie auf  Linken Bereich maximieren, um ihn zu öffnen.

  3. Klicken Sie im Bereich Explorer auf den Namen Ihres Projekts.

  4. Klicken Sie auf Aktionen ansehen > Dataset erstellen.

  5. Führen Sie auf der Seite Dataset erstellen die folgenden Schritte aus:

    1. Geben Sie für Dataset-ID einen Namen für das Dataset ein.

    2. Wählen Sie als Standorttyp die Option Region oder Mehrere Regionen aus.

      • Wenn Sie Region ausgewählt haben, wählen Sie einen Standort aus der Liste Region aus.
      • Wenn Sie Mehrere Regionen ausgewählt haben, wählen Sie in der Liste Mehrere Regionen die Option USA oder Europa aus.

    3. Klicken Sie auf Dataset erstellen.

bq

  1. Wenn Sie ein neues Dataset erstellen möchten, verwenden Sie den Befehl bq mk mit dem Flag --location:

    bq --location=LOCATION mk -d DATASET_ID

    Ersetzen Sie Folgendes:

    • LOCATION: Speicherort des Datasets.
    • DATASET_ID: der Name des zu erstellenden Datasets.

  2. Prüfen Sie, ob das Dataset erstellt wurde:

    bq ls

Verbindung herstellen

Sie können diesen Schritt überspringen, wenn Sie entweder eine Standardverbindung konfiguriert haben oder die Rolle „BigQuery-Administrator“ haben.

Erstellen Sie eine Cloud-Ressourcenverbindung, die vom Remote-Modell verwendet werden soll, und rufen Sie das Dienstkonto der Verbindung ab. Erstellen Sie die Verbindung am selben Speicherort wie das Dataset, das Sie im vorherigen Schritt erstellt haben.

Wählen Sie eine der folgenden Optionen aus:

Console

  1. Rufen Sie die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im Bereich Explorer auf Daten hinzufügen:

    Das UI-Element „Daten hinzufügen“

    Das Dialogfeld Daten hinzufügen wird geöffnet.

  3. Wählen Sie im Bereich Filtern nach im Abschnitt Datenquellentyp die Option Geschäftsanwendungen aus.

    Alternativ können Sie im Feld Nach Datenquellen suchen Vertex AI eingeben.

  4. Klicken Sie im Abschnitt Empfohlene Datenquellen auf Vertex AI.

  5. Klicken Sie auf die Lösungsübersichtskarte Vertex AI-Modelle: BigQuery Federation.

  6. Wählen Sie in der Liste Verbindungstyp die Option Vertex AI-Remote-Modelle, Remote-Funktionen, BigLake und Cloud Spanner (Cloud-Ressource) aus.

  7. Geben Sie im Feld Verbindungs-ID einen Namen für die Verbindung ein.

  8. Klicken Sie auf Verbindung erstellen.

  9. Klicken Sie auf Zur Verbindung.

  10. Kopieren Sie im Bereich Verbindungsinformationen die Dienstkonto-ID zur Verwendung in einem späteren Schritt.

bq

  1. Erstellen Sie in einer Befehlszeilenumgebung eine Verbindung:

    bq mk --connection --location=REGION --project_id=PROJECT_ID \
    --connection_type=CLOUD_RESOURCE CONNECTION_ID

    Der Parameter --project_id überschreibt das Standardprojekt.

    Ersetzen Sie dabei Folgendes:

    • REGION: Ihre Verbindungsregion
    • PROJECT_ID: Ihre Google Cloud Projekt-ID
    • CONNECTION_ID: eine ID für Ihre Verbindung

    Wenn Sie eine Verbindungsressource herstellen, erstellt BigQuery ein eindeutiges Systemdienstkonto und ordnet es der Verbindung zu.

    Fehlerbehebung:Wird der folgende Verbindungsfehler angezeigt, aktualisieren Sie das Google Cloud SDK:

    Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...

  2. Rufen Sie die Dienstkonto-ID ab und kopieren Sie sie zur Verwendung in einem späteren Schritt:

    bq show --connection PROJECT_ID.REGION.CONNECTION_ID

    Die Ausgabe sieht in etwa so aus:

    name                          properties
1234.REGION.CONNECTION_ID     {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}

Terraform

Verwenden Sie die Ressource google_bigquery_connection:

Richten Sie zur Authentifizierung bei BigQuery die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für Clientbibliotheken einrichten.

Im folgenden Beispiel wird eine Cloud-Ressourcenverbindung mit dem Namen my_cloud_resource_connection in der Region US erstellt:


# This queries the provider for project information.
data "google_project" "default" {}

# This creates a cloud resource connection in the US region named my_cloud_resource_connection.
# Note: The cloud resource nested object has only one output field - serviceAccountId.
resource "google_bigquery_connection" "default" {
  connection_id = "my_cloud_resource_connection"
  project       = data.google_project.default.project_id
  location      = "US"
  cloud_resource {}
}

Führen Sie die Schritte in den folgenden Abschnitten aus, um Ihre Terraform-Konfiguration auf ein Google Cloud -Projekt anzuwenden.

Cloud Shell vorbereiten

  1. Rufen Sie Cloud Shell auf.

  2. Legen Sie das Standardprojekt Google Cloud fest, auf das Sie Ihre Terraform-Konfigurationen anwenden möchten.

    Sie müssen diesen Befehl nur einmal pro Projekt und in jedem beliebigen Verzeichnis ausführen.

    export GOOGLE_CLOUD_PROJECT=PROJECT_ID

    Umgebungsvariablen werden überschrieben, wenn Sie in der Terraform-Konfigurationsdatei explizite Werte festlegen.

Verzeichnis vorbereiten

Jede Terraform-Konfigurationsdatei muss ein eigenes Verzeichnis haben (auch als Stammmodul bezeichnet).

  1. Erstellen Sie in Cloud Shell ein Verzeichnis und eine neue Datei in diesem Verzeichnis. Der Dateiname muss die Erweiterung .tf haben, z. B. main.tf. In dieser Anleitung wird die Datei als main.tf bezeichnet. 
    mkdir DIRECTORY && cd DIRECTORY && touch main.tf

  2. Wenn Sie einer Anleitung folgen, können Sie den Beispielcode in jedem Abschnitt oder Schritt kopieren.

    Kopieren Sie den Beispielcode in das neu erstellte main.tf.

    Kopieren Sie optional den Code aus GitHub. Dies wird empfohlen, wenn das Terraform-Snippet Teil einer End-to-End-Lösung ist.

  3. Prüfen und ändern Sie die Beispielparameter, die auf Ihre Umgebung angewendet werden sollen.
  4. Speichern Sie die Änderungen.
  5. Initialisieren Sie Terraform. Dies ist nur einmal für jedes Verzeichnis erforderlich. 
    terraform init

    Fügen Sie optional die Option -upgrade ein, um die neueste Google-Anbieterversion zu verwenden: 

    terraform init -upgrade

Änderungen anwenden

  1. Prüfen Sie die Konfiguration und prüfen Sie, ob die Ressourcen, die Terraform erstellen oder aktualisieren wird, Ihren Erwartungen entsprechen: 
    terraform plan

    Korrigieren Sie die Konfiguration nach Bedarf.

  2. Wenden Sie die Terraform-Konfiguration an. Führen Sie dazu den folgenden Befehl aus und geben Sie yes an der Eingabeaufforderung ein: 
    terraform apply

    Warten Sie, bis Terraform die Meldung „Apply complete“ anzeigt.

  3. Öffnen Sie Ihr Google Cloud Projekt, um die Ergebnisse aufzurufen. Rufen Sie in der Google Cloud Console Ihre Ressourcen in der Benutzeroberfläche auf, um sicherzustellen, dass Terraform sie erstellt oder aktualisiert hat.

Dem Dienstkonto der Verbindung zum Remote-Modell eine Rolle zuweisen

Sie müssen dem Dienstkonto der Verbindung, die vom Remote-Modell verwendet wird, die Rolle „Vertex AI User“ zuweisen.

Wenn Sie den Endpunkt des Remote-Modells als URL angeben möchten, z. B. endpoint = 'https://us-central1-aiplatform.googleapis.com/v1/projects/myproject/locations/us-central1/publishers/google/models/gemini-2.0-flash', gewähren Sie diese Rolle in demselben Projekt, das Sie in der URL angeben.

Wenn Sie den Endpunkt des Remote-Modells mit dem Modellnamen angeben möchten, z. B. endpoint = 'gemini-2.0-flash', gewähren Sie diese Rolle in demselben Projekt, in dem Sie das Remote-Modell erstellen möchten.

Die Zuweisung der Rolle in einem anderen Projekt führt zu dem Fehler bqcx-1234567890-wxyz@gcp-sa-bigquery-condel.iam.gserviceaccount.com does not have the permission to access resource.

So weisen Sie die Rolle „Vertex AI User“ zu:

Console

  1. Zur Seite IAM & Verwaltung.

    IAM & Verwaltung aufrufen

  2. Klicken Sie auf Hinzufügen.

    Das Dialogfeld Principals hinzufügen wird geöffnet.

  3. Geben Sie im Feld Neue Hauptkonten die Dienstkonto-ID ein, die Sie zuvor kopiert haben.

  4. Wählen Sie im Feld Rolle auswählen die Option Vertex AI und dann Vertex AI-Nutzer aus.

  5. Klicken Sie auf Speichern.

gcloud

Führen Sie den Befehl gcloud projects add-iam-policy-binding aus.

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.user' --condition=None

Ersetzen Sie Folgendes:

  • PROJECT_NUMBER: Ihre Projektnummer
  • MEMBER: Die Dienstkonto-ID, die Sie zuvor kopiert haben

Dem Dienstkonto der Verbindung zur Objekttabelle eine Rolle zuweisen

Wenn Sie das Remote-Modell verwenden, um Text aus Objekttabellendaten zu generieren, weisen Sie dem Dienstkonto der Objekttabellenverbindung die Rolle „Vertex AI-Nutzer“ in demselben Projekt zu, in dem Sie das Remote-Modell erstellen möchten. Ansonsten können Sie diesen Schritt überspringen.

So finden Sie das Dienstkonto für die Verbindung zur Objekttabelle:

  1. Rufen Sie die Seite BigQuery auf.

    BigQuery aufrufen

  2. Klicken Sie im linken Bereich auf  Explorer:

    Hervorgehobene Schaltfläche für den Explorer-Bereich.

    Wenn Sie den linken Bereich nicht sehen, klicken Sie auf  Linken Bereich maximieren, um ihn zu öffnen.

  3. Klicken Sie im Bereich Explorer auf Datasets und wählen Sie dann ein Dataset aus, das die Objekttabelle enthält.

  4. Klicken Sie auf Übersicht > Tabellen und wählen Sie dann die Objekttabelle aus.

  5. Klicken Sie im Editorbereich auf den Tab Details.

  6. Notieren Sie sich den Verbindungsnamen im Feld Verbindungs-ID.

  7. Klicken Sie im Bereich Explorer auf Verbindungen.

  8. Wählen Sie die Verbindung aus, die mit dem Feld Verbindungs-ID der Objekttabelle übereinstimmt.

  9. Kopieren Sie den Wert im Feld Dienstkonto-ID.

So weisen Sie die Rolle zu:

Console

  1. Zur Seite IAM & Verwaltung.

    IAM & Verwaltung aufrufen

  2. Klicken Sie auf Hinzufügen.

    Das Dialogfeld Principals hinzufügen wird geöffnet.

  3. Geben Sie im Feld Neue Hauptkonten die Dienstkonto-ID ein, die Sie zuvor kopiert haben.

  4. Wählen Sie im Feld Rolle auswählen die Option Vertex AI und dann Vertex AI-Nutzer aus.

  5. Klicken Sie auf Speichern.

gcloud

Führen Sie den Befehl gcloud projects add-iam-policy-binding aus.

gcloud projects add-iam-policy-binding 'PROJECT_NUMBER' --member='serviceAccount:MEMBER' --role='roles/aiplatform.user' --condition=None

Ersetzen Sie Folgendes:

  • PROJECT_NUMBER: Ihre Projektnummer
  • MEMBER: Die Dienstkonto-ID, die Sie zuvor kopiert haben

Partnermodell aktivieren

Dieser Schritt ist nur erforderlich, wenn Sie Anthropic Claude-, Llama- oder Mistral AI-Modelle verwenden möchten.

  1. Rufen Sie in der Google Cloud Console die Seite Vertex AI Model Garden auf.

    Zu Model Garden

  2. Suchen Sie nach dem Partnermodell, das Sie verwenden möchten.

  3. Klicken Sie auf die Modellkarte.

  4. Klicken Sie auf der Modellseite auf Aktivieren.

  5. Geben Sie die erforderlichen Aktivierungsinformationen ein und klicken Sie dann auf Weiter.

  6. Klicken Sie im Abschnitt Nutzungsbedingungen das Kästchen an.

  7. Klicken Sie auf Zustimmen, um den Nutzungsbedingungen zuzustimmen und das Modell zu aktivieren.

Bereitstellungsmethode für offene Modelle auswählen

Wenn Sie ein Remote-Modell für ein unterstütztes offenes Modell erstellen, können Sie das offene Modell automatisch gleichzeitig mit dem Remote-Modell bereitstellen. Geben Sie dazu die Vertex AI Model Garden- oder Hugging Face-Modell-ID in der CREATE MODEL-Anweisung an. Alternativ können Sie das offene Modell zuerst manuell bereitstellen und es dann mit dem Remote-Modell verwenden, indem Sie den Modellendpunkt in der CREATE MODEL-Anweisung angeben. Weitere Informationen finden Sie unter Offene Modelle bereitstellen.

BigQuery ML-Remote-Modell erstellen

Remote-Modell erstellen:

Neue offene Modelle

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    BigQuery aufrufen

  2. Erstellen Sie mit dem SQL-Editor ein Remote-Modell:

    CREATE OR REPLACE MODEL
`PROJECT_ID.DATASET_ID.MODEL_NAME`
REMOTE WITH CONNECTION {DEFAULT | `PROJECT_ID.REGION.CONNECTION_ID`}
OPTIONS (
  {HUGGING_FACE_MODEL_ID = 'HUGGING_FACE_MODEL_ID' |
     MODEL_GARDEN_MODEL_NAME = 'MODEL_GARDEN_MODEL_NAME'}
  [, HUGGING_FACE_TOKEN = 'HUGGING_FACE_TOKEN' ]
  [, MACHINE_TYPE = 'MACHINE_TYPE' ]
  [, MIN_REPLICA_COUNT = MIN_REPLICA_COUNT ]
  [, MAX_REPLICA_COUNT = MAX_REPLICA_COUNT ]
  [, RESERVATION_AFFINITY_TYPE = {'NO_RESERVATION' | 'ANY_RESERVATION' | 'SPECIFIC_RESERVATION'} ]
  [, RESERVATION_AFFINITY_KEY = 'compute.googleapis.com/reservation-name' ]
  [, RESERVATION_AFFINITY_VALUES = RESERVATION_AFFINITY_VALUES ]
  [, ENDPOINT_IDLE_TTL = ENDPOINT_IDLE_TTL ]
);

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Ihre Projekt-ID.
    • DATASET_ID ist die ID des Datasets, das das Modell enthalten soll. Dieses Dataset muss sich am selben Standort wie die von Ihnen verwendete Verbindung befinden.
    • MODEL_NAME ist der Name des Modells.
    • REGION ist die Region, die von der Verbindung verwendet wird.
    • CONNECTION_ID ist die ID Ihrer BigQuery-Verbindung.

      Sie können diesen Wert abrufen, indem Sie sich die Verbindungsdetails in der Google Cloud Console ansehen und den Wert im letzten Abschnitt der voll qualifizierten Verbindungs-ID kopieren, der unter Verbindungs-ID angezeigt wird. Zum Beispiel, projects/myproject/locations/connection_location/connections/myconnection.

    • HUGGING_FACE_MODEL_ID: ein STRING-Wert, der die Modell-ID für ein unterstütztes Hugging Face-Modell im Format provider_name/model_name angibt, z. B. deepseek-ai/DeepSeek-R1. Sie können die Modell-ID abrufen, indem Sie im Hugging Face Model Hub auf den Modellnamen klicken und dann die Modell-ID oben auf der Modellkarte kopieren.
    • MODEL_GARDEN_MODEL_NAME: ein STRING-Wert, der die Modell-ID und Modellversion eines unterstützten Vertex AI Model Garden-Modells im Format publishers/publisher/models/model_name@model_version angibt. Zum Beispiel publishers/openai/models/gpt-oss@gpt-oss-120b. Sie können die Modell-ID abrufen, indem Sie im Vertex AI Model Garden auf die Modellkarte klicken und dann die Modell-ID aus dem Feld Modell-ID kopieren. Sie können die Standardmodellversion abrufen, indem Sie sie aus dem Feld Version auf der Modellkarte kopieren. Wenn Sie andere Modellversionen sehen möchten, die Sie verwenden können, klicken Sie auf Modell bereitstellen und dann auf das Feld Ressourcen-ID.
    • HUGGING_FACE_TOKEN: ein STRING-Wert, der das zu verwendende Hugging Face-Nutzerzugriffstoken angibt. Sie können nur dann einen Wert für diese Option angeben, wenn Sie auch einen Wert für die Option HUGGING_FACE_MODEL_ID angeben.

      Das Token muss mindestens die Rolle read haben. Tokens mit einem größeren Umfang sind ebenfalls zulässig. Diese Option ist erforderlich, wenn das durch den HUGGING_FACE_MODEL_ID-Wert identifizierte Modell ein gated oder privates Hugging Face-Modell ist.

      Für einige eingeschränkte Modelle ist eine ausdrückliche Zustimmung zu den Nutzungsbedingungen erforderlich, bevor der Zugriff gewährt wird. So stimmen Sie diesen Nutzungsbedingungen zu:

      1. Rufen Sie die Seite des Modells auf der Hugging Face-Website auf.
      2. Suchen Sie die Nutzungsbedingungen des Modells und lesen Sie sie. Ein Link zur Dienstvereinbarung ist in der Regel auf der Modellkarte zu finden.
      3. Akzeptieren Sie die Nutzungsbedingungen, wenn Sie auf der Seite dazu aufgefordert werden.
    • MACHINE_TYPE: ein STRING-Wert, der den Maschinentyp angibt, der beim Bereitstellen des Modells in Vertex AI verwendet werden soll. Informationen zu unterstützten Maschinentypen finden Sie unter Maschinentypen. Wenn Sie keinen Wert für die Option MACHINE_TYPE angeben, wird der Standardmaschinentyp für das Modell aus dem Vertex AI Model Garden verwendet.
    • MIN_REPLICA_COUNT: ein INT64-Wert, der die Mindestanzahl der Maschinenreplikate angibt, die beim Bereitstellen des Modells an einem Vertex AI-Endpunkt verwendet werden. Der Dienst erhöht oder verringert die Anzahl der Replikate je nach Inferenzlast am Endpunkt. Die Anzahl der verwendeten Replikate ist nie niedriger als der MIN_REPLICA_COUNT-Wert und nie höher als der MAX_REPLICA_COUNT-Wert. Der MIN_REPLICA_COUNT-Wert muss im Bereich [1, 4096] liegen. Der Standardwert ist 1.
    • MAX_REPLICA_COUNT: ein INT64-Wert, der die maximale Anzahl von Maschinenreplikaten angibt, die beim Bereitstellen des Modells an einem Vertex AI-Endpunkt verwendet werden. Der Dienst erhöht oder verringert die Anzahl der Replikate je nach Inferenzlast am Endpunkt. Die Anzahl der verwendeten Replikate ist nie niedriger als der MIN_REPLICA_COUNT-Wert und nie höher als der MAX_REPLICA_COUNT-Wert. Der MAX_REPLICA_COUNT-Wert muss im Bereich [1, 4096] liegen. Der Standardwert ist der MIN_REPLICA_COUNT-Wert.
    • RESERVATION_AFFINITY_TYPE: Gibt an, ob das bereitgestellte Modell Compute Engine-Reservierungen verwendet, um eine garantierte VM-Verfügbarkeit beim Bereitstellen von Vorhersagen zu gewährleisten, und ob das Modell VMs aus allen verfügbaren Reservierungen oder nur aus einer bestimmten Reservierung verwendet. Weitere Informationen finden Sie unter Reservierungsaffinität für Compute Engine.

      Sie können nur Compute Engine-Reservierungen verwenden, die für Vertex AI freigegeben sind. Weitere Informationen finden Sie unter Nutzung einer Reservierung zulassen.

      Folgende Werte werden unterstützt:

      • NO_RESERVATION: Wenn Ihr Modell für einen Vertex AI-Endpunkt bereitgestellt wird, wird keine Reservierung genutzt. Wenn Sie NO_RESERVATION angeben, hat das denselben Effekt wie das Weglassen einer Reservierungsaffinität.
      • ANY_RESERVATION: Bei der Bereitstellung des Vertex AI-Modells werden VMs aus Compute Engine-Reservierungen genutzt, die sich im aktuellen Projekt befinden oder für das Projekt freigegeben sind und für die automatische Nutzung konfiguriert sind. Es werden nur VMs verwendet, die die folgenden Anforderungen erfüllen:
        • Sie verwenden den Maschinentyp, der durch den Wert MACHINE_TYPE angegeben wird.
        • Wenn das BigQuery-Dataset, in dem Sie das Remote-Modell erstellen, nur eine Region umfasst, muss sich die Reservierung in derselben Region befinden. Wenn sich das Dataset in der Multi-Region US befindet, muss sich die Reservierung in der Region us-central1 befinden. Wenn sich das Dataset in der Multi-Region EU befindet, muss sich die Reservierung in der Region europe-west4 befinden.

        Wenn in den verfügbaren Reservierungen nicht genügend Kapazität vorhanden ist oder keine geeigneten Reservierungen gefunden werden, stellt das System On-Demand-Compute Engine-VMs bereit, um die Ressourcenanforderungen zu erfüllen.

      • SPECIFIC_RESERVATION: Bei der Bereitstellung des Vertex AI-Modells werden VMs nur aus der Reservierung verwendet, die Sie im Wert RESERVATION_AFFINITY_VALUES angeben. Diese Reservierung muss für die gezielte Nutzung konfiguriert sein. Die Bereitstellung schlägt fehl, wenn die angegebene Reservierung nicht über ausreichende Kapazität verfügt.
    • RESERVATION_AFFINITY_KEY: der String compute.googleapis.com/reservation-name. Sie müssen diese Option angeben, wenn der Wert RESERVATION_AFFINITY_TYPE SPECIFIC_RESERVATION ist.
    • RESERVATION_AFFINITY_VALUES: ein ARRAY<STRING>-Wert, der den vollständigen Ressourcennamen der Compute Engine-Reservierung im folgenden Format angibt:

      projects/myproject/zones/reservation_zone/reservations/reservation_name

      Beispiel: RESERVATION_AFFINITY_values = ['projects/myProject/zones/us-central1-a/reservations/myReservationName'].

      Sie können den Reservierungsnamen und die Zone auf der Seite Reservierungen der Google Cloud Console abrufen. Weitere Informationen finden Sie unter Reservierungen ansehen.

      Sie müssen diese Option angeben, wenn der Wert von RESERVATION_AFFINITY_TYPE SPECIFIC_RESERVATION ist.

    • ENDPOINT_IDLE_TTL: ein INTERVAL-Wert, der die Dauer der Inaktivität angibt, nach der das offene Modell automatisch vom Vertex AI-Endpunkt entfernt wird.

      Geben Sie zum Aktivieren der automatischen Bereitstellungsaufhebung für das Intervallliteral einen Wert zwischen 390 Minuten (6, 5 Stunden) und 7 Tagen an. Geben Sie beispielsweise INTERVAL 8 HOUR an, damit das Modell nach 8 Stunden Inaktivität nicht mehr bereitgestellt wird. Der Standardwert ist 390 Minuten (6,5 Stunden).

      Die Inaktivität eines Modells wird als die Zeitspanne definiert, die seit der Ausführung einer der folgenden Operationen für das Modell vergangen ist:

      Bei jedem dieser Vorgänge wird der Inaktivitätstimer auf null zurückgesetzt. Das Zurücksetzen wird zu Beginn des BigQuery-Jobs ausgelöst, mit dem der Vorgang ausgeführt wird.

      Nachdem das Modell nicht mehr bereitgestellt wurde, geben Inferenzanfragen, die an das Modell gesendet werden, einen Fehler zurück. Das BigQuery-Modellobjekt bleibt unverändert, einschließlich der Modellmetadaten. Wenn Sie das Modell wieder für die Inferenz verwenden möchten, müssen Sie es noch einmal bereitstellen. Führen Sie dazu die ALTER MODEL-Anweisung für das Modell aus und legen Sie die Option DEPLOY_MODEL auf TRUE fest.

Bereitgestellte offene Modelle

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    BigQuery aufrufen

  2. Erstellen Sie mit dem SQL-Editor ein Remote-Modell:

    CREATE OR REPLACE MODEL
`PROJECT_ID.DATASET_ID.MODEL_NAME`
REMOTE WITH CONNECTION {DEFAULT | `PROJECT_ID.REGION.CONNECTION_ID`}
OPTIONS (
  ENDPOINT = 'https://ENDPOINT_REGION-aiplatform.googleapis.com/v1/projects/ENDPOINT_PROJECT_ID/locations/ENDPOINT_REGION/endpoints/ENDPOINT_ID'
);

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Ihre Projekt-ID.
    • DATASET_ID ist die ID des Datasets, das das Modell enthalten soll. Dieses Dataset muss sich am selben Standort wie die von Ihnen verwendete Verbindung befinden.
    • MODEL_NAME ist der Name des Modells.
    • REGION ist die Region, die von der Verbindung verwendet wird.
    • CONNECTION_ID ist die ID Ihrer BigQuery-Verbindung.

      Sie können diesen Wert abrufen, indem Sie sich die Verbindungsdetails in der Google Cloud Console ansehen und den Wert im letzten Abschnitt der voll qualifizierten Verbindungs-ID kopieren, der unter Verbindungs-ID angezeigt wird. Zum Beispiel, projects/myproject/locations/connection_location/connections/myconnection.

    • ENDPOINT_REGION: die Region, in der das offene Modell bereitgestellt wird.
    • ENDPOINT_PROJECT_ID: Das Projekt, in dem das offene Modell bereitgestellt wird.
    • ENDPOINT_ID: die ID des HTTPS-Endpunkts, der vom offenen Modell verwendet wird. Sie können die Endpunkt-ID abrufen, indem Sie das offene Modell auf der Seite Onlinevorhersage suchen und den Wert im Feld ID kopieren.

Alle anderen Modelle

  1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

    BigQuery aufrufen

  2. Erstellen Sie mit dem SQL-Editor ein Remote-Modell:

    CREATE OR REPLACE MODEL
`PROJECT_ID.DATASET_ID.MODEL_NAME`
REMOTE WITH CONNECTION {DEFAULT | `PROJECT_ID.REGION.CONNECTION_ID`}
OPTIONS (ENDPOINT = 'ENDPOINT');

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Ihre Projekt-ID.
    • DATASET_ID ist die ID des Datasets, das das Modell enthalten soll. Dieses Dataset muss sich am selben Standort wie die von Ihnen verwendete Verbindung befinden.
    • MODEL_NAME ist der Name des Modells.
    • REGION ist die Region, die von der Verbindung verwendet wird.
    • CONNECTION_ID ist die ID Ihrer BigQuery-Verbindung.

      Sie können diesen Wert abrufen, indem Sie sich die Verbindungsdetails in der Google Cloud Console ansehen und den Wert im letzten Abschnitt der voll qualifizierten Verbindungs-ID kopieren, der unter Verbindungs-ID angezeigt wird. Zum Beispiel, projects/myproject/locations/connection_location/connections/myconnection.

    • ENDPOINT: Der Endpunkt des Vertex AI-Modells, das verwendet werden soll.

      Geben Sie für vortrainierte Vertex AI-Modelle, Claude-Modelle und Mistral AI-Modelle den Namen des Modells an. Für einige dieser Modelle können Sie eine bestimmte Version des Modells als Teil des Namens angeben. Bei unterstützten Gemini-Modellen können Sie den globalen Endpunkt angeben, um die Verfügbarkeit zu verbessern.

      Geben Sie für Llama-Modelle einen OpenAI API-Endpunkt im Format openapi/<publisher_name>/<model_name> an. Beispiel: openapi/meta/llama-3.1-405b-instruct-maas

      Informationen zu unterstützten Modellnamen und ‑versionen finden Sie unter ENDPOINT.

      Das von Ihnen angegebene Vertex AI-Modell muss an dem Ort verfügbar sein, an dem Sie das Remote-Modell erstellen. Weitere Informationen finden Sie unter Standorte.

Text aus Standardtabellendaten generieren

Generieren Sie Text mithilfe der Funktion ML.GENERATE_TEXT mit Prompt-Daten aus einer Standardtabelle:

Gemini 

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  {TABLE PROJECT_ID.DATASET_ID.TABLE_NAME | (PROMPT_QUERY)},
  STRUCT(TOKENS AS max_output_tokens, TEMPERATURE AS temperature,
  TOP_P AS top_p, FLATTEN_JSON AS flatten_json_output,
  STOP_SEQUENCES AS stop_sequences,
  GROUND_WITH_GOOGLE_SEARCH AS ground_with_google_search,
  SAFETY_SETTINGS AS safety_settings,
  REQUEST_TYPE AS request_type)
);

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Projekt-ID.
  • DATASET_ID ist die ID des Datasets, das das Modell enthält.
  • MODEL_NAME ist der Name des Modells.
  • TABLE_NAME: der Name der Tabelle, die den Prompt enthält. Diese Tabelle muss eine Spalte namens prompt enthalten. Sie können auch einen Alias nutzen, um eine Spalte mit anderen Namen zu verwenden.
  • PROMPT_QUERY: eine Abfrage, die die Prompt-Daten bereitstellt. Mit dieser Abfrage muss eine Spalte mit dem Namen prompt erstellt werden.
  • TOKENS ist ein INT64-Wert, der die maximale Anzahl an Tokens festlegt, die in der Antwort generiert werden können. Dieser Wert muss im Bereich [1,8192] liegen. Geben Sie kürzere Werte für kürzere Antworten und höhere Werte für längere Antworten an. Der Standardwert ist 128.
  • TEMPERATURE: ein FLOAT64-Wert im Bereich [0.0,1.0], der den Grad der Zufälligkeit in der Tokenauswahl steuert. Der Standardwert ist 0.

    Niedrigere Werte für temperature eignen sich für Prompts, die deterministischere und weniger offene oder kreative Reaktionen erfordern, während höhere Werte für temperature zu vielfältigeren oder kreativen Ergebnissen führen können. Ein Wert von 0 für temperature ist deterministisch, d. h. die Antwort mit der höchsten Wahrscheinlichkeit wird immer ausgewählt.

  • TOP_P: ein FLOAT64-Wert im Bereich [0.0,1.0], der die Wahrscheinlichkeit der ausgewählten Tokens bestimmt. Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an. Der Standardwert ist 0.95.
  • FLATTEN_JSON: ein BOOL-Wert, der bestimmt, ob der generierte Text und die Sicherheitsattribute in separaten Spalten zurückgegeben werden. Der Standardwert ist FALSE.
  • STOP_SEQUENCES ist ein ARRAY<STRING>-Wert, der die angegebenen Strings entfernt, wenn sie in Antworten des Modells enthalten sind. Strings werden genau abgeglichen, einschließlich Groß-/Kleinschreibung. Der Standardwert ist ein leeres Array.
  • GROUND_WITH_GOOGLE_SEARCH: Ein BOOL-Wert, der bestimmt, ob das Vertex AI-Modell beim Generieren von Antworten [Fundierung mit der Google Suche](/vertex-ai/generative-ai/docs/grounding/overview#ground-public) verwendet. Mit der Fundierung kann das Modell beim Generieren einer Antwort zusätzliche Informationen aus dem Internet verwenden, um Modellantworten spezifischer und faktischer zu machen. Wenn sowohl flatten_json_output als auch dieses Feld auf True festgelegt sind, wird den Ergebnissen eine zusätzliche Spalte ml_generate_text_grounding_result hinzugefügt, in der die Quellen angegeben sind, die das Modell zum Sammeln zusätzlicher Informationen verwendet hat. Der Standardwert ist FALSE.
  • SAFETY_SETTINGS: ein ARRAY<STRUCT<STRING AS category, STRING AS threshold>>-Wert, der Sicherheitsgrenzwerte für Inhalte konfiguriert, um Antworten zu filtern. Das erste Element in der Struktur gibt eine Schadenskategorie und das zweite Element in der Struktur einen entsprechenden Grenzwert für „Blockiert“ an. Das Modell filtert Inhalte heraus, die gegen diese Einstellungen verstoßen. Sie können jede Kategorie nur einmal angeben. Sie können beispielsweise nicht sowohl STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_MEDIUM_AND_ABOVE' AS threshold) als auch STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category, 'BLOCK_ONLY_HIGH' AS threshold) angeben. Wenn es für eine bestimmte Kategorie keine Sicherheitseinstellung gibt, wird die Sicherheitseinstellung BLOCK_MEDIUM_AND_ABOVE verwendet. Folgende Kategorien werden unterstützt:
    • HARM_CATEGORY_HATE_SPEECH
    • HARM_CATEGORY_DANGEROUS_CONTENT
    • HARM_CATEGORY_HARASSMENT
    • HARM_CATEGORY_SEXUALLY_EXPLICIT
    Folgende Grenzwerte werden unterstützt:
    • BLOCK_NONE (Eingeschränkt)
    • BLOCK_LOW_AND_ABOVE
    • BLOCK_MEDIUM_AND_ABOVE (Standard)
    • BLOCK_ONLY_HIGH
    • HARM_BLOCK_THRESHOLD_UNSPECIFIED
    Weitere Informationen finden Sie in der Definition der Sicherheitskategorie und des Grenzwerts für „Blockiert“.
  • REQUEST_TYPE: ein STRING-Wert, der den Typ der Inferenzanfrage angibt, die an das Gemini-Modell gesendet werden soll. Der Anfragetyp bestimmt, welches Kontingent für die Anfrage verwendet wird. Gültige Werte:
    • DEDICATED: Die Funktion ML.GENERATE_TEXT verwendet nur das Kontingent für Provisioned Throughput. Die ML.GENERATE_TEXT-Funktion gibt den Fehler Provisioned throughput is not purchased or is not active zurück, wenn das Kontingent für bereitgestellten Durchsatz nicht verfügbar ist.
    • SHARED: Die Funktion ML.GENERATE_TEXT verwendet nur dynamisches gemeinsames Kontingent (Dynamic Shared Quota, DSQ), auch wenn Sie Kontingent für bereitgestellten Durchsatz erworben haben.
    • UNSPECIFIED: Die ML.GENERATE_TEXT-Funktion verwendet Kontingente so:
      • Wenn Sie kein Kontingent für bereitgestellten Durchsatz erworben haben, verwendet die Funktion ML.GENERATE_TEXT das DSQ-Kontingent.
      • Wenn Sie ein Kontingent für bereitgestellten Durchsatz erworben haben, wird dieses zuerst von der Funktion ML.GENERATE_TEXT verwendet. Wenn Anfragen das Kontingent für Provisioned Throughput überschreiten, wird für den zusätzlichen Traffic das DSQ-Kontingent verwendet.

      • Der Standardwert ist UNSPECIFIED.

      Weitere Informationen finden Sie unter Vertex AI Provisioned Throughput verwenden.

    Beispiel 1

    Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

    • Aufforderungen für eine Zusammenfassung des Texts in der Spalte body der Tabelle articles.
    • Die JSON-Antwort des Modells wird in separate Spalten aufgeteilt.
    SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    (
      SELECT CONCAT('Summarize this text', body) AS prompt
      FROM mydataset.articles
    ),
    STRUCT(TRUE AS flatten_json_output));

    Beispiel 2

    Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

    • Verwendet eine Abfrage, um die Eingabedaten zu erstellen. Verkettet werden Strings, die Tabellenpräfixe mit Tabellenspalten bereitstellen.
    • Gibt eine kurze Antwort zurück.
    • Die JSON-Antwort des Modells wird nicht in separate Spalten geparst.
    SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    (
      SELECT CONCAT(question, 'Text:', description, 'Category') AS prompt
      FROM mydataset.input_table
    ),
    STRUCT(
      100 AS max_output_tokens,
      FALSE AS flatten_json_output));

    Beispiel 3:

    Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

    • Verwendet die Spalte prompt der Tabelle prompts für den Prompt.
    • Die JSON-Antwort des Modells wird in separate Spalten aufgeteilt.
    SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    TABLE mydataset.prompts,
    STRUCT(TRUE AS flatten_json_output));

    Beispiel 4

    Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

    • Verwendet die Spalte prompt der Tabelle prompts für den Prompt.
    • Gibt eine kurze Antwort zurück.
    • Vereinfacht die JSON-Antwort in separate Spalten.
    • Ruft öffentliche Webdaten zur Fundierung von Antworten ab und gibt sie zurück.
    • Filtert unsichere Antworten mithilfe von zwei Sicherheitseinstellungen heraus.
    SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    TABLE mydataset.prompts,
    STRUCT(
      100 AS max_output_tokens, 0.5 AS top_p,
      TRUE AS flatten_json_output,
      TRUE AS ground_with_google_search,
      [STRUCT('HARM_CATEGORY_HATE_SPEECH' AS category,
        'BLOCK_LOW_AND_ABOVE' AS threshold),
      STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category,
        'BLOCK_MEDIUM_AND_ABOVE' AS threshold)] AS safety_settings));

    Beispiel 5

    Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

    • Verwendet die Spalte prompt der Tabelle prompts für den Prompt.
    • Gibt eine längere Antwort zurück.
    • Vereinfacht die JSON-Antwort in separate Spalten.
    SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.flash_2_model`,
    TABLE mydataset.prompts,
    STRUCT(
      0.4 AS temperature, 8192 AS max_output_tokens,
      TRUE AS flatten_json_output));

    Beispiel 6

    Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

    • Aufforderungen für eine Zusammenfassung des Texts in der Spalte body der Tabelle articles.
    • Vereinfacht die JSON-Antwort in separate Spalten.
    • Ruft öffentliche Webdaten zur Fundierung von Antworten ab und gibt sie zurück.
    • Filtert unsichere Antworten mithilfe von zwei Sicherheitseinstellungen heraus.
    SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    (
      SELECT CONCAT('Summarize this text', body) AS prompt
      FROM mydataset.articles
    ),
    STRUCT(
      .1 AS TEMPERATURE,
      TRUE AS flatten_json_output, TRUE AS ground_with_google_search,
      [STRUCT('HARM_CATEGORY_HATE_SPEECH' AS category,
        'BLOCK_LOW_AND_ABOVE' AS threshold),
      STRUCT('HARM_CATEGORY_DANGEROUS_CONTENT' AS category,
        'BLOCK_MEDIUM_AND_ABOVE' AS threshold)] AS safety_settings));

Claude 

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  {TABLE PROJECT_ID.DATASET_ID.TABLE_NAME | (PROMPT_QUERY)},
  STRUCT(TOKENS AS max_output_tokens, TOP_K AS top_k,
  TOP_P AS top_p, FLATTEN_JSON AS flatten_json_output)
);

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Projekt-ID.
  • DATASET_ID ist die ID des Datasets, das das Modell enthält.
  • MODEL_NAME ist der Name des Modells.
  • TABLE_NAME: der Name der Tabelle, die den Prompt enthält. Diese Tabelle muss eine Spalte namens prompt enthalten. Sie können auch einen Alias nutzen, um eine Spalte mit anderen Namen zu verwenden.
  • PROMPT_QUERY: eine Abfrage, die die Prompt-Daten bereitstellt. Mit dieser Abfrage muss eine Spalte mit dem Namen prompt erstellt werden.
  • TOKENS ist ein INT64-Wert, der die maximale Anzahl an Tokens festlegt, die in der Antwort generiert werden können. Dieser Wert muss im Bereich [1,4096] liegen. Geben Sie kürzere Werte für kürzere Antworten und höhere Werte für längere Antworten an. Der Standardwert ist 128.
  • TOP_K: ein INT64-Wert im Bereich [1,40], der den anfänglichen Pool von Tokens bestimmt, die das Modell zur Auswahl berücksichtigt. Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an. Wenn Sie keinen Wert angeben, wird ein geeigneter Wert vom Modell bestimmt.
  • TOP_P: ein FLOAT64-Wert im Bereich [0.0,1.0], der die Wahrscheinlichkeit der ausgewählten Tokens bestimmt. Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an. Wenn Sie keinen Wert angeben, wird ein geeigneter Wert vom Modell bestimmt.
  • FLATTEN_JSON: ein BOOL-Wert, der bestimmt, ob der generierte Text und die Sicherheitsattribute in separaten Spalten zurückgegeben werden. Der Standardwert ist FALSE.

Beispiel 1

Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

  • Aufforderungen für eine Zusammenfassung des Texts in der Spalte body der Tabelle articles.
  • Die JSON-Antwort des Modells wird in separate Spalten aufgeteilt.
SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    (
      SELECT CONCAT('Summarize this text', body) AS prompt
      FROM mydataset.articles
    ),
    STRUCT(TRUE AS flatten_json_output));

Beispiel 2

Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

  • Verwendet eine Abfrage, um die Eingabedaten zu erstellen. Verkettet werden Strings, die Tabellenpräfixe mit Tabellenspalten bereitstellen.
  • Gibt eine kurze Antwort zurück.
  • Die JSON-Antwort des Modells wird nicht in separate Spalten geparst.
SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    (
      SELECT CONCAT(question, 'Text:', description, 'Category') AS prompt
      FROM mydataset.input_table
    ),
    STRUCT(
      100 AS max_output_tokens,
      FALSE AS flatten_json_output));

Beispiel 3:

Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

  • Verwendet die Spalte prompt der Tabelle prompts für den Prompt.
  • Die JSON-Antwort des Modells wird in separate Spalten aufgeteilt.
SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    TABLE mydataset.prompts,
    STRUCT(TRUE AS flatten_json_output));

Llama 

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  {TABLE PROJECT_ID.DATASET_ID.TABLE_NAME | (PROMPT_QUERY)},
  STRUCT(TOKENS AS max_output_tokens, TEMPERATURE AS temperature,
  TOP_P AS top_p, FLATTEN_JSON AS flatten_json_output,
  STOP_SEQUENCES AS stop_sequences)
);

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Projekt-ID.
  • DATASET_ID ist die ID des Datasets, das das Modell enthält.
  • MODEL_NAME ist der Name des Modells.
  • TABLE_NAME: der Name der Tabelle, die den Prompt enthält. Diese Tabelle muss eine Spalte namens prompt enthalten. Sie können auch einen Alias nutzen, um eine Spalte mit anderen Namen zu verwenden.
  • PROMPT_QUERY: eine Abfrage, die die Prompt-Daten bereitstellt. Mit dieser Abfrage muss eine Spalte mit dem Namen prompt erstellt werden.
  • TOKENS ist ein INT64-Wert, der die maximale Anzahl an Tokens festlegt, die in der Antwort generiert werden können. Dieser Wert muss im Bereich [1,4096] liegen. Geben Sie kürzere Werte für kürzere Antworten und höhere Werte für längere Antworten an. Der Standardwert ist 128.
  • TEMPERATURE: ein FLOAT64-Wert im Bereich [0.0,1.0], der den Grad der Zufälligkeit in der Tokenauswahl steuert. Der Standardwert ist 0.

    Niedrigere Werte für temperature eignen sich für Prompts, die deterministischere und weniger offene oder kreative Reaktionen erfordern, während höhere Werte für temperature zu vielfältigeren oder kreativen Ergebnissen führen können. Ein Wert von 0 für temperature ist deterministisch, d. h. die Antwort mit der höchsten Wahrscheinlichkeit wird immer ausgewählt.

  • TOP_P: ein FLOAT64-Wert im Bereich [0.0,1.0], der die Wahrscheinlichkeit der ausgewählten Tokens bestimmt. Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an. Der Standardwert ist 0.95.
  • FLATTEN_JSON: ein BOOL-Wert, der bestimmt, ob der generierte Text und die Sicherheitsattribute in separaten Spalten zurückgegeben werden. Der Standardwert ist FALSE.
  • STOP_SEQUENCES ist ein ARRAY<STRING>-Wert, der die angegebenen Strings entfernt, wenn sie in Antworten des Modells enthalten sind. Strings werden genau abgeglichen, einschließlich Groß-/Kleinschreibung. Der Standardwert ist ein leeres Array.

Beispiel 1

Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

  • Aufforderungen für eine Zusammenfassung des Texts in der Spalte body der Tabelle articles.
  • Die JSON-Antwort des Modells wird in separate Spalten aufgeteilt.
SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    (
      SELECT CONCAT('Summarize this text', body) AS prompt
      FROM mydataset.articles
    ),
    STRUCT(TRUE AS flatten_json_output));

Beispiel 2

Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

  • Verwendet eine Abfrage, um die Eingabedaten zu erstellen. Verkettet werden Strings, die Tabellenpräfixe mit Tabellenspalten bereitstellen.
  • Gibt eine kurze Antwort zurück.
  • Die JSON-Antwort des Modells wird nicht in separate Spalten geparst.
SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    (
      SELECT CONCAT(question, 'Text:', description, 'Category') AS prompt
      FROM mydataset.input_table
    ),
    STRUCT(
      100 AS max_output_tokens,
      FALSE AS flatten_json_output));

Beispiel 3:

Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

  • Verwendet die Spalte prompt der Tabelle prompts für den Prompt.
  • Die JSON-Antwort des Modells wird in separate Spalten aufgeteilt.
SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    TABLE mydataset.prompts,
    STRUCT(TRUE AS flatten_json_output));

Mistral AI 

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  {TABLE PROJECT_ID.DATASET_ID.TABLE_NAME | (PROMPT_QUERY)},
  STRUCT(TOKENS AS max_output_tokens, TEMPERATURE AS temperature,
  TOP_P AS top_p, FLATTEN_JSON AS flatten_json_output,
  STOP_SEQUENCES AS stop_sequences)
);

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Projekt-ID.
  • DATASET_ID ist die ID des Datasets, das das Modell enthält.
  • MODEL_NAME ist der Name des Modells.
  • TABLE_NAME: der Name der Tabelle, die den Prompt enthält. Diese Tabelle muss eine Spalte namens prompt enthalten. Sie können auch einen Alias nutzen, um eine Spalte mit anderen Namen zu verwenden.
  • PROMPT_QUERY: eine Abfrage, die die Prompt-Daten bereitstellt. Mit dieser Abfrage muss eine Spalte mit dem Namen prompt erstellt werden.
  • TOKENS ist ein INT64-Wert, der die maximale Anzahl an Tokens festlegt, die in der Antwort generiert werden können. Dieser Wert muss im Bereich [1,4096] liegen. Geben Sie kürzere Werte für kürzere Antworten und höhere Werte für längere Antworten an. Der Standardwert ist 128.
  • TEMPERATURE: ein FLOAT64-Wert im Bereich [0.0,1.0], der den Grad der Zufälligkeit in der Tokenauswahl steuert. Der Standardwert ist 0.

    Niedrigere Werte für temperature eignen sich für Prompts, die deterministischere und weniger offene oder kreative Reaktionen erfordern, während höhere Werte für temperature zu vielfältigeren oder kreativen Ergebnissen führen können. Ein Wert von 0 für temperature ist deterministisch, d. h. die Antwort mit der höchsten Wahrscheinlichkeit wird immer ausgewählt.

  • TOP_P: ein FLOAT64-Wert im Bereich [0.0,1.0], der die Wahrscheinlichkeit der ausgewählten Tokens bestimmt. Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an. Der Standardwert ist 0.95.
  • FLATTEN_JSON: ein BOOL-Wert, der bestimmt, ob der generierte Text und die Sicherheitsattribute in separaten Spalten zurückgegeben werden. Der Standardwert ist FALSE.
  • STOP_SEQUENCES ist ein ARRAY<STRING>-Wert, der die angegebenen Strings entfernt, wenn sie in Antworten des Modells enthalten sind. Strings werden genau abgeglichen, einschließlich Groß-/Kleinschreibung. Der Standardwert ist ein leeres Array.

Beispiel 1

Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

  • Aufforderungen für eine Zusammenfassung des Texts in der Spalte body der Tabelle articles.
  • Die JSON-Antwort des Modells wird in separate Spalten aufgeteilt.
SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    (
      SELECT CONCAT('Summarize this text', body) AS prompt
      FROM mydataset.articles
    ),
    STRUCT(TRUE AS flatten_json_output));

Beispiel 2

Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

  • Verwendet eine Abfrage, um die Eingabedaten zu erstellen. Verkettet werden Strings, die Tabellenpräfixe mit Tabellenspalten bereitstellen.
  • Gibt eine kurze Antwort zurück.
  • Die JSON-Antwort des Modells wird nicht in separate Spalten geparst.
SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    (
      SELECT CONCAT(question, 'Text:', description, 'Category') AS prompt
      FROM mydataset.input_table
    ),
    STRUCT(
      100 AS max_output_tokens,
      FALSE AS flatten_json_output));

Beispiel 3:

Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

  • Verwendet die Spalte prompt der Tabelle prompts für den Prompt.
  • Die JSON-Antwort des Modells wird in separate Spalten aufgeteilt.
SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    TABLE mydataset.prompts,
    STRUCT(TRUE AS flatten_json_output));

Offene Modelle 

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  {TABLE PROJECT_ID.DATASET_ID.TABLE_NAME | (PROMPT_QUERY)},
  STRUCT(TOKENS AS max_output_tokens,
   TEMPERATURE AS temperature, TOP_K AS top_k,
  TOP_P AS top_p, FLATTEN_JSON AS flatten_json_output)
);

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Projekt-ID.
  • DATASET_ID ist die ID des Datasets, das das Modell enthält.
  • MODEL_NAME ist der Name des Modells.
  • TABLE_NAME: der Name der Tabelle, die den Prompt enthält. Diese Tabelle muss eine Spalte namens prompt enthalten. Sie können auch einen Alias nutzen, um eine Spalte mit anderen Namen zu verwenden.
  • PROMPT_QUERY: eine Abfrage, die die Prompt-Daten bereitstellt. Mit dieser Abfrage muss eine Spalte mit dem Namen prompt erstellt werden.
  • TOKENS ist ein INT64-Wert, der die maximale Anzahl an Tokens festlegt, die in der Antwort generiert werden können. Dieser Wert muss im Bereich [1,4096] liegen. Geben Sie kürzere Werte für kürzere Antworten und höhere Werte für längere Antworten an. Wenn Sie keinen Wert angeben, wird ein geeigneter Wert vom Modell bestimmt.
  • TEMPERATURE: ein FLOAT64-Wert im Bereich [0.0,1.0], der den Grad der Zufälligkeit in der Tokenauswahl steuert. Wenn Sie keinen Wert angeben, wird ein geeigneter Wert vom Modell bestimmt.

    Niedrigere Werte für temperature eignen sich für Prompts, die deterministischere und weniger offene oder kreative Reaktionen erfordern, während höhere Werte für temperature zu vielfältigeren oder kreativen Ergebnissen führen können. Ein Wert von 0 für temperature ist deterministisch, d. h. die Antwort mit der höchsten Wahrscheinlichkeit wird immer ausgewählt.

  • TOP_K: ein INT64-Wert im Bereich [1,40], der den anfänglichen Pool von Tokens bestimmt, die das Modell zur Auswahl berücksichtigt. Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an. Wenn Sie keinen Wert angeben, wird ein geeigneter Wert vom Modell bestimmt.
  • TOP_P: ein FLOAT64-Wert im Bereich [0.0,1.0], der die Wahrscheinlichkeit der ausgewählten Tokens bestimmt. Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an. Wenn Sie keinen Wert angeben, wird ein geeigneter Wert vom Modell bestimmt.
  • FLATTEN_JSON: ein BOOL-Wert, der bestimmt, ob der generierte Text und die Sicherheitsattribute in separaten Spalten zurückgegeben werden. Der Standardwert ist FALSE.

Beispiel 1

Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

  • Aufforderungen für eine Zusammenfassung des Texts in der Spalte body der Tabelle articles.
  • Die JSON-Antwort des Modells wird in separate Spalten aufgeteilt.
SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    (
      SELECT CONCAT('Summarize this text', body) AS prompt
      FROM mydataset.articles
    ),
    STRUCT(TRUE AS flatten_json_output));

Beispiel 2

Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

  • Verwendet eine Abfrage, um die Eingabedaten zu erstellen. Verkettet werden Strings, die Tabellenpräfixe mit Tabellenspalten bereitstellen.
  • Gibt eine kurze Antwort zurück.
  • Die JSON-Antwort des Modells wird nicht in separate Spalten geparst.
SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    (
      SELECT CONCAT(question, 'Text:', description, 'Category') AS prompt
      FROM mydataset.input_table
    ),
    STRUCT(
      100 AS max_output_tokens,
      FALSE AS flatten_json_output));

Beispiel 3:

Das folgende Beispiel zeigt eine Anfrage mit diesen Merkmalen:

  • Verwendet die Spalte prompt der Tabelle prompts für den Prompt.
  • Die JSON-Antwort des Modells wird in separate Spalten aufgeteilt.
SELECT *
FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.text_model`,
    TABLE mydataset.prompts,
    STRUCT(TRUE AS flatten_json_output));

Text aus Daten in Objekttabellen generieren

Generieren Sie Text mithilfe der Funktion ML.GENERATE_TEXT mit einem Gemini-Modell, um unstrukturierte Daten aus einer Objekttabelle zu analysieren. Sie geben die Prompt-Daten im Parameter prompt an.

SELECT *
FROM ML.GENERATE_TEXT(
  MODEL `PROJECT_ID.DATASET_ID.MODEL_NAME`,
  TABLE PROJECT_ID.DATASET_ID.TABLE_NAME,
  STRUCT(PROMPT AS prompt, TOKENS AS max_output_tokens,
  TEMPERATURE AS temperature, TOP_P AS top_p,
  FLATTEN_JSON AS flatten_json_output,
  STOP_SEQUENCES AS stop_sequences,
  SAFETY_SETTINGS AS safety_settings)
);

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Projekt-ID.
  • DATASET_ID ist die ID des Datasets, das das Modell enthält.
  • MODEL_NAME ist der Name des Modells. Es muss sich um ein Gemini-Modell handeln.
  • TABLE_NAME ist der Name der Objekttabelle, die den zu analysierenden Inhalt enthält. Weitere Informationen dazu, welche Arten von Inhalten Sie analysieren können, finden Sie unter Eingabe.

    Der von der Objekttabelle verwendete Cloud Storage-Bucket sollte sich im selben Projekt befinden, in dem Sie das Modell erstellt haben und in dem Sie die Funktion ML.GENERATE_TEXT aufrufen. Wenn Sie die ML.GENERATE_TEXT-Funktion in einem anderen Projekt als dem aufrufen möchten, das den von der Objekttabelle verwendeten Cloud Storage-Bucket enthält, müssen Sie dem Dienstkonto service-A@gcp-sa-aiplatform.iam.gserviceaccount.com die Rolle Storage Admin auf Bucket-Ebene zuweisen.

  • PROMPT ist der Prompt zur Analyse des Inhalts.
  • TOKENS ist ein INT64-Wert, der die maximale Anzahl an Tokens festlegt, die in der Antwort generiert werden können. Dieser Wert muss im Bereich [1,4096] liegen. Geben Sie kürzere Werte für kürzere Antworten und höhere Werte für längere Antworten an. Wenn Sie keinen Wert angeben, wird ein geeigneter Wert vom Modell bestimmt.
  • TEMPERATURE: ein FLOAT64-Wert im Bereich [0.0,1.0], der den Grad der Zufälligkeit in der Tokenauswahl steuert. Wenn Sie keinen Wert angeben, wird ein geeigneter Wert vom Modell bestimmt.

    Niedrigere Werte für temperature eignen sich für Prompts, die deterministischere und weniger offene oder kreative Reaktionen erfordern, während höhere Werte für temperature zu vielfältigeren oder kreativen Ergebnissen führen können. Ein Wert von 0 für temperature ist deterministisch, d. h. die Antwort mit der höchsten Wahrscheinlichkeit wird immer ausgewählt.

  • TOP_K: ein INT64-Wert im Bereich [1,40], der den anfänglichen Pool von Tokens bestimmt, die das Modell zur Auswahl berücksichtigt. Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an. Wenn Sie keinen Wert angeben, wird ein geeigneter Wert vom Modell bestimmt.
  • TOP_P: ein FLOAT64-Wert im Bereich [0.0,1.0], der die Wahrscheinlichkeit der ausgewählten Tokens bestimmt. Geben Sie einen niedrigeren Wert für weniger zufällige Antworten und einen höheren Wert für zufälligere Antworten an. Wenn Sie keinen Wert angeben, wird ein geeigneter Wert vom Modell bestimmt.
  • FLATTEN_JSON: ein BOOL-Wert, der bestimmt, ob der generierte Text und die Sicherheitsattribute in separaten Spalten zurückgegeben werden. Der Standardwert ist FALSE.

Beispiele

In diesem Beispiel werden Audioinhalte aus einer Objekttabelle mit dem Namen feedback übersetzt und transkribiert:

SELECT * FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.audio_model`,
    TABLE `mydataset.feedback`,
      STRUCT('What is the content of this audio clip, translated into Spanish?' AS PROMPT,
      TRUE AS FLATTEN_JSON_OUTPUT));

In diesem Beispiel werden PDF-Inhalte aus einer Objekttabelle mit dem Namen invoices klassifiziert:

SELECT * FROM
  ML.GENERATE_TEXT(
    MODEL `mydataset.classify_model`,
    TABLE `mydataset.invoices`,
      STRUCT('Classify this document based on the invoice total, using the following categories: 0 to 100, 101 to 200, greater than 200' AS PROMPT,
      TRUE AS FLATTEN_JSON_OUTPUT));