Fundierung mit Vertex AI Search

Auf dieser Seite wird erläutert, wie Sie Antworten anhand Ihrer Daten aus Vertex AI Search fundieren können.

Gemini auf Basis Ihrer Daten fundieren

Wenn Sie Retrieval-Augmented Generation (RAG) verwenden möchten, verbinden Sie Ihr Modell mit Ihren Websitedaten oder Ihren Dokumentsätzen und verwenden Sie dann Fundierung mit Vertex AI Search.

Die Fundierung mit Ihren Daten unterstützt maximal 10 Vertex AI Search-Datenquellen und kann mit der Fundierung mit der Google Suche kombiniert werden.

Unterstützte Modelle

In diesem Abschnitt werden die Modelle aufgeführt, die Grounding mit Ihren Daten unterstützen.

Vorbereitung

Bevor Sie die Modellausgabe auf Ihren Daten fundieren können, müssen Sie Folgendes tun:

  1. Rufen Sie in der Google Cloud -Console die Seite IAM auf und suchen Sie nach der Berechtigung discoveryengine.servingConfigs.search, die für die Funktion des Grounding-Dienstes erforderlich ist.

    IAM aufrufen

  2. KI-Anwendungen aktivieren und die API aktivieren.

  3. Erstellen Sie eine Datenquelle für KI-Anwendungen und eine Anwendung.

Weitere Informationen finden Sie unter Einführung in Vertex AI Search.

KI-Anwendungen aktivieren

  1. Rufen Sie in der Google Cloud Console die Seite KI-Anwendungen auf.

    KI-Anwendungen

  2. Lesen und akzeptieren Sie die Nutzungsbedingungen und klicken Sie anschließend auf Fortfahren und API aktivieren.

AI Applications ist am Standort global oder am multiregionalen Standort eu und us verfügbar. Weitere Informationen finden Sie unter Standorte für KI-Anwendungen.

Datenspeicher in AI Applications erstellen

Wenn Sie einen Datenspeicher in AI Applications erstellen möchten, können Sie Websitedaten oder Dokumente als Grundlage verwenden.

Website

  1. Öffnen Sie die Seite Datenspeicher erstellen in der Google Cloud -Konsole.

  2. Klicken Sie im Feld Websiteinhalte auf Auswählen.
    Der Bereich Geben Sie die Websites für den Datenspeicher an wird angezeigt.

  3. Wenn Erweiterte Websiteindexierung nicht aktiviert ist, wählen Sie das Kästchen Erweiterte Websiteindexierung aus, um die Option zu aktivieren.
    Der Bereich Datenspeicher konfigurieren wird angezeigt.

  4. Führen Sie im Abschnitt URL-Muster angeben, die indexiert werden sollen folgende Schritte aus:

    • Fügen Sie URLs für Einzuschließende Websites hinzu.
    • Optional: Fügen Sie URLs für Auszuschließende Websites hinzu.

  5. Klicken Sie auf Weiter.

  6. Im Bereich Datenspeicher konfigurieren

    1. Wählen Sie einen Wert aus der Liste Speicherort des Datenspeichers aus.
    2. Geben Sie im Feld Name des Datenspeichers einen Namen ein. Die ID wird generiert. Verwenden Sie diese ID, wenn Sie Ihre fundierten Antworten mit Ihrem Datenspeicher generieren. Weitere Informationen finden Sie unter Fundierte Antworten mit Ihrem Datenspeicher generieren.
    3. Klicken Sie auf Erstellen.

Dokumente

  1. Öffnen Sie die Seite Datenspeicher erstellen in der Google Cloud -Konsole.

  2. Klicken Sie im Feld Cloud Storage auf Auswählen.
    Der Bereich Daten aus Cloud Storage importieren wird angezeigt.

  3. Wählen Sie im Bereich Unstrukturierte Dokumente (PDF, HTML, TXT usw.) die Option Unstrukturierte Dokumente (PDF, HTML, TXT usw.) aus.

  4. Wählen Sie eine Option für die Synchronisierungshäufigkeit aus.

  5. Wählen Sie eine Option unter Ordner oder Datei für Import auswählen aus und geben Sie den Pfad in das Feld ein.

  6. Klicken Sie auf Weiter.
    Der Bereich Datenspeicher konfigurieren wird angezeigt.

  7. Im Bereich Datenspeicher konfigurieren

    1. Wählen Sie einen Wert aus der Liste Speicherort des Datenspeichers aus.
    2. Geben Sie im Feld Name des Datenspeichers einen Namen ein. Die ID wird generiert.
    3. Wenn Sie Parsing- und Chunking-Optionen für Ihre Dokumente auswählen möchten, maximieren Sie den Bereich Dokumentverarbeitungsoptionen. Weitere Informationen zu den verschiedenen Parsern finden Sie unter Dokumente parsen.
    4. Klicken Sie auf Erstellen.

  8. Klicken Sie auf Erstellen.

Fundierte Antworten mit Ihrem Datenspeicher generieren

Folgen Sie der nachstehenden Anleitung, um ein Modell mit Ihren Daten zu fundieren. Es werden maximal 10 Datenspeicher unterstützt.

Wenn Sie Ihre Datenspeicher-ID nicht kennen, gehen Sie so vor:

  1. Rufen Sie in der Google Cloud Console die Seite KI-Anwendungen auf und klicken Sie im Navigationsmenü auf Datenspeicher.

    Zur Seite „Datenspeicher“

  2. Klicken Sie auf den Namen des Datenspeichers.

  3. Rufen Sie auf der Datenseite Ihres Datenspeichers die Datenspeicher-ID ab.

Console

Führen Sie die folgenden Schritte aus, um Ihre Modellausgabe mit AI Applications zu fundieren. Dazu nutzen Sie Vertex AI Studio in derGoogle Cloud -Konsole:

  1. Rufen Sie in der Google Cloud Console die Seite Vertex AI Studio Freeform auf.

    Zu Freeform

  2. Klicken Sie auf die Ein/Aus-Schaltfläche Fundierung: Ihre Daten, um die Fundierung zu aktivieren.
  3. Klicken Sie auf Anpassen.
    1. Wählen Sie Vertex AI Search als Quelle aus.
    2. Ersetzen Sie mit diesem Pfadformat die Projekt-ID und die ID des Datenspeichers:

      projects/project_id/locations/global/collections/default_collection/dataStores/data_store_id.

  4. Klicken Sie auf Speichern.
  5. Geben Sie Ihren Prompt in das Textfeld ein und klicken Sie auf Senden.

Ihre Prompt-Antworten werden in AI Applications fundiert.

Python

Installieren

pip install --upgrade google-genai

Weitere Informationen finden Sie in der SDK-Referenzdokumentation.

Umgebungsvariablen für die Verwendung des Gen AI SDK mit Vertex AI festlegen: 

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
 

from google import genai
from google.genai.types import (
    GenerateContentConfig,
    VertexAISearch,
    Retrieval,
    Tool,
    HttpOptions,
)

client = genai.Client(http_options=HttpOptions(api_version="v1"))

# Replace with your Vertex AI Search data store details
DATA_STORE_PATH = "projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID"

tool = Tool(
    retrieval=Retrieval(
        vertex_ai_search=VertexAISearch(
            data_store=DATA_STORE_PATH
        )
    )
)

response = client.models.generate_content(
    model="gemini-2.5-flash",  # Or another supported model
    contents="What information can you find about topic X in the provided documents?", # Your query
    config=GenerateContentConfig(
        tools=[tool],
    ),
)

print(response.text)

REST

Senden Sie zum Testen eines Text-Prompts mit der Vertex AI API eine POST-Anfrage an den Endpunkt des Publisher-Modells.

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • LOCATION: Die Region, in der die Anfrage verarbeitet werden soll. Wenn Sie den global-Endpunkt verwenden möchten, schließen Sie den Standort aus dem Endpunktnamen aus und konfigurieren Sie den Standort der Ressource auf global.
  • PROJECT_ID: Ihre Projekt-ID.
  • MODEL_ID: die Modell-ID des multimodalen Modells.
  • PROMPT: Der Prompt, der an das Modell gesendet werden soll.

HTTP-Methode und URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:generateContent

JSON-Text anfordern:

{
  "contents": [{
    "role": "user",
    "parts": [{
      "text": "PROMPT"
    }]
  }],
  "tools": [{
    "retrieval": {
      "vertexAiSearch": {
        "datastore": projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID
      }
    }
  }],
  "model": "projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID"
}

Wenn Sie die Anfrage senden möchten, maximieren Sie eine der folgenden Optionen:

Sie sollten eine JSON-Antwort ähnlich wie diese erhalten:

{
  "candidates": [
    {
      "content": {
        "role": "model",
        "parts": [
          {
            "text": "You can make an appointment on the website https://dmv.gov/"
          }
        ]
      },
      "finishReason": "STOP",
      "safetyRatings": [
        "..."
      ],
      "groundingMetadata": {
        "retrievalQueries": [
          "How to make appointment to renew driving license?"
        ],
        "groundingChunks": [
          {
            "retrievedContext": {
              "uri": "https://vertexaisearch.cloud.google.com/grounding-api-redirect/AXiHM.....QTN92V5ePQ==",
              "title": "dmv"
            }
          }
        ],
        "groundingSupport": [
          {
            "segment": {
              "startIndex": 25,
              "endIndex": 147
            },
            "segment_text": "ipsum lorem ...",
            "supportChunkIndices": [1, 2],
            "confidenceScore": [0.9541752, 0.97726375]
          },
          {
            "segment": {
              "startIndex": 294,
              "endIndex": 439
            },
            "segment_text": "ipsum lorem ...",
            "supportChunkIndices": [1],
            "confidenceScore": [0.9541752, 0.9325467]
          }
        ]
      }
    }
  ],
  "usageMetadata": {
    "..."
  }
}

Ihre Antwort verstehen

Die Antworten beider APIs enthalten den LLM-generierten Text, der als Kandidat bezeichnet wird. Wenn Ihr Modell-Prompt erfolgreich auf Ihre Datenquelle abgestützt wird, enthalten die Antworten Fundierungsmetadaten, die die Teile der Antwort identifizieren, die aus Ihren Daten abgeleitet wurden. Es gibt jedoch mehrere Gründe, warum diese Metadaten möglicherweise nicht bereitgestellt werden und die Prompt-Antwort nicht fundiert wird. Dazu gehören eine geringe Quellenrelevanz oder unvollständige Informationen in der Antwort des Modells.

Im Folgenden finden Sie eine Aufschlüsselung der Ausgabedaten:

  • Rolle: Gibt den Absender der fundierten Antwort an. Da die Antwort immer fundierten Text enthält, ist die Rolle immer model.
  • Text: Die fundierte Antwort, die vom LLM generiert wurde.
  • Metadaten zur Fundierung: Informationen zur Fundierungsquelle, die die folgenden Elemente enthalten:
    • Fundierungsblöcke: Eine Liste mit Ergebnissen aus Ihrem Index, die die Antwort unterstützen.
    • Fundierungsunterstützung: Informationen zu einer bestimmten Behauptung in der Antwort, die zum Anzeigen von Quellenangaben verwendet werden können:
    • Segment: Der Teil der Antwort des Modells, der durch einen Fundierungs-Chunk belegt wird.
    • Index des Fundierungs-Chunks: Der Index der Fundierungs-Chunks in der Liste der Fundierungs-Chunks, der diesem Anspruch entspricht.
    • Konfidenzwerte: Eine Zahl zwischen 0 und 1, die angibt, wie fundiert die Behauptung in den bereitgestellten Grounding-Chunks ist. Nicht verfügbar für Gemini 2.5 und höher.

Nächste Schritte