So erstellen Sie einen Datenspeicher und nehmen Daten für benutzerdefinierte Empfehlungen auf:
BigQuery
Sie haben zwei Möglichkeiten, Datenspeicher aus BigQuery-Tabellen zu erstellen:
Einmalige Aufnahme: Sie importieren Daten aus einer BigQuery-Tabelle in einen Datenspeicher. Die Daten im Datenspeicher ändern sich nur, wenn Sie die Daten manuell aktualisieren.
Regelmäßige Aufnahme: Sie importieren Daten aus einer oder mehreren BigQuery-Tabellen und legen eine Synchronisierungshäufigkeit fest. Diese bestimmt, wie oft die Datenspeicher mit den neuesten Daten aus dem BigQuery-Dataset aktualisiert werden.
In der folgenden Tabelle werden die beiden Optionen für den Import von BigQuery-Daten in Vertex AI Search-Datenspeicher verglichen.
| Einmalige Aufnahme | Regelmäßige Aufnahme |
|---|---|
| Allgemein verfügbar (GA). | Öffentliche Vorschau. |
| Daten müssen manuell aktualisiert werden. | Daten werden automatisch alle ein, drei oder fünf Tage aktualisiert. Daten können nicht manuell aktualisiert werden. |
| Vertex AI Search erstellt einen einzelnen Datenspeicher aus einer Tabelle in BigQuery. | Vertex AI Search erstellt einen Daten-Connector für ein BigQuery-Dataset und einen Datenspeicher (Entitätsdatenspeicher genannt) für jede angegebene Tabelle. Für jeden Datenconnector müssen die Tabellen denselben Datentyp (z. B. strukturiert) haben und sich im selben BigQuery-Dataset befinden. |
| Sie können Daten aus mehreren Tabellen in einem Datenspeicher ablegen. Dafür müssen Sie zuerst Daten aus einer Tabelle und dann weitere Daten aus einer anderen Quelle oder BigQuery-Tabelle aufnehmen. | Da ein manueller Datenimport nicht unterstützt wird, müssen die Daten in einem Entitätsdatenspeicher aus einer BigQuery-Tabelle stammen. |
| Für Datenquellen wird Zugriffssteuerung unterstützt. | Für Datenquellen wird keine Zugriffssteuerung unterstützt. Die importierten Daten können zwar Zugriffssteuerungen enthalten, diese werden jedoch nicht berücksichtigt. |
| Sie können einen Datenspeicher entweder über dieGoogle Cloud Console oder die API erstellen. | Um Daten-Connectors und die zugehörigen Entitätsdatenspeicher zu erstellen, müssen Sie die Console verwenden. |
| CMEK-konform. | CMEK-konform. |
Einmaliger Import aus BigQuery
Wenn Sie Daten aus einer BigQuery-Tabelle aufnehmen möchten, gehen Sie so vor, um einen Datenspeicher zu erstellen und Daten entweder über die Google Cloud Console oder die API aufzunehmen.
Lesen Sie vor dem Importieren der Daten, wie Sie Daten für die Aufnahme vorbereiten.
Console
So verwenden Sie die Google Cloud Konsole zum Erfassen von Daten aus BigQuery:
Rufen Sie in der Google Cloud Console die Seite KI-Anwendungen auf.
Rufen Sie die Seite Datenspeicher auf.
Klicken Sie auf Datenspeicher erstellen.
Wählen Sie auf der Seite Quelle die Option BigQuery aus.
Wählen Sie im Abschnitt Welche Art von Daten importieren Sie? den Datentyp aus, den Sie importieren möchten.
Wählen Sie im Abschnitt Synchronisierungshäufigkeit die Option Einmal aus.
Klicken Sie im Feld BigQuery-Pfad auf Durchsuchen, wählen Sie eine Tabelle aus, die Sie für die Aufnahme vorbereitet haben, und klicken Sie dann auf Auswählen. Alternativ können Sie den Tabellenspeicherort direkt in das Feld BigQuery-Pfad eingeben.
Klicken Sie auf Weiter.
Wenn Sie strukturierte Daten einmalig importieren:
Ordnen Sie Felder den wichtigsten Eigenschaften zu.
Sollten wichtige Felder im Schema fehlen, fügen Sie sie über Neues Feld hinzufügen hinzu.
Weitere Informationen zur automatischen Erkennung und Bearbeitung
Klicken Sie auf Weiter.
Wählen Sie eine Region für Ihren Datenspeicher aus.
Geben Sie einen Namen für den Datenspeicher ein.
Klicken Sie auf Erstellen.
Wenn Sie den Status der Aufnahme überprüfen möchten, rufen Sie die Seite Datenspeicher auf und klicken Sie auf den Namen des Datenspeichers. Dadurch werden die Details auf der Seite Daten angezeigt. Wenn sich die Statusspalte auf dem Tab Aktivität von In Bearbeitung zu Import abgeschlossen ändert, ist die Aufnahme abgeschlossen.
Abhängig von der Größe der Daten kann die Datenaufnahme einige Minuten bis mehrere Stunden dauern.
REST
So erstellen Sie einen Datenspeicher über die Befehlszeile und importieren Daten aus BigQuery:
Erstellen Sie einen Datenspeicher.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_RECOMMENDATION"] }'Ersetzen Sie Folgendes:
PROJECT_ID: Die ID Ihres Projekts in Google Cloud .DATA_STORE_ID: Die ID des Vertex AI Search-Datenspeichers, den Sie erstellen möchten. Diese ID darf nur Kleinbuchstaben, Ziffern, Unterstriche und Bindestriche enthalten.DATA_STORE_DISPLAY_NAME: Der Anzeigename des Vertex AI Search-Datenspeichers, den Sie erstellen möchten.
Daten aus BigQuery importieren
Wenn Sie ein Schema definiert haben, achten Sie darauf, dass die Daten diesem Schema entsprechen.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "bigquerySource": { "projectId": "PROJECT_ID", "datasetId":"DATASET_ID", "tableId": "TABLE_ID", "dataSchema": "DATA_SCHEMA", "aclEnabled": "BOOLEAN" }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", "errorConfig": { "gcsPrefix": "ERROR_DIRECTORY" } }'Ersetzen Sie Folgendes:
PROJECT_ID: Die ID Ihres Projekts in Google Cloud .DATA_STORE_ID: die ID des Vertex AI Search-Datenspeichers.DATASET_ID: die ID des BigQuery-Datasets.TABLE_ID: Die ID der BigQuery-Tabelle.- Wenn sich die BigQuery-Tabelle nicht unter PROJECT_ID befindet, müssen Sie dem Dienstkonto
service-<project number>@gcp-sa-discoveryengine.iam.gserviceaccount.comdie Berechtigung „BigQuery Data Viewer“ für die BigQuery-Tabelle erteilen. Wenn Sie beispielsweise eine BigQuery-Tabelle aus dem Quellprojekt „123“ in das Zielprojekt „456“ importieren, gewähren Sieservice-456@gcp-sa-discoveryengine.iam.gserviceaccount.comim Projekt „123“ Berechtigungen für die BigQuery-Tabelle.
- Wenn sich die BigQuery-Tabelle nicht unter PROJECT_ID befindet, müssen Sie dem Dienstkonto
DATA_SCHEMA: optional. Mögliche Werte sinddocumentundcustom. Der Standardwert istdocument.document: Die BigQuery-Tabelle, die Sie verwenden, muss dem standardmäßigen BigQuery-Schema entsprechen, das unter Daten für die Aufnahme vorbereiten bereitgestellt wird. Sie können die ID jedes Dokuments selbst definieren und alle Daten in den jsonData-String einfügen.custom: Es wird jedes BigQuery-Tabellenschema akzeptiert und Vertex AI Search generiert automatisch die IDs für jedes importierte Dokument.
ERROR_DIRECTORY: optional. Ein Cloud Storage-Verzeichnis für Fehlerinformationen zum Import, z. B.gs://<your-gcs-bucket>/directory/import_errors. Google empfiehlt, dieses Feld leer zu lassen, damit Vertex AI Search automatisch ein temporäres Verzeichnis erstellen kann.RECONCILIATION_MODE: optional. Mögliche Werte sindFULLundINCREMENTAL. Der Standardwert istINCREMENTAL. Wenn SieINCREMENTALangeben, werden die Daten aus BigQuery in Ihrem Datenspeicher inkrementell aktualisiert. Dadurch wird ein Upsert-Vorgang ausgeführt, bei dem neue Dokumente hinzugefügt und vorhandene Dokumente durch aktualisierte Dokumente mit derselben ID ersetzt werden. Wenn SieFULLangeben, werden die Dokumente in Ihrem Datenspeicher vollständig neu synchronisiert. Das bedeutet, dass Ihrem Datenspeicher neue und aktualisierte Dokumente hinzugefügt und Dokumente, die nicht in BigQuery enthalten sind, aus Ihrem Datenspeicher entfernt werden. Der ModusFULList hilfreich, wenn Sie nicht mehr benötigte Dokumente automatisch löschen lassen möchten.AUTO_GENERATE_IDS: optional. Gibt an, ob Dokument-IDs automatisch generiert werden sollen. Wenn dieser Wert auftruegesetzt ist, werden Dokument-IDs auf Grundlage eines Hash der Nutzlast generiert. Beachten Sie, dass generierte Dokument-IDs bei mehreren Importvorgängen möglicherweise nicht konsistent bleiben. Wenn Sie IDs bei mehreren Importvorgängen automatisch generieren, empfiehlt Google dringend,reconciliationModeaufFULLzu setzen, um einheitliche Dokument-IDs zu erhalten.Geben Sie
autoGenerateIdsnur an, wennbigquerySource.dataSchemaaufcustomfestgelegt ist. Andernfalls wird der FehlerINVALID_ARGUMENTzurückgegeben. Wenn SieautoGenerateIdsnicht angeben oder auffalsefestlegen, müssen SieidFieldangeben. Andernfalls schlägt der Import der Dokumente fehl.ID_FIELD: optional. Gibt an, welche Felder die Dokument-IDs enthalten. Bei BigQuery-Quelldateien gibtidFieldden Namen der Spalte in der BigQuery-Tabelle an, die die Dokument-IDs enthält.Geben Sie
idFieldnur an, wenn (1)bigquerySource.dataSchemaaufcustomund (2)auto_generate_idsauffalsefestgelegt oder nicht angegeben ist. Andernfalls wird der FehlerINVALID_ARGUMENTzurückgegeben.Der Wert des BigQuery-Spaltennamens muss vom Typ „String“ sein, zwischen 1 und 63 Zeichen lang sein und RFC-1034 entsprechen. Andernfalls schlägt der Import der Dokumente fehl.
C#
Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Search C# API.
Richten Sie zur Authentifizierung bei Vertex AI Search Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Datenspeicher erstellen
Dokumente importieren
Go
Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Search Go API.
Richten Sie zur Authentifizierung bei Vertex AI Search Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Datenspeicher erstellen
Dokumente importieren
Java
Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Search Java API.
Richten Sie zur Authentifizierung bei Vertex AI Search Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Datenspeicher erstellen
Dokumente importieren
Node.js
Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Search Node.js API.
Richten Sie zur Authentifizierung bei Vertex AI Search Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Datenspeicher erstellen
Dokumente importieren
Python
Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Search Python API.
Richten Sie zur Authentifizierung bei Vertex AI Search Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Datenspeicher erstellen
Dokumente importieren
Ruby
Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Search Ruby API.
Richten Sie zur Authentifizierung bei Vertex AI Search Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Datenspeicher erstellen
Dokumente importieren
Mit BigQuery verbinden und regelmäßig synchronisieren
Lesen Sie vor dem Importieren der Daten, wie Sie Daten für die Aufnahme vorbereiten.
In der folgenden Anleitung wird beschrieben, wie Sie einen Daten-Connector erstellen, der ein BigQuery-Dataset mit einem Vertex AI Search-Daten-Connector verknüpft, und eine Tabelle im Dataset für jeden zu erstellenden Datenspeicher angeben. Datenspeicher, die untergeordnete Elemente von Daten-Connectors sind, werden als Entitätsdatenspeicher bezeichnet.
Die Daten aus dem Dataset werden regelmäßig mit den Entitätsdatenspeichern synchronisiert. Sie können festlegen, dass die Daten täglich, alle drei Tage oder alle fünf Tage synchronisiert werden sollen.
Console
So erstellen Sie mit der Google Cloud Console einen Connector, der Daten aus einem BigQuery-Dataset regelmäßig mit Vertex AI Search synchronisiert:
Rufen Sie in der Google Cloud Console die Seite KI-Anwendungen auf.
Klicken Sie im Navigationsmenü auf Datenspeicher.
Klicken Sie auf Datenspeicher erstellen.
Wählen Sie auf der Seite Quelle die Option BigQuery aus.
Wählen Sie aus, welche Art von Daten Sie importieren möchten.
Klicken Sie auf Regelmäßig.
Wählen Sie die Häufigkeit der Synchronisierung aus, um festzulegen, wie oft der Vertex AI Search-Connector mit dem BigQuery-Dataset synchronisiert werden soll. Sie können die Häufigkeit später ändern.
Klicken Sie im Feld BigQuery-Datasetpfad auf Durchsuchen und wählen Sie das Dataset aus, das die Tabellen enthält, die Sie für die Aufnahme vorbereitet haben. Alternativ können Sie den Tabellenspeicherort direkt in das Feld BigQuery-Pfad eingeben. Das Format für den Pfad ist
projectname.datasetname.Klicken Sie im Feld Zu synchronisierende Tabellen auf Durchsuchen und wählen Sie dann eine Tabelle mit den Daten aus, die Sie für Ihren Datenspeicher benötigen.
Wenn das Dataset weitere Tabellen enthält, die Sie für Datenspeicher verwenden möchten, klicken Sie auf Tabelle hinzufügen und geben Sie auch diese Tabellen an.
Klicken Sie auf Weiter.
Wählen Sie eine Region für den Datenspeicher aus, geben Sie einen Namen für den Daten-Connector ein und klicken Sie auf Erstellen.
Sie haben jetzt einen Daten-Connector erstellt, der Daten regelmäßig mit dem BigQuery-Dataset synchronisiert. Außerdem haben Sie einen oder mehrere Entitätsdatenspeicher erstellt. Die Datenspeicher haben dieselben Namen wie die BigQuery-Tabellen.
Wenn Sie den Status der Aufnahme prüfen möchten, rufen Sie die Seite Datenspeicher auf und klicken Sie auf den Namen des Daten-Connectors, um Details dazu auf der Seite Daten > Tab Aktivität bei der Datenaufnahme anzeigen zu lassen. Wenn sich die Statusspalte auf dem Tab Aktivität von In Bearbeitung zu Erfolgreich ändert, ist die erste Aufnahme abgeschlossen.
Abhängig von der Größe der Daten kann die Datenaufnahme einige Minuten bis mehrere Stunden dauern.
Nachdem Sie Ihre Datenquelle eingerichtet und Daten zum ersten Mal importiert haben, synchronisiert der Datenspeicher Daten aus dieser Quelle in der Häufigkeit, die Sie bei der Einrichtung ausgewählt haben. Etwa eine Stunde nach dem Erstellen des Daten-Connectors erfolgt die erste Synchronisierung. Die nächste Synchronisierung findet dann etwa 24, 72 oder 120 Stunden später statt.
Nächste Schritte
Wenn Sie Ihren Datenspeicher an eine App anhängen möchten, erstellen Sie eine App und wählen Sie Ihren Datenspeicher aus. Folgen Sie dazu der Anleitung unter Benutzerdefinierte Empfehlungs-App erstellen.
Informationen zum Abrufen von Empfehlungen nach der Einrichtung Ihrer App und Ihres Datenspeichers finden Sie unter Empfehlungen abrufen.
Cloud Storage
Sie haben zwei Möglichkeiten, Datenspeicher aus Cloud Storage-Tabellen zu erstellen:
Einmalige Aufnahme: Sie importieren Daten aus einem Cloud Storage-Ordner oder einer Cloud Storage-Datei in einen Datenspeicher. Die Daten im Datenspeicher ändern sich nur, wenn Sie die Daten manuell aktualisieren.
Regelmäßige Aufnahme: Sie importieren Daten aus einem Cloud Storage-Ordner oder einer Cloud Storage-Datei und legen eine Synchronisierungshäufigkeit fest. Diese bestimmt, wie oft der Datenspeicher mit den neuesten Daten aus diesem Cloud Storage-Speicherort aktualisiert wird.
In der folgenden Tabelle werden die beiden Optionen für den Import von Cloud Storage-Daten in Vertex AI Search-Datenspeicher verglichen.
| Einmalige Aufnahme | Regelmäßige Aufnahme |
|---|---|
| Allgemein verfügbar (GA). | Öffentliche Vorschau. |
| Daten müssen manuell aktualisiert werden. | Daten werden automatisch alle ein, drei oder fünf Tage aktualisiert. Daten können nicht manuell aktualisiert werden. |
| Vertex AI Search erstellt aus einem Ordner oder einer Datei in Cloud Storage einen einzelnen Datenspeicher. | Vertex AI Search erstellt einen Daten-Connector und verknüpft ihn für die angegebene Datei oder den angegebenen Ordner mit einem Datenspeicher (Entitätsdatenspeicher genannt). Jeder Cloud Storage-Daten-Connector kann einen Entitätsdatenspeicher haben. |
| Sie können Daten aus mehreren Dateien, Ordnern und Buckets in einem Datenspeicher ablegen. Dafür müssen Sie zuerst Daten von einem Cloud Storage-Speicherort und dann weitere Daten von einem anderen Speicherort aufnehmen. | Da ein manueller Datenimport nicht unterstützt wird, müssen die Daten in einem Entitätsdatenspeicher aus einer Cloud Storage-Datei oder einem Cloud Storage-Ordner stammen. |
| Für Datenquellen wird Zugriffssteuerung unterstützt. Weitere Informationen zur Zugriffssteuerung für Datenquellen | Für Datenquellen wird keine Zugriffssteuerung unterstützt. Die importierten Daten können zwar Zugriffssteuerungen enthalten, diese werden jedoch nicht berücksichtigt. |
| Sie können einen Datenspeicher entweder über dieGoogle Cloud Console oder die API erstellen. | Um Daten-Connectors und die zugehörigen Entitätsdatenspeicher zu erstellen, müssen Sie die Console verwenden. |
| CMEK-konform. | CMEK-konform. |
Einmalig aus Cloud Storage importieren
Führen Sie folgende Schritte aus, um einen Datenspeicher zu erstellen und Daten aus Cloud Storage entweder über die Google Cloud Console oder die API aufzunehmen.
Lesen Sie vor dem Importieren der Daten, wie Sie Daten für die Aufnahme vorbereiten.
Console
So verwenden Sie die Console, um Daten aus einem Cloud Storage-Bucket aufzunehmen:
Rufen Sie in der Google Cloud Console die Seite KI-Anwendungen auf.
Rufen Sie die Seite Datenspeicher auf.
Klicken Sie auf Datenspeicher erstellen.
Wählen Sie auf der Seite Quelle die Option Cloud Storage aus.
Wählen Sie im Bereich Ordner oder Datei für Import auswählen die Option Ordner oder Datei aus.
Klicken Sie auf Durchsuchen, wählen Sie die Daten aus, die Sie für die Aufnahme vorbereitet haben, und klicken Sie dann auf Auswählen. Alternativ können Sie den Speicherort direkt in das Feld
gs://eingeben.Wählen Sie aus, welche Art von Daten Sie importieren möchten.
Klicken Sie auf Weiter.
Wenn Sie strukturierte Daten einmalig importieren:
Ordnen Sie Felder den wichtigsten Eigenschaften zu.
Sollten wichtige Felder im Schema fehlen, fügen Sie sie über Neues Feld hinzufügen hinzu.
Weitere Informationen zur automatischen Erkennung und Bearbeitung
Klicken Sie auf Weiter.
Wählen Sie eine Region für Ihren Datenspeicher aus.
Geben Sie einen Namen für den Datenspeicher ein.
Optional: Wenn Sie unstrukturierte Dokumente ausgewählt haben, können Sie für die Dokumente Optionen für das Parsen und Aufteilen in Blöcke festlegen. Weitere Informationen zum Parsen von Dokumenten. Weitere Informationen zum Aufteilen von Dokumenten für RAG in Blöcke.
Für den OCR-Parser und den Layout-Parser können zusätzliche Kosten anfallen. Preise für Document AI-Funktionen
Wenn Sie einen Parser auswählen möchten, maximieren Sie Dokumentverarbeitungsoptionen und geben Sie die gewünschten Parser-Optionen an.
Klicken Sie auf Erstellen.
Wenn Sie den Status der Aufnahme überprüfen möchten, rufen Sie die Seite Datenspeicher auf und klicken Sie auf den Namen des Datenspeichers. Dadurch werden die Details auf der Seite Daten angezeigt. Wenn sich die Statusspalte auf dem Tab Aktivität von In Bearbeitung zu Import abgeschlossen ändert, ist die Aufnahme abgeschlossen.
Je nach Größe der Daten kann die Datenaufnahme einige Minuten bis mehrere Stunden dauern.
REST
So erstellen Sie einen Datenspeicher über die Befehlszeile und nehmen Daten aus Cloud Storage auf:
Erstellen Sie einen Datenspeicher.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_RECOMMENDATION"] }'Ersetzen Sie Folgendes:
PROJECT_ID: Die ID Ihres Projekts in Google Cloud .DATA_STORE_ID: Die ID des Vertex AI Search-Datenspeichers, den Sie erstellen möchten. Diese ID darf nur Kleinbuchstaben, Ziffern, Unterstriche und Bindestriche enthalten.DATA_STORE_DISPLAY_NAME: Der Anzeigename des Vertex AI Search-Datenspeichers, den Sie erstellen möchten.
Daten aus Cloud Storage importieren.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents:import" \ -d '{ "gcsSource": { "inputUris": ["INPUT_FILE_PATTERN_1", "INPUT_FILE_PATTERN_2"], "dataSchema": "DATA_SCHEMA", }, "reconciliationMode": "RECONCILIATION_MODE", "autoGenerateIds": "AUTO_GENERATE_IDS", "idField": "ID_FIELD", "errorConfig": { "gcsPrefix": "ERROR_DIRECTORY" } }'Ersetzen Sie Folgendes:
PROJECT_ID: Die ID Ihres Projekts in Google Cloud .DATA_STORE_ID: die ID des Vertex AI Search-Datenspeichers.INPUT_FILE_PATTERN: Ein Dateimuster in Cloud Storage, das Ihre Dokumente enthält.Für strukturierte Daten bzw. unstrukturierte Daten mit Metadaten ist das Eingabedateimuster beispielsweise
gs://<your-gcs-bucket>/directory/object.json. Für eine oder mehrere mit dem Muster übereinstimmende Datei(en) ist das Eingabedateimuster beispielsweisegs://<your-gcs-bucket>/directory/*.json.Ein Beispiel für unstrukturierte Dokumente ist
gs://<your-gcs-bucket>/directory/*.pdf. Jede Datei, die dem Muster entspricht, wird zu einem Dokument.Wenn
<your-gcs-bucket>nicht unter PROJECT_ID aufgeführt ist, müssen Sie dem Dienstkontoservice-<project number>@gcp-sa-discoveryengine.iam.gserviceaccount.comdie Berechtigung „Storage Object Viewer“ für den Cloud Storage-Bucket gewähren. Wenn Sie beispielsweise einen Cloud Storage-Bucket aus dem Quellprojekt „123“ in das Zielprojekt „456“ importieren, gewähren Sieservice-456@gcp-sa-discoveryengine.iam.gserviceaccount.comim Projekt „123“ Berechtigungen für den Cloud Storage-Bucket.DATA_SCHEMA: Optional. Mögliche Werte sinddocument,custom,csvundcontent. Der Standardwert istdocument.document: Lädt unstrukturierte Daten mit Metadaten für unstrukturierte Dokumente hoch. Jede Zeile der Datei muss eines der folgenden Formate haben. Sie können für jedes Dokument die ID definieren:{ "id": "<your-id>", "jsonData": "<JSON string>", "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }{ "id": "<your-id>", "structData": <JSON object>, "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }
custom: Lädt JSON für strukturierte Dokumente hoch. Die Daten sind nach einem Schema angeordnet. Sie können das Schema angeben; andernfalls wird es automatisch erkannt. Sie können den JSON-String des Dokuments in einem einheitlichen Format direkt in jede Zeile einfügen. Vertex AI Search generiert dann automatisch die IDs für jedes importierte Dokument.content: Lädt unstrukturierte Dokumente (PDF, HTML, DOC, TXT, PPTX) hoch. Die ID jedes Dokuments wird automatisch als die ersten 128 Bit von SHA256(GCS_URI) generiert und als Hexadezimalstring codiert. Sie können mehrere Eingabedateimuster angeben, sofern nicht mehr als maximal 100.000 übereinstimmende Dateien erkannt werden.csv: Fügt CSV-Dateien eine Kopfzeile hinzu, wobei jede Kopfzeile einem Dokumentfeld zugeordnet ist. Geben Sie den Pfad zur CSV-Datei mit dem FeldinputUrisan.
ERROR_DIRECTORY: Optional. Ein Cloud Storage-Verzeichnis für Fehlerinformationen zum Import, z. B.gs://<your-gcs-bucket>/directory/import_errors. Google empfiehlt, dieses Feld leer zu lassen, damit Vertex AI Search automatisch ein temporäres Verzeichnis erstellen kann.RECONCILIATION_MODE: optional. Mögliche Werte sindFULLundINCREMENTAL. Der Standardwert istINCREMENTAL. Wenn SieINCREMENTALangeben, werden die Daten aus Cloud Storage in Ihrem Datenspeicher inkrementell aktualisiert. Dabei wird ein Upsert-Vorgang ausgeführt, bei dem neue Dokumente hinzugefügt und vorhandene Dokumente durch aktualisierte Dokumente mit derselben ID ersetzt werden. Wenn SieFULLangeben, werden die Dokumente in Ihrem Datenspeicher vollständig neu synchronisiert. Das bedeutet, dass dem Datenspeicher neue und aktualisierte Dokumente hinzugefügt und Dokumente, die nicht in Cloud Storage enthalten sind, aus dem Datenspeicher entfernt werden. Der ModusFULList hilfreich, wenn Sie nicht mehr benötigte Dokumente automatisch löschen lassen möchten.AUTO_GENERATE_IDS: Optional. Gibt an, ob Dokument-IDs automatisch generiert werden sollen. Wenn dieser Wert auftruegesetzt ist, werden die Dokument-IDs auf Grundlage eines Nutzlast-Hash generiert. Beachten Sie, dass generierte Dokument-IDs bei mehreren Importvorgängen möglicherweise nicht gleich bleiben. Wenn Sie bei mehreren Importvorgängen IDs automatisch generieren, empfiehlt Google dringend,reconciliationModeaufFULLfestzulegen, um einheitliche Dokument-IDs beizubehalten.Geben Sie
autoGenerateIdsnur an, wenngcsSource.dataSchemaaufcustomodercsvfestgelegt ist. Andernfalls wird der FehlerINVALID_ARGUMENTzurückgegeben. Wenn SieautoGenerateIdsnicht angeben oder auffalsefestlegen, müssen Sie dasidFieldangeben. Andernfalls können die Dokumente nicht importiert werden.ID_FIELD: Optional. Gibt an, welche Felder die Dokument-IDs enthalten. Bei Cloud Storage-Quelldokumenten werden mitidFielddie Namen in den JSON-Feldern angegeben, die die Dokument-IDs enthalten. Wenn in einem Ihrer Dokumente beispielsweise{"my_id":"some_uuid"}das Feld mit der Dokument-ID ist, geben Sie"idField":"my_id"an. Dadurch werden alle JSON-Felder mit dem Namen"my_id"als Dokument-IDs identifiziert.Geben Sie dieses Feld nur an, wenn (1)
gcsSource.dataSchemaaufcustomodercsvund (2)auto_generate_idsauffalsefestgelegt oder nicht angegeben ist. Andernfalls wird der FehlerINVALID_ARGUMENTzurückgegeben.Der Wert des Cloud Storage-JSON-Felds muss vom Typ „String“ sein, zwischen 1 und 63 Zeichen lang sein und RFC-1034 entsprechen. Andernfalls können die Dokumente nicht importiert werden.
Der mit
id_fieldangegebene JSON-Feldname muss vom Typ „string“ mit einer Länge zwischen 1 und 63 Zeichen sein und RFC-1034 entsprechen. Andernfalls können die Dokumente nicht importiert werden.
C#
Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Search C# API.
Richten Sie zur Authentifizierung bei Vertex AI Search Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Datenspeicher erstellen
Dokumente importieren
Go
Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Search Go API.
Richten Sie zur Authentifizierung bei Vertex AI Search Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Datenspeicher erstellen
Dokumente importieren
Java
Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Search Java API.
Richten Sie zur Authentifizierung bei Vertex AI Search Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Datenspeicher erstellen
Dokumente importieren
Node.js
Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Search Node.js API.
Richten Sie zur Authentifizierung bei Vertex AI Search Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Datenspeicher erstellen
Dokumente importieren
Python
Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Search Python API.
Richten Sie zur Authentifizierung bei Vertex AI Search Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Datenspeicher erstellen
Dokumente importieren
Ruby
Weitere Informationen finden Sie in der Referenzdokumentation zur Vertex AI Search Ruby API.
Richten Sie zur Authentifizierung bei Vertex AI Search Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Datenspeicher erstellen
Dokumente importieren
Mit Cloud Storage verbinden und regelmäßig synchronisieren
Lesen Sie vor dem Importieren der Daten, wie Sie Daten für die Aufnahme vorbereiten.
In der folgenden Anleitung wird beschrieben, wie Sie einen Daten-Connector erstellen, der einen Cloud Storage-Speicherort mit einem Vertex AI Search-Daten-Connector verknüpft, und einen Ordner oder eine Datei an diesem Speicherort für den zu erstellenden Datenspeicher angeben. Datenspeicher, die untergeordnete Elemente von Daten-Connectors sind, werden als Entitätsdatenspeicher bezeichnet.
Die Daten werden regelmäßig mit dem Entitätsdatenspeicher synchronisiert. Sie können festlegen, dass die Daten täglich, alle drei Tage oder alle fünf Tage synchronisiert werden sollen.
Console
Rufen Sie in der Google Cloud Console die Seite KI-Anwendungen auf.
Rufen Sie die Seite Datenspeicher auf.
Klicken Sie auf Datenspeicher erstellen.
Wählen Sie auf der Seite Quelle die Option Cloud Storage aus.
Wählen Sie aus, welche Art von Daten Sie importieren möchten.
Klicken Sie auf Regelmäßig.
Wählen Sie die Häufigkeit der Synchronisierung aus, um festzulegen, wie oft der Vertex AI Search-Connector mit dem Cloud Storage-Speicherort synchronisiert werden soll. Sie können die Häufigkeit später ändern.
Wählen Sie im Bereich Ordner oder Datei für Import auswählen die Option Ordner oder Datei aus.
Klicken Sie auf Durchsuchen, wählen Sie die Daten aus, die Sie für die Aufnahme vorbereitet haben, und klicken Sie dann auf Auswählen. Alternativ können Sie den Speicherort direkt in das Feld
gs://eingeben.Klicken Sie auf Weiter.
Wählen Sie eine Region für den Daten-Connector aus.
Geben Sie einen Namen für den Daten-Connector ein.
Optional: Wenn Sie unstrukturierte Dokumente ausgewählt haben, können Sie für die Dokumente Optionen für das Parsen und Aufteilen in Blöcke festlegen. Weitere Informationen zum Parsen von Dokumenten. Weitere Informationen zum Aufteilen von Dokumenten für RAG in Blöcke.
Wenn Sie einen Parser auswählen möchten, maximieren Sie Dokumentverarbeitungsoptionen und geben Sie die gewünschten Parser-Optionen an.
Für den OCR-Parser und den Layout-Parser können zusätzliche Kosten anfallen. Preise für Document AI-Funktionen
Klicken Sie auf Erstellen.
Sie haben jetzt einen Daten-Connector erstellt, der Daten regelmäßig mit dem Cloud Storage-Speicherort synchronisiert. Außerdem haben Sie einen Entitätsdatenspeicher mit dem Namen
gcs_storeerstellt.Wenn Sie den Status der Aufnahme überprüfen möchten, rufen Sie die Seite Datenspeicher auf und klicken Sie auf den Namen des Daten-Connectors. Daraufhin können Sie sich die Details auf der Seite Daten ansehen.
Tab Datenaufnahmeaktivität: Wenn sich die Statusspalte auf dem Tab Datenaufnahmeaktivität von In Bearbeitung zu Erfolgreich ändert, ist die erste Aufnahme abgeschlossen.
Abhängig von der Größe der Daten kann die Datenaufnahme einige Minuten bis mehrere Stunden dauern.
Nachdem Sie Ihre Datenquelle eingerichtet und zum ersten Mal Daten importiert haben, werden die Daten von dieser Quelle in der von Ihnen angegebenen Häufigkeit synchronisiert. Etwa eine Stunde nach dem Erstellen des Daten-Connectors erfolgt die erste Synchronisierung. Die nächste Synchronisierung findet dann etwa 24, 72 oder 120 Stunden später statt.
Nächste Schritte
Wenn Sie Ihren Datenspeicher an eine App anhängen möchten, erstellen Sie eine App und wählen Sie Ihren Datenspeicher aus. Folgen Sie dazu der Anleitung unter Benutzerdefinierte Empfehlungs-App erstellen.
Weitere Informationen zur Vorschau oder zum Abrufen von Empfehlungen nach Erstellung der App und des Datenspeichers.
Strukturierte JSON-Daten mit der API hochladen
So laden Sie ein JSON-Dokument oder -Objekt direkt über die API hoch:
Bevor Sie Ihre Daten importieren, müssen Sie sie für die Aufnahme vorbereiten.
REST
So erstellen Sie einen Datenspeicher über die Befehlszeile und importieren strukturierte JSON-Daten:
Erstellen Sie einen Datenspeicher.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ -H "X-Goog-User-Project: PROJECT_ID" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \ -d '{ "displayName": "DATA_STORE_DISPLAY_NAME", "industryVertical": "GENERIC", "solutionTypes": ["SOLUTION_TYPE_RECOMMENDATION"] }'Ersetzen Sie Folgendes:
PROJECT_ID: Die ID Ihres Projekts in Google Cloud .DATA_STORE_ID: Die ID des Empfehlungsdatenspeichers, den Sie erstellen möchten. Diese ID darf nur Kleinbuchstaben, Ziffern, Unterstriche und Bindestriche enthalten.DATA_STORE_DISPLAY_NAME: Der Anzeigename des Empfehlungsdatenspeichers, den Sie erstellen möchten.
Optional: Geben Sie ein eigenes Schema an. Wenn Sie ein Schema angeben, erhalten Sie in der Regel bessere Ergebnisse. Weitere Informationen finden Sie unter Schema bereitstellen oder automatisch erkennen lassen.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/schemas/default_schema" \ -d '{ "structSchema": JSON_SCHEMA_OBJECT }'Ersetzen Sie Folgendes:
PROJECT_ID: Die ID Ihres Projekts in Google Cloud .DATA_STORE_ID: die ID des Empfehlungsdatenspeichers.JSON_SCHEMA_OBJECT: Ihr JSON-Schema als JSON-Objekt, z. B.:{ "$schema": "https://json-schema.org/draft/2020-12/schema", "type": "object", "properties": { "title": { "type": "string", "keyPropertyMapping": "title" }, "categories": { "type": "array", "items": { "type": "string", "keyPropertyMapping": "category" } }, "uri": { "type": "string", "keyPropertyMapping": "uri" } } }
Importieren Sie strukturierte Daten, die dem definierten Schema entsprechen.
Es gibt verschiedene Möglichkeiten, Daten hochzuladen:
Laden Sie ein JSON-Dokument hoch.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents?documentId=DOCUMENT_ID" \ -d '{ "jsonData": "JSON_DOCUMENT_STRING" }'Ersetzen Sie
JSON_DOCUMENT_STRINGdurch das JSON-Dokument als einzelnen String. Dies muss dem JSON-Schema entsprechen, das Sie im vorherigen Schritt angegeben haben, z. B.:```none { \"title\": \"test title\", \"categories\": [\"cat_1\", \"cat_2\"], \"uri\": \"test uri\"} ```Laden Sie ein JSON-Objekt hoch.
curl -X POST \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents?documentId=DOCUMENT_ID" \ -d '{ "structData": JSON_DOCUMENT_OBJECT }'Ersetzen Sie
JSON_DOCUMENT_OBJECTdurch das JSON-Dokument als JSON-Objekt. Dies muss dem JSON-Schema entsprechen, das Sie im vorherigen Schritt angegeben haben, z. B.:```json { "title": "test title", "categories": [ "cat_1", "cat_2" ], "uri": "test uri" } ```Mit einem JSON-Dokument aktualisieren.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID" \ -d '{ "jsonData": "JSON_DOCUMENT_STRING" }'Mit einem JSON-Objekt aktualisieren.
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1beta/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/branches/0/documents/DOCUMENT_ID" \ -d '{ "structData": JSON_DOCUMENT_OBJECT }'
Nächste Schritte
Wenn Sie Ihren Datenspeicher an eine App anhängen möchten, erstellen Sie eine App und wählen Sie Ihren Datenspeicher aus. Folgen Sie dazu der Anleitung unter Benutzerdefinierte Empfehlungs-App erstellen.
Weitere Informationen zur Vorschau der Empfehlungen nach Erstellung der App und des Datenspeichers.
Datenspeicher mit Terraform erstellen
Sie können mit Terraform einen leeren Datenspeicher erstellen. Nachdem der leere Datenspeicher erstellt wurde, können Sie Daten in den Datenspeicher aufnehmen. Verwenden Sie dazu die Google Cloud Console oder API-Befehle.
Informationen zum Anwenden oder Entfernen einer Terraform-Konfiguration finden Sie unter Grundlegende Terraform-Befehle.
Informationen zum Erstellen eines leeren Datenspeichers mit Terraform finden Sie unter
google_discovery_engine_data_store.