Wenn Sie AlloyDB in Dataflow einbinden, einen vollständig verwaltetenGoogle Cloud -Dienst für Datenverarbeitungspipelines, können Sie Streaming-ETL-Pipelines (Extrahieren, Transformieren und Laden) erstellen, die Daten aufnehmen und Vektoreinbettungen für semantische Such- und RAG-Arbeitslasten (Retrieval-Augmented Generation) generieren. Mit dem Colab-Notebook Vektoreinbettungsaufnahme mit Apache Beam und AlloyDB können Sie eine Python-Streaming-Pipeline (basic_ingestion_pipeline.py) konfigurieren, die Dataflow mit AlloyDB verbindet, Texteinbettungen mit dem Apache Beam-VertexAITextEmbeddings-Handler und den Texteinbettungsmodellen der Gemini Enterprise Agent Platform generiert und die Einbettungen in Ihre Datenbank schreibt.
Hinweis
Bevor Sie die Dataflow-Pipeline mit Colab erstellen, müssen Sie die folgenden Voraussetzungen erfüllen:
- Konfigurieren Sie Ihre Umgebung, um eine Dataflow-Pipeline zu erstellen.
Aktivieren Sie die AlloyDB API und andere erforderliche APIs:
gcloud services enable alloydb.googleapis.com cloudresourcemanager.googleapis.com \ servicenetworking.googleapis.comInstallieren Sie die AlloyDB-Vektorerweiterung in Ihrer Datenbank.
Weisen Sie dem Dataflow-Nutzerkonto die Rolle „AlloyDB-Administrator“ (roles/alloydb.admin) zu.
AlloyDB-Instanz und Pipeline-Komponenten einrichten
Konfigurieren Sie zuerst Ihre Pipeline, um eine Verbindung zu einer AlloyDB-Instanz herzustellen. Diese Konfiguration umfasst die Definition der Google Cloud -Projekt-ID, des AlloyDB-Instanz-URI, des Nutzers und des Passworts, um eine Verbindung über den AlloyDB Language Connector herzustellen. Weitere Informationen zum Einrichten der Verbindung finden Sie unter Datenbank einrichten.
Die Retrieval-Augmented Generation (RAG)-spezifischen Apache Beam-Module bieten Klassen für die folgenden Aufgaben:
- Daten aus AlloyDB aufnehmen
- Einbettungen generieren
- Diese Vektoreinbettungen zurück in AlloyDB schreiben
Importieren Sie die erforderlichen Klassen in Ihren Pipelinecode, bevor Sie die Pipelinelogik erstellen. Weitere Informationen zu Pipelinekomponenten finden Sie unter Pipelinekomponenten importieren.
Beispieldaten erstellen
Das Colab-Notebook Vector Embedding Ingestion with Apache Beam and AlloyDB enthält products_data-Beispieldaten zum Ausführen der Pipeline. Die Pipeline verwendet diese Beispieldaten zusammen mit dem Einbettungsmodell als Eingabe, um Einbettungen zu generieren.
Weitere Informationen finden Sie unter Beispieldaten erstellen.
Tabelle zum Speichern von Einbettungen erstellen
Die Pipeline speichert die generierten Einbettungen in der Tabelle default_dataflow_product_embeddings. Weitere Informationen zum Erstellen des Tabellenschemas finden Sie unter Tabelle mit Standardschema erstellen.
Optional: Daten für die Einbettungsaufnahme vorbereiten
Je nach Dataset können Sie Ihre Daten in Metadaten und Text aufteilen, die das Einbettungsmodell in Einbettungen konvertieren muss. Die Klassen MLTransform() und VectorDatabaseWriteTransform() verarbeiten Eingabedaten in eine Größe, die vom Einbettungsmodell unterstützt wird. Fügen Sie die Metadaten hinzu und formatieren Sie die Eingabedaten gemäß den Spezifikationen des von Ihnen verwendeten Einbettungsmodells.
Weitere Informationen zum Vorbereiten von Daten finden Sie unter Produktdaten Chunks zuordnen.
Einbettungshandler zum Generieren von Einbettungen konfigurieren
Die Klasse VertexAITextEmbeddings() definiert das Texteinbettungsmodell, das Vektoreinbettungen erstellt. Dieses Einbettungsmodell konvertiert die aufgeteilten Daten in Einbettungen.
Weitere Informationen finden Sie unter Embedding-Handler konfigurieren.
Sie können auch ein vortrainiertes Modell verwenden, das mit dem Huggingface SentenceTransformers-Framework erstellt wurde, um Vektoreinbettungen zu generieren. Weitere Informationen finden Sie unter Einbettungen mit HuggingFace generieren.
Aufnahmepipeline erstellen
Die Pipeline basic_ingestion_pipeline.py, die im Colab Vektoreinbettungen mit Apache Beam und AlloyDB aufnehmen bereitgestellt wird, enthält die Konfigurationen aus den vorherigen Abschnitten, einschließlich der AlloyDB-Einrichtung, des Ladens von Daten in AlloyDB, der optionalen Datenaufteilung und der Konfiguration des Einbettungshandlers.
Die Aufnahmepipeline führt folgende Schritte aus:
- Erstellt Produktdatentabellen
- Konvertiert Daten in Chunks
- Generiert Einbettungen
- Schreibt die konvertierten Einbettungen in die Tabelle
products_datain AlloyDB.
Sie können diese Pipeline mit einem direkten lokalen Runner oder einem cloudbasierten Runner wie Dataflow ausführen.
Weitere Informationen zum Erstellen der Aufnahmepipeline finden Sie unter Pipeline in einer Python-Datei speichern.
Dataflow-Pipeline ausführen
Sie können eine Dataflow-Pipeline über die Befehlszeile ausführen. Übergeben Sie Anmeldedaten wie Ihre Projekt-ID, AlloyDB-Verbindungsdetails, den Speicherort des Cloud Storage-Bucket, Details zur Ausführungsumgebung, Netzwerkinformationen und den Namen der Aufnahmepipeline (basic_ingestion_pipeline.py).
Im Colab Vektoreinbettungen mit Apache Beam und AlloyDB aufnehmen werden die AlloyDB-Instanz und die Dataflow-Jobs im selben VPC-Netzwerk (Virtual Private Cloud) und Subnetzwerk ausgeführt.
Weitere Informationen zum Ausführen einer Pipeline in Dataflow finden Sie unter Pipeline in Dataflow ausführen.
In der Google Cloud Console können Sie im Dataflow-Dashboard Ausführungsgrafiken, Logs und Messwerte aufrufen, während die Pipeline ausgeführt wird.
Optional: Dataflow-Streamingpipeline ausführen
Für Daten, die sich voraussichtlich häufig ändern, z. B. Ähnlichkeitssuchen oder Empfehlungssysteme, sollten Sie eine Streamingpipeline mit Dataflow und Pub/Sub erstellen.
Anstatt einen Batch von Daten zu verarbeiten, liest diese Pipeline kontinuierlich eingehende Nachrichten aus einem Pub/Sub-Thema, konvertiert die Nachrichten in Chunks, generiert Einbettungen mit einem angegebenen Modell (z. B. Hugging Face oder Agent Platform) und aktualisiert die AlloyDB-Tabelle.
Weitere Informationen finden Sie unter Streaming-Einbettungsaktualisierungen von Pub/Sub.
Vektoreinbettungen in AlloyDB prüfen
Prüfen Sie nach der Ausführung der Pipeline, ob die Einbettungen in Ihre AlloyDB-Datenbank geschrieben wurden.
Weitere Informationen finden Sie unter Geschriebene Einbettungen prüfen.