Echtzeit-Pipeline für Vektoreinbettungen für AlloyDB mit Dataflow erstellen

Wenn Sie AlloyDB in Dataflow einbinden, einen vollständig verwaltetenGoogle Cloud -Dienst für Datenverarbeitungspipelines, können Sie Streaming-ETL-Pipelines (Extrahieren, Transformieren und Laden) erstellen, die Daten aufnehmen und Vektoreinbettungen für semantische Such- und RAG-Arbeitslasten (Retrieval-Augmented Generation) generieren. Mit dem Colab-Notebook Vektoreinbettungsaufnahme mit Apache Beam und AlloyDB können Sie eine Python-Streaming-Pipeline (basic_ingestion_pipeline.py) konfigurieren, die Dataflow mit AlloyDB verbindet, Texteinbettungen mit dem Apache Beam-VertexAITextEmbeddings-Handler und den Texteinbettungsmodellen der Gemini Enterprise Agent Platform generiert und die Einbettungen in Ihre Datenbank schreibt.

Hinweis

Bevor Sie die Dataflow-Pipeline mit Colab erstellen, müssen Sie die folgenden Voraussetzungen erfüllen:

AlloyDB-Instanz und Pipeline-Komponenten einrichten

Konfigurieren Sie zuerst Ihre Pipeline, um eine Verbindung zu einer AlloyDB-Instanz herzustellen. Diese Konfiguration umfasst die Definition der Google Cloud -Projekt-ID, des AlloyDB-Instanz-URI, des Nutzers und des Passworts, um eine Verbindung über den AlloyDB Language Connector herzustellen. Weitere Informationen zum Einrichten der Verbindung finden Sie unter Datenbank einrichten.

Die Retrieval-Augmented Generation (RAG)-spezifischen Apache Beam-Module bieten Klassen für die folgenden Aufgaben:

  • Daten aus AlloyDB aufnehmen
  • Einbettungen generieren
  • Diese Vektoreinbettungen zurück in AlloyDB schreiben

Importieren Sie die erforderlichen Klassen in Ihren Pipelinecode, bevor Sie die Pipelinelogik erstellen. Weitere Informationen zu Pipelinekomponenten finden Sie unter Pipelinekomponenten importieren.

Beispieldaten erstellen

Das Colab-Notebook Vector Embedding Ingestion with Apache Beam and AlloyDB enthält products_data-Beispieldaten zum Ausführen der Pipeline. Die Pipeline verwendet diese Beispieldaten zusammen mit dem Einbettungsmodell als Eingabe, um Einbettungen zu generieren.

Weitere Informationen finden Sie unter Beispieldaten erstellen.

Tabelle zum Speichern von Einbettungen erstellen

Die Pipeline speichert die generierten Einbettungen in der Tabelle default_dataflow_product_embeddings. Weitere Informationen zum Erstellen des Tabellenschemas finden Sie unter Tabelle mit Standardschema erstellen.

Optional: Daten für die Einbettungsaufnahme vorbereiten

Je nach Dataset können Sie Ihre Daten in Metadaten und Text aufteilen, die das Einbettungsmodell in Einbettungen konvertieren muss. Die Klassen MLTransform() und VectorDatabaseWriteTransform() verarbeiten Eingabedaten in eine Größe, die vom Einbettungsmodell unterstützt wird. Fügen Sie die Metadaten hinzu und formatieren Sie die Eingabedaten gemäß den Spezifikationen des von Ihnen verwendeten Einbettungsmodells.

Weitere Informationen zum Vorbereiten von Daten finden Sie unter Produktdaten Chunks zuordnen.

Einbettungshandler zum Generieren von Einbettungen konfigurieren

Die Klasse VertexAITextEmbeddings() definiert das Texteinbettungsmodell, das Vektoreinbettungen erstellt. Dieses Einbettungsmodell konvertiert die aufgeteilten Daten in Einbettungen.

Weitere Informationen finden Sie unter Embedding-Handler konfigurieren.

Sie können auch ein vortrainiertes Modell verwenden, das mit dem Huggingface SentenceTransformers-Framework erstellt wurde, um Vektoreinbettungen zu generieren. Weitere Informationen finden Sie unter Einbettungen mit HuggingFace generieren.

Aufnahmepipeline erstellen

Die Pipeline basic_ingestion_pipeline.py, die im Colab Vektoreinbettungen mit Apache Beam und AlloyDB aufnehmen bereitgestellt wird, enthält die Konfigurationen aus den vorherigen Abschnitten, einschließlich der AlloyDB-Einrichtung, des Ladens von Daten in AlloyDB, der optionalen Datenaufteilung und der Konfiguration des Einbettungshandlers.

Die Aufnahmepipeline führt folgende Schritte aus:

  • Erstellt Produktdatentabellen
  • Konvertiert Daten in Chunks
  • Generiert Einbettungen
  • Schreibt die konvertierten Einbettungen in die Tabelle products_data in AlloyDB.

Sie können diese Pipeline mit einem direkten lokalen Runner oder einem cloudbasierten Runner wie Dataflow ausführen.

Weitere Informationen zum Erstellen der Aufnahmepipeline finden Sie unter Pipeline in einer Python-Datei speichern.

Dataflow-Pipeline ausführen

Sie können eine Dataflow-Pipeline über die Befehlszeile ausführen. Übergeben Sie Anmeldedaten wie Ihre Projekt-ID, AlloyDB-Verbindungsdetails, den Speicherort des Cloud Storage-Bucket, Details zur Ausführungsumgebung, Netzwerkinformationen und den Namen der Aufnahmepipeline (basic_ingestion_pipeline.py).

Im Colab Vektoreinbettungen mit Apache Beam und AlloyDB aufnehmen werden die AlloyDB-Instanz und die Dataflow-Jobs im selben VPC-Netzwerk (Virtual Private Cloud) und Subnetzwerk ausgeführt.

Weitere Informationen zum Ausführen einer Pipeline in Dataflow finden Sie unter Pipeline in Dataflow ausführen.

In der Google Cloud Console können Sie im Dataflow-Dashboard Ausführungsgrafiken, Logs und Messwerte aufrufen, während die Pipeline ausgeführt wird.

Optional: Dataflow-Streamingpipeline ausführen

Für Daten, die sich voraussichtlich häufig ändern, z. B. Ähnlichkeitssuchen oder Empfehlungssysteme, sollten Sie eine Streamingpipeline mit Dataflow und Pub/Sub erstellen.

Anstatt einen Batch von Daten zu verarbeiten, liest diese Pipeline kontinuierlich eingehende Nachrichten aus einem Pub/Sub-Thema, konvertiert die Nachrichten in Chunks, generiert Einbettungen mit einem angegebenen Modell (z. B. Hugging Face oder Agent Platform) und aktualisiert die AlloyDB-Tabelle.

Weitere Informationen finden Sie unter Streaming-Einbettungsaktualisierungen von Pub/Sub.

Vektoreinbettungen in AlloyDB prüfen

Prüfen Sie nach der Ausführung der Pipeline, ob die Einbettungen in Ihre AlloyDB-Datenbank geschrieben wurden.

Weitere Informationen finden Sie unter Geschriebene Einbettungen prüfen.

Nächste Schritte