Mengintegrasikan AlloyDB dengan
Dataflow, layananGoogle Cloud yang terkelola sepenuhnya
untuk pipeline pemrosesan data, memungkinkan Anda membangun
pipeline Extract, Transform, and Load (ETL) streaming yang menyerap data dan
menghasilkan embedding vektor untuk workload penelusuran semantik dan retrieval-augmented
generation (RAG). Dengan menggunakan notebook Colab Penyerapan Embedding Vektor dengan Apache Beam dan AlloyDB, Anda dapat mengonfigurasi pipeline streaming Python (basic_ingestion_pipeline.py) yang menghubungkan Dataflow ke AlloyDB, membuat embedding teks dengan pengendali VertexAITextEmbeddings Apache Beam dan model embedding teks Gemini Enterprise Agent Platform, serta menulis embedding ke database Anda.
Sebelum memulai
Sebelum Anda membuat pipeline Dataflow menggunakan Colab, selesaikan prasyarat berikut:
- Konfigurasikan lingkungan Anda untuk membuat pipeline Dataflow.
Aktifkan AlloyDB dan API lain yang diperlukan:
gcloud services enable alloydb.googleapis.com cloudresourcemanager.googleapis.com \ servicenetworking.googleapis.comBerikan peran AlloyDB Admin (roles/alloydb.admin) ke akun pengguna Dataflow.
Menyiapkan instance AlloyDB dan komponen pipeline
Pertama, konfigurasi pipeline Anda untuk terhubung ke instance AlloyDB. Konfigurasi ini mencakup penentuan project ID, URI instance AlloyDB, pengguna, dan sandi Google Cloud untuk terhubung menggunakan konektor bahasa AlloyDB. Untuk mengetahui informasi selengkapnya tentang cara menyiapkan koneksi, lihat Penyiapan Database.
Modul Apache Beam khusus Retrieval-Augmented Generation (RAG) menyediakan class untuk tugas-tugas berikut:
- Menyerap data dari AlloyDB
- Membuat embedding
- Menulis kembali embedding vektor ini ke AlloyDB
Impor class yang diperlukan ke dalam kode pipeline sebelum Anda membangun logika pipeline. Untuk mengetahui informasi selengkapnya tentang komponen pipeline, lihat Mengimpor Komponen Pipeline.
Membuat data sampel
Colab Penyerapan Embedding Vektor dengan Apache Beam dan AlloyDB menyediakan contoh data products_data untuk menjalankan pipeline. Pipeline menggunakan data sampel ini sebagai input, bersama dengan model embedding, untuk menghasilkan embedding.
Untuk mengetahui informasi selengkapnya, lihat Membuat data sampel.
Membuat tabel untuk menyimpan embedding
Pipeline menyimpan embedding yang dihasilkan dalam tabel default_dataflow_product_embeddings. Untuk mengetahui informasi selengkapnya tentang cara membuat skema tabel, lihat Membuat tabel dengan skema default.
Opsional: Menyiapkan data untuk penyerapan embedding
Berdasarkan set data, Anda dapat membagi data menjadi metadata dan teks yang harus dikonversi oleh model embedding menjadi embedding. Class MLTransform() dan VectorDatabaseWriteTransform() memproses data input menjadi ukuran yang didukung oleh model embedding. Sertakan metadata dan format data input sesuai dengan spesifikasi model embedding yang Anda gunakan.
Untuk mengetahui informasi selengkapnya tentang cara menyiapkan data, lihat Memetakan data produk ke potongan.
Mengonfigurasi pengendali embedding untuk membuat embedding
Class VertexAITextEmbeddings() menentukan model embedding teks yang membuat embedding vektor. Model embedding ini mengonversi data yang dipotong menjadi embedding.
Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi Pengendali Embedding.
Anda juga dapat menggunakan model terlatih yang dibuat dengan framework SentenceTransformers Huggingface untuk menghasilkan embedding vektor. Untuk mengetahui informasi selengkapnya, lihat Membuat embedding dengan HuggingFace.
Membuat pipeline penyerapan
Pipeline basic_ingestion_pipeline.py, yang disediakan di Colab Penyerapan Embedding Vektor dengan Apache Beam dan AlloyDB, menggabungkan konfigurasi dari bagian sebelumnya, termasuk penyiapan AlloyDB, pemuatan data ke AlloyDB, pengelompokan data opsional, dan konfigurasi pengendali embedding.
Pipeline penyerapan melakukan hal berikut:
- Membuat tabel data produk
- Mengonversi data menjadi potongan
- Membuat embedding
- Menulis embedding yang dikonversi ke tabel
products_datadi AlloyDB
Anda dapat menjalankan pipeline ini menggunakan runner lokal langsung atau runner berbasis cloud seperti Dataflow.
Untuk mengetahui informasi selengkapnya tentang cara membuat pipeline penyerapan, lihat Menyimpan Pipeline ke file python.
Menjalankan pipeline Dataflow
Anda dapat menjalankan pipeline Dataflow dari command line. Teruskan kredensial, seperti project ID, detail koneksi AlloyDB, lokasi bucket Cloud Storage, detail lingkungan eksekusi, informasi jaringan, dan nama pipeline penyerapan (basic_ingestion_pipeline.py).
Di Colab Penyerapan Embedding Vektor dengan Apache Beam dan AlloyDB, instance AlloyDB dan tugas Dataflow berjalan di jaringan dan subnetwork Virtual Private Cloud (VPC) yang sama.
Untuk mengetahui informasi selengkapnya tentang cara menjalankan pipeline di Dataflow, lihat Menjalankan Pipeline di Dataflow.
Di konsol Google Cloud , di dasbor Dataflow, Anda dapat melihat grafik eksekusi, log, dan metrik saat pipeline dijalankan.
Opsional: Menjalankan pipeline Dataflow streaming
Untuk data yang diperkirakan akan sering berubah, seperti penelusuran kemiripan atau mesin pemberi saran, pertimbangkan untuk membuat pipeline streaming menggunakan Dataflow dan Pub/Sub.
Alih-alih memproses batch data, pipeline ini terus membaca pesan masuk dari topik Pub/Sub, mengonversi pesan menjadi potongan, membuat embedding menggunakan model yang ditentukan (seperti Hugging Face atau Agent Platform), dan memperbarui tabel AlloyDB.
Untuk mengetahui informasi selengkapnya, lihat Streaming Pembaruan Embedding dari Pub/Sub.
Memverifikasi embedding vektor di AlloyDB
Setelah pipeline dijalankan, pastikan pipeline menulis embedding ke database AlloyDB Anda.
Untuk mengetahui informasi selengkapnya, lihat Memverifikasi Embedding yang Ditulis.
Langkah berikutnya
- Pelajari cara melakukan penyerapan embedding vektor dengan Apache Beam, Dataflow, dan AlloyDB.