Membuat embedding multimodal

Embeddings multimodal di AlloyDB untuk PostgreSQL memungkinkan Anda merepresentasikan teks, gambar, dan video dalam ruang vektor bersama untuk penelusuran semantik lintas modalitas dan Retrieval-Augmented Generation (RAG). Anda dapat membuat embedding untuk teks dan untuk segmen gambar atau video di Cloud Storage dengan memanggil model multimodal Gemini Enterprise Agent Platform yang didukung—misalnya, model multimodalembedding@001—dari SQL. Untuk mengetahui daftar model yang tersedia, lihat Model yang didukung.

Untuk mempelajari konsep AI generatif dan embedding vektor di AlloyDB, lihat Apa itu embedding.

Sebelum memulai

Sebelum Anda menggunakan embedding multimodal, lakukan hal berikut:

Mengintegrasikan dengan Agent Platform dan menginstal ekstensi

  1. Mengonfigurasi akses pengguna ke model Agent Platform.
  2. Pastikan google_ml_integration versi terbaru sudah diinstal.

    1. Untuk memeriksa versi yang diinstal, jalankan perintah berikut:

      SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
extversion 
------------
1.5.2
(1 row)

    2. Jika ekstensi tidak diinstal atau jika versi yang diinstal lebih lama dari 1.5.2, update ekstensi.

      CREATE EXTENSION IF NOT EXISTS google_ml_integration;
ALTER EXTENSION google_ml_integration UPDATE;

      Jika Anda mengalami masalah saat menjalankan perintah sebelumnya, atau jika ekstensi tidak diupdate ke versi 1.5.2 setelah Anda menjalankan perintah sebelumnya, hubungi dukunganGoogle Cloud .

  3. Untuk menggunakan fungsi mesin kueri AI AlloyDB, tetapkan flag google_ml_integration.enable_ai_query_engine ke on.

    SQL

    1. Aktifkan mesin kueri AI untuk sesi saat ini.
      SET google_ml_integration.enable_ai_query_engine = on;
    2. Mengaktifkan fitur untuk database tertentu di seluruh sesi.
      ALTER DATABASE DATABASE_NAME SET google_ml_integration.enable_ai_query_engine = 'on';
    3. Mengaktifkan mesin kueri AI untuk pengguna tertentu di seluruh sesi dan database.
      ALTER ROLE postgres SET google_ml_integration.enable_ai_query_engine = 'on';

    Konsol

    Untuk mengubah nilai flag google_ml_integration.enable_ai_query_engine, ikuti langkah-langkah di bagian Mengonfigurasi flag database instance.

    gcloud

    Untuk menggunakan gcloud CLI, Anda dapat menginstal dan melakukan inisialisasi Google Cloud CLI, atau Anda dapat menggunakan Cloud Shell.

    Anda dapat mengubah nilai tanda google_ml_integration.enable_ai_query_engine. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi flag database instance. 

    gcloud alloydb instances update INSTANCE_ID \
  --database-flags google_ml_integration.enable_ai_query_engine=on \
  --region=REGION_ID \
  --cluster=CLUSTER_ID \
  --project=PROJECT_ID

Mengakses data di Cloud Storage untuk membuat embedding multimodal

  • Untuk membuat embedding multimodal, lihat konten di Cloud Storage menggunakan URI gs://.
  • Akses konten Cloud Storage melalui agen layanan Agent Platform project Anda saat ini. Secara default, agen layanan Agent Platform sudah memiliki izin untuk mengakses bucket dalam project yang sama. Untuk mengetahui informasi selengkapnya, lihat indeks peran dan izin IAM.

  • Untuk mengakses data di bucket Cloud Storage di project Google Cloud lain, jalankan perintah gcloud CLI berikut untuk memberikan peran Storage Object Viewer (roles/storage.objectViewer) kepada agen layanan Agent Platform dari project AlloyDB Anda.

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"

    Untuk mengetahui informasi selengkapnya, lihat Menetapkan dan mengelola kebijakan IAM pada bucket.

Untuk membuat embedding multimodal, pilih salah satu skema berikut.

Membuat embedding multimodal

Untuk membuat embedding teks untuk endpoint model multimodalembedding@001, jalankan pernyataan berikut:

SELECT
  ai.text_embedding(
    model_id => 'multimodalembedding@001',
    content => 'TEXT');

Ganti TEXT dengan teks yang akan dibuatkan embedding-nya.

Untuk membuat embedding gambar bagi endpoint model multimodalembedding@001 terdaftar dengan mimetype gambar default image/jpeg, jalankan pernyataan berikut:

SELECT
  ai.image_embedding(
    model_id => 'multimodalembedding@001',
    image => 'IMAGE_PATH_OR_TEXT',
    mimetype => 'MIMETYPE');

Ganti kode berikut:

  • IMAGE_PATH_OR_TEXT dengan Cloud Storage URI gambar, misalnya, gs://my-bucket/embeddings/flowers.jpeg, atau string base64 gambar.
  • MIMETYPE dengan mimetype gambar, misalnya, image/jpeg. Untuk mengetahui daftar lengkap jenis MIME yang didukung, lihat Multimodal Embeddings API.

Untuk membuat embedding video untuk endpoint model multimodalembedding@001 yang terdaftar, jalankan pernyataan berikut:

SELECT
  ai.video_embedding(
    model_id => 'multimodalembedding@001',
    video => 'VIDEO_URI');

Ganti VIDEO_URI dengan Cloud Storage URI video target, misalnya, gs://my-bucket/embeddings/supermarket-video.mp4, atau string base64 video. Ini adalah array dua dimensi yang dapat diakses sebagai sintaksis seperti my_array[0][5]. Untuk mengetahui informasi selengkapnya, lihat Array.

Langkah berikutnya