Membuat embedding multimodal

Anda dapat membuat embedding multimodal di AlloyDB untuk PostgreSQL menggunakan model multimodal Gemini Enterprise Agent Platform yang didukung, multimodalembedding@001.

Anda dapat menggunakan model embedding multimodal Agent Platform yang dirujuk dalam Model yang didukung.

Halaman ini mengasumsikan bahwa Anda sudah memahami AlloyDB untuk PostgreSQL dan konsep AI generatif. Untuk mengetahui informasi selengkapnya, lihat Apa itu embedding.

Sebelum memulai

Sebelum Anda menggunakan embedding multimodal, lakukan hal berikut:

Berintegrasi dengan Agent Platform dan menginstal ekstensi

  1. Mengonfigurasi akses pengguna ke model Platform Agen.
  2. Pastikan versi terbaru google_ml_integration sudah diinstal.

    1. Untuk memeriksa versi yang diinstal, jalankan perintah berikut:

      SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
extversion 
------------
1.5.2
(1 row)

    2. Jika ekstensi tidak diinstal atau jika versi yang diinstal lebih lama dari 1.5.2, update ekstensi.

      CREATE EXTENSION IF NOT EXISTS google_ml_integration;
ALTER EXTENSION google_ml_integration UPDATE;

      Jika Anda mengalami masalah saat menjalankan perintah sebelumnya, atau jika ekstensi tidak diupdate ke versi 1.5.2 setelah Anda menjalankan perintah sebelumnya, hubungi Google Cloud dukungan.

  3. Untuk menggunakan fungsi mesin kueri AI AlloyDB, tetapkan flag google_ml_integration.enable_ai_query_engine ke on.

    SQL

    1. Aktifkan mesin kueri AI untuk sesi saat ini.
      SET google_ml_integration.enable_ai_query_engine = on;
    2. Aktifkan fitur untuk database tertentu di seluruh sesi.
      ALTER DATABASE DATABASE_NAME SET google_ml_integration.enable_ai_query_engine = 'on';
    3. Aktifkan mesin kueri AI untuk pengguna tertentu di seluruh sesi dan database.
      ALTER ROLE postgres SET google_ml_integration.enable_ai_query_engine = 'on';

    Konsol

    Untuk mengubah nilai flag google_ml_integration.enable_ai_query_engine, ikuti langkah-langkah di Mengonfigurasi flag database instance.

    gcloud

    Untuk menggunakan gcloud CLI, Anda dapat menginstal dan melakukan inisialisasi Google Cloud CLI, atau Anda dapat menggunakan Cloud Shell.

    Anda dapat mengubah nilai tanda google_ml_integration.enable_ai_query_engine. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi flag database instance. 

    gcloud alloydb instances update INSTANCE_ID \
  --database-flags google_ml_integration.enable_ai_query_engine=on \
  --region=REGION_ID \
  --cluster=CLUSTER_ID \
  --project=PROJECT_ID

Mengakses data di Cloud Storage untuk membuat penyematan multimodal

  • Untuk membuat sematan multimodal, rujuk konten di Cloud Storage menggunakan URI gs://.
  • Akses konten Cloud Storage melalui agen layanan Platform Agen project Anda saat ini. Secara default, agen layanan Agent Platform sudah memiliki izin untuk mengakses bucket dalam project yang sama. Untuk mengetahui informasi selengkapnya, lihat indeks peran dan izin IAM.

  • Untuk mengakses data di bucket Cloud Storage dalam Google Cloud project lain, jalankan perintah gcloud CLI berikut untuk memberikan peran Storage Object Viewer (roles/storage.objectViewer) kepada agen layanan Platform Agent dari project AlloyDB Anda.

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"

    Untuk mengetahui informasi selengkapnya, lihat Menetapkan dan mengelola kebijakan IAM pada bucket.

Untuk membuat embedding multimodal, pilih salah satu skema berikut.

Membuat embedding multimodal

Untuk membuat embedding teks untuk endpoint model multimodalembedding@001, jalankan pernyataan berikut:

SELECT
  ai.text_embedding(
    model_id => 'multimodalembedding@001',
    content => 'TEXT');

Ganti TEXT dengan teks yang akan dibuatkan embedding-nya.

Untuk membuat embedding gambar untuk endpoint model multimodalembedding@001 terdaftar dengan mimetype gambar default image/jpeg, jalankan pernyataan berikut:

SELECT
  ai.image_embedding(
    model_id => 'multimodalembedding@001',
    image => 'IMAGE_PATH_OR_TEXT',
    mimetype => MIMETYPE');

Ganti kode berikut:

  • IMAGE_PATH_OR_TEXT dengan Cloud Storage URI gambar, misalnya, gs://my-bucket/embeddings/flowers.jpeg, atau string base64 gambar.
  • MIMETYPE dengan mimetype gambar, misalnya, image/jpeg. Untuk mengetahui daftar lengkap mimetype yang didukung, lihat Multimodal embeddings API.

Untuk membuat embedding video untuk endpoint model multimodalembedding@001 yang terdaftar, jalankan pernyataan berikut:

SELECT
  ai.video_embedding(
    model_id => 'multimodalembedding@001',
    video => 'VIDEO_URI');

Ganti VIDEO_URI dengan Cloud Storage URI video target, misalnya, gs://my-bucket/embeddings/supermarket-video.mp4, atau string base64 video. Ini adalah array dua dimensi yang dapat diakses sebagai sintaksis seperti my_array[0][5]. Untuk mengetahui informasi selengkapnya, lihat Array.

Langkah berikutnya