Membuat embedding multimodal

Anda dapat membuat penyematan multimodal di AlloyDB untuk PostgreSQL menggunakan model multimodal Vertex AI yang didukung, multimodalembedding@001.

Anda dapat menggunakan model embedding multimodal Vertex AI yang dirujuk dalam Model yang didukung.

Halaman ini mengasumsikan bahwa Anda sudah memahami AlloyDB untuk PostgreSQL dan konsep AI generatif. Untuk mengetahui informasi selengkapnya, lihat Apa itu embedding.

Sebelum memulai

Sebelum Anda menggunakan embedding multimodal, lakukan hal berikut:

Berintegrasi dengan Vertex AI dan menginstal ekstensi

  1. Konfigurasi akses pengguna ke model Vertex AI.
  2. Pastikan versi terbaru google_ml_integration sudah diinstal.

    1. Untuk memeriksa versi yang diinstal, jalankan perintah berikut:

              SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
        extversion 
        ------------
        1.5.2
        (1 row)

    2. Jika ekstensi tidak diinstal atau jika versi yang diinstal lebih lama dari 1.5.2, update ekstensi.

              CREATE EXTENSION IF NOT EXISTS google_ml_integration;
        ALTER EXTENSION google_ml_integration UPDATE;

      Jika Anda mengalami masalah saat menjalankan perintah sebelumnya, atau jika ekstensi tidak diupdate ke versi 1.5.2 setelah Anda menjalankan perintah sebelumnya, hubungi Google Cloud dukungan.

  3. Untuk menggunakan fungsi mesin kueri AI AlloyDB, tetapkan flag google_ml_integration.enable_ai_query_engine ke true.

    SQL

    1. Mengaktifkan mesin kueri AI untuk sesi saat ini.
                    SET google_ml_integration.enable_ai_query_engine = true;
    2. Mengaktifkan fitur untuk database tertentu di seluruh sesi.
                    ALTER DATABASE DATABASE_NAME SET google_ml_integration.enable_ai_query_engine = 'on';
    3. Aktifkan mesin kueri AI untuk pengguna tertentu di seluruh sesi dan database.
                    ALTER ROLE postgres SET google_ml_integration.enable_ai_query_engine = 'on';

    Konsol

    Untuk mengubah nilai flag google_ml_integration.enable_ai_query_engine, ikuti langkah-langkah di Mengonfigurasi flag database instance.

    gcloud

    Untuk menggunakan gcloud CLI, Anda dapat menginstal dan melakukan inisialisasi Google Cloud CLI, atau Anda dapat menggunakan Cloud Shell.

    Anda dapat mengubah nilai tanda google_ml_integration.enable_ai_query_engine. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi flag database instance. 

                 gcloud alloydb instances update INSTANCE_ID \
               --database-flags google_ml_integration.enable_ai_query_engine=on \
               --region=REGION_ID \
               --cluster=CLUSTER_ID \
               --project=PROJECT_ID

Mengakses data di Cloud Storage untuk membuat penyematan multimodal

  • Untuk membuat sematan multimodal, rujuk konten di Cloud Storage menggunakan URI gs://.
  • Akses konten Cloud Storage melalui agen layanan Vertex AI project Anda saat ini. Secara default, agen layanan Vertex AI sudah memiliki izin untuk mengakses bucket dalam project yang sama. Untuk mengetahui informasi selengkapnya, lihat indeks peran dan izin IAM.

  • Untuk mengakses data di bucket Cloud Storage di project Google Cloud lain, jalankan perintah gcloud CLI berikut untuk memberikan peran Storage Object Viewer (roles/storage.objectViewer) kepada agen layanan Vertex AI di project AlloyDB Anda.

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"

    Untuk mengetahui informasi selengkapnya, lihat Menetapkan dan mengelola kebijakan IAM pada bucket.

Untuk membuat embedding multimodal, pilih salah satu skema berikut.

Langkah berikutnya