Membuat embedding multimodal

Pilih versi dokumentasi:

Anda dapat membuat embedding multimodal di AlloyDB Omni menggunakan model multimodal Vertex AI yang didukung, multimodalembedding@001.

Anda dapat menggunakan model embedding multimodal Vertex AI yang dirujuk dalam Model yang didukung.

Halaman ini mengasumsikan bahwa Anda sudah memahami AlloyDB Omni dan konsep AI generatif. Untuk mengetahui informasi selengkapnya, lihat Apa itu embedding.

Sebelum memulai

Sebelum Anda menggunakan embedding multimodal, lakukan hal berikut:

  1. Konfigurasi akses pengguna ke model Vertex AI.
  2. Pastikan versi terbaru google_ml_integration sudah diinstal.

    1. Untuk memeriksa versi yang diinstal, jalankan perintah berikut:

      SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
extversion
------------
1.5.2
(1 row)

    2. Jika ekstensi tidak diinstal atau jika versi yang diinstal lebih lama dari 1.5.2, update ekstensi.

      CREATE EXTENSION IF NOT EXISTS google_ml_integration;
ALTER EXTENSION google_ml_integration UPDATE;

      Jika Anda mengalami masalah saat menjalankan perintah sebelumnya, atau jika ekstensi tidak diupdate ke versi 1.5.2 setelah Anda menjalankan perintah sebelumnya, hubungi dukungan Google Cloud.

  3. Untuk menggunakan fungsi mesin kueri AI AlloyDB, tetapkan flag google_ml_integration.enable_ai_query_engine ke on.

    1. Gunakan editor teks untuk menyetel tanda berikut dalam file konfigurasi postgresql.conf untuk penginstalan AlloyDB Omni Anda: 
      google_ml_integration.enable_ai_query_engine = on
    2. Setelah Anda menyimpan file postgresql.conf, mulai ulang layanan AlloyDB Omni agar perubahan diterapkan. 
      sudo systemctl restart alloydbomni18

  4. Mengakses data di Cloud Storage untuk membuat embedding multimodal.

Mengakses data di Cloud Storage untuk membuat penyematan multimodal

  • Untuk membuat sematan multimodal, lihat konten di Cloud Storage menggunakan URI gs://.
  • Akses konten Cloud Storage melalui agen layanan Vertex AI project Anda saat ini. Secara default, agen layanan Vertex AI sudah memiliki izin untuk mengakses bucket dalam project yang sama. Untuk mengetahui informasi selengkapnya, lihat indeks peran dan izin IAM.

  • Untuk mengakses data di bucket Cloud Storage di project Google Cloud lain, jalankan perintah gcloud CLI berikut untuk memberikan peran Storage Object Viewer (roles/storage.objectViewer) kepada agen layanan Vertex AI di projectGoogle Cloud Anda.

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"

    Untuk mengetahui informasi selengkapnya, lihat Menetapkan dan mengelola kebijakan IAM pada bucket.

Untuk membuat embedding multimodal, pilih salah satu skema berikut.

Membuat embedding multimodal

Untuk membuat embedding teks untuk endpoint model multimodalembedding@001, jalankan pernyataan berikut:

SELECT
  ai.text_embedding(
    model_id => 'multimodalembedding@001',
    content => 'TEXT');

Ganti TEXT dengan teks yang akan dibuatkan embedding-nya.

Untuk membuat embedding gambar untuk endpoint model multimodalembedding@001 terdaftar dengan mimetype gambar default image/jpeg, jalankan pernyataan berikut:

SELECT
  ai.image_embedding(
    model_id => 'multimodalembedding@001',
    image => 'IMAGE_PATH_OR_TEXT',
    mimetype => 'MIMETYPE');

Ganti kode berikut:

  • IMAGE_PATH_OR_TEXT dengan Cloud Storage URI gambar, misalnya, gs://my-bucket/embeddings/flowers.jpeg, atau string base64 gambar.
  • MIMETYPE dengan mimetype gambar, misalnya, image/jpeg. Untuk mengetahui daftar lengkap jenis MIME yang didukung, lihat Multimodal embeddings API.

Untuk membuat embedding video untuk endpoint model multimodalembedding@001 yang terdaftar, jalankan pernyataan berikut:

SELECT
  ai.video_embedding(
    model_id => 'multimodalembedding@001',
    video => 'VIDEO_URI');

Ganti VIDEO_URI dengan Cloud Storage URI video target, misalnya, gs://my-bucket/embeddings/supermarket-video.mp4, atau string base64 video. Ini adalah array dua dimensi yang dapat diakses sebagai sintaksis seperti my_array[0][5]. Untuk mengetahui informasi selengkapnya, lihat Array.

Langkah berikutnya