יצירת הטמעות מולטי-מודאליות

בוחרים את גרסת התיעוד:

אתם יכולים ליצור הטמעות מולטי-מודאליות ב-AlloyDB Omni באמצעות המודל המולטי-מודאלי הנתמך של Vertex AI, ‏multimodalembedding@001.

אתם יכולים להשתמש במודלים של Vertex AI להטמעות מולטי-מודאליות שמפורטים בקטע מודלים נתמכים.

ההנחה בדף הזה היא שאתם מכירים את AlloyDB Omni ואת המושגים של AI גנרטיבי. מהן הטמעות?

לפני שמתחילים

לפני שמשתמשים בהטמעות מולטי-מודאליות, צריך לבצע את הפעולות הבאות:

  1. הגדרת גישת משתמשים למודלים של Vertex AI.
  2. מוודאים שמותקנת הגרסה העדכנית של google_ml_integration.

    1. כדי לבדוק את הגרסה המותקנת, מריצים את הפקודה הבאה:

      SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration';
extversion
------------
1.5.2
(1 row)

    2. אם התוסף לא מותקן או שהגרסה המותקנת היא גרסה ישנה יותר מ-1.5.2, צריך לעדכן את התוסף.

      CREATE EXTENSION IF NOT EXISTS google_ml_integration;
ALTER EXTENSION google_ml_integration UPDATE;

      אם נתקלתם בבעיות בהרצת הפקודות שלמעלה, או אם התוסף לא עודכן לגרסה 1.5.2 אחרי שהרצתם את הפקודות שלמעלה, פנו לתמיכה של Google Cloud.

  3. כדי להשתמש בפונקציונליות של מנוע השאילתות של AlloyDB AI, מגדירים את הדגל google_ml_integration.enable_ai_query_engine לערך on.

    1. משתמשים בכלי לעריכת טקסט כדי להגדיר את הדגל הבא בקובץ התצורה postgresql.conf של התקנת AlloyDB Omni: 
      google_ml_integration.enable_ai_query_engine = on
    2. אחרי ששומרים את הקובץ postgresql.conf, מפעילים מחדש את שירות AlloyDB Omni כדי שהשינויים ייכנסו לתוקף. 
      docker restart CONTAINER_NAME

  4. גישה לנתונים ב-Cloud Storage כדי ליצור הטמעות מולטי-מודאליות.

גישה לנתונים ב-Cloud Storage כדי ליצור הטמעות מולטי-מודאליות

  • כדי ליצור הטמעות מולטי-מודאליות, צריך להפנות לתוכן ב-Cloud Storage באמצעות URI של gs://.
  • גישה לתוכן ב-Cloud Storage דרך סוכן השירות של Vertex AI בפרויקט הנוכחי. כברירת מחדל, לסוכן השירות של Vertex AI כבר יש הרשאת גישה לקטגוריה באותו פרויקט. מידע נוסף זמין במאמר אינדקס התפקידים וההרשאות ב-IAM.

  • כדי לגשת לנתונים בקטגוריה של Cloud Storage בפרויקט אחר ( Google Cloud ), מריצים את הפקודה הבאה ב-CLI של gcloud כדי להקצות את התפקיד "צפייה באובייקטים באחסון" (roles/storage.objectViewer) לסוכן השירות של Vertex AI בפרויקטGoogle Cloud .

    gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \
--member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \
--role="roles/storage.objectViewer"

    מידע נוסף זמין במאמר הגדרה וניהול של מדיניות IAM בקטגוריות.

כדי ליצור הטמעות מולטי-מודאליות, בוחרים באחת מהסכימות הבאות.

יצירת הטמעות מולטי-מודאליות

כדי ליצור הטמעות טקסט לנקודת קצה של מודל multimodalembedding@001, מריצים את ההצהרה הבאה:

SELECT
  ai.text_embedding(
    model_id => 'multimodalembedding@001',
    content => 'TEXT');

מחליפים את TEXT בטקסט שרוצים ליצור לו הטמעה.

כדי ליצור הטמעות של תמונות לנקודת קצה רשומה של מודל multimodalembedding@001 שבה סוג ה-MIME של התמונה הוא ברירת המחדל image/jpeg, מריצים את ההצהרה הבאה:

SELECT
  ai.image_embedding(
    model_id => 'multimodalembedding@001',
    image => 'IMAGE_PATH_OR_TEXT',
    mimetype => 'MIMETYPE');

מחליפים את מה שכתוב בשדות הבאים:

  • ‫IMAGE_PATH_OR_TEXT עם ה-URI של Cloud Storage של התמונה, לדוגמה gs://my-bucket/embeddings/flowers.jpeg, או מחרוזת base64 של התמונה.

  • ‫MIMETYPE עם סוג ה-MIME של התמונה, לדוגמה, image/jpeg. הרשימה המלאה של סוגי ה-MIME הנתמכים מופיעה בMultimodal embeddings API.

כדי ליצור הטמעות של סרטונים לנקודת קצה רשומה של מודל multimodalembedding@001, מריצים את ההצהרה הבאה:

SELECT
  ai.video_embedding(
    model_id => 'multimodalembedding@001',
    video => 'VIDEO_URI');

מחליפים את VIDEO_URI ב-URI של Cloud Storage של סרטון היעד, לדוגמה gs://my-bucket/embeddings/supermarket-video.mp4, או במחרוזת base64 של הסרטון. אלה מערכים דו-ממדיים שאפשר לגשת אליהם כמו תחביר my_array[0][5]. מידע נוסף זמין במאמר מערכים.

המאמרים הבאים