הטמעות מולטי-מודאליות ב-AlloyDB ל-PostgreSQL מאפשרות לייצג טקסט, תמונות וסרטונים במרחב וקטורי משותף, בשביל לבצע חיפוש סמנטי חוצה-מודלים ו-Retrieval-Augmented Generation (RAG). כדי ליצור הטמעות לטקסט, לתמונות או לקטעי וידאו ב-Cloud Storage, אתם יכולים להפעיל מ-SQL מודל מולטימודלי שנתמך ב-Gemini Enterprise Agent Platform, למשל המודל multimodalembedding@001. רשימת המודלים הזמינים
במאמר מהן הטמעות מוסבר על מושגים של AI גנרטיבי ועל הטמעת וקטורים ב-AlloyDB.
לפני שמתחילים
לפני שמשתמשים בהטמעות מולטי-מודאליות, צריך לבצע את הפעולות הבאות:
- מוודאים שהתוסף
google_ml_integrationמותקן. - מוודאים שהדגל
google_ml_integration.enable_model_supportמוגדר לערךon. - שילוב עם Agent Platform.
- גישה לנתונים ב-Cloud Storage כדי ליצור הטמעות מולטי-מודאליות.
איך משלבים את Agent Platform ומתקינים את התוסף
- להגדיר את הגישה של המשתמשים למודלים של Agent Platform.
- מוודאים שמותקנת הגרסה העדכנית של
google_ml_integration.כדי לבדוק את הגרסה המותקנת, מריצים את הפקודה הבאה:
SELECT extversion FROM pg_extension WHERE extname = 'google_ml_integration'; extversion ------------ 1.5.2 (1 row)
אם התוסף לא מותקן או שהגרסה המותקנת היא גרסה קודמת ל-1.5.2, צריך לעדכן את התוסף.
CREATE EXTENSION IF NOT EXISTS google_ml_integration; ALTER EXTENSION google_ml_integration UPDATE;
אם נתקלתם בבעיות בהרצת הפקודות הקודמות, או אם התוסף לא עודכן לגרסה 1.5.2 אחרי שהרצתם את הפקודות הקודמות, פנו אל Google Cloud התמיכה.
כדי להשתמש בפונקציונליות של מנוע השאילתות של AlloyDB AI, מגדירים את הדגל
google_ml_integration.enable_ai_query_engineלערךon.SQL
- הפעלת מנוע השאילתות מבוסס ה-AI לסשן הנוכחי.
SET google_ml_integration.enable_ai_query_engine = on;
- הפעלת תכונות במסד נתונים ספציפי בכל הסשנים.
ALTER DATABASE DATABASE_NAME SET google_ml_integration.enable_ai_query_engine = 'on';
- להפעיל את מנוע השאילתות מבוסס ה-AI למשתמש ספציפי בכל הסשנים ומסדי הנתונים.
ALTER ROLE postgres SET google_ml_integration.enable_ai_query_engine = 'on';
המסוף
כדי לשנות את הערך של הדגל
google_ml_integration.enable_ai_query_engine, פועלים לפי השלבים שמפורטים במאמר הגדרת דגלים לניהול מסד נתונים של מכונה.gcloud
כדי להשתמש ב-CLI של gcloud, אתם יכולים להתקין ולהפעיל את Google Cloud CLI או להשתמש ב-Cloud Shell.
אפשר לשנות את הערך של הדגל
google_ml_integration.enable_ai_query_engine. מידע נוסף זמין במאמר הגדרת דגלים לניהול מסד נתונים של מכונה.gcloud alloydb instances update INSTANCE_ID \ --database-flags google_ml_integration.enable_ai_query_engine=on \ --region=REGION_ID \ --cluster=CLUSTER_ID \ --project=PROJECT_ID
- הפעלת מנוע השאילתות מבוסס ה-AI לסשן הנוכחי.
גישה לנתונים ב-Cloud Storage כדי ליצור הטמעות מולטי-מודאליות
- כדי ליצור הטמעות מולטי-מודאליות, צריך להפנות לתוכן ב-Cloud Storage באמצעות URI של
gs://. - גישה לתוכן ב-Cloud Storage דרך סוכן השירות של Agent Platform בפרויקט הנוכחי. כברירת מחדל, לסוכן השירות של Agent Platform כבר יש הרשאת גישה לקטגוריה באותו פרויקט. מידע נוסף זמין באינדקס התפקידים וההרשאות של ניהול זהויות והרשאות גישה (IAM).
כדי לגשת לנתונים בקטגוריה של Cloud Storage בפרויקט אחר ב- Google Cloud , מריצים את הפקודה הבאה ב-CLI של gcloud כדי להקצות את התפקיד "צפייה באובייקטים באחסון" (
roles/storage.objectViewer) לסוכן השירות של Agent Platform בפרויקט AlloyDB.gcloud projects add-iam-policy-binding <ANOTHER_PROJECT_ID> \ --member="serviceAccount:service-<PROJECT_ID>@gcp-sa-aiplatform.iam.gserviceaccount.com" \ --role="roles/storage.objectViewer"מידע נוסף זמין במאמר הגדרה וניהול של מדיניות IAM בקטגוריות.
כדי ליצור הטמעות מולטי-מודאליות, בוחרים באחת מהסכימות הבאות.
יצירת הטמעות מולטי-מודאליות
כדי ליצור הטמעות טקסט לנקודת קצה של מודל multimodalembedding@001, מריצים את ההצהרה הבאה:
SELECT
ai.text_embedding(
model_id => 'multimodalembedding@001',
content => 'TEXT');
מחליפים את TEXT בטקסט שרוצים ליצור לו הטמעה.
כדי ליצור הטמעות של תמונות לנקודת קצה רשומה של מודל multimodalembedding@001 שבה סוג ה-MIME של התמונה הוא ברירת המחדל image/jpeg, מריצים את ההצהרה הבאה:
SELECT
ai.image_embedding(
model_id => 'multimodalembedding@001',
image => 'IMAGE_PATH_OR_TEXT',
mimetype => 'MIMETYPE');
מחליפים את מה שכתוב בשדות הבאים:
IMAGE_PATH_OR_TEXT: ה-URI של התמונה ב-Cloud Storage, לדוגמהgs://my-bucket/embeddings/flowers.jpeg, או מחרוזת base64 של התמונה.
MIMETYPE: סוג ה-MIME של התמונה, לדוגמהimage/jpeg. הרשימה המלאה של סוגי ה-MIME הנתמכים מופיעה בMultimodal embeddings API.
כדי ליצור הטמעות של סרטונים לנקודת קצה רשומה של מודל multimodalembedding@001, מריצים את ההצהרה הבאה:
SELECT
ai.video_embedding(
model_id => 'multimodalembedding@001',
video => 'VIDEO_URI');
מחליפים את VIDEO_URI ב-URI של Cloud Storage של סרטון היעד, לדוגמה gs://my-bucket/embeddings/supermarket-video.mp4, או במחרוזת base64 של הסרטון.
אלה מערכים דו-ממדיים שאפשר לגשת אליהם כמו תחביר my_array[0][5].
מידע נוסף זמין במאמר מערכים.