לפני שרושמים נקודת קצה של מודל AI ומפעילים חיזויים, כדאי לקרוא על מושגים מרכזיים בנושא רישום נקודות קצה של מודלים של AI והפעלת חיזויים באמצעות ניהול נקודות קצה של מודלים. במסמך הזה מפורטת סקירה כללית על ניהול נקודות קצה של מודלים, תרחישים לדוגמה ומושגים כמו סכימות, סוגים וספקי מודלים, אימות וסוגים שונים של פונקציות.
כדי לרשום נקודות קצה של מודלים מרוחקים ב-AlloyDB Omni, אפשר לעיין במאמר בנושא רישום של מודלי AI מרוחקים והפעלתם ב-AlloyDB Omni.
סקירה כללית
ניהול נקודות קצה של מודלים הוא תכונה של AlloyDB AI שכוללת פונקציות ואופרטורים שעוזרים לרשום ולנהל מטא-נתונים של מודלים של AI. אתם יכולים לרשום נקודת קצה של מודל, לנהל את המטא-נתונים של נקודת הקצה של המודל באשכול מסד הנתונים ולבצע קריאות לנקודות הקצה של המודל המרוחק באמצעות שאילתות SQL.
ניהול נקודות קצה של מודלים מספק את התוסף google_ml_integration שכולל פונקציות שמאפשרות לרשום את המטא-נתונים שקשורים למודלים של AI ב-AlloyDB. המטא-נתונים הרשומים האלה משמשים ליצירת הטמעות וקטוריות או להפעלת תחזיות.
פונקציות ה-AI כוללות חבילה של פונקציות שמבוססות על ניהול נקודות קצה של מודלים (גרסת Preview), ומוסיפות תמיכה באופרטורים של AI שמאפשרים לשלב ביטויים בשפה טבעית עם שאילתות SQL, כמו ai.if() לסינון ולצירוף, ai.rank() לסידור ו-ai.generate() ליצירת סיכומים של הנתונים. בנוסף, נוסף תמיכה במודלים רב-אופניים ובמודלים לדירוג של Vertex AI.
אלה כמה דוגמאות לסוגי מודלים שאפשר לרשום באמצעות ניהול נקודות קצה של מודלים:
- מודלים גנריים והטמעת טקסט ב-Vertex AI
- מודל מולטימודאלי של Vertex AI (גרסת Preview)
- מודלים לדירוג ב-Vertex AI (גרסת Preview)
- הטמעה של מודלים שסופקו על ידי ספקי צד שלישי, כמו Hugging Face או OpenAI
- מודלים להטמעת טקסט באירוח בהתאמה אישית, כולל מודלים באירוח עצמי או מודלים שזמינים דרך נקודות קצה פרטיות
- מודלים גנריים עם API מבוסס-JSON – לדוגמה, מודל
facebook/bart-large-mnliשמתארח ב-Hugging Face, מודלgemini-proמ-Vertex AI Model Garden או מודליםclaudeשל Anthropic
תרחישים לדוגמה
אתם יכולים להתקשר לנקודות הקצה של המודל הרשום כדי ליצור הטמעות או תחזיות על סמך אינטראקציה עם נתונים קיימים במסד הנתונים. הנה כמה תרחישי שימוש באפליקציות:
- הסקת מסקנות בזמן אמת עם יישום של טרנזקציות: מספקת המלצות בזמן אמת על סמך היסטוריית הגלישה הנוכחית של המשתמש והתוכן בעגלת הקניות.
- זיהוי סנטימנט ויצירת סיכומים: יצירת סיכומים או זיהוי הסנטימנט העיקרי בכל ביקורת במסד נתונים של ביקורות לקוחות.
- מערכות חכמות לחיפוש ולאחזור מידע: יצירת מערכות חיפוש למסד נתונים של בסיס ידע פנימי, וביצוע שאילתות באמצעות אופרטורים של SQL מבוססי-AI במקום מילות מפתח.
- חוויות משתמש בהתאמה אישית: אפשר לבצע אופטימיזציה של פלטפורמת תוכן כדי להתאים באופן דינמי את התוכן שמוצג לכל משתמש על סמך האינטראקציות הקודמות שלו.
מידע נוסף על תרחישי שימוש ב-AlloyDB AI זמין במאמר תרחישי שימוש ב-AlloyDB AI.
איך זה עובד
אתם יכולים להשתמש בניהול נקודות קצה של מודלים כדי לרשום נקודת קצה של מודל שעומדת בדרישות הבאות:
- הקלט והפלט של המודל תומכים בפורמט JSON.
- אפשר לקרוא למודל באמצעות פרוטוקול REST.
כשרושמים נקודת קצה של מודל באמצעות ניהול נקודות קצה של מודלים, כל נקודת קצה נרשמת עם מזהה מודל ייחודי שסיפקתם כהפניה למודל.
אפשר להשתמש במזהה של נקודת הקצה של המודל כדי לשלוח שאילתות למודלים ולבצע את הפעולות הבאות:
ליצור הטבעות כדי לתרגם הנחיות טקסט לווקטורים מספריים. אפשר לאחסן הטמעות שנוצרו כנתונים וקטוריים כשהתוסף
vectorמופעל במסד הנתונים. מידע נוסף זמין במאמר שליחת שאילתות והוספת הטמעות לאינדקס באמצעות pgvector.ליצור הטמעות מולטי-מודאליות כדי לתרגם הטמעות של נתונים מולטי-מודאליים כמו טקסט, תמונות וסרטונים. (תצוגה מקדימה)
לדרג או לתת ציון לרשימת פריטים בשאילתה על סמך קריטריון שצוין באמצעות שפה טבעית. (תצוגה מקדימה)
הפעלת חיזויים באמצעות SQL.
מושגים מרכזיים
לפני שמתחילים להשתמש בניהול נקודות קצה של מודלים, חשוב להבין את המושגים שנדרשים כדי להתחבר למודלים ולהשתמש בהם.
סכימות
האפליקציות שלכם יכולות לגשת לניהול נקודות קצה של מודלים באמצעות התוסף google_ml_integration. התוסף google_ml_integration כולל פונקציות בסכימה public, בסכימה google_ml ובסכימה ai. כל הפונקציות כלולות בסכימה google_ml, וחלק מהפונקציות זמינות בסכימות public ו-ai.
מידע נוסף על סכימות זמין במאמר בנושא סכימות.
ספק המודל
Model provider (ספק המודל) מציין את ספקי אירוח המודלים הנתמכים. הגדרת ספק המודל היא אופציונלית, אבל היא עוזרת לנהל את נקודות הקצה של המודל על ידי זיהוי הספק ועיצוב אוטומטי של הכותרות עבור מודלים נתמכים.
מידע נוסף על ספק מודלים זמין במאמר ספק מודלים.
סוג המודל
סוג המודל מציין את סוג מודל ה-AI. התוסף תומך בהטמעת טקסט וגם בכל סוג של מודל גנרי. סוגי המודלים הנתמכים שאפשר להגדיר כשרושמים נקודת קצה של מודל הם text-embedding ו-generic.
הגדרת סוג המודל היא אופציונלית כשרושמים נקודות קצה של מודלים גנריים, כי generic הוא סוג המודל שמוגדר כברירת מחדל.
מידע נוסף על סוג המודל זמין במאמר סוג המודל.
אימות
סוגי אימות מציינים את סוג האימות שבו אפשר להשתמש כדי להתחבר לניהול נקודות הקצה של המודל באמצעות התוסף google_ml_integration. הגדרת אימות היא אופציונלית ונדרשת רק אם אתם צריכים לעבור אימות כדי לגשת למודל.
פונקציות חיזוי
פונקציות חיזוי הן פונקציות SQL שמאפשרות לכם ליצור אינטראקציה עם מודלים של AI מתוך מסד הנתונים של AlloyDB. הפונקציות האלה מאפשרות להשתמש בשאילתות SQL סטנדרטיות כדי לשלוח נתונים לנקודת קצה של מודל וליצור הטמעות או תחזיות.
מידע נוסף על פונקציות חיזוי זמין במאמר פונקציות חיזוי.
פונקציות של מפעילים
התוסף google_ml_integration כולל את פונקציות האופרטור הבאות,
שמשתמשות ב-Gemini כברירת מחדל כדי לבצע שאילתות באמצעות אופרטורים של SQL מבוססי-AI.
מידע נוסף על פונקציות אופרטורים זמין במאמר בנושא פונקציות אופרטורים.
טרנספורמציה של פונקציות
פונקציות טרנספורמציה משנות את הקלט לפורמט שהמודל מבין, וממירות את התגובה של המודל לפורמט שפונקציית החיזוי מצפה לו. פונקציות הטרנספורמציה משמשות כשרושמים את נקודת הקצה של מודל text-embedding ללא תמיכה מובנית. החתימה של פונקציות הטרנספורמציה תלויה בקלט שהמודל מצפה לו.
מידע נוסף על פונקציות טרנספורמציה זמין במאמר פונקציות טרנספורמציה.
פונקציה ליצירת כותרת HTTP
פונקציית יצירת כותרות ה-HTTP יוצרת את הפלט בצמדי מפתח-ערך בפורמט JSON שמשמשים ככותרות HTTP. החתימה של פונקציית החיזוי מגדירה את החתימות של פונקציית יצירת הכותרת.
מידע נוסף על פונקציית יצירת כותרות HTTP זמין במאמר פונקציית יצירת כותרות HTTP.
המאמרים הבאים
- הגדרת אימות לספקי מודלים.
- רישום של נקודת קצה של מודל באמצעות ניהול נקודות קצה של מודלים
- מידע נוסף על ניהול נקודות קצה של מודלים