לפני שרושמים נקודת קצה של מודל AI ומפעילים חיזויים, כדאי לקרוא על מושגי מפתח בנושא רישום נקודות קצה של מודלים של AI והפעלת חיזויים באמצעות ניהול נקודות קצה של מודלים. במסמך הזה מופיע סקירה כללית של ניהול נקודות קצה של מודלים, תרחישי שימוש ומושגים כמו סכימות, סוגים וספקים של מודלים, אימות וסוגים שונים של פונקציות.
כדי לרשום נקודות קצה של מודלים מרוחקים ב-AlloyDB Omni, אפשר לעיין במאמר בנושא רישום של מודלים מרוחקים של AI והפעלתם ב-AlloyDB Omni.
סקירה כללית
ניהול נקודות קצה של מודלים הוא תכונה של AlloyDB AI שכוללת פונקציות ואופרטורים שעוזרים לרשום ולנהל מטא-נתונים של מודלים של AI. אתם יכולים לרשום נקודת קצה של מודל, לנהל את המטא-נתונים של נקודת הקצה של המודל באשכול מסדי הנתונים ולבצע קריאות לנקודות הקצה של המודל המרוחק באמצעות שאילתות SQL.
התוסף google_ml_integration לניהול נקודות קצה של מודלים כולל פונקציות שמאפשרות לרשום ב-AlloyDB את המטא-נתונים שקשורים למודלים של AI. המטא-נתונים הרשומים האלה משמשים ליצירת הטמעות וקטוריות או להפעלת תחזיות.
פונקציות ה-AI כוללות חבילת פונקציות שמבוססות על ניהול נקודות קצה של מודלים (גרסת Preview), ומוסיפות תמיכה באופרטורים של AI שמאפשרים לשלב ביטויים בשפה טבעית עם שאילתות SQL, כמו ai.if() לסינון ולצירוף, ai.rank() לסידור ו-ai.generate() ליצירת סיכומים של הנתונים. בנוסף, הוא מוסיף תמיכה במודלים רב-אופניים ובמודלים לדירוג של Gemini Enterprise Agent Platform.
אלה כמה דוגמאות לסוגי מודלים שאפשר לרשום באמצעות ניהול נקודות קצה של מודלים:
- מודלים גנריים ומודלים להטמעת טקסט ב-Agent Platform
- מודל רב-אופני ב-Agent Platform
- מודלים לדירוג ב-Agent Platform (תצוגה מקדימה)
- הטמעה של מודלים שסופקו על ידי ספקי צד שלישי, כמו Hugging Face או OpenAI
- מודלים להטמעת טקסט באירוח בהתאמה אישית, כולל מודלים באירוח עצמי או מודלים שזמינים דרך נקודות קצה פרטיות
- מודלים גנריים עם API מבוסס-JSON – לדוגמה, מודל
facebook/bart-large-mnliשמתארח ב-Hugging Face, מודלgemini-proמ-Model Garden או מודליםclaudeשל Anthropic
תרחישים לדוגמה
אתם יכולים להתקשר לנקודות הקצה של המודל הרשום כדי לקיים אינטראקציה עם נתונים קיימים במסד הנתונים שלכם כדי ליצור הטמעות או תחזיות. הנה כמה תרחישי שימוש באפליקציות:
- הסקת מסקנות בזמן אמת עם יישום של טרנזקציות: מספקת המלצות בזמן אמת על סמך היסטוריית הגלישה הנוכחית של המשתמש והתוכן בעגלת הקניות.
- זיהוי סנטימנט ויצירת סיכומים: יצירת סיכומים או זיהוי הסנטימנט המרכזי בכל ביקורת במסד נתונים של ביקורות לקוחות.
- מערכות חכמות לחיפוש ולאחזור מידע: יצירת מערכות חיפוש למאגר ידע פנימי, וביצוע שאילתות באמצעות אופרטורים של SQL מבוססי-AI במקום מילות מפתח.
- חוויות משתמש בהתאמה אישית: אפשר לבצע אופטימיזציה של פלטפורמת תוכן כדי להתאים באופן דינמי את התוכן שמוצג לכל משתמש על סמך האינטראקציות הקודמות שלו.
מידע נוסף על תרחישי שימוש ב-AlloyDB AI זמין במאמר תרחישי שימוש ב-AlloyDB AI.
איך זה עובד
אתם יכולים להשתמש בניהול נקודות קצה של מודלים כדי לרשום נקודת קצה של מודל שעומדת בדרישות הבאות:
- הקלט והפלט של המודל תומכים בפורמט JSON.
- אפשר לקרוא למודל באמצעות פרוטוקול REST.
כשרושמים נקודת קצה של מודל באמצעות ניהול נקודות קצה של מודלים, כל נקודת קצה נרשמת עם מזהה מודל ייחודי שסיפקתם כהפניה למודל.
אפשר להשתמש במזהה של נקודת הקצה של המודל כדי לשלוח שאילתות למודלים ולבצע את הפעולות הבאות:
ליצור הטמעות כדי לתרגם הנחיות טקסט לווקטורים מספריים. אפשר לאחסן הטמעות שנוצרו כנתונים וקטוריים כשהתוסף
vectorמופעל במסד הנתונים. מידע נוסף זמין במאמר שאילתות והטמעות של אינדקסים באמצעות pgvector.ליצור הטמעות מולטי-מודאליות כדי לתרגם נתונים מולטי-מודאליים כמו טקסט, תמונות וסרטונים להטמעות. (תצוגה מקדימה)
לדרג או לתת ציון לרשימת פריטים בשאילתה על סמך קריטריון שצוין בשפה טבעית. (גרסת Preview)
הפעלת חיזויים באמצעות SQL.
מושגים מרכזיים
לפני שמתחילים להשתמש בניהול נקודות קצה של מודלים, חשוב להבין את המושגים שנדרשים כדי להתחבר למודלים ולהשתמש בהם.
סכימות
האפליקציות שלכם יכולות לגשת לניהול נקודות קצה של מודלים באמצעות התוסף google_ml_integration. התוסף google_ml_integration כולל פונקציות בסכימה public, בסכימה google_ml ובסכימה ai. כל הפונקציות כלולות בסכימה google_ml, וחלק מהפונקציות זמינות בסכימות public ו-ai.
מידע נוסף על סכימות זמין במאמר בנושא סכימות.
ספק המודל
ספק המודל מציין את ספקי אירוח המודלים הנתמכים. הגדרת ספק המודל היא אופציונלית, אבל היא עוזרת בניהול נקודות הקצה של המודלים על ידי זיהוי הספק ועיצוב אוטומטי של הכותרות עבור מודלים נתמכים.
מידע נוסף על ספק המודל זמין במאמר ספק המודל.
סוג המודל
סוג המודל מציין את סוג מודל ה-AI. התוסף תומך בהטמעת טקסט וגם בכל סוג של מודל גנרי. סוגי המודלים הנתמכים שאפשר להגדיר כשרושמים נקודת קצה של מודל הם text-embedding ו-generic.
הגדרת סוג המודל היא אופציונלית כשרושמים נקודות קצה של מודלים גנריים, כי generic הוא סוג המודל שמוגדר כברירת מחדל.
מידע נוסף על סוג המודל זמין במאמר סוג המודל.
אימות
סוגי אימות מציינים את סוג האימות שבו אפשר להשתמש כדי להתחבר לניהול נקודות הקצה של המודל באמצעות התוסף google_ml_integration. הגדרת אימות היא אופציונלית ונדרשת רק אם אתם צריכים לעבור אימות כדי לגשת למודל.
מידע נוסף על אימות זמין במאמר אימות.
פונקציות חיזוי
פונקציות חיזוי הן פונקציות SQL שמאפשרות לכם ליצור אינטראקציה עם מודלים של AI מתוך מסד הנתונים של AlloyDB. הפונקציות האלה מאפשרות להשתמש בשאילתות SQL סטנדרטי כדי לשלוח נתונים לנקודת קצה של מודל וליצור הטמעות או תחזיות.
מידע נוסף על פונקציות חיזוי זמין במאמר פונקציות חיזוי.
פונקציות של מפעילים
התוסף google_ml_integration כולל את פונקציות האופרטור הבאות, שמבוססות על Gemini כברירת מחדל כדי להריץ שאילתות באמצעות אופרטורים של SQL מבוססי-AI.
מידע נוסף על פונקציות אופרטורים זמין במאמר בנושא פונקציות אופרטורים.
טרנספורמציה של פונקציות
פונקציות טרנספורמציה משנות את הקלט לפורמט שהמודל מבין, וממירות את התגובה של המודל לפורמט שפונקציית החיזוי מצפה לו. פונקציות הטרנספורמציה משמשות כשרושמים את נקודת הקצה של מודל text-embedding ללא תמיכה מובנית. החתימה של פונקציות הטרנספורמציה תלויה בקלט שהמודל מצפה לו.
מידע נוסף על פונקציות טרנספורמציה זמין במאמר פונקציות טרנספורמציה.
פונקציה ליצירת כותרת HTTP
פונקציית יצירת כותרות ה-HTTP יוצרת את הפלט כזוגות של מפתח וערך ב-JSON, שמשמשים ככותרות HTTP. החתימה של פונקציית החיזוי מגדירה את החתימות של פונקציית יצירת הכותרות.
מידע נוסף על פונקציית יצירת כותרות HTTP זמין במאמר בנושא פונקציית יצירת כותרות HTTP.
המאמרים הבאים
- הגדרת אימות לספקי מודלים.
- רישום של נקודת קצה של מודל באמצעות ניהול נקודות קצה של מודלים
- מידע נוסף על ניהול נקודות קצה של מודלים