בדף הזה מתואר תצוגה מקדימה שמאפשרת לכם להתנסות ברישום של נקודת קצה של מודל AI ובהפעלת חיזויים באמצעות ניהול נקודות קצה של מודלים. למידע על שימוש במודלים של AI בסביבות ייצור, אפשר לעיין במאמר Build generative AI applications using AlloyDB AI.
אחרי שמוסיפים את נקודות הקצה של המודל ורושמים אותן בניהול נקודות הקצה של המודל, אפשר להפנות אליהן באמצעות מזהה המודל כדי להפעיל תחזיות.
לפני שמתחילים
מוודאים שרשמתם את נקודת הקצה של המודל בניהול נקודות קצה של מודלים. מידע נוסף זמין במאמר רישום של נקודת קצה של מודל באמצעות ניהול נקודות קצה של מודלים
הפעלת חיזויים למודלים כלליים
משתמשים בפונקציית ה-SQL google_ml.predict_row() כדי לקרוא לנקודת קצה של מודל גנרי רשום ולהפעיל חיזויים. אפשר להשתמש בפונקציה google_ml.predict_row() עם כל סוג של מודל.
SELECT
google_ml.predict_row(
model_id => 'MODEL_ID',
request_body => 'REQUEST_BODY');
מחליפים את מה שכתוב בשדות הבאים:
-
MODEL_ID: מזהה המודל שהגדרתם כשרושמתם את נקודת הקצה של המודל. -
REQUEST_BODY: הפרמטרים של פונקציית החיזוי, בפורמט JSON.
דוגמאות
בקטע הזה מפורטות כמה דוגמאות להפעלת תחזיות באמצעות נקודות קצה של מודלים רשומים.
כדי ליצור תחזיות לנקודת קצה של מודל gemini-pro רשום, מריצים את ההצהרה הבאה:
SELECT
json_array_elements(
google_ml.predict_row(
model_id => 'gemini-pro',
request_body => '{
"contents": [
{
"role": "user",
"parts": [
{
"text": "For TPCH database schema as mentioned here https://www.tpc.org/TPC_Documents_Current_Versions/pdf/TPC-H_v3.0.1.pdf , generate a SQL query to find all supplier names which are located in the India nation."
}
]
}
]
}'))-> 'candidates' -> 0 -> 'content' -> 'parts' -> 0 -> 'text';
כדי ליצור תחזיות לנקודת קצה של מודל facebook/bart-large-mnli רשום ב-Hugging Face, מריצים את ההצהרה הבאה:
SELECT
google_ml.predict_row(
model_id => 'facebook/bart-large-mnli',
request_body =>
'{
"inputs": "Hi, I recently bought a device from your company but it is not working as advertised and I would like to get reimbursed!",
"parameters": {"candidate_labels": ["refund", "legal", "faq"]}
}'
);