כדי לשפר את האבטחה של אפליקציות ה-AI, אפשר לשלב את Model Armor עם Apigee. אם משתמשים ב-Apigee כשער API לפני אפליקציות ה-AI, אפשר להשתמש ביכולות של Model Armor כדי לסרוק ולנקות את הקלט שנשלח לאפליקציה ואת התשובות שמתקבלות.
סקירה כללית
אתם יכולים לשלב מדיניות של Model Armor ב-API proxies של Apigee כדי לספק שליטה והגנה משופרות לאפליקציות ה-AI שלכם.
לדוגמה, אפשר להשתמש ב-Apigee כדי לאכוף מכסות ברמת האסימון, וכך להגביל את מספר האסימונים המקסימלי שמשתמש או אפליקציה יכולים לקבל ביום. כדי לשלוט בצורה מדויקת בשימוש בטוקנים, אפשר להשתמש בתגיות
LLMTokenQuota
ו-PromptTokenLimit. המדיניות הזו עוזרת לנהל את העלויות, למנוע שימוש לרעה ולייצב את התנועה על ידי מניעת עליות פתאומיות בצריכה.
מגבלות
כשמשלבים את הגנה מוגברת על המודל עם Apigee, חשוב לקחת בחשבון את המגבלות הבאות:
- זמינות אזורית: Model Armor לא זמין בכל האזורים. מוודאים ש-Apigee והגנה מוגברת על המודל מוגדרים באותו אזור. מיקומים של Model Armor
- Quota: נפח תנועה גבוה עשוי לדרוש הגדלה של המכסה של Model Armor. במאמר איך שולחים בקשה לשינוי המכסות מוסבר איך לבקש שינוי. אם אתם צריכים מכסה גדולה יותר מהמכסה שמוגדרת כברירת מחדל, אתם יכולים לפנות אל Cloud Customer Care. מידע על מכסות שקשורות לשילובים של הגנה מוגברת על המודל עם שירותים אחרים זמין במאמר בנושא ניהול מכסות.
- מגבלות על טוקנים: ל-הגנה מוגברת על המודל יש מגבלות על טוקנים לעיבוד הנחיות ותגובות, והן משתנות בהתאם למסנן. יכול להיות שתוכן שחורג מהמגבלות האלה לא ייסרק באופן מלא.
לפני שמתחילים
- מפעילים את Model Armor API בפרויקט.
- מוודאים שהחיוב מופעל בפרויקט Google Cloud .
- מוודאים שיש לכם סביבה מקיפה שזמינה במופע Apigee שלכם. אפשר לפרוס מדיניות של הגנה מוגברת על המודל רק בסביבות Comprehensive.
- מוודאים שיש לכם ארגון Apigee פעיל שהוקצה.
כדי ליצור כללי מדיניות של Model Armor ולהשתמש בהם ב-Apigee, אתם צריכים להיות בעלי תפקידים ספציפיים. למידע על התפקידים הנדרשים, ראו תפקידים ב-Apigee.
איך זה עובד
השילוב משתמש בשני כללי מדיניות עיקריים של Apigee:
-
SanitizeUserPrompt: מוסיפים את המדיניות הזו לזרימת הבקשות של proxy ל-API. הוא מיירט את כל הבקשות הנכנסות ושולח אותן לבדיקה ב-Model Armor לפני שהן מגיעות לאפליקציית ה-AI. מידע נוסף זמין במאמר בנושא מדיניותSanitizeUserPrompt. SanitizeModelResponse: מוסיפים את המדיניות הזו לזרימת התגובה. הוא מיירט את התגובה מאפליקציית ה-AI ושולח אותה ל-Model Armor לבדיקה לפני שהוא שולח את התגובה ללקוח. מידע נוסף זמין במאמר בנושא מדיניותSanitizeModelResponse.
הכלי Model Armor בודק את התוכן בהתאם לכללים שמוגדרים בתבנית Model Armor הפעילה שלכם. בהתאם לממצאים ולסוג האכיפה שהוגדר, Apigee מאפשרת, חוסמת או מצנזרת את הבקשה או התגובה. אם הבקשה או התשובה מצונזרות, צריך לחלץ את הנתונים המצונזרים באמצעות משתני זרימה ולהעביר אותם ל-LLM.
כדי להתחיל, משתמשים בתבנית ה-proxy המובנית Proxy with Model Armor במסוף Apigee. התבנית הזו מוסיפה באופן אוטומטי הגדרות אופציונליות של SanitizeUserPrompt ושל SanitizeModelResponse.
יצירת proxy ל-API של Apigee עם מדיניות של הגנה מוגברת על המודל
- יוצרים חשבון שירות כדי לפרוס את ה-proxy ל-API.
- יוצרים proxy ל-API ב-Apigee.
- עורכים את קובץ ה-XML של
SanitizeUserPromptושלSanitizeModelResponse. כדי שהגנה מוגברת על המודל יפעל, צריך לערוך את קובץ ה-XML של המדיניות הזו. - הוספת אימות Google ל-proxy ל-API.
- פורסים את proxy ל-API.
- בדיקת כללי המדיניות של Model Armor.
פרטים נוספים על הגדרה ושימוש זמינים במאמר תחילת העבודה עם מדיניות Apigee Model Armor.