ככל שהשימוש באפליקציות מבוססות-AI גדל ונתקלים בנפחי תנועה גבוהים, חשוב לתכנן את האפליקציות כך שיהיו עמידות ויספקו ביצועים טובים. בקטע הזה מפורטות שיטות מומלצות לשימוש יעיל ב-Model Armor בסביבות תובעניות.
מכסות ומגבלות מערכת
מודל Armor כולל מכסות ומגבלות מערכת כדי להבטיח שימוש הוגן ויציבות המערכת.
- בקשה להגדלת המכסות: אם אתם צופים תעבורת נתונים גבוהה יותר, פנו אל Cloud Customer Care כדי לבקש התאמה של מכסת הגנה מוגברת על המודל API.
- הבנת מגבלות המערכת: צריך לתכנן את האפליקציה כך שתתמודד עם המגבלות האלה בצורה חלקה, למשל על ידי חלוקת קלט גדול יותר לחלקים קטנים יותר, אם יש צורך בכך. ערכים ספציפיים מופיעים במאמר מכסות ומגבלות.
תכנון להתמודדות עם נפח תנועה גבוה ועמידות
- ניסיונות חוזרים בצד הלקוח עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff): צריך להטמיע טיפול חזק בשגיאות בלקוחות. בשגיאות שמאפשרות ניסיון חוזר, למשל מגבלות קצב או שגיאות שרת, כדאי להשתמש באסטרטגיית השהיה מעריכית לפני ניסיון חוזר (exponential backoff). כך נמנע עומס על השירות בזמן בעיות זמניות. מידע נוסף זמין במאמר בנושא אסטרטגיית ניסיון חוזר.
- אסטרטגיות שמירה במטמון: אם רלוונטי, שמרו במטמון את התגובות של הגנה מוגברת על המודל להנחיות זהות, במיוחד לאינטראקציות נפוצות או פחות רגישות. חשוב לשים לב לעדכניות הנתונים ולהשלכות האבטחה כשמבצעים שמירה במטמון.
- עיבוד אסינכרוני: לעומסי עבודה לא אינטראקטיביים, כדאי לעבד בקשות באופן אסינכרוני. הוספת בקשות לתור ועיבוד שלהן בקצב שלא חורג ממגבלות ה-API, כדי למנוע עליות פתאומיות בתנועת הגולשים.
- הפחתה חיננית (graceful degradation): תכננו את האפליקציה כך שתדע לטפל במקרים שבהם הגנה מוגברת על המודל לא זמין או שיש שגיאות. כדאי להטמיע מנגנון חלופי או לעקוף זמנית בדיקות מסוימות תוך כדי תיעוד הכשל.
אופטימיזציה של הביצועים
- מצמצמים את גודל המטען הייעודי (payload): שולחים ל-Model Armor רק את הנתונים שנדרשים לניתוח. מומלץ להימנע מהנחיות או מקבצים גדולים מדי.
- אופטימיזציה של הגדרת התבנית: מגדירים את תבניות הגנה מוגברת על המודל כך שיכללו רק את המסננים וההגדרות שחיוניים לתרחיש השימוש. הפעלת גלאים מיותרים עלולה להגדיל את זמן האחזור.
- שומרים את האפליקציה, הנתונים והבקשות באותו אזור: כדי לצמצם את זמן האחזור ברשת, כדאי לפרוס את האפליקציה ולהשתמש בנקודות הקצה של הגנה מוגברת על המודל באותו אזור. מידע נוסף זמין במאמר בנושא מיקומי Model Armor.
מעקב והתראות
- הגדרת התראות: מגדירים התראות ב-Cloud Monitoring כדי לקבל התראה כשמתקרבים למגבלות המכסה או כששיעורי השגיאות גבוהים ב-API של הגנה מוגברת על המודל.
- ניתוח יומנים: אפשר להשתמש ב-Cloud Logging כדי לנתח את דפוסי השימוש, השגיאות ומדדי הביצועים של הגנה מוגברת על המודל. ניתוח יומנים יכול לעזור לזהות צווארי בקבוק או תחומים שצריך לבצע בהם אופטימיזציה. מידע נוסף זמין במאמר בנושא סינון יומנים.