Model Armor משתלב עם שירותים כדי לאבטח אינטראקציות עם AI ומודלים גדולים של שפה (LLM). Google Cloud Model Armor מזהה ומדווח על הפרות מדיניות פוטנציאליות, ויכול לחסום באופן פעיל פעולות על סמך הערכות אבטחה.
אמצעי תקשורת נתמכים
בשילובים של Model Armor עם שירותים אחרים של Google Cloud , Model Armor סורק ומנתח רק קלט ופלט מבוססי-טקסט אל וממודלים גדולים של שפה, סוכנים ושרתי Google Cloud MCP. לא מתבצע סריקה של אמצעי תקשורת אחרים, למעט מסמכים בשילוב של Gemini Enterprise. פרטים על סוגי המסמכים הנתמכים מופיעים במאמר בנושא בדיקת מסמכים.
שירותים נתמכים
בקטע הזה מתוארים Google Cloud השירותים שאפשר לשלב עם Model Armor.
Agent Gateway
שילוב של הגנה מוגברת על המודל עם Agent Gateway כדי לאכוף מדיניות אבטחה על התנועה שזורמת אל כל הסוכנים הכפופים לשער וממנה. השילוב הזה מאפשר בדיקה וחסימה של תוכן זדוני או תוכן שלא עומד בדרישות המדיניות. השילוב הזה נועד לשפר את האבטחה של תהליך העבודה ואת ההקפדה על הנחיות הבטיחות של הארגון, בלי שיהיה צורך לבצע שינויים בקוד אפליקציה. ההגנה הזו חלה על פרוטוקולים נתמכים בנתיבי כניסה (אל הסוכן) ויציאה (מהסוכן). מידע נוסף זמין במאמר שילוב עם Agent Gateway.
Apigee
השילוב של Model Armor ו-Apigee מאפשר לכם להשתמש ביכולות ההגנה מבוססות ה-AI של Model Armor ישירות בשכבת שער ה-API של Apigee. אתם מגדירים מדיניות ספציפית של Model Armor בשרתי ה-API proxy של Apigee. כשמתבצעת קריאה ל-API דרך שרת proxy של Apigee שמוגדרות בו המדיניות האלה, Apigee שולח את ההנחיות והתשובות לשירות הגנה מוגברת על המודל לבדיקה. מידע נוסף זמין במאמר שילוב עם Apigee.
Gemini Enterprise
אפשר לשלב את Model Armor ישירות עם Gemini Enterprise באמצעות תבניות. Gemini Enterprise מעביר את האינטראקציות בין המשתמשים לסוכנים ואת מודלי ה-LLM הבסיסיים דרך Model Armor. המשמעות היא שהנחיות ממשתמשים או מסוכנים והתשובות שנוצרות על ידי מודלי ה-LLM נבדקות על ידי Model Armor לפני שהן מוצגות למשתמש. מידע נוסף זמין במאמר שילוב עם Gemini Enterprise.
בנוסף למודאליות שמפורטות במאמר בנושא מודאליות נתמכות, השילוב של הגנה מוגברת על המודל עם Gemini Enterprise תומך גם במסמכים. עם זאת, תמונות שמוטמעות במסמכים לא נסרקות.
Google ושרתי Google Cloud MCP
אפשר להגדיר את הגנה מוגברת על המודל כדי להגן על הנתונים שלכם ולאבטח את התוכן כששולחים בקשות ל Google Cloud שירותים שחושפים כלים ושרתים של Model Context Protocol (MCP). הגנה מוגברת על המודל עוזרת לאבטח אפליקציות AI אקטיבי על ידי ניקוי של קריאות לכלים ותשובות של MCP באמצעות הגדרות אבטחה מינימליות. התהליך הזה מצמצם סיכונים כמו החדרת הנחיות וגילוי של נתונים רגישים. מידע נוסף זמין במאמר שילוב עם שרתי Google ו- Google Cloud MCP.
Service Extensions
אפשר לשלב את Model Armor עם Google Cloud שירותי רשת באמצעות תוספים לשירותים. בעזרת Service Extensions תוכלו לשלב שירותים או שירותים בניהול המשתמשים כדי לעבד תעבורה. Google Cloud אתם יכולים להגדיר תוסף שירות במאזני עומסים של אפליקציות כדי לסנן את התנועה ברשת עבור אינטראקציות שונות עם AI, כמו סוכנים ושרתי MCP. אפשר גם להשתמש בתוספי שירות עם שערים של GKE להסקת מסקנות כדי לסנן תנועה אל אשכול GKE וממנו. כך תוכלו לוודא שכל האינטראקציות עם ה-AI שעוברות דרך איזון העומסים מוגנות על ידי Model Armor. למידע נוסף, קראו את המאמר בנושא שילוב עם שירותי רשת Google Cloud .
פלטפורמת הסוכנים של Gemini Enterprise
אפשר לשלב את Model Armor ישירות ב-Gemini Enterprise Agent Platform באמצעות הגדרות בסיסיות או תבניות.
השילוב הזה בודק את הבקשות והתשובות של מודל Gemini וחוסם את אלה שמפירים את הגדרות אבטחה מינימליות. האינטגרציה הזו מספקת הגנה על הנחיות ותשובות ב-Gemini API ב-Vertex AI עבור השיטה generateContent. כדי לקבל תובנות לגבי תוצאות הסרת הפרטים המזהים מההנחיות ומהתשובות, צריך להפעיל את Cloud Logging. מידע נוסף על שילוב עם Gemini Enterprise Agent Platform
לפני שמתחילים
הפעלת ממשקי ה-API
כדי להשתמש בהגנה מוגברת על המודל, צריך להפעיל את Model Armor API.
המסוף
מפעילים את הגנה מוגברת על המודל API.
תפקידים שנדרשים להפעלת ממשקי API
כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (
roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאהserviceusage.services.enable. איך מקצים תפקידיםבוחרים את הפרויקט שבו רוצים להפעיל את הגנה מוגברת על המודל.
gcloud
לפני שמתחילים, צריך לבצע את השלבים הבאים באמצעות Google Cloud CLI עם Model Armor API:
במסוף Google Cloud , מפעילים את Cloud Shell.
בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
הגדרת שינוי מברירת המחדל של נקודת קצה ל-API באמצעות ה-CLI של gcloud
הגדרת שינוי מברירת המחדל של נקודת קצה ל-API באמצעות ה-CLI של gcloud
השלב הזה נדרש רק אם משתמשים ב-CLI של gcloud כדי להפעיל את Model Armor API. כדי לוודא שה-CLI של gcloud מנתב את הבקשות לשירות Model Armor בצורה נכונה, צריך להגדיר ידנית את החלפת נקודת הקצה של ה-API.
מריצים את הפקודה הבאה כדי להגדיר את נקודת קצה ל-API לשירות הגנה מוגברת על המודל.
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
מחליפים את LOCATION באזור שבו רוצים להשתמש בהגנה מוגברת על המודל.
ניהול מכסות
ב-Model Armor פועלת מערכת מכסות כדי להבטיח שימוש הוגן ולהגן על יציבות המערכת. מכסת ברירת המחדל של Model Armor API היא 1,200 שאילתות לדקה לכל פרויקט. אפשר להחיל ערך של 0 עד 1,200 QPM לכל פרויקט. במאמר איך שולחים בקשה לשינוי המכסות מוסבר איך לבקש שינוי. אם אתם צריכים מכסה גבוה יותר מהמכסה שמוגדרת כברירת מחדל, פנו אל Cloud Customer Care.
כשמשלבים את הגנה מוגברת על המודל עם שירותים אחרים, חשוב לקחת בחשבון את המכסה. המכסה העיקרית שאתם עובדים איתה היא מספר בקשות ה-API לדקה לכל פרויקט.
כשמשלבים את Model Armor עם שירותים אחרים, כדאי לקחת בחשבון את סוגי המכסות הבאים.
- מכסת ברירת המחדל של הגנה מוגברת על המודל: כששירות שולח קריאה ל-API של הגנה מוגברת על המודל לצורך ניתוח (לדוגמה, בדיקת הנחיות או תשובות), הקריאה הזו מנצלת את המכסה של ה-API של הגנה מוגברת על המודל בפרויקט.
- מכסת שילוב שירותים: המכסה של הגנה מוגברת על המודל נפרדת מכל מכסה שמשויכת לשירותים המשולבים. צריך לוודא שיש מכסה מספקת לכל השירותים בנתיב הבקשה. כל קריאה ל-Model Armor API כדי לבצע סניטציה של תוכן באפליקציה שלכם נספרת במסגרת מגבלות המכסה של Model Armor API.
זיהוי מצבים שבהם חרגתם מהמכסה
הגעתם למכסות של Model Armor אם ביומני האפליקציה מופיעות שגיאות מ-Model Armor, בדרך כלל שגיאות HTTP 429 RESOURCE_EXHAUSTED, שמציינות שיש יותר מדי בקשות.
הערכת המכסות הנדרשות
כדי לקבוע איזו מכסת הגנה מוגברת על המודל לבקש:
- הערכה של מספר הבקשות המקסימלי לדקה שהשירותים ישלחו ל-Model Armor.
- כדאי לחשוב כמה פעמים מתבצעת קריאה ל-הגנה מוגברת על המודל בכל אינטראקציית משתמש עם השירות (לדוגמה, פעם אחת להנחיה ופעם אחת לתגובה).
- צריך לקחת בחשבון את המספר המקסימלי של משתמשים או סשנים בו-זמנית.
- כדאי לבקש מכסה עם מרווח ביטחון סביר (לדוגמה, 20-30% מעל השיא הצפוי) כדי להתמודד עם עליות פתאומיות לא צפויות.
- מומלץ להתחיל עם האומדן הטוב ביותר, לעקוב מקרוב אחרי השימוש אחרי ההשקה ולבקש שינויים נוספים לפי הצורך.
לדוגמה, אם אתם מצפים ל-500 משתמשים בדקה, וכל אינטראקציה של משתמש קוראת ל-Model Armor פעמיים (הנחיה ותגובה), אתם צריכים לפחות 1,000 QPM. כדאי להוסיף לחישוב גם מקדם ביטחון, ולכן כדאי להתחיל עם בקשה של 1,200 עד 1,300 שאילתות לדקה.
לתשומת ליבכם
כשמשלבים עם שירותים אחרים, חשוב לשים לב לדברים הבאים:
- חשוב לעקוב אחרי המכסות של שירותים אחרים ולנהל אותן. אם תגיעו למכסה של שירותים אחרים, זה ישפיע על האפליקציה שלכם, גם אם יש לכם מכסה מספיקה של הגנה מוגברת על המודל.
- כדי לטפל בבעיות זמניות במכסה או בשגיאות אחרות שאפשר לנסות שוב, צריך להטמיע ניסיונות חוזרים בצד הלקוח עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff) בהגדרת האפליקציה. מידע נוסף זמין במאמר בנושא אסטרטגיית ניסיון חוזר.
סוגי האכיפה
כשמשלבים את הגנה מוגברת על המודל עם שירותים אחרים, חשוב להגדיר את סוג האכיפה. ההגדרה הזו קובעת איך Model Armor יפעל אם הוא יזהה הפרה פוטנציאלית של המדיניות בנתונים שהוא בודק, כמו הנחיות או תשובות של LLM. סוג האכיפה קובע אם הגנה מוגברת על המודל רק מדווח על הפרות או מתערב באופן פעיל. מידע נוסף זמין במאמר בנושא הגדרת סוג האכיפה.
שילוב באמצעות API בארכיטקטורת REST
כשמשתמשים ב-API בארכיטקטורת REST לשילוב, הגנה מוגברת על המודל פועל רק ככלי לזיהוי באמצעות תבניות. הוא מזהה הפרות מדיניות פוטנציאליות ומדווח עליהן על סמך תבניות מוגדרות מראש, במקום למנוע אותן באופן פעיל. כשמשלבים את Model Armor API, האפליקציה יכולה להשתמש בפלט מ-Model Armor כדי לחסום או לאפשר פעולות על סמך תוצאות הערכת האבטחה שסופקו. ה-API של Model Armor מחזיר מידע על איומים פוטנציאליים או הפרות מדיניות שקשורים לתנועת ה-API, במיוחד במקרה של אינטראקציות עם AI. האפליקציה שלכם יכולה לקרוא ל-API של הגנה מוגברת על המודל ולהשתמש במידע שמתקבל בתשובה כדי לקבל החלטה ולבצע פעולה על סמך הלוגיקה המותאמת אישית שהגדרתם מראש.
אפשרויות כשמשלבים את הגנה מוגברת על המודל
Model Armor מציע את אפשרויות השילוב הבאות. כל אפשרות כוללת תכונות ויכולות שונות.
| אפשרות שילוב | הגדרת זיהויים | בדיקה בלבד | בדיקה וחסימה | כיסוי |
|---|---|---|---|---|
| Agent Gateway (תצוגה מקדימה) | שימוש רק בתבניות | כן | כן | כל המודלים וכל העננים |
| Apigee | שימוש רק בתבניות | כן | כן | כל המודלים וכל העננים2 |
| Gemini Enterprise | שימוש רק בתבניות | כן | כן | כל המודלים וכל העננים2 |
| שרתי Google ושרתי Google Cloud MCP | שימוש רק בהגדרות אבטחה מינימליות | כן | כן | Google ושרתי Google Cloud MCP |
| Service Extensions | שימוש רק בתבניות | כן | כן | מודלים בפורמט OpenAI1, סוכנים ושרתי MCP בכל העננים2 |
| Gemini Enterprise Agent Platform | שימוש גם בהגדרות אבטחה מינימליות וגם בתבניות | כן | כן | מודלים של Gemini (ללא סטרימינג) |
1כמה מודלים פופולריים – כולל Anthropic Claude, Mistral AI ו-Grok – תומכים במפרטים של OpenAI. בדרך כלל פורסים את המודלים האלה באמצעות מנועי הסקה כמו vLLM, שמספקים את שכבת ה-API הדרושה שתואמת ל-OpenAI. vLLM תומך במגוון רחב של מודלים, כולל סדרת Meta Llama, DeepSeek, Mistral ו-Mixtral ו-Gemma.
2כולל עננים ציבוריים אחרים כמו AWS ו-Azure.
באמצעות אפשרות השילוב של Gemini Enterprise Agent Platform, הגנה מוגברת על המודל מספק אכיפה מוטמעת באמצעות הגדרות אבטחה מינימליות או תבניות. המשמעות היא ש-Model Armor אוכף את המדיניות באופן פעיל על ידי התערבות ישירה בתהליך, בלי לדרוש שינויים בקוד של האפליקציה.
השילובים של Service Extensions ו-Gemini Enterprise משתמשים רק בתבניות לאכיפת מדיניות מוטמעת. המשמעות היא ש-Model Armor יכול לאכוף מדיניות ישירות בלי שתצטרכו לשנות את קוד האפליקציה גם בתוך Service Extensions וגם במהלך אינטראקציות של משתמשים או סוכנים בתוך מופעים של Gemini Enterprise.
השילוב של Model Armor ו-Gemini Enterprise מבצע סניטציה רק של ההנחיה הראשונית של המשתמש ושל התשובה הסופית של הסוכן או המודל. השילוב הזה לא כולל שלבים ביניים שמתרחשים בין ההנחיה הראשונית של המשתמש לבין יצירת התשובה הסופית.
הגנה מוגברת על המודל ב-Security Command Center
Model Armor בודק הנחיות ותשובות של LLM כדי לזהות איומים שונים, כולל הזרקת הנחיות, ניסיונות פריצה, כתובות URL זדוניות ותוכן מזיק. כש-Model Armor מזהה הפרה של הגדרת רמת בטיחות שהוגדרה, הוא חוסם את ההנחיה או את התשובה ושולח ממצא ל-Security Command Center. מידע נוסף זמין במאמר בנושא ממצאים של הגנה מוגברת על המודל.