Model Armor משתלב עם שירותים כדי לאבטח אינטראקציות עם AI ומודלים גדולים של שפה (LLM). Google Cloud Model Armor מזהה ומדווח על הפרות מדיניות פוטנציאליות, ויכול לחסום באופן פעיל פעולות על סמך הערכות אבטחה.
אמצעי תקשורת נתמכים
בשילובים של Model Armor עם שירותים אחרים של Google Cloud , Model Armor סורק ומנתח רק קלט ופלט מבוססי-טקסט אל וממודלים גדולים של שפה, סוכנים ושרתי Google Cloud MCP. לא מתבצע סריקה של אמצעי תקשורת אחרים, למעט מסמכים בשילוב של Gemini Enterprise. פרטים על סוגי המסמכים הנתמכים מופיעים במאמר בנושא בדיקת מסמכים.
שירותים נתמכים
בקטע הזה מתוארים Google Cloud השירותים שאפשר לשלב עם Model Armor.
Agent Gateway
שילוב של הגנה מוגברת על המודל עם Agent Gateway כדי לאכוף מדיניות אבטחה על התנועה שזורמת אל כל הסוכנים הכפופים לשער וממנה. השילוב הזה מאפשר לבדוק ולחסום תוכן זדוני או תוכן שלא עומד בדרישות המדיניות, ישירות בתוך הדף. השילוב הזה נועד לשפר את האבטחה של תהליך העבודה ואת ההקפדה על הנחיות הבטיחות של הארגון, בלי שיהיה צורך לבצע שינויים בקוד אפליקציה. ההגנה הזו חלה על פרוטוקולים נתמכים בנתיבי כניסה (אל הסוכן) ויציאה (מהסוכן). מידע נוסף זמין במאמר שילוב עם Agent Gateway.
Apigee
השילוב של Model Armor ו-Apigee מאפשר לכם להשתמש ביכולות ההגנה מבוססות ה-AI של Model Armor ישירות בשכבת שער ה-API של Apigee. אתם מגדירים מדיניות ספציפית של Model Armor בשרתי proxy ל-API של Apigee. כשמתבצעת קריאה ל-API דרך שרת proxy של Apigee שמוגדרות בו המדיניות האלה, Apigee שולח את ההנחיות והתשובות לשירות הגנה מוגברת על המודל לבדיקה. מידע נוסף זמין במאמר שילוב עם Apigee.
Gemini Enterprise
אפשר לשלב את Model Armor ישירות עם Gemini Enterprise באמצעות תבניות. Gemini Enterprise מעביר את האינטראקציות בין המשתמשים לבין הסוכנים והמודלים הבסיסיים של LLM דרך Model Armor. המשמעות היא שהנחיות ממשתמשים או מסוכנים והתשובות שנוצרות על ידי מודלי ה-LLM נבדקות על ידי Model Armor לפני שהן מוצגות למשתמש. מידע נוסף זמין במאמר בנושא שילוב עם Gemini Enterprise.
בנוסף למודאליות שמפורטות בקטע מודאליות נתמכות, השילוב של Model Armor עם Gemini Enterprise תומך גם במסמכים. עם זאת, תמונות שמוטמעות במסמכים לא נסרקות.
Google ושרתי MCP Google Cloud
אפשר להגדיר את הגנה מוגברת על המודל כדי להגן על הנתונים שלכם ולאבטח את התוכן כששולחים בקשות ל Google Cloud שירותים שחושפים כלים ושרתים של Model Context Protocol (MCP). הגנה מוגברת על המודל עוזרת לאבטח אפליקציות AI אקטיבי על ידי ניקוי של קריאות לכלים ותשובות של MCP באמצעות הגדרות אבטחה מינימליות. התהליך הזה מצמצם סיכונים כמו החדרת הנחיות וגילוי של נתונים רגישים. מידע נוסף זמין במאמר שילוב עם שרתי Google ו- Google Cloud MCP.
Service Extensions
אפשר לשלב את Model Armor עם Google Cloud שירותי רשת באמצעות תוספים לשירותים. בעזרת Service Extensions אפשר לשלב Google Cloud שירותים או שירותים בניהול המשתמשים כדי לעבד תעבורה. אפשר להגדיר תוסף שירות במאזני עומסים של אפליקציות כדי לסנן את התנועה ברשת עבור אינטראקציות שונות עם AI, כמו סוכנים ושרתי MCP. אפשר גם להשתמש בתוספי שירות עם שערים של GKE להסקת מסקנות כדי לסנן תנועה אל אשכול GKE וממנו. כך תוכלו לוודא שכל האינטראקציות עם ה-AI שעוברות דרך מאזן העומסים מוגנות על ידי Model Armor. למידע נוסף, קראו את המאמר בנושא שילוב עם שירותי רשת Google Cloud .
פלטפורמת הסוכנים של Gemini Enterprise
אפשר לשלב את Model Armor ישירות ב-Gemini Enterprise Agent Platform באמצעות הגדרות בסיסיות או תבניות.
השילוב הזה בודק את הבקשות והתשובות של מודל Gemini וחוסם את אלה שמפירים את הגדרות אבטחה מינימליות. האינטגרציה הזו מספקת הגנה על הנחיות ותשובות ב-Gemini API ב-Vertex AI עבור השיטה generateContent. כדי לקבל תובנות לגבי תוצאות הסרת הפרטים המזהים מההנחיות ומהתשובות, צריך להפעיל את Cloud Logging. מידע נוסף על שילוב עם Gemini Enterprise Agent Platform
לפני שמתחילים
הפעלת ממשקי ה-API
כדי להשתמש בהגנה מוגברת על המודל, צריך להפעיל את Model Armor API.
המסוף
מפעילים את Model Armor API.
תפקידים שנדרשים להפעלת ממשקי API
כדי להפעיל ממשקי API, נדרשת ההרשאה
serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק 'שימוש בשירות'' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםבוחרים את הפרויקט שבו רוצים להפעיל את Model Armor.
gcloud
לפני שמתחילים, צריך לבצע את השלבים הבאים באמצעות Google Cloud CLI עם Model Armor API:
במסוף Google Cloud , מפעילים את Cloud Shell.
בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
הגדרת שינוי מברירת המחדל של נקודת קצה ל-API באמצעות ה-CLI של gcloud
הגדרת שינוי מברירת המחדל של נקודת קצה ל-API באמצעות ה-CLI של gcloud
השלב הזה נדרש רק אם משתמשים ב-CLI של gcloud כדי להפעיל את Model Armor API. כדי לוודא שה-CLI של gcloud מנתב את הבקשות לשירות Model Armor בצורה נכונה, צריך להגדיר ידנית את החלפת נקודת הקצה של ה-API.
מריצים את הפקודה הבאה כדי להגדיר את נקודת הקצה של ה-API לשירות Model Armor.
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
מחליפים את LOCATION באזור שבו רוצים להשתמש ב-Model Armor.
ניהול מכסות
ב-Model Armor נעשה שימוש במערכת מכסות כדי להבטיח שימוש הוגן ולהגן על יציבות המערכת. מכסת ברירת המחדל של Model Armor API היא 1,200 שאילתות לדקה לכל פרויקט. אפשר להחיל ערך של 0 עד 1,200 QPM לכל פרויקט. במאמר איך שולחים בקשה לשינוי המכסות מוסבר איך לבקש שינוי. אם אתם צריכים מכסה גבוה יותר מהמכסה שמוגדרת כברירת מחדל, פנו אל Cloud Customer Care.
כשמשלבים את הגנה מוגברת על המודל עם שירותים אחרים, חשוב לקחת בחשבון את המכסה. המכסה העיקרית שאתם עובדים איתה היא מספר בקשות ה-API לדקה לכל פרויקט.
כשמשלבים את Model Armor עם שירותים אחרים, כדאי לקחת בחשבון את סוגי המכסות הבאים.
- מכסת ברירת המחדל של Model Armor: כששירות שולח קריאה ל-Model Armor API לצורך ניתוח (לדוגמה, בדיקת הנחיות או תשובות), הקריאה הזו מנצלת את המכסה של Model Armor API בפרויקט.
- מכסת שילוב שירותים: המכסה של הגנה מוגברת על המודל נפרדת מכל מכסה שמשויכת לשירותים המשולבים. צריך לוודא שיש מכסה מספקת לכל השירותים בנתיב הבקשה. כל קריאה ל-Model Armor API כדי לבצע סניטציה של תוכן באפליקציה שלכם נספרת במסגרת מגבלות המכסה של Model Armor API.
זיהוי מצבים שבהם חרגתם מהמכסה
אם ביומני האפליקציה מופיעות שגיאות מ-Model Armor, בדרך כלל שגיאות HTTP 429 RESOURCE_EXHAUSTED, זה מצביע על כך שהגעתם למגבלות המכסה של Model Armor.
הערכת המכסות הנדרשות
כדי לקבוע איזו מכסת הגנה מוגברת על המודל לבקש:
- הערכה של מספר הבקשות המקסימלי לדקה שהשירותים ישלחו ל-Model Armor.
- כדאי לחשוב כמה פעמים מתבצעת קריאה ל-Model Armor בכל אינטראקציה של משתמש עם השירות (לדוגמה, פעם אחת להנחיה ופעם אחת לתגובה).
- צריך לקחת בחשבון את המספר המקסימלי של משתמשים או סשנים בו-זמנית.
- כדאי לבקש מכסה עם מרווח ביטחון סביר (לדוגמה, 20-30% מעל השיא הצפוי) כדי להתמודד עם עליות פתאומיות לא צפויות.
- מומלץ להתחיל עם האומדן הטוב ביותר, לעקוב מקרוב אחרי השימוש אחרי ההשקה ולבקש שינויים נוספים לפי הצורך.
לדוגמה, אם אתם מצפים ל-500 משתמשים בדקה, וכל אינטראקציה של משתמש קוראת ל-Model Armor פעמיים (הנחיה ותגובה), אתם צריכים לפחות 1,000 QPM. כדאי להוסיף מרווח ביטחון ולבקש 1,200-1,300 שאילתות לדקה.
לתשומת ליבכם
כשמשלבים עם שירותים אחרים, חשוב לשים לב לדברים הבאים:
- חשוב לעקוב אחרי המכסות של שירותים אחרים ולנהל אותן. אם תגיעו למכסה של שירותים אחרים, זה ישפיע על האפליקציה שלכם, גם אם יש לכם מכסה מספיקה של הגנה מוגברת על המודל.
- כדי לטפל בבעיות זמניות במכסה או בשגיאות אחרות שאפשר לנסות שוב, צריך להטמיע ניסיונות חוזרים בצד הלקוח עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff) בהגדרת האפליקציה. מידע נוסף זמין במאמר בנושא אסטרטגיית ניסיון חוזר.
סוגי האכיפה
כשמשלבים את הגנה מוגברת על המודל עם שירותים אחרים, חשוב להגדיר את סוג האכיפה. ההגדרה הזו קובעת איך Model Armor יפעל אם הוא יזהה הפרה פוטנציאלית של המדיניות בנתונים שהוא בודק, כמו הנחיות או תשובות של LLM. סוג האכיפה קובע אם הגנה מוגברת על המודל רק מדווח על הפרות או מתערב באופן פעיל. מידע נוסף זמין במאמר בנושא הגדרת סוג האכיפה.
שילוב באמצעות API בארכיטקטורת REST
כשמשתמשים ב-API בארכיטקטורת REST לשילוב, הגנה מוגברת על המודל פועל רק ככלי לזיהוי באמצעות תבניות. הוא מזהה הפרות מדיניות פוטנציאליות ומדווח עליהן על סמך תבניות מוגדרות מראש, במקום למנוע אותן באופן פעיל. כשמשלבים את Model Armor API, האפליקציה יכולה להשתמש בפלט מ-Model Armor כדי לחסום או לאפשר פעולות על סמך תוצאות הערכת האבטחה שסופקו. ה-API של Model Armor מחזיר מידע על איומים פוטנציאליים או הפרות מדיניות שקשורים לתנועת ה-API, במיוחד במקרה של אינטראקציות עם AI. האפליקציה יכולה לקרוא ל-API של הגנה מוגברת על המודל ולהשתמש במידע שמתקבל בתגובה כדי לקבל החלטה ולבצע פעולה על סמך הלוגיקה המותאמת אישית שהוגדרה מראש.
אפשרויות לשילוב של הגנה מוגברת על המודל
Model Armor מציע את אפשרויות השילוב הבאות. כל אפשרות כוללת תכונות ויכולות שונות.
| אפשרות שילוב | הגדרת זיהויים | בדיקה בלבד | בדיקה וחסימה | כיסוי |
|---|---|---|---|---|
| Agent Gateway (תצוגה מקדימה) | שימוש רק בתבניות | כן | כן | כל המודלים וכל העננים |
| Apigee | שימוש רק בתבניות | כן | כן | כל המודלים וכל העננים2 |
| Gemini Enterprise | שימוש רק בתבניות | כן | כן | כל המודלים וכל העננים2 |
| שרתי Google ושרתי Google Cloud MCP | שימוש רק בהגדרות אבטחה מינימליות | כן | כן | Google ושרתי MCP Google Cloud |
| Service Extensions | שימוש רק בתבניות | כן | כן | מודלים בפורמט OpenAI1, סוכנים ושרתי MCP בכל העננים2 |
| Gemini Enterprise Agent Platform | גם באמצעות הגדרות אבטחה מינימליות וגם באמצעות תבניות | כן | כן | מודלים של Gemini (ללא סטרימינג) |
1כמה מודלים פופולריים – כולל Anthropic Claude, Mistral AI ו-Grok – תומכים במפרטים של OpenAI. בדרך כלל פורסים את המודלים האלה באמצעות מנועי הסקה כמו vLLM, שמספקים את שכבת ה-API התואמת ל-OpenAI. vLLM תומך במגוון רחב של מודלים, כולל סדרת Meta Llama, משפחות DeepSeek, Mistral ו-Mixtral ו-Gemma.
2 כולל עננים ציבוריים אחרים כמו AWS ו-Azure.
באמצעות אפשרות השילוב של Gemini Enterprise Agent Platform, הגנה מוגברת על המודל מספקת אכיפה מוטבעת באמצעות הגדרות אבטחה מינימליות או תבניות. המשמעות היא שהגנה מוגברת על המודל אוכפת את המדיניות באופן פעיל על ידי התערבות ישירה בתהליך, בלי שיהיה צורך לבצע שינויים בקוד האפליקציה.
השילובים של Service Extensions ו-Gemini Enterprise משתמשים רק בתבניות לאכיפת מדיניות מוטמעת. המשמעות היא שהגנה מוגברת על המודל יכולה לאכוף מדיניות ישירות בלי שתצטרכו לשנות את קוד האפליקציה גם בתוך Service Extensions וגם במהלך אינטראקציות של משתמשים או סוכנים בתוך מופעי Gemini Enterprise.
השילוב של Model Armor ו-Gemini Enterprise מבצע סניטציה רק של ההנחיה הראשונית של המשתמש ושל התשובה הסופית של הסוכן או המודל. השילוב הזה לא כולל שלבי ביניים שמתרחשים בין ההנחיה הראשונית של המשתמש לבין יצירת התשובה הסופית.
הגנה מוגברת על המודל ב-Security Command Center
הגנה מוגברת על המודל בודק פרומפטים ותשובות של LLM כדי לזהות איומים שונים, כולל החדרה פרומפטים, ניסיונות פריצה, כתובות URL זדוניות ותוכן פוגעני. כש-Model Armor מזהה הפרה של הגדרת רמת בטיחות שהוגדרה, הוא חוסם את ההנחיה או את התשובה ושולח ממצא ל-Security Command Center. מידע נוסף זמין במאמר בנושא ממצאים של הגנה מוגברת על המודל.