Model Armor משתלב עם שירותים של Google Cloud כדי לאבטח אינטראקציות עם AI ומודלים גדולים של שפה (LLM). Model Armor מזהה ומדווח על הפרות מדיניות פוטנציאליות, ויכול לחסום באופן פעיל פעולות על סמך הערכות אבטחה.
אמצעי תקשורת נתמכים
האופנים שבהם Model Armor יכול לסרוק ולנקות תלויים באופן הגישה לשירות:
- API בארכיטקטורת REST ישיר: ה-API בארכיטקטורת REST של הגנה מוגברת על המודל תומך בכל המודאליות, כולל טקסט, מסמכים ותמונות. מידע נוסף זמין במאמר בנושא ניקוי הנחיות ותגובות.
- שילובים עם שירותים אחרים: בשילובים של Model Armor עם שירותים אחרים של Google Cloud , רק השילוב עם Gemini Enterprise תומך במסמכים. כל שאר השילובים סורקים ומסירים רק טקסט.
פרטים על סוגי המסמכים הנתמכים ומגבלות הגודל מופיעים במאמר בנושא בדיקת מסמכים.
שירותים נתמכים
בקטע הזה מתוארים Google Cloud השירותים שאפשר לשלב עם Model Armor.
Agent Gateway
שילוב של הגנה מוגברת על המודל עם Agent Gateway כדי לאכוף מדיניות אבטחה על התנועה שזורמת אל כל הסוכנים הכפופים לשער וממנה. השילוב הזה מאפשר לבדוק ולחסום תוכן זדוני או תוכן שלא עומד בדרישות המדיניות ישירות בתוך הדף. השילוב הזה נועד לשפר את האבטחה של תהליכי העבודה ואת ההקפדה על הנחיות הבטיחות של הארגון, בלי שיהיה צורך לבצע שינויים בקוד האפליקציה. ההגנה הזו חלה על פרוטוקולים נתמכים בנתיבי כניסה (אל הסוכן) ויציאה (מהסוכן). מידע נוסף זמין במאמר בנושא שילוב עם Agent Gateway.
Apigee
השילוב של Model Armor ו-Apigee מאפשר לכם להשתמש ביכולות ההגנה של Model Armor מבוססות-AI ישירות בשכבת שער ה-API של Apigee. אתם מגדירים מדיניות ספציפית של הגנה מוגברת על המודל בשרתי ה-proxy של Apigee API. כשמתבצעת קריאה ל-API דרך שרת proxy של Apigee שמוגדרות בו המדיניות האלה, Apigee שולח את הפרומפטים והתשובות לשירות הגנה מוגברת על המודל לבדיקה. מידע נוסף זמין במאמר שילוב עם Apigee.
Gemini Enterprise
אפשר לשלב את Model Armor ישירות עם Gemini Enterprise באמצעות תבניות. Gemini Enterprise מעביר את האינטראקציות בין המשתמשים לבין הסוכנים ואת מודלי ה-LLM הבסיסיים דרך Model Armor. המשמעות היא שהנחיות ממשתמשים או מסוכנים והתשובות שנוצרות על ידי מודלי השפה הגדולים נבדקות על ידי Model Armor לפני שהן מוצגות למשתמש. מידע נוסף זמין במאמר שילוב עם Gemini Enterprise.
בנוסף למודאליות שמפורטות במאמר בנושא מודאליות נתמכות, השילוב של הגנה מוגברת על המודל עם Gemini Enterprise תומך גם במסמכים. עם זאת, תמונות שמוטמעות במסמכים לא נבדקות.
Google ושרתי Google Cloud MCP
אפשר להגדיר את הגנה מוגברת על המודל כדי להגן על הנתונים שלכם ולאבטח את התוכן כששולחים בקשות ל Google Cloud שירותים שחושפים כלים ושרתים של Model Context Protocol (MCP). הגנה מוגברת על המודל עוזרת לאבטח אפליקציות AI אקטיביות על ידי ניקוי של קריאות לכלים ותשובות ב-MCP באמצעות הגדרות אבטחה מינימליות. התהליך הזה מצמצם את הסיכונים כמו החדרת פרומפטים וגילוי של נתונים רגישים. מידע נוסף זמין במאמר שילוב עם שרתי Google ו- Google Cloud MCP.
Service Extensions
אפשר לשלב את הגנה מוגברת על המודל עם Google Cloud שירותי רשת באמצעות Service Extensions. בעזרת Service Extensions תוכלו לשלב Google Cloud שירותים או שירותים בניהול המשתמשים כדי לעבד תעבורה. אתם יכולים להגדיר תוסף שירות במאזני עומסים של אפליקציות כדי לסנן את תנועת הרשת עבור אינטראקציות שונות עם AI, כמו סוכנים ושרתי MCP. אפשר גם להשתמש בתוספי שירות עם שערי הסקה של GKE כדי לסנן תנועה אל אשכול GKE וממנו. כך תוכלו לוודא שכל האינטראקציות עם ה-AI שעוברות דרך מאזן העומסים מוגנות על ידי Model Armor. למידע נוסף, קראו את המאמר בנושא שילוב עם שירותי רשת Google Cloud .
פלטפורמת הסוכנים של Gemini Enterprise
אפשר לשלב את Model Armor ישירות ב-Gemini Enterprise Agent Platform באמצעות הגדרות בסיסיות או תבניות.
השילוב הזה בודק את הבקשות והתשובות של מודל Gemini וחוסם את אלה שמפירים את הגדרות אבטחה מינימליות. האינטגרציה הזו מספקת הגנה על הנחיות ותשובות ב-Gemini API ב-Vertex AI עבור השיטה generateContent. השילוב הזה לא תומך בהסרת מידע רגיש מהנחיות ומתשובות שמכילות מסמכים או תמונות. כדי לקבל תובנות לגבי תוצאות הסרת המידע האישי מההנחיות והתשובות, צריך להפעיל את Cloud Logging. מידע נוסף על שילוב עם Gemini Enterprise Agent Platform
לפני שמתחילים
הפעלת ממשקי ה-API
כדי להשתמש בהגנה מוגברת על המודל, צריך להפעיל את Model Armor API.
המסוף
מפעילים את הגנה מוגברת על המודל API, אם הוא עדיין לא מופעל.
תפקידים שנדרשים להפעלת ממשקי API
כדי להפעיל ממשקי API, נדרשת ההרשאה
serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםבוחרים את הפרויקט שבו רוצים להפעיל את הגנה מוגברת על המודל.
gcloud
לפני שמתחילים, מבצעים את השלבים הבאים באמצעות Google Cloud CLI עם Model Armor API:
במסוף Google Cloud , מפעילים את Cloud Shell.
בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
הגדרת שינוי מברירת המחדל של נקודת קצה ל-API באמצעות ה-CLI של gcloud
הגדרת שינוי מברירת המחדל של נקודת קצה ל-API באמצעות ה-CLI של gcloud
השלב הזה נחוץ רק אם משתמשים ב-CLI של gcloud עם הגנה מוגברת על המודל ורוצים להשתמש באזור או במספר אזורים שונים מאזור ברירת המחדל us. כדי לוודא שה-CLI של gcloud מנתב את הבקשות לשירות Model Armor בצורה נכונה, צריך להגדיר ידנית את החלפת נקודת הקצה של ה-API.
מריצים את הפקודה הבאה כדי להגדיר את נקודת קצה ל-API לשירות הגנה מוגברת על המודל.
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
מחליפים את LOCATION באזור או במספר אזורים שבהם רוצים להשתמש בהגנה מוגברת על המודל.
ניהול מכסות
ב-Model Armor פועלת מערכת מכסות כדי להבטיח שימוש הוגן ולהגן על יציבות המערכת. מכסת ברירת המחדל של Model Armor API היא 1,200 שאילתות לדקה לכל פרויקט. אפשר להחיל ערך של 0 עד 1,200 QPM לכל פרויקט. במאמר איך שולחים בקשה לשינוי המכסות מוסבר איך לבקש שינוי. אם אתם צריכים מכסה גבוה יותר מהמכסה שמוגדרת כברירת מחדל, פנו אל Cloud Customer Care.
כשמשלבים את הגנה מוגברת על המודל עם שירותים אחרים, צריך לקחת בחשבון את המכסה. המכסה העיקרית שאתם עובדים איתה היא מספר בקשות ה-API לדקה לכל פרויקט.
כשמשלבים את Model Armor עם שירותים אחרים, כדאי לקחת בחשבון את סוגי המכסות הבאים.
- מכסת ברירת המחדל של Model Armor: כששירות שולח קריאה ל-API של Model Armor לצורך ניתוח (לדוגמה, בדיקת הנחיות או תשובות), הקריאה הזו מנצלת את המכסה של ה-API של Model Armor בפרויקט.
- מכסת שילוב שירותים: המכסה של הגנה מוגברת על המודל נפרדת מכל מכסה שמשויכת לשירותים המשולבים. צריך לוודא שיש מכסה מספקת לכל השירותים בנתיב הבקשה. כל קריאה ל-Model Armor API כדי לבצע סניטציה של תוכן באפליקציה שלכם נספרת במסגרת מגבלות המכסה של Model Armor API.
זיהוי מצבים שבהם חרגתם מהמכסה
אם ביומני האפליקציה מופיעות שגיאות מ-Model Armor, בדרך כלל שגיאות HTTP 429 RESOURCE_EXHAUSTED, סימן שהגעתם למגבלות המכסה של Model Armor. השגיאות האלה מצביעות על כך שנשלחו יותר מדי בקשות.
הערכת המכסות הנדרשות
כדי לקבוע איזו מכסת הגנה מוגברת על המודל לבקש:
- הערכה של מספר הבקשות המקסימלי לדקה שהשירותים ישלחו ל-Model Armor.
- כדאי לחשוב כמה פעמים מתבצעת קריאה ל-Model Armor בכל אינטראקציה של משתמש עם השירות (לדוגמה, פעם אחת להנחיה ופעם אחת לתגובה).
- צריך לקחת בחשבון את המספר המקסימלי של משתמשים או סשנים בו-זמניים.
- כדאי לבקש מכסה עם מרווח ביטחון סביר (לדוגמה, 20-30% מעל השיא הצפוי) כדי להתמודד עם עליות בלתי צפויות.
- כדאי להתחיל עם ההערכה הכי טובה שלכם, לעקוב מקרוב אחרי השימוש אחרי ההשקה ולבקש שינויים נוספים לפי הצורך.
לדוגמה, אם אתם מצפים ל-500 משתמשים בדקה, וכל אינטראקציה של משתמש קוראת ל-Model Armor פעמיים (הנחיה ותגובה), אתם צריכים לפחות 1,000 QPM. כדאי להוסיף למספר הזה עוד קצת זמן, ולבקש 1,200 עד 1,300 שאלות בדקה.
לתשומת ליבכם
כשמשלבים עם שירותים אחרים, חשוב לשים לב לדברים הבאים:
- חשוב לעקוב אחרי המכסות של שירותים אחרים ולנהל אותן. אם תגיעו למכסה של שירותים אחרים, זה ישפיע על האפליקציה שלכם, גם אם יש לכם מכסה מספיקה של הגנה מוגברת על המודל.
- כדי לטפל בבעיות זמניות במכסה או בשגיאות אחרות שאפשר לנסות שוב, צריך להטמיע ניסיונות חוזרים בצד הלקוח עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff) בהגדרת האפליקציה. מידע נוסף זמין במאמר בנושא אסטרטגיית ניסיון חוזר.
סוגי האכיפה
כשמשלבים את הגנה מוגברת על המודל עם שירותים אחרים, חשוב להגדיר את סוג האכיפה. ההגדרה הזו קובעת איך הגנה מוגברת על המודל פועל כשמזוהה הפרת מדיניות פוטנציאלית בנתונים שהוא בודק, כמו פרומפטים או תשובות של LLM. סוג האכיפה קובע אם הגנה מוגברת על המודל רק מדווח על הפרות או מתערב באופן פעיל. מידע נוסף זמין במאמר בנושא הגדרת סוג האכיפה.
שילוב באמצעות API בארכיטקטורת REST
כשמשתמשים ב-API בארכיטקטורת REST לשילוב, הגנה מוגברת על המודל פועלת רק ככלי לזיהוי באמצעות תבניות. הוא מזהה הפרות מדיניות פוטנציאליות ומדווח עליהן על סמך תבניות מוגדרות מראש, במקום למנוע אותן באופן פעיל. כשמשלבים את Model Armor API באפליקציה, האפליקציה יכולה להשתמש בפלט של Model Armor כדי לחסום או לאשר פעולות על סמך תוצאות הערכת האבטחה שמתקבלות. ה-API של Model Armor מחזיר מידע על איומים פוטנציאליים או הפרות מדיניות שקשורות לתנועת הנתונים ב-API, במיוחד במקרה של אינטראקציות עם AI. האפליקציה שלכם יכולה לקרוא ל-API של הגנה מוגברת על המודל ולהשתמש במידע שמתקבל בתשובה כדי לקבל החלטה ולבצע פעולה על סמך הלוגיקה המותאמת אישית שהגדרתם מראש.
אפשרויות כשמשלבים את הגנה מוגברת על המודל
Model Armor מציע את אפשרויות השילוב הבאות. כל אפשרות מספקת תכונות ויכולות שונות.
| אפשרות שילוב | הגדרת זיהויים | אמצעי תקשורת נתמכים | בדיקה בלבד | בדיקה וחסימה | כיסוי |
|---|---|---|---|---|---|
| Agent Gateway | שימוש רק בתבניות | טקסט | כן | כן | כל המודלים וכל העננים |
| Apigee | שימוש רק בתבניות | טקסט | כן | כן | כל המודלים וכל העננים2 |
| Gemini Enterprise | שימוש רק בתבניות | טקסט, מסמכים | כן | כן | כל המודלים וכל העננים2 |
| Google ושרתי Google Cloud MCP | שימוש רק בהגדרות אבטחה מינימליות | טקסט | כן | כן | Google ושרתי Google Cloud MCP |
| Service Extensions | שימוש רק בתבניות | טקסט | כן | כן | מודלים בפורמט OpenAI1, סוכנים ושרתי MCP בכל העננים2 |
| Gemini Enterprise Agent Platform | גם באמצעות הגדרות אבטחה מינימליות וגם באמצעות תבניות | טקסט | כן | כן | מודלים של Gemini (ללא סטרימינג) |
1כמה מודלים פופולריים – כולל Anthropic Claude, Mistral AI ו-Grok – תומכים במפרטים של OpenAI. בדרך כלל פורסים את המודלים האלה באמצעות מנועי הסקה כמו vLLM, שמספקים את שכבת ה-API התואמת ל-OpenAI שנדרשת. vLLM תומך במגוון רחב של מודלים, כולל סדרת Meta Llama, DeepSeek, Mistral ו-Mixtral ו-Gemma.
2 כולל עננים ציבוריים אחרים כמו AWS ו-Azure.
עם השילוב של Gemini Enterprise Agent Platform, הגנה מוגברת על המודל מספק אכיפה מוטמעת באמצעות הגדרות אבטחה מינימליות או תבניות. אכיפת מדיניות מוטמעת מאפשרת להגנה מוגברת על המודל לאכוף מדיניות באופן פעיל על ידי התערבות ישירה בתהליך, בלי שיהיה צורך לבצע שינויים בקוד האפליקציה.
השילובים של Service Extensions ו-Gemini Enterprise משתמשים רק בתבניות לאכיפת מדיניות מוטמעת. באמצעות אכיפת מדיניות מוטמעת, Model Armor יכול לאכוף מדיניות ישירות בלי שתצטרכו לשנות את קוד האפליקציה גם בתוך תוספי השירות וגם במהלך אינטראקציות של משתמשים או סוכנים בתוך מופעים של Gemini Enterprise.
השילובים של Model Armor עם Gemini Enterprise, Agent Runtime ו-Apigee מנקים את ההנחיה הראשונית של המשתמש, את התגובה הסופית של הסוכן או המודל ואת השלבים שביניהם, כמו נתונים בסיסיים ותשובות שמוחזרות על ידי כלי חיפוש באינטרנט. אם נתוני ההארקה או המטען הביניים שאוחזרו מפרים את התבניות שהגדרתם ב-הגנה מוגברת על המודל או את מדיניות Sensitive Data Protection, הבקשה נחסמת ונרשמת ביומן עם סוג הפעולה SANITIZE_USER_PROMPT.
הגנה מוגברת על המודל ב-Security Command Center
התכונה Model Armor בודקת את ההנחיות והתשובות של מודלי LLM כדי לזהות איומים שונים, כולל החדרת פרומפטים, ניסיונות לפריצת המודל, כתובות URL זדוניות ותוכן מזיק. כש-הגנה מוגברת על המודל מזהה הפרה של הגדרת אבטחה מינימלית שהוגדרה, הוא חוסם את הפרומפט או את התשובה ושולח ממצא ל-Security Command Center. מידע נוסף זמין במאמר בנושא ממצאים של הגנה מוגברת על המודל.