Model Armor משתלב עם Google Cloud שירותים כדי לאבטח אינטראקציות עם AI ומודלים גדולים של שפה (LLM). Model Armor מזהה ומדווח על הפרות מדיניות פוטנציאליות, ויכול לחסום באופן פעיל פעולות על סמך הערכות אבטחה.
מתי כדאי להשתמש בשילובים של הגנה מוגברת על המודל
הנה כמה תרחישי שימוש נפוצים:
- אבטחת התעבורה של API Gateway: חסימת בקשות ותגובות זדוניות כדי להגן על נקודות קצה של AI בשרת העורפי בשכבת השער באמצעות Apigee או Agent Gateway.
- אכיפת אמצעי הגנה על מודלים מוטבעים: סינון של פרומפטים וזרמי תשובות ישירות ב-Agent Platform, ב-Gemini ובתהליכי עבודה של Gemini Enterprise בלי קוד wrapper מותאם אישית.
- ריכוז פעולות האבטחה וההתראות: העברת ממצאים ואירועים של הפרת מדיניות ישירות אל Security Command Center לצורך מעקב מאוחד אחר איומים.
- הגנה על אינטראקציות עם סוכנים: הגדרת אמצעי בקרה לסוכנים וירטואליים ולשימוש בכלים בארכיטקטורות ארגוניות משולבות.
אופני תקשורת נתמכים
האופנים שבהם הגנה מוגברת על המודל יכול לסרוק ולהסיר תוכן זדוני או רגיש תלויים באופן הגישה לשירות:
- Direct REST API: ממשק ה-API בארכיטקטורת REST של Model Armor תומך בכל סוגי המודלים, כולל טקסט, מסמכים ותמונות. מידע נוסף זמין במאמר בנושא ניקוי הנחיות ותגובות.
- שילובים עם שירותים אחרים: בשילובים של Model Armor עם שירותי Google Cloud אחרים, רק השילוב של Gemini Enterprise תומך במסמכים. כל שאר השילובים סורקים ומסירים רק טקסט.
פרטים על סוגי המסמכים הנתמכים ומגבלות הגודל מופיעים במאמר בנושא בדיקת מסמכים.
שירותים נתמכים
בקטע הזה מתוארים שירותי Google Cloud שאפשר לשלב עם Model Armor.
Agent Gateway
שילוב של הגנה מוגברת על המודל עם Agent Gateway כדי לאכוף מדיניות אבטחה על התנועה שזורמת אל כל הסוכנים ומכל הסוכנים הכפופים ל-Agent Gateway. השילוב הזה מאפשר לבדוק ולחסום תוכן זדוני או תוכן שמפר את המדיניות. השילוב הזה נועד לשפר את האבטחה של תהליך העבודה ואת ההקפדה על הנחיות הבטיחות של הארגון, בלי שיהיה צורך לבצע שינויים בקוד האפליקציה. ההגנה הזו חלה על פרוטוקולים נתמכים בנתיבי כניסה (אל הנציג) ויציאה (מהנציג). מידע נוסף זמין במאמר שילוב עם Agent Gateway.
Apigee
השילוב של Model Armor ו-Apigee מאפשר לכם להשתמש ביכולות ההגנה של Model Armor מבוססות-AI ישירות בשכבת שער ה-API של Apigee. אתם מגדירים מדיניות ספציפית של Model Armor בשרתי ה-proxy ל-API של Apigee. כשקריאה ל-API עוברת דרך שרת proxy של Apigee שמוגדרת בו המדיניות הזו, Apigee שולחת את ההנחיות והתשובות לשירות Model Armor לבדיקה. מידע נוסף זמין במאמר שילוב עם Apigee.
Gemini Enterprise
אפשר לשלב את Model Armor ישירות עם Gemini Enterprise באמצעות תבניות. Gemini Enterprise מעביר את האינטראקציות בין המשתמשים לבין הסוכנים ואת מודלי ה-LLM הבסיסיים דרך Model Armor. כלומר, הנחיות ממשתמשים או מסוכנים והתשובות שנוצרות על ידי מודלי ה-LLM נבדקות על ידי Model Armor לפני שהן מוצגות למשתמש. מידע נוסף זמין במאמר שילוב עם Gemini Enterprise.
בנוסף למודלים שמפורטים בקטע מודלים נתמכים, השילוב של Model Armor עם Gemini Enterprise תומך גם במסמכים. עם זאת, תמונות שמוטמעות במסמכים לא נבדקות.
Google ושרתי MCP של Google Cloud
אפשר להגדיר את Model Armor כך שיגן על הנתונים והתוכן שלכם כשאתם שולחים בקשות לשירותי Google Cloud שחושפים כלים ושרתים של Model Context Protocol (MCP). הגנה מוגברת על המודל עוזרת לאבטח אפליקציות AI אקטיבי על ידי הסרת תוכן זדוני או רגיש של קריאות לכלים ותשובות ב-MCP באמצעות הגדרות אבטחה מינימליות. התהליך הזה מצמצם את הסיכונים כמו החדרת פרומפטים וגילוי של נתונים רגישים. מידע נוסף זמין במאמר שילוב עם שרתי Google ו- Google Cloud שרתי MCP.
Service Extensions
אפשר לשלב את Model Armor עם Google Cloud שירותי רשת באמצעות תוספים לשירותים. בעזרת Service Extensions תוכלו לשלב Google Cloud שירותים או שירותים בניהול המשתמשים כדי לעבד תעבורה. אתם יכולים להגדיר תוסף שירות במאזני עומסים של אפליקציות כדי לסנן את התנועה ברשת עבור אינטראקציות שונות עם AI, כמו סוכנים ושרתי MCP. אפשר גם להשתמש בתוספים לשירותים עם שערי הסקה של GKE כדי לסנן את התנועה אל אשכול GKE וממנו. כך אפשר לוודא שכל האינטראקציות של ה-AI שעוברות דרך מאזן העומסים מוגנות באמצעות Model Armor. מידע נוסף זמין במאמר שילוב עם שירותי הרשת של Google Cloud .
פלטפורמת הסוכנים של Gemini Enterprise
אפשר לשלב את Model Armor ישירות ב-Gemini Enterprise Agent Platform באמצעות הגדרות בסיסיות או תבניות.
השילוב הזה בודק את הבקשות והתשובות של מודל Gemini וחוסם את אלה שמפירים את הגדרות הרצפה. האינטגרציה הזו מספקת הגנה על הנחיות ותשובות ב-Gemini API ב-Vertex AI עבור השיטה generateContent. השילוב הזה לא תומך בהסרת מידע רגיש מהנחיות ומתשובות שמכילות מסמכים או תמונות. כדי לקבל תובנות לגבי תוצאות הסרת המידע האישי מההנחיות והתשובות, צריך להפעיל את Cloud Logging. מידע נוסף על שילוב עם Gemini Enterprise Agent Platform
לפני שמתחילים
הפעלת ממשקי ה-API
כדי להשתמש ב-Model Armor, צריך להפעיל את Model Armor API.
המסוף
מפעילים את הגנה מוגברת על המודל API, אם הוא עדיין לא מופעל.
תפקידים שנדרשים להפעלת ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה
serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםבוחרים את הפרויקט שבו רוצים להפעיל את הגנה מוגברת על המודל.
gcloud
לפני שמתחילים, פועלים לפי השלבים הבאים באמצעות Google Cloud CLI עם Model Armor API:
במסוף Google Cloud , מפעילים את Cloud Shell.
בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.
מפעילים את Model Armor API, אם הוא עדיין לא מופעל:
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה
serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידיםgcloud services enable modelarmor.googleapis.com
הגדרת שינוי מברירת המחדל של נקודת קצה ל-API באמצעות ה-CLI של gcloud
השלב הזה נדרש רק אם אתם משתמשים ב-CLI של gcloud עם Model Armor ורוצים להשתמש באזור או בכמה אזורים שונים מהאזור us שמוגדר כברירת מחדל. כדי לוודא שה-CLI של gcloud מנתב את הבקשות לשירות Model Armor בצורה נכונה, צריך להגדיר ידנית את החלפת נקודת הקצה של ה-API.
מריצים את הפקודה הבאה כדי להגדיר את נקודת הקצה ל-API של שירות Model Armor.
gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"
מחליפים את LOCATION באזור או במספר אזורים שבהם רוצים להשתמש ב-Model Armor.
ניהול המכסה
Model Armor משתמש במערכת מכסות כדי להבטיח שימוש הוגן ולהגן על יציבות המערכת. מכסת ברירת המחדל של Model Armor API היא 1,200 שאילתות לדקה לכל פרויקט. אפשר להגדיר ערך בין 0 ל-1,200 שאילתות לדקה לכל פרויקט. כדי לבקש שינוי, קראו את המאמר איך שולחים בקשה לשינוי המכסות. אם אתם צריכים מכסה גדולה יותר ממכסת ברירת המחדל, פנו אל Cloud Customer Care.
כשמשלבים את Model Armor עם שירותים אחרים, צריך לקחת בחשבון את המכסה. המכסה העיקרית שאתם משתמשים בה היא מספר בקשות ה-API לדקה לכל פרויקט.
כשמשלבים את Model Armor עם שירותים אחרים, כדאי להביא בחשבון את סוגי המכסות הבאים.
- מכסת ברירת המחדל של Model Armor: כששירות שולח קריאה ל-API של Model Armor לצורך ניתוח (לדוגמה, בדיקת הנחיות או תשובות), הקריאה הזו מנצלת את המכסה של ה-API של Model Armor בפרויקט.
- מכסת שילוב שירותים: המכסה של Model Armor נפרדת מכל מכסה שמשויכת לשירותים המשולבים. צריך לוודא שיש מכסה מספקת לכל השירותים בנתיב הבקשה. כל קריאה ל-Model Armor API כדי לבצע הסרת תוכן זדוני או רגיש של תוכן באפליקציה שלכם נספרת במסגרת מגבלות המכסה של Model Armor API.
איך לזהות מצבים של חריגה מהמכסה
אם ביומני האפליקציה מופיעות שגיאות מ-Model Armor, בדרך כלל שגיאות HTTP 429 RESOURCE_EXHAUSTED, זה אומר שהגעתם למגבלות המכסה של Model Armor כי נשלחו יותר מדי בקשות.
הערכת המכסות הנדרשות
כדי לקבוע איזו מכסת Model Armor לבקש:
- הערכה של מספר הבקשות המקסימלי לדקה שהשירותים ישלחו ל-Model Armor.
- כדאי לחשוב כמה פעמים מתבצעת קריאה ל-Model Armor בכל אינטראקציה של משתמש עם השירות שלכם (לדוגמה, פעם אחת להנחיה ופעם אחת לתגובה).
- צריך לקחת בחשבון את המספר המקסימלי של משתמשים או סשנים בו-זמניים.
- כדי להתמודד עם עליות חדות בלתי צפויות, בקשו מכסה עם מאגר סביר (לדוגמה, 20-30% מעל לשיא הצפוי).
- כדאי להתחיל עם ההערכה הכי טובה שלכם, לעקוב מקרוב אחרי השימוש אחרי ההשקה ולבקש שינויים נוספים לפי הצורך.
לדוגמה, אם אתם מצפים ל-500 משתמשים בדקה, וכל אינטראקציה של משתמש קוראת ל-Model Armor פעמיים (הנחיה ותגובה), אתם צריכים לפחות 1,000 QPM. כדאי להוסיף למספר הזה מקדם ביטחון, ולבקש 1,200-1,300 שאילתות לדקה.
לתשומת ליבכם
כשמשלבים שירותים אחרים, חשוב לשים לב לדברים הבאים:
- חשוב לעקוב אחרי המכסות של שירותים אחרים ולנהל אותן. אם המכסה של שירותים אחרים נגמרת, זה משפיע על האפליקציה, גם אם יש לכם מספיק מכסה ב-Model Armor.
- כדי לטפל בבעיות זמניות במכסה או בשגיאות אחרות שמאפשרות ניסיון חוזר, צריך להטמיע ניסיונות חוזרים בצד הלקוח עם השהיה מעריכית לפני ניסיון חוזר (exponential backoff) בהגדרת האפליקציה. מידע נוסף זמין במאמר בנושא אסטרטגיית ניסיון חוזר.
סוגי האכיפה
כשמשלבים את Model Armor עם שירותים אחרים, חשוב להגדיר את סוג האכיפה. ההגדרה הזו קובעת איך Model Armor פועל כשמזוהה הפרת מדיניות פוטנציאלית בנתונים שהוא בודק, כמו הנחיות או תשובות של LLM. סוג האכיפה קובע אם Model Armor רק מדווח על הפרות או מתערב באופן פעיל. מידע נוסף זמין במאמר בנושא הגדרת סוג האכיפה.
שילוב באמצעות API בארכיטקטורת REST
כשמשתמשים ב-API בארכיטקטורת REST לשילוב, הפונקציות של Model Armor פועלות רק ככלי לזיהוי באמצעות תבניות. הוא מזהה הפרות מדיניות פוטנציאליות ומדווח עליהן על סמך תבניות מוגדרות מראש, במקום למנוע אותן באופן פעיל. כשמשלבים את Model Armor API, האפליקציה יכולה להשתמש בפלט של Model Armor כדי לחסום או לאפשר פעולות על סמך תוצאות הערכת האבטחה שסופקו. Model Armor API מחזיר מידע על איומים פוטנציאליים או הפרות מדיניות שקשורים לתנועה ב-API, במיוחד במקרה של אינטראקציות עם AI. האפליקציה שלכם יכולה לקרוא ל-Model Armor API ולהשתמש במידע שמתקבל בתשובה כדי לקבל החלטה ולבצע פעולה על סמך הלוגיקה המותאמת אישית שהגדרתם מראש.
אפשרויות כשמשלבים את Model Armor
אפשר לשלב את Model Armor בדרכים הבאות: כל אפשרות כוללת תכונות ויכולות שונות.
| אפשרות שילוב | הגדרת זיהויים | אמצעי תקשורת נתמכים | בדיקה בלבד | בדיקה וחסימה | כיסוי |
|---|---|---|---|---|---|
| Agent Gateway | שימוש רק בתבניות | טקסט | כן | כן | כל המודלים וכל העננים |
| Apigee | שימוש רק בתבניות | טקסט | כן | כן | כל המודלים וכל העננים2 |
| Gemini Enterprise | רק באמצעות תבניות | טקסט, מסמכים | כן | כן | כל המודלים וכל העננים2 |
| Google ו Google Cloud שרתי MCP | שימוש רק בהגדרות אבטחה מינימליות | טקסט | כן | כן | Google ושרתי Google Cloud MCP |
| Service Extensions | שימוש רק בתבניות | טקסט | כן | כן | מודלים בפורמט OpenAI1, סוכנים ושרתי MCP בכל העננים2 |
| Gemini Enterprise Agent Platform | גם באמצעות הגדרות של רצפה וגם באמצעות תבניות | טקסט | כן | כן | מודלי Gemini (לא סטרימינג) |
1כמה מודלים פופולריים, כולל Anthropic Claude, Mistral AI ו-Grok, תומכים במפרטים של OpenAI. בדרך כלל פורסים את המודלים האלה באמצעות מנועי הסקה כמו vLLM, שמספקים את שכבת ה-API התואמת ל-OpenAI שנדרשת. vLLM תומך במגוון רחב של מודלים, כולל סדרת Meta Llama, DeepSeek, Mistral ו-Mixtral ו-Gemma.
2 כולל עננים ציבוריים אחרים כמו AWS ו-Azure.
עם השילוב של Gemini Enterprise Agent Platform, Model Armor מספק אכיפה מוטמעת באמצעות הגדרות או תבניות של רצפה. אכיפת מדיניות מוטמעת מאפשרת ל-Model Armor לאכוף מדיניות באופן פעיל על ידי התערבות ישירה בתהליך, בלי שיהיה צורך לבצע שינויים ב קוד אפליקציה.
השילובים של תוספי השירות ו-Gemini Enterprise משתמשים רק בתבניות לאכיפת מדיניות מוטמעת. באמצעות אכיפת מדיניות מוטמעת, Model Armor יכול לאכוף מדיניות ישירות בלי שתצטרכו לשנות את קוד האפליקציה גם בתוך תוספי השירות וגם במהלך אינטראקציות של משתמשים או סוכנים בתוך מופעים של Gemini Enterprise.
השילובים של Model Armor עם Gemini Enterprise, Agent Runtime ו-Apigee מסירים תוכן זדוני או רגיש מההנחיה הראשונית של המשתמש, מהתשובה הסופית של הנציג או המודל ומשלבי הביניים, כמו נתוני קרקוע ותשובות שהוחזרו על ידי כלים לחיפוש באינטרנט. אם נתוני ההארקה או המטען הביניים שאוחזרו מפרים את התבניות שהגדרתם ב-Model Armor או את מדיניות Sensitive Data Protection, הבקשה נחסמת ונרשמת ביומן עם סוג הפעולה SANITIZE_USER_PROMPT.
הגנה מוגברת על המודל ב-Security Command Center
הגנה מוגברת על המודל בודק פרומפטים ותשובות של LLM כדי לזהות איומים שונים, כולל החדרה פרומפטים, ניסיונות פריצת Jailbreak, כתובות URL זדוניות ותוכן פוגעני. כשהגנת המודל מזהה הפרה של הגדרת אבטחה מינימלית, היא חוסמת את ההנחיה או את התשובה ושולחת ממצא ל-Security Command Center. מידע נוסף זמין במאמר בנושא ממצאים של Model Armor.