AI Protection עוזר לכם לנהל את מצב האבטחה של עומסי העבודה של ה-AI. הוא מזהה איומים ועוזר לצמצם את הסיכונים במלאי נכסי ה-AI. במסמך הזה מופיעה סקירה כללית של AI Protection, כולל היתרונות שלו וכמה מושגים מרכזיים. התכונה AI Protection זמינה בהפעלות של Security Command Center ברמת הארגון.
במהדורות Premium ו-Enterprise, כשמפעילים את Security Command Center ברמת הארגון, ניהול סיכונים במערכות AI עוזר לספק תצוגה מקיפה של אבטחת ה-AI בכל Google Cloud הסביבה. לוח הבקרה של ניהול סיכונים במערכות AI במסוף Google Cloud מציג קבוצה עקבית של ווידג'טים ותכונות, עם נתונים שמצטברים מכל הפרויקטים והמשאבים בארגון.
יכולות ההגנה מבוססת-AI
ההגנה על AI עוזרת לכם לנהל איומים וסיכונים במערכות ה-AI שלכם בדרכים הבאות:
- הערכת מלאי נכסי ה-AI: הערכה והבנה של מערכות ה-AI ונכסי ה-AI באמצעות לוח הבקרה של אבטחת ה-AI והכרטיסייה 'משאבי AI', כולל הפעולות הבאות:
- מודלים
- מקורות נתונים
- נקודות קצה
- נציגים (תצוגה מקדימה)
- שרתים של Model Context Protocol (MCP) שמקוטלגים ב-Agent Registry (בגרסת Preview). כדי לגלות שרתי MCP, צריך להפעיל את App Hub API (
apphub.googleapis.com) בכל פרויקט שמארח שרת MCP.
- זיהוי נקודות חולשה: זיהוי נקודות חולשה בתוכנה (CVE) בעומסי עבודה של סוכנים שנפרסו באמצעות Agent Runtime.
- זיהוי סיכונים: זיהוי סיכונים אג'נטיים וההשפעה שלהם על המערכת האקולוגית על סמך סימולציה של נתיבי תקיפה וכללים מוגדרים מראש של Security Graph, עם סוכנים ושרתי MCP כמשאבים בעלי ערך גבוה.
- זיהוי סוכנים עם הרשאות עודפות: זיהוי סוכני Agent Runtime שקיבלו הרשאות עודפות. (תצוגה מקדימה)
- ניהול סיכונים ועמידה בתקנות: ניהול פרואקטיבי של סיכונים שקשורים לנכסי ה-AI ואימות של פריסות ה-AI בהתאם לתקני האבטחה הרלוונטיים.
- צמצום סיכונים משפטיים ופיננסיים: צמצום הסיכונים הפיננסיים, התדמיתיים והמשפטיים שקשורים לפרצות אבטחה ולחוסר תאימות לתקנות.
- זיהוי איומים וניהולם: זיהוי איומים פוטנציאליים על מערכות ה-AI והנכסים שלכם והגבה בזמן.
- הצגת מרכז בקרה אחד: ניהול כל הסיכונים והאיומים שקשורים ל-AI ממרכז בקרה אחד.
תרחישים לדוגמה לשימוש ב-AI Protection
AI Protection עוזר לארגונים לשפר את האבטחה שלהם על ידי זיהוי וצמצום של איומים וסיכונים שקשורים למערכות AI ולנתונים רגישים. התרחישים הבאים לדוגמה ממחישים איך אפשר להשתמש ב-AI Protection בארגונים שונים:
מוסד שירותים פיננסיים: נתונים פיננסיים של לקוחות
מוסד גדול לשירותים פיננסיים משתמש במודלים של AI שמעבדים נתונים פיננסיים רגישים.
- האתגר: עיבוד נתונים פיננסיים רגישים מאוד באמצעות מודלים של AI כרוך בכמה סיכונים, כולל הסיכון לפריצות לנתונים, זליגת נתונים במהלך אימון או הסקת מסקנות ונקודות חולשה בתשתית ה-AI הבסיסית.
- תרחיש שימוש: ניהול סיכונים במערכות AI עוקב באופן רציף אחרי תהליכי עבודה של AI כדי לזהות פעילות חשודה, פועל לזיהוי גישה לנתונים לא מורשית והתנהגות חריגה של מודלים, מבצע סיווג של מידע אישי רגיש ועוזר לשפר את התאימות לתקנות כמו PCI DSS ו-GDPR.
ספקי שירותים רפואיים: פרטיות המטופלים ותאימות
ספק שירותים רפואיים גדול מנהל רשומות רפואיות אלקטרוניות ומשתמש ב-AI לאבחון ולתכנון טיפול, תוך התמודדות עם מידע רפואי מוגן (PHI).
- אתגר: ניתוח של PHI על ידי מודלים של AI כפוף לתקנות מחמירות כמו HIPAA. הסיכונים כוללים חשיפה מקרית של PHI עקב טעויות בהגדרות או התקפות זדוניות שמכוונות למערכות AI כדי לגנוב נתוני מטופלים.
- תרחיש לדוגמה: AI Protection מזהה הפרות פוטנציאליות של HIPAA ושולח התראות לגביהן, מזהה גישה לא מורשית ל-PHI על ידי מודלים או משתמשים, מסמן שירותי AI פגיעים ובעלי פוטנציאל להגדרה שגויה, ועוקב אחרי דליפות נתונים.
חברת ייצור ורובוטיקה: קניין רוחני קנייני
חברת ייצור שמתמחה ברובוטיקה מתקדמת ובאוטומציה מסתמכת במידה רבה על AI כדי לייעל את קווי הייצור ואת השליטה ברובוטים, וקניין רוחני (IP) חיוני מוטמע באלגוריתמים של ה-AI ובנתוני הייצור שלה.
- האתגר: אלגוריתמים קנייניים של AI ונתונים תפעוליים רגישים חשופים לגניבה מאיומים פנימיים או מיריבים חיצוניים, מה שעלול להוביל לנחיתות תחרותית או לשיבוש תפעולי.
- תרחיש לדוגמה: AI Protection מנטר גישה לא מורשית למודלים של AI ולמאגרי קוד, מזהה ניסיונות להוציא מודלים מאומנים ודפוסי גישה חריגים לנתונים, ומסמן פגיעויות בסביבות פיתוח של AI כדי למנוע גניבת קניין רוחני.
כללים של Event Threat Detection לנכסים של Gemini Enterprise Agent Platform
התכונה Event Threat Detection מזהה כמה איומים פוטנציאליים שקשורים לנכסים של Gemini Enterprise Agent Platform, כמו פעילות חריגה של חשבון שירות, שינויים בהרשאות גישה למידע רגיש ושימוש לרעה בזהויות של סוכנים.
מציאת קטגוריות שרלוונטיות לנכסי AI כוללת את האפשרויות הבאות:
- התמדה: שיטה חדשה של AI API
- המשכיות: מיקום גיאוגרפי חדש לשירות AI
- העלאת רמת ההרשאה: התחזות אנומלית לחשבון שירות לצורך פעילות אדמין של AI
- העלאת רמת ההרשאות: התחזות חריגה לחשבון שירות לצורך גישה לנתוני AI
- העלאת הרשאות: העברה חריגה של הרשאות בחשבון שירות בכמה שלבים לפעילות אדמין של AI
- העלאת רמת ההרשאות: העברה חריגה של הרשאות לחשבון שירות רב-שלבי לצורך גישה לנתוני AI
- העלאת רמת הרשאה: התחזות חריגה לחשבון שירות בפעילות של אדמין AI
- גישה ראשונית: פעילות בחשבון שירות רדום בשירות AI
- התמדה: הענקת הרשאה חריגה ב-IAM לזהות אג'נטית
- Credential Access: Agentic Identity Credential Used Outside of Google Cloud
- התמדה: הרשאת AI רגישה נוספה לתפקיד בהתאמה אישית
- התמדה: תפקיד רגיש שהוענק על ידי סוכן AI
- התמדה: תפקיד רגיש הוענק לסוכן AI חיצוני
- התחמקות מהגנה: התפקיד 'יצירת אסימונים' ברמת הפרויקט הוענק לסוכן AI
- התחמקות מהגנה: התפקיד 'יצירת אסימונים' ברמת התיקייה הוענק לסוכן AI
- התחמקות מהגנה: התפקיד 'יצירת אסימונים' ברמת הארגון הוענק לסוכן AI
רשימה מלאה של הממצאים של Event Threat Detection שרלוונטיים לנכסי AI מופיעה במאמר בנושא שירותי זיהוי.
זיהוי איומים ב-Agent Platform בזמן הריצה של הסוכן
התכונה Agent Platform Threat Detection (זיהוי איומים בפלטפורמת הסוכנים) מספקת זיהוי איומים בזמן ריצה לסוכנים שנפרסו ב-Agent Runtime. הוא עוקב אחרי סוכנים פעילים כדי לזהות מתקפות פוטנציאליות, ומפיק ממצאים ב-Security Command Center.
התכונה 'זיהוי איומים ב-Agent Platform' יכולה ליצור ממצאים לגבי Agent Runtime, כולל הקטגוריות הבאות:
- Command and Control: Steganography Tool Detected
- גישה לפרטי כניסה: מציאת Google Cloud פרטי כניסה
- Credential Access: GPG Key Reconnaissance
- גישה לפרטי כניסה: חיפוש מפתחות פרטיים או סיסמאות
- התחמקות מהגנה: שורת פקודה של קובץ ELF בפורמט Base64
- התחמקות מהגנה: סקריפט Python בקידוד Base64 הופעל
- התחמקות מהגנה: סקריפט מעטפת בקידוד Base64 הופעל
- התחמקות מהגנה: הפעלת הכלי Code Compiler במאגר
- ביצוע: הרצת קוד מרחוק של Netcat במאגר
- הרצה: הרצה אפשרית של פקודה שרירותית דרך CUPS (CVE-2024-47177)
- ביצוע: יכול להיות שזוהה ביצוע של פקודה מרחוק
- ביצוע: הפעלת תוכנית עם סביבת HTTP Proxy לא מורשית
- ביצוע: זוהה Socat Reverse Shell
- הרצה: אובייקט משותף חשוד של OpenSSL נטען
- העברת נתונים: הפעלת כלי להעתקת קבצים מרחוק במאגר
- השפעה: זיהוי של שורות פקודה זדוניות
- השפעה: הסרת נתונים בכמות גדולה מהדיסק
- השפעה: פעילות חשודה של כריית קריפטו באמצעות פרוטוקול Stratum
- הסלמת הרשאות: ניצול לרעה של Sudo להסלמת הרשאות (CVE-2019-14287)
- הסלמת הרשאות: נקודת חולשה בהסלמת הרשאות מקומיות ב-Polkit (CVE-2021-4034)
- הסלמת הרשאות: הסלמת הרשאות פוטנציאלית ב-Sudo (CVE-2021-3156)
- ביצוע: בוצע Python זדוני
- ביצוע: פירצה בקונטיינר
- הרצה: הרצה של כלי לתקיפת Kubernetes
- הרצה: הרצה של כלי לזיהוי נקודות חולשה ברשת המקומית
- השפעה: סקריפט זדוני הופעל
- השפעה: זוהתה כתובת URL זדונית
- ביצוע: מעטפת צאצא לא צפויה
רשימה מלאה של הממצאים של Agent Platform Threat Detection זמינה במאמר בנושא שירותי זיהוי.
מסגרת ניהול סיכונים במערכות AI
ההגנה באמצעות AI משתמשת במסגרת שכוללת אמצעי בקרה ספציפיים בענן, שנפרסים אוטומטית במצב זיהוי. מצב 'גילוי' פירושו שאמצעי הבקרה בענן מוחל על המשאבים המוגדרים למטרות מעקב. המערכת מזהה הפרות ושולחת התראות. אתם משתמשים במסגרות ובאמצעי בקרה בענן כדי להגדיר את הדרישות שלכם להגנה על AI, ומחילים את הדרישות האלה על סביבת Google Cloud . ניהול סיכונים במערכות AI כולל את מסגרת ברירת המחדל, שמגדירה אמצעי בקרה מומלצים לניהול סיכונים במערכות AI. כשמפעילים את AI Protection, מסגרת ברירת המחדל מוחלת אוטומטית על הארגון במצב זיהוי. Google Cloud
אם צריך, אפשר ליצור עותקים של המסגרת כדי ליצור מסגרות מותאמות אישית להגנה על AI. אתם יכולים להוסיף את אמצעי הבקרה בענן למסגרות מותאמות אישית ולהחיל את המסגרות המותאמות אישית על הארגון, על תיקיות או על פרויקטים. לדוגמה, אתם יכולים ליצור מסגרות מותאמות אישית שמחילות אמצעי בקרה ספציפיים בתחום השיפוט על תיקיות מסוימות, כדי להבטיח שהנתונים בתיקיות האלה יישארו באזור גיאוגרפי מסוים.
אמצעי בקרה בענן במסגרת ברירת המחדל של AI Protection
מידע נוסף על אמצעי הבקרה בענן שבהם נעשה שימוש במסגרת ניהול סיכונים במערכות AI זמין במאמר המלצות לשימוש ב-AI של Google – Vertex AI.
אזורים פונקציונליים נתמכים של AI Protection
בקטע הזה מוגדרים תחומים פונקציונליים שבהם AI Protection יכול לעזור באבטחה.
- עומסי עבודה של AI: עומסי עבודה של אפליקציות AI נעים בין כלים פנימיים שמטרתם לשפר את הפרודוקטיביות של העובדים לבין פתרונות שפונים לצרכנים ומיועדים לשיפור חוויית המשתמש ולקידום העסק. דוגמאות: סוכני AI, עוזרים וירטואליים, AI בממשק שיחה והמלצות אישיות.
- סוכני AI: סוכני AI הם מערכות AI שיכולות לתפוס את הסביבה שלהן, לקבל החלטות ולבצע פעולות כדי להשיג יעדים ספציפיים.
- מודלים של AI: מודלים של AI מסווגים למודלים בסיסיים של AI, למודלים של AI שעברו כוונון עדין, למודלים סטנדרטיים של AI מצד ראשון ולמודלים של AI בהתאמה אישית. לדוגמה, Gemini, Llama, מודלים לתרגום ומודלים בהתאמה אישית למשימות ספציפיות.
- נכסי AI: נכסי AI תורמים לצינורות של פעולות למידת מכונה ומשמשים לעומסי עבודה של AI. סוגי נכסי ה-AI כוללים את הדברים הבאים:
- נכסי AI דקלרטיביים: כלים לניהול מחזור החיים של AI, כמו Gemini Enterprise Agent Platform, עוקבים אחרי הנכסים האלה.
- נכסי AI משוערים: נכסים לשימוש כללי, כמו נכסי מחשוב ואחסון, שמשמשים לעיבוד נתוני AI או עומסי עבודה של AI.
- Model-as-a-Service (API only): נכסים שכוללים קריאות פרוגרמטיות למודלים של AI של צד ראשון או צד שלישי.
- שימוש בכלי AI לא מאושרים: נכסי AI ועומסי עבודה שלא אושרו או לא מנוהלים. אין תמיכה בשימוש בכלי AI לא מאושרים ב-Security Command Center במסוף Google Cloud .