AI Protection עוזר לכם לנהל את מצב האבטחה של עומסי העבודה של ה-AI, על ידי זיהוי איומים ועזרה בצמצום הסיכונים למלאי נכסי ה-AI. במסמך הזה מופיעה סקירה כללית של AI Protection, כולל היתרונות שלו וכמה מושגים מרכזיים. ניהול סיכונים במערכות AI זמין בהפעלות של Security Command Center ברמת הארגון וברמת הפרויקט.
במהדורות Premium ו-Enterprise (הוצא משימוש), AI Protection עוזרת לספק תצוגה של אבטחת ה-AI בסביבה שלכם. Google Cloud
כשמפעילים את Security Command Center ברמת הארגון, לוח הבקרה של ניהול סיכונים במערכות AI במסוף Google Cloud מציג קבוצה עקבית של ווידג'טים ותכונות, עם נתונים שנצברים מכל הפרויקטים והמשאבים בארגון.
כשמפעילים את Security Command Center ברמת הפרויקט, בלוח הבקרה של ניהול סיכונים במערכות AI מוצגים נתונים שמוגבלים לפרויקט הזה.
יכולות ההגנה מבוססת-AI
ההגנה על ה-AI עוזרת לכם לנהל איומים וסיכונים במערכות ה-AI שלכם בדרכים הבאות:
- הערכת מלאי נכסי ה-AI: הערכה והבנה של מערכות ה-AI ונכסי ה-AI באמצעות לוח הבקרה של אבטחת ה-AI והכרטיסייה 'משאבי AI', כולל הפעולות הבאות:
- מודלים
- מקורות נתונים
- נקודות קצה
- סוכנים
- שרתים של Model Context Protocol (MCP) שמקוטלגים ב-Agent Registry. כדי לגלות שרתי MCP, צריך להפעיל את App Hub API (
apphub.googleapis.com) בכל פרויקט שמארח שרת MCP.
- זיהוי נקודות חולשה: זיהוי נקודות חולשה בתוכנה (CVE) בעומסי עבודה מבוססי-סוכן שנפרסו באמצעות Agent Runtime.
- זיהוי סיכונים: זיהוי סיכונים סוכניים וההשפעה שלהם על המערכת האקולוגית על סמך סימולציה של נתיבי תקיפה וכללים מוגדרים מראש של Security Graph, עם סוכנים ושרתי MCP כמשאבים בעלי ערך גבוה.
- זיהוי סוכנים עם הרשאות עודפות: זיהוי סוכני Agent Runtime שקיבלו הרשאות עודפות.
- ניהול סיכונים ועמידה בתקנות: ניהול פרואקטיבי של סיכונים שקשורים לנכסי ה-AI ואימות של פריסות ה-AI בהתאם לתקני האבטחה הרלוונטיים.
- צמצום סיכונים משפטיים ופיננסיים: הפחתת הסיכונים הפיננסיים, הסיכונים שקשורים למוניטין והסיכונים המשפטיים שמשויכים לפרצות אבטחה ולחוסר תאימות לתקנות.
- זיהוי איומים וניהולם: זיהוי איומים פוטנציאליים על מערכות ה-AI והנכסים שלכם והגבה להם בזמן.
- הצגת מרכז בקרה אחד: ניהול כל הסיכונים והאיומים שקשורים ל-AI ממרכז בקרה אחד.
תרחישים לדוגמה לשימוש ב-AI Protection
AI Protection עוזר לארגונים לשפר את האבטחה שלהם על ידי זיהוי וצמצום של איומים וסיכונים שקשורים למערכות AI ולנתונים רגישים. התרחישים הבאים לדוגמה ממחישים איך אפשר להשתמש ב-AI Protection בארגונים שונים:
מוסד שירותים פיננסיים: נתונים פיננסיים של לקוחות
מוסד גדול לשירותים פיננסיים משתמש במודלים של AI שמעבדים נתונים פיננסיים רגישים.
- האתגר: עיבוד נתונים פיננסיים רגישים מאוד באמצעות מודלים של AI כרוך בכמה סיכונים, כולל הסיכון לפריצות לנתונים, זליגת נתונים במהלך אימון או הסקה, ונקודות חולשה בתשתית ה-AI הבסיסית.
- תרחיש שימוש: ניהול סיכונים במערכות AI עוקב באופן רציף אחרי תהליכי עבודה של AI כדי לזהות פעילות חשודה, פועל לזיהוי גישה לנתונים לא מורשית והתנהגות חריגה של מודלים, מבצע סיווג של מידע אישי רגיש ועוזר לשפר את התאימות לתקנות כמו PCI DSS ו-GDPR.
ספקי שירותים רפואיים: פרטיות המטופלים ותאימות
ספק שירותים רפואיים גדול מנהל רשומות רפואיות אלקטרוניות ומשתמש ב-AI לאבחון ולתכנון טיפול, תוך התמודדות עם מידע רפואי מוגן (PHI).
- אתגר: ניתוח של PHI על ידי מודלים של AI כפוף לתקנות מחמירות כמו HIPAA. הסיכונים כוללים חשיפה מקרית של PHI עקב טעויות בהגדרות או התקפות זדוניות שמכוונות למערכות AI כדי לגנוב נתוני מטופלים.
- תרחיש לדוגמה: AI Protection מזהה הפרות פוטנציאליות של HIPAA ושולח התראות לגביהן, מזהה גישה לא מורשית ל-PHI על ידי מודלים או משתמשים, מסמן שירותי AI פגיעים ובעלי פוטנציאל להגדרה שגויה, ועוקב אחרי דליפות נתונים.
חברת ייצור ורובוטיקה: קניין רוחני קנייני
חברת ייצור שמתמחה ברובוטיקה מתקדמת ובאוטומציה מסתמכת במידה רבה על AI כדי לייעל את קווי הייצור ואת השליטה ברובוטים, וקניין רוחני (IP) חיוני מוטמע באלגוריתמים של ה-AI ובנתוני הייצור שלה.
- אתגר: אלגוריתמים קנייניים של AI ונתונים תפעוליים רגישים חשופים לגניבה על ידי איומים פנימיים או גורמים חיצוניים עוינים, מה שעלול להוביל לחיסרון תחרותי או לשיבוש תפעולי.
- תרחיש לדוגמה: AI Protection מנטר גישה לא מורשית למודלים של AI ולמאגרי קוד, מזהה ניסיונות להוציא מודלים מאומנים ודפוסי גישה חריגים לנתונים, ומסמן פגיעויות בסביבות פיתוח של AI כדי למנוע גניבת קניין רוחני.
כללים של Event Threat Detection לנכסים של Gemini Enterprise Agent Platform
התכונה Event Threat Detection מזהה כמה איומים פוטנציאליים שקשורים לנכסים של Gemini Enterprise Agent Platform, כמו פעילות חריגה של חשבון שירות, שינויים בהרשאת גישה למידע רגיש וניצול לרעה של זהות סוכנים.
מציאת קטגוריות שרלוונטיות לנכסי AI כוללת את האפשרויות הבאות:
- התמדה: שיטה חדשה של AI API
- המשכיות: מיקום גיאוגרפי חדש לשירות AI
- העלאת רמת ההרשאה: התחזות חריגה לחשבון שירות לצורך פעילות אדמין של AI
- העלאת רמת ההרשאות: התחזות חריגה לחשבון שירות לצורך גישה לנתוני AI
- העלאת רמת ההרשאות: העברה חריגה של הרשאות לחשבון שירות בכמה שלבים לפעילות אדמין של AI
- העלאת רמת ההרשאות: העברה חריגה של הרשאות לחשבון שירות בכמה שלבים לצורך גישה לנתוני AI
- העלאת רמת הרשאה: התחזות חריגה לחשבון שירות בפעילות של אדמין AI
- גישה ראשונית: פעילות בחשבון שירות רדום בשירות AI
- Persistence: IAM Anomalous Grant to Agentic Identity
- Credential Access: Agentic Identity Credential Used Outside of Google Cloud
- התמדה: הרשאת AI רגישה נוספה לתפקיד מותאם אישית
- שימור: תפקיד רגיש שהוענק על ידי סוכן AI
- שימור: תפקיד רגיש הוענק לסוכן AI חיצוני
- התחמקות מהגנה: התפקיד 'יצירת אסימונים' ברמת הפרויקט הוענק לסוכן AI
- התחמקות מהגנה: התפקיד 'יצירת אסימונים' ברמת התיקייה הוענק לסוכן AI
- התחמקות מהגנה: התפקיד 'יצירת אסימונים' ברמת הארגון הוענק לסוכן AI
רשימה מלאה של הממצאים של Event Threat Detection שרלוונטיים לנכסי AI מופיעה במאמר בנושא שירותי זיהוי.
זיהוי איומים ב-Agent Platform עבור Agent Runtime
התכונה Agent Platform Threat Detection (זיהוי איומים בפלטפורמת הסוכנים) מספקת זיהוי איומים בזמן ריצה לסוכנים שנפרסו ב-Agent Runtime. הוא עוקב אחרי סוכנים פעילים כדי לזהות מתקפות פוטנציאליות ומפיק ממצאים ב-Security Command Center.
התכונה 'זיהוי איומים בפלטפורמת הסוכן' יכולה ליצור ממצאים לגבי Agent Runtime, כולל הקטגוריות הבאות:
- Command and Control: Steganography Tool Detected
- גישה לפרטי כניסה: מציאת Google Cloud פרטי כניסה
- Credential Access: GPG Key Reconnaissance
- גישה לפרטי כניסה: חיפוש מפתחות פרטיים או סיסמאות
- התחמקות מהגנה: שורת פקודה של קובץ ELF בפורמט Base64
- התחמקות מהגנה: סקריפט Python בקידוד Base64 הופעל
- התחמקות מהגנה: הפעלה של סקריפט מעטפת בקידוד Base64
- התחמקות מהגנה: הפעלת הכלי Code Compiler Tool במאגר
- ביצוע: הרצת קוד מרחוק של Netcat במאגר
- הרצה: הרצה אפשרית של פקודות שרירותיות דרך CUPS (CVE-2024-47177)
- הפעלה: זוהתה הפעלה אפשרית של פקודה מרחוק
- ביצוע: הפעלת תוכנית עם סביבת HTTP Proxy לא מורשית
- ביצוע: זוהה Socat Reverse Shell
- הרצה: אובייקט משותף חשוד של OpenSSL נטען
- העברת נתונים: הפעלת כלי להעתקת קבצים מרחוק במאגר
- השפעה: זיהוי שורות פקודה זדוניות
- השפעה: הסרת נתונים בכמות גדולה מהדיסק
- השפעה: פעילות חשודה של כריית קריפטו באמצעות פרוטוקול Stratum
- הסלמת הרשאות: ניצול לרעה של Sudo להסלמת הרשאות (CVE-2019-14287)
- הסלמת הרשאות: נקודת חולשה בהסלמת הרשאות מקומיות ב-Polkit (CVE-2021-4034)
- הסלמת הרשאות: הסלמת הרשאות פוטנציאלית ב-Sudo (CVE-2021-3156)
- ביצוע: בוצע Python זדוני
- ביצוע: פירצה בקונטיינר
- הרצה: הרצה של כלי לתקיפת Kubernetes
- הרצה: הרצה של כלי לזיהוי מקומי
- השפעה: סקריפט זדוני הופעל
- השפעה: זוהתה כתובת URL זדונית
- ביצוע: מעטפת צאצא לא צפויה
רשימה מלאה של הממצאים של Agent Platform Threat Detection מופיעה במאמר בנושא שירותי זיהוי.
מסגרת ניהול סיכונים במערכות AI
ההגנה באמצעות AI משתמשת במסגרת אבטחה שמורכבת מאמצעי בקרה בענן, שנפרסים אוטומטית במצב זיהוי. במצב זיהוי, המערכת מחילה אמצעי בקרה בענן על משאבים מוגדרים למטרות מעקב. אם המערכת מזהה הפרות, היא יוצרת התראות.
אתם יכולים להשתמש במסגרות ובאמצעי בקרה בענן כדי להגדיר את הדרישות שלכם להגנה על AI ולהחיל אותן על סביבתGoogle Cloud .
מסגרת ברירת מחדל
ההגנה מבוססת-AI כוללת מסגרת ברירת מחדל שמגדירה אמצעי בקרה מומלצים. כשמפעילים את ההגנה מבוססת-AI, מסגרת ברירת המחדל מוחלת אוטומטית על Google Cloud הארגון או הפרויקט.
מידע נוסף על אמצעי הבקרה בענן שמוגדרים כברירת מחדל במסגרת הזו זמין במאמר Google Recommended AI Essentials – Vertex AI.
מסגרות בהתאמה אישית
אם אתם צריכים להתאים אישית את הדרישות האלה, אתם יכולים ליצור מסגרות מותאמות אישית על ידי יצירת עותקים של מסגרת ברירת המחדל:
- התאמה אישית: אתם יכולים להוסיף או להסיר אמצעי בקרה בענן במסגרות מותאמות אישית כדי להתאים אותן למדיניות האבטחה שלכם.
- אפליקציה ממוקדת: אתם יכולים להחיל מסגרות בהתאמה אישית על ארגונים, תיקיות או פרויקטים ספציפיים. לדוגמה, אתם יכולים להחיל אמצעי בקרה ספציפיים של תחום שיפוט על תיקיות ספציפיות כדי לוודא שהנתונים יישארו באזור גיאוגרפי מסוים.
- מגבלה: אי אפשר להקצות מסגרות של AI Protection לאפליקציות.
אזורים פונקציונליים נתמכים של AI Protection
בקטע הזה מוגדרים תחומים פונקציונליים שבהם AI Protection יכול לעזור באבטחה.
- עומסי עבודה של AI: עומסי עבודה של אפליקציות AI נעים בין כלים פנימיים שמטרתם לשפר את הפרודוקטיביות של העובדים לבין פתרונות שפונים לצרכנים ומיועדים לשיפור חוויית המשתמש ולקידום העסק. דוגמאות: סוכני AI, עוזרים וירטואליים, צ'אט בוטים מבוססי-AI להמרת שיחות והמלצות בהתאמה אישית.
- סוכני AI: סוכני AI הם מערכות AI שיכולות לתפוס את הסביבה שלהן, לקבל החלטות ולבצע פעולות כדי להשיג יעדים ספציפיים.
- מודלים של AI: מודלים של AI מסווגים למודלים בסיסיים של AI, למודלים של AI שעברו כוונון עדין, למודלים סטנדרטיים של AI מצד ראשון ולמודלים של AI בהתאמה אישית. לדוגמה, Gemini, Llama, מודלים לתרגום ומודלים בהתאמה אישית למשימות ספציפיות.
- נכסי AI: נכסי AI תורמים לצינורות של פעולות למידת מכונה ומשמשים לעומסי עבודה של AI. סוגי נכסי ה-AI כוללים את הדוגמאות הבאות:
- נכסי AI דקלרטיביים: כלים לניהול מחזור החיים של AI, כמו Gemini Enterprise Agent Platform, עוקבים אחרי הנכסים האלה.
- נכסי AI משוערים: נכסים לשימוש כללי, כמו נכסי מחשוב ואחסון, שמשמשים לעיבוד נתוני AI או עומסי עבודה של AI.
- Model-as-a-Service (API only): נכסים שכוללים קריאות פרוגרמטיות למודלים של AI של צד ראשון או צד שלישי.
- שימוש בכלי AI לא מאושרים: נכסי AI ועומסי עבודה שלא אושרו או לא מנוהלים. אין תמיכה בשימוש בכלי AI לא מאושרים ב-Security Command Center במסוף Google Cloud .