סקירה כללית על ניהול סיכונים במערכות AI

בעזרת "ניהול סיכונים במערכות AI" אתם יכולים לנהל את מצב האבטחה של עומסי העבודה ב-AI בסביבת Google Cloud . אתם יכולים להשתמש בו כדי לראות את מלאי ה-AI, לזהות איומים ולצמצם את הסיכונים למערכות ה-AI.

אפשר להפעיל את "ניהול סיכונים במערכות AI" ברמת הארגון וברמת הפרויקט ב-Security Command Center. בהתאם להיקף ההפעלה, במרכז הבקרה של AI Security במסוף Google Cloud מוצגים נתונים נצברים מכל הפרויקטים והמשאבים, או נתונים מהפרויקט שנבחר.

היכולות של "ניהול סיכונים במערכות AI"

התכונה "ניהול סיכונים במערכות AI" עוזרת לכם לנהל את האיומים והסיכונים לרכיבים במערכות ה-AI שלכם. רמת השירות קובעת את היכולות הזמינות, שכוללות את האפשרויות הבאות:

  • הערכת מלאי נכסי ה-AI: הבנת המערכות והנכסים של ה-AI.
  • זיהוי נקודות חולשה (רמות השירות Premium ו-Enterprise (הוצאה משימוש)): זיהוי נקודות חולשה בתוכנה (CVE) וסודות בטקסט פשוט בעומסי עבודה של סוכנים שנפרסו באמצעות Agent Runtime.
  • זיהוי סיכונים (רמות השירות Premium ו-Enterprise (הוצאה משימוש)): זיהוי סיכונים וההשפעה שלהם על הסביבה על סמך סימולציה של נתיב התקפה וכללים מוגדרים מראש של Security Graph, עם סוכנים ושרתי MCP כמשאבים בעלי ערך גבוה.
  • זיהוי סוכנים עם הרשאות יתר: זיהוי סוכנים ב-Agent Runtime שקיבלו הרשאות יתר.
  • ניהול התאימות: מוודאים באופן יזום שנכסי ה-AI בפריסות עומדים בתקני האבטחה הרלוונטיים. רמת השירות Standard כוללת ממצאי אבטחה בסיסיים עם Security Essentials, ורמות השירות Premium ו-Enterprise כוללות תאימות מתקדמת למסגרת.
  • זיהוי וניהול של איומים: זיהוי איומים פוטנציאליים על מערכות ה-AI והנכסים שלכם, ותגובה מהירה אליהם.

תרחישים לדוגמה לניהול סיכונים במערכות AI

התכונה "ניהול סיכונים במערכות AI" עוזרת לארגונים לשפר את האבטחה שלהם על ידי זיהוי וצמצום של איומים וסיכונים שקשורים למערכות AI ולמידע רגיש. התרחישים הבאים לדוגמה ממחישים איך אפשר להשתמש ב"ניהול סיכונים במערכות AI" בארגונים שונים:

  • מוסד לשירותים פיננסיים: נתונים פיננסיים של לקוחות

    מוסד גדול לשירותים פיננסיים משתמש במודלים של AI שמעבדים נתונים פיננסיים רגישים.

    • האתגר: עיבוד נתונים פיננסיים רגישים מאוד באמצעות מודלי AI כרוך בכמה סיכונים, כולל הסיכון לפרצות באבטחת מידע, זליגת נתונים במהלך אימון או היקש ונקודות חולשה בתשתית ה-AI הבסיסית.
    • תרחיש לדוגמה: ניהול סיכונים במערכות AI עוקב באופן רציף אחרי תהליכי עבודה של AI כדי לזהות פעילות חשודה, גישה לא מורשית לנתונים והתנהגות חריגה של מודלים. הוא גם מסווג נתונים רגישים ועוזר לשפר את התאימות לתקנות כמו PCI DSS ו-GDPR.

  • ספק שירותי בריאות: פרטיות המטופלים ותאימות

    ספק שירותים רפואיים גדול מנהל סיכומי מצב בריאותי אלקטרוניים ומשתמש ב-AI לאבחון ולתכנון טיפולים, תוך טיפול במידע רפואי מוגן (PHI).

    • האתגר: מידע בריאותי מוגן (PHI) שמנותח על ידי מודלים של AI כפוף לתקנות מחמירות כמו HIPAA. הסיכונים כוללים חשיפה מקרית של מידע בריאותי אישי (PHI) בגלל הגדרות שגויות או התקפות זדוניות שמטרתן להשיג נתוני מטופלים ממערכות AI.
    • תרחיש לדוגמה: ניהול סיכונים במערכות AI מזהה הפרות פוטנציאליות של HIPAA ומתריע עליהן, מזהה גישה לא מורשית של מודלים או משתמשים ל-PHI, מסמן שירותי AI פגיעים ועם הגדרות אישיות שעלולות להיות שגויות, ועוקב אחרי דליפת נתונים.

  • חברת ייצור ורובוטיקה: קניין רוחני קנייני

    חברת ייצור שמתמחה ברובוטיקה מתקדמת ובאוטומציה מסתמכת במידה רבה על AI כדי לשפר את קווי הייצור ואת הבקרה הרובוטית, וקניין רוחני (IP) חיוני מוטמע באלגוריתמים של ה-AI ובנתוני הייצור שלה.

    • האתגר: אלגוריתמים קנייניים של AI ונתונים תפעוליים רגישים חשופים לגניבה על ידי גורמים עוינים פנימיים או חיצוניים, מה שעלול להוביל לפגיעה ביתרון התחרותי או לשיבוש תפעולי.
    • תרחיש שימוש: ניהול סיכונים במערכות AI עוקב אחרי גישה לא מורשית למודלי AI ולמאגרי המקורות של הקוד, מזהה ניסיונות להוציא מודלים מאומנים ודפוסי גישה חריגים לנתונים, ומסמן נקודות חולשה בסביבות פיתוח של AI כדי למנוע גניבת קניין רוחני (IP).

שירותי זיהוי ב-AI Protection

בקטע הבא מתוארים הכללים ושירותי הזיהוי שיוצרים ממצאים כשמפעילים את "ניהול סיכונים במערכות AI". רמת השירות והיקף ההפעלה (ברמת הארגון או ברמת הפרויקט) של Security Command Center קובעים באילו שירותי זיהוי Security Command Center תומך ואילו ממצאים נוצרים. חלק משירותי הזיהוי מופעלים באופן אוטומטי ב-Security Command Center, אבל צריך להגדיר שירותים אחרים באופן ידני. מידע נוסף זמין במאמר הגדרת ניהול סיכונים במערכות AI.

שירות AI Discovery

זהו שירות מובנה שמשתמש בנתוני Cloud Monitoring כדי לגלות מודלים של AI ולקבוע אם Model Armor מגן על המודלים. ברמת השירות Standard, ‏AI Discovery לא תומך בזיהוי של מודלים של Gemini.

למידע על הממצאים שהשירות הזה יוצר, קראו את המאמר ממצאים של שירות AI Discovery.

מסגרות של Compliance Manager

התכונה "ניהול סיכונים במערכות AI" משתמשת במסגרות של Compliance Manager, ש-Security Command Center פורס באופן אוטומטי במצב זיהוי.

מסגרות מובנות ב-Compliance Manager

התכונה "ניהול סיכונים במערכות AI" כוללת את המסגרות הבאות. כשמפעילים את "ניהול סיכונים במערכות AI", ‏Security Command Center מפעיל באופן אוטומטי את המסגרות האלה בארגון או בפרויקט.

בהתאם לרמת השירות, אתם יכולים להגדיר מסגרות ואמצעי בקרה בענן נוספים ב-Compliance Manager. מידע נוסף על Compliance Manager

מסגרות בהתאמה אישית ב-Compliance Manager

אתם יכולים ליצור מסגרות בהתאמה אישית על ידי יצירת עותקים של מסגרות מובְנות שזמינות ברמת השירות שלכם.

  • התאמה אישית: אתם יכולים להוסיף או להסיר אמצעי בקרה בענן במסגרות בהתאמה אישית, כדי להתאים אותן למדיניות האבטחה שלכם.
  • החלה ממוקדת: אתם יכולים להחיל מסגרות בהתאמה אישית על ארגונים, תיקיות או פרויקטים ספציפיים. לדוגמה, אתם יכולים להחיל אמצעי בקרה ספציפיים של סמכות שיפוט על תיקיות ספציפיות כדי לוודא שהנתונים נשארים באזור גיאוגרפי מסוים.
  • מגבלה: אי אפשר להקצות לאפליקציות מסגרות של ניהול סיכונים במערכות AI.

כללי Event Threat Detection לנכסים בפלטפורמת הסוכנים של Gemini Enterprise

הכלי Event Threat Detection מזהה כמה איומים פוטנציאליים שקשורים לנכסים ב-Gemini Enterprise Agent Platform, כמו פעילות חריגה בחשבון שירות, שינויים בהרשאות גישה למידע רגיש וניצול לרעה של זהות הסוכן.

קטגוריות הממצאים שרלוונטיות לנכסי AI כוללות:

  • ‫Persistence: שיטה חדשה ב-AI API
  • Persistence: New Geography for AI Service
  • הרחבת הרשאות: התחזות חריגה לחשבון שירות לצורך פעילות אדמין ב-AI
  • הרחבת הרשאות: התחזות חריגה לחשבון שירות לצורך גישה לנתוני AI
  • הרחבת הרשאות: הקצאת הרשאות חריגה בכמה שלבים לחשבון שירות לפעילות אדמין ב-AI
  • הרחבת הרשאות: הקצאת הרשאות חריגה לחשבון שירות בכמה שלבים לצורך גישה לנתוני AI
  • הרחבת הרשאות: התחזות חריגה לחשבון שירות לצורך פעילות אדמין ב-AI
  • גישה ראשונית: פעילות בחשבון שירות רדום בשירות AI
  • התמדה: מתן הרשאות IAM חריגות לזהות של סוכן AI
  • גישה לפרטי כניסה: שימוש בפרטי כניסה של Agentic Identity מחוץ ל- Google Cloud
  • התמדה: הרשאת AI רגישה נוספה לתפקיד בהתאמה אישית
  • התמדה: סוכן AI העניק תפקיד רגיש
  • התמדה: תפקיד רגיש הוקצה לסוכן AI חיצוני
  • התחמקות מהגנה: הקצאת תפקיד של יצירת אסימונים ברמת הפרויקט לסוכן AI
  • התחמקות מהגנה: הוקצה לסוכן ה-AI תפקיד של יצירת אסימונים ברמת התיקייה
  • התחמקות מהגנה: הוקצה תפקיד של יצירת אסימונים ברמת הארגון לסוכן AI

רשימה מלאה של הממצאים של Event Threat Detection שרלוונטיים לנכסי AI מופיעה במאמר סקירה כללית על Event Threat Detection.

זיהוי איומים ב-Agent Platform ל-Agent Runtime

השירות "זיהוי איומים ב-Agent Platform" (גרסת טרום-השקה (Preview)) מספק זיהוי איומים בזמן ריצה לסוכנים שנפרסו ב-Agent Runtime. הוא עוקב אחרי סוכנים שפועלים כדי לזהות התקפות פוטנציאליות, ומפיק ממצאים ב-Security Command Center.

הכלי "זיהוי איומים ב-Agent Platform" יוצר ממצאים ל-Agent Runtime, כולל הקטגוריות הבאות:

  • פקודות ואמצעי בקרה: זוהה כלי סטגנוגרפיה
  • גישה לפרטי כניסה: חיפוש Google Cloud פרטי כניסה
  • גישה לפרטי כניסה: איסוף מידע על מפתח GPG
  • גישה לפרטי כניסה: חיפוש מפתחות פרטיים או סיסמאות
  • התחמקות מהגנה: שורת פקודה של קובץ Base64 ELF
  • התחמקות מהגנה: הופעל סקריפט Python בקידוד Base64
  • התחמקות מהגנה: הופעל סקריפט מעטפת בקידוד Base64
  • התחמקות מהגנה: הפעלת כלי קומפיילר קוד בקונטיינר
  • הרצה: הרצת קוד מרחוק של Netcat בקונטיינר
  • הרצה: הרצה אפשרית של פקודה שרירותית דרך CUPS‏ (CVE-2024-47177)
  • הרצה: זוהתה הרצה אפשרית של פקודה מרחוק
  • Execution: Program Run with Disallowed HTTP Proxy Env
  • ביצוע: זוהה Socat Reverse Shell
  • ביצוע: נטען אובייקט משותף חשוד של OpenSSL
  • זליגת מידע: הפעלת כלים להעתקת קבצים מרחוק בקונטיינר
  • השפעה: זיהוי שורות פקודה זדוניות
  • ההשפעה: הסרת נתונים בכמות גדולה מהדיסק
  • ההשפעה: פעילות חשודה של כריית מטבעות קריפטוגרפיים באמצעות פרוטוקול Stratum
  • הרחבת הרשאות: ניצול לרעה של Sudo להרחבת הרשאות (CVE-2019-14287)
  • הסלמת הרשאות (privilege escalation): נקודת חולשה של הסלמת הרשאות מקומיות ב-Polkit‏ (CVE-2021-4034)
  • הרחבת הרשאות: הרחבת הרשאות פוטנציאלית של Sudo‏ (CVE-2021-3156)
  • הרצה: הרצה של קוד Python זדוני
  • הפעלה: פירצה בקונטיינר
  • ביצוע: הפעלת כלי תקיפה של Kubernetes
  • ביצוע: הפעלת כלי מקומי לאיסוף מידע
  • ההשפעה: הפעלת סקריפט זדוני
  • ההשפעה: נצפתה כתובת URL זדונית
  • הרצה: מעטפת צאצא לא צפויה

מידע נוסף על זיהוי איומים בפלטפורמת הסוכנים

הערכת נקודות חולשה ב-Agent Platform

הערכת נקודות החולשה של Agent Platform (גרסת טרום-השקה (Preview)) מזהה נקודות חולשה וסודות בטקסט פשוט, כמו פרטי כניסה, מפתחות, אסימוני גישה או אישורים, בקובצי אימג' של קונטיינרים ב-Gemini Enterprise Agent Platform.

מידע נוסף זמין בקטע הערכת נקודות חולשה בפלטפורמת הסוכן במאמר "שירותי זיהוי".

Notebook Security Scanner

‫Notebook Security Scanner (גרסת טרום-השקה (Preview)) סורק את קובצי ה-Notebook של Colab Enterprise כדי לזהות נקודות חולשה בחבילות Python.

מידע נוסף זמין בקטע Notebook Security Scanner במאמר "שירותי זיהוי".

Sensitive Data Protection

שירות הגילוי של Sensitive Data Protection הוא שירות מנוהל במלואו Google Cloudשעוזר לכם לגלות, לסווג ולהגן על המידע הרגיש שלכם. אתם יכולים להשתמש ב-Sensitive Data Protection כדי לבדוק אם אתם מאחסנים מידע רגיש או פרטים אישיים מזהים (PII).

מידע נוסף זמין במאמר ממצאים של Sensitive Data Protection בקטע "שירותי זיהוי".

Model Armor

אחרי שמפעילים את "הגנה מוגברת על המודל" ומגדירים את "הגנה מוגברת על המודל" לשילוב עם רכיב אחד או יותר שקשורים ל-AI, אפשר לחקור את הממצאים של "הגנה מוגברת על המודל" ב-Security Command Center.

ברמת השירות Security Command Center Standard, חבילת AI Protection לא תומכת במודלים של Gemini.

כדי להגדיר את Model Armor, קראו את המאמר יצירה וניהול של תבניות.

מנוע הסיכונים

מנגנון הסיכון הוא תכונה ב-Security Command Center שמעריכה את החשיפה לסיכון של פריסות בענן, מקצה ציוני חשיפה להתקפה לממצאי פגיעויות ולמשאבים בעלי ערך גבוה, ומשרטטת נתיבים שבהם תוקף פוטנציאלי יכול להגיע למשאבים בעלי ערך גבוה.

מידע נוסף זמין בקטע מנוע הסיכונים במאמר "שירותי זיהוי".

משאבים נתמכים בניהול סיכונים במערכות AI

המערכת לניהול סיכונים במערכות AI מגלה נכסים באמצעות המנגנונים הבאים:

  • נכסי AI דקלרטיביים: נכסים שכלים לניהול מחזור החיים של AI (כמו Gemini Enterprise Agent Platform) עוקבים אחריהם.
  • נכסי AI מוסקים: נכסים למטרות כלליות (כמו נכסי מחשוב ואחסון) שמעבדים נתונים או עומסי עבודה של AI.
  • מודל כשירות (API בלבד): נכסים שמבצעים קריאות פרוגרמטיות למודלים של AI של צד ראשון או של צד שלישי.

בקטע הזה מוגדרים המלאי והנכסים של AI שנתמכים, ושאפשר לאבטח באמצעות "ניהול סיכונים במערכות AI".

  • אפליקציות Gemini Enterprise ו-Agent Search: מערכות AI שיכולות לתפוס את הסביבה שלהן, לקבל החלטות ולבצע פעולות כדי להשיג יעדים ספציפיים.
  • נקודות קצה (endpoint): עומסי העבודה של אפליקציות ה-AI נעים בין כלים פנימיים שמיועדים לשפר את הפרודוקטיביות של העובדים לבין פתרונות שפונים לצרכנים ומיועדים לשפר את חוויית המשתמש ולקדם את העסק. לדוגמה: סוכני AI, עוזרים וירטואליים, צ'אט בוטים של AI בממשק שיחה והמלצות בהתאמה אישית. ב-"ניהול סיכונים במערכות AI", הנקודות האלה מזוהות בתור נקודות קצה של Agent Platform בכרטיסייה משאבי AI בדף "נכסים".
  • מקורות נתונים: מקורות הנתונים הנתמכים כוללים טבלאות ב-BigQuery,‏ Cloud Storage, מערכי נתונים של Agent Platform ומאגרי נתונים של Gemini Enterprise.
  • מודלים: ניהול סיכונים במערכות AI מזהה מודלים של AI כמודלים בסיסיים של AI, מודלים של AI שעברו כוונון, מודלים סטנדרטיים של AI מאינטראקציה ישירה ומודלים מותאמים אישית של AI. לדוגמה:
    • ‫Gemini (זמין ברמות השירות Premium ו-Enterprise (הוצאה משימוש))
    • Llama
    • מודלים של תרגום
    • מודלים בהתאמה אישית למשימות ספציפיות
  • נכסי AI: נכסי AI תורמים לצינורות עיבוד נתונים של למידת מכונה, ומשמשים לעומסי עבודה של AI. סוגי הנכסים שנוצרו על ידי AI כוללים:
  • שרתי Model Context Protocol‏ (MCP): ניהול סיכונים במערכות AI מזהה שרתי MCP שמקוטלגים ב-Agent Registry. כדי להשתמש בתכונה הזו, צריך להגדיר את App Hub API בכל פרויקט שמארח שרת MCP.

ההשפעות של שינויים ברמת השירות

אם תשדרגו לאחור את רמת השירות מ-Premium או Enterprise ל-Standard, השדרוג לאחור ישפיע על היכולות שלכם לניהול סיכונים במערכות AI באופן הבא:

  • שירותי זיהוי: Security Command Center משבית את שירותי הזיהוי ואת המסגרות של Compliance Manager שלא נתמכים ברמת Standard. מידע נוסף זמין במאמר ניהול רמות השירות ב-Compliance Manager.
  • תכונות חקירה: לא תהיה לכם גישה לתכונות חקירה מתקדמות, כמו סימולציות של נתיבי תקיפה לנכסי AI, הערכת נקודות חולשה של סוכנים וזיהוי סוכנים עם הרשאות יתר.
  • ממצאים הופכים ללא פעילים: ממצאים שנוצרו על ידי מסגרות של Compliance Manager שלא נתמכות ברמת Standard הופכים ללא פעילים. מידע נוסף זמין במאמר ניהול רמות השירות ב-Compliance Manager.

אם תשדרגו בחזרה לרמת Premium או Enterprise, התכונות המתקדמות ישוחזרו ב-Security Command Center, אבל פריסות המסגרת שהוסרו במהלך השדרוג לאחור לא ישוחזרו באופן אוטומטי. צריך לפרוס מחדש את המסגרות באופן ידני.

המאמרים הבאים