בדיקת אבטחת ה-AI

ניהול סיכונים במערכות AI מספק כלים להצגת מלאי נכסי ה-AI של הארגון או הפרויקט, לבדיקת ממצאי אבטחה ולסקירת הצעות לשיפורים להפחתת סיכונים ואיומים. במדריך הזה מוסבר איך לנהל את האבטחה של ה-AI באמצעות לוח הבקרה AI Security והדף נכסים.

רמת השירות של Security Command Center קובעת את התכונות שזמינות בלוח הבקרה AI Security ובכרטיסייה AI resources בדף Assets. מידע על התכונות שזמינות בכל מסלול שירות מופיע במאמר סקירה כללית על ניהול סיכונים במערכות AI.

לפני שמתחילים

  • הגדרת הגנה מבוססת-AI
  • צריך להקצות את התפקידים הנדרשים בניהול זהויות והרשאות גישה (IAM) למשתמשים שיש להם גישה ללוח הבקרה של AI Security ולכרטיסייה Assets > AI resources. מידע נוסף זמין במאמר בנושא התפקידים הנדרשים.

שימוש במרכז הבקרה לאבטחה מבוססת-AI

לוח הבקרה'אבטחת AI' מאפשר לכם לראות את מלאי נכסי ה-AI של הארגון או הפרויקט, ולבדוק הצעות לצמצום סיכונים ואיומים.

גישה למרכז הבקרה לאבטחת AI

כדי לגשת ללוח הבקרה של אבטחת ה-AI, במסוף Google Cloud , עוברים לדף סקירת הסיכונים > אבטחת AI:

מעבר אל 'אבטחת AI'

מידע נוסף זמין במאמר בנושא לוח הבקרה של AI Security.

הסבר על ניהול סיכונים במערכות AI

בקטע הזה מפורטים סיכונים פוטנציאליים למערכות ה-AI שלכם, ומוצגים הסיכונים העיקריים במלאי ה-AI שלכם.

כדי לראות את ההדמיה והפרטים של בעיה ספציפית, לוחצים על הבעיה.

צפייה באיומים מבוססי-AI

בקטע הזה מודגשים האיומים האחרונים על משאבי ה-AI שלכם.

בקטע הזה אפשר לבצע את הפעולות הבאות:

  • כדי לראות את כל האיומים על נכסי ה-AI, לוחצים על הצגת הכול.
  • כדי לראות מידע מפורט על איום ספציפי, לוחצים על האיום.

הדמיה של מלאי שטחי הפרסום שנוצר על ידי AI

בקטע הזה מוצג סיכום ויזואלי של מלאי נכסי ה-AI שלכם, כולל פרויקטים שמשתמשים ב-AI גנרטיבי, מודלים פעילים בהתאמה אישית (ומודלים של Gemini ברמות השירות Premium ו-Enterprise (הוצא משימוש)), ומערכי הנתונים שמשמשים לאימון מודלים של צד שלישי.

בקטע הזה אפשר לבצע את הפעולות הבאות:

  • כדי לראות פרטים על המלאי, לוחצים על צומת כלשהו בתרשים.
  • כדי לראות רשימה מפורטת של נכסים ספציפיים, לוחצים על תיאור הכלי. הרשימה הזו כוללת מודלים בהתאמה אישית או מודלים של Gemini (זמינים ברמות השירות Premium ו-Enterprise (הוצא משימוש)).
  • כדי לראות פרטים על מודל, לוחצים על המודל. בתצוגה הזו מוצגים פרטים כמו נקודות הקצה שבהן המודל מתארח ומערך הנתונים לאימון. אם התכונה Sensitive Data Protection מופעלת, בתצוגת מערכי הנתונים מצוין גם אם מערך הנתונים מכיל מידע אישי רגיש.

סיכום ממצאי הבדיקה של מסגרת ה-AI

בקטע הזה תלמדו איך להעריך את הממצאים שנוצרו על ידי מדיניות אבטחה מבוססת-AI ומדיניות אבטחת נתונים. הוא כולל את הכרטיסים הבאים:

  • ממצאים: בחלק הזה מוצג סיכום של ממצאים שנוצרו על ידי מדיניות אבטחת AI ומדיניות אבטחת מידע, כמו Gemini model detected ו-Gemini model not protected by Model Armor (ממצאים שקשורים למודלים של Gemini זמינים ברמות השירות Premium ו-Enterprise (הוצא משימוש)).

    • כדי לראות את כל הממצאים, לוחצים על הצגת כל הממצאים.
    • כדי לראות את הממצאים של קטגוריה ספציפית, לוחצים על מספר הממצאים לצד הקטגוריה.
    • כדי לראות את הפרטים של ממצא ספציפי, לוחצים על הממצא.

  • מידע אישי רגיש במערכי נתונים של Vertex AI: מוצג סיכום של הממצאים שקשורים למידע אישי רגיש במערכי הנתונים, כפי שדווח על ידי Sensitive Data Protection. מידע נוסף זמין במאמר מבוא לפלטפורמת הסוכנים של Gemini Enterprise.

בדיקת הממצאים של Model Armor

בקטע הזה מוצג תרשים של המספר הכולל של הפרומפטים והתשובות שנסרקו על ידי הגנה מוגברת על המודל, לצד מספר הבעיות שזוהו. בגרף מוצגים גם נתונים סטטיסטיים מסכמים לגבי סוגים ספציפיים של בעיות, כמו הזרקת הנחיה, ניסיונות לפריצת הגבלות וחשיפה של מידע אישי רגיש.

לעומסי עבודה של סוכנים, אפשר להגדיר את Model Armor ב-Agent Gateway כדי לסנן הנחיות ותשובות לסוכנים ומסוכנים.

התרשים הזה מבוסס על המדדים שהגנה מוגברת על המודל מפרסם ב-Cloud Monitoring. מידע נוסף זמין במאמר סקירה כללית על הגנה מוגברת על המודל.

בדיקת הממצאים של הערכת נקודות החולשה ב-Agent Platform

הממצאים שנוצרים על ידי Agent Platform הערכת נקודות חולשה כוללים מידע על המיקום ועל סוג הסוד, אבל לא כוללים את ערך הסוד.

כדי לבדוק את הממצאים שנוצרו על ידי Agent Platform Vulnerability Assessment (הערכת נקודות חולשה בפלטפורמת הסוכן):

  1. נכנסים לדף Findings ב-Security Command Center במסוף Google Cloud .

    כניסה לדף Findings

  2. בוחרים את הפרויקט Google Cloud או הארגון.
  3. בקטע Quick filters, בקטע המשנה Class, בוחרים באפשרות Secrets. תוצאות השאילתה מתעדכנות ומוצגות רק הממצאים שתואמים לה.
  4. כדי לראות את הפרטים של ממצא ספציפי, לוחצים על שם הממצא בעמודה Category (קטגוריה). חלונית הפרטים של הממצא תיפתח ותציג את הכרטיסייה סיכום.
  5. בכרטיסייה סיכום, בקטע זוהה, מעיינים בתיאור ולוחצים על הקישורים הבאים כדי לקבל פרטים נוספים:
    • קבצים: מידע על המיקום שבו נמצא הסוד.
    • הצגת פרטי הסוד: אפשר לראות את סוג הסוד שזוהה.

בדיקת משאבי AI

בנוסף למרכז הבקרה של אבטחת ה-AI, אתם יכולים לבדוק את מלאי נכסי ה-AI של הארגון או הפרויקט ולשאול עליו שאלות בדף נכסים במסוףGoogle Cloud באמצעות הכרטיסייה משאבי AI.

בכרטיסייה AI resources מוצגת תצוגה מפורטת של מערכות ונכסי ה-AI שזוהו, שאפשר לסנן אותה. התצוגה כוללת את הפרטים הבאים:

  • מודלים
  • נקודות קצה
  • מקורות נתונים
  • פייפליינים
  • סוכנים
  • שרתים של Model Context Protocol‏ (MCP)
  • קובצי Notebook

אפשר להשתמש בכרטיסייה AI resources כדי לקבל עזרה בנושאים הבאים:

  • הבנת מלאי ה-AI: אפשר לראות רשימות מקיפות של נכסי AI פעילים בארגון או בפרויקט, עם אפשרות סינון לפי פרויקט, מיקום או סוג משאב.
  • ביצוע חקירות אבטחה: בדיקה של המטא-נתונים המלאים, היסטוריית השינויים ומדיניות IAM המשויכת של נכסי AI ספציפיים.
  • בדיקת ממצאים קשורים: אפשר לראות במהירות את כל ממצאי האבטחה שמשויכים לנכס AI ספציפי, כדי להעריך את רמת הסיכון שלו ולקבוע את שלבי התיקון הנדרשים.

מידע נוסף על צפייה בנכסי AI וסינון שלהם במסוף זמין במאמר בדיקת נכסים שנמצאים במעקב של Security Command Center.

המאמרים הבאים