סקירה כללית על ניהול סיכונים במערכות AI

ניהול סיכונים במערכות AI עוזר לכם לנהל את מצב האבטחה של עומסי העבודה של ה-AI. הוא מזהה איומים ועוזר לצמצם את הסיכונים למלאי נכסי ה-AI. במסמך הזה מופיעה סקירה כללית של ניהול סיכונים במערכות AI, כולל היתרונות שלו וכמה מושגים מרכזיים.

יכולות ניהול סיכונים במערכות AI

‫AI Protection מספק כמה יכולות שיעזרו לכם לנהל איומים וסיכונים במערכות ה-AI שלכם, כולל:

  • הערכת מלאי ה-AI: הערכה והבנה של מערכות ה-AI ונכסי ה-AI, כולל המודלים, מערכי הנתונים ונקודות הקצה.
  • ניהול סיכונים ועמידה בתקנות: ניהול פרואקטיבי של סיכונים שקשורים לנכסי ה-AI ואימות של פריסות ה-AI בהתאם לתקני אבטחה רלוונטיים.
  • צמצום סיכונים משפטיים ופיננסיים: צמצום הסיכונים הפיננסיים, הסיכונים שקשורים למוניטין והסיכונים המשפטיים שקשורים לפרצות אבטחה ולאי-עמידה בדרישות הרגולטוריות.
  • זיהוי איומים וניהול שלהם: זיהוי איומים פוטנציאליים על מערכות ה-AI והנכסים שלכם והגבה לאיומים בזמן.
  • הצגת מרכז בקרה אחד: אפשר לנהל את כל הסיכונים והאיומים שקשורים ל-AI ממרכז בקרה אחד.

תרחישי שימוש לניהול סיכונים במערכות AI

ניהול סיכונים במערכות AI עוזר לארגונים לשפר את האבטחה שלהם על ידי זיהוי וצמצום של איומים וסיכונים שקשורים למערכות AI ולמידע אישי רגיש. התרחישים הבאים לדוגמה ממחישים איך אפשר להשתמש בניהול סיכונים במערכות AI בארגונים שונים:

  • מוסד שירותים פיננסיים: נתונים פיננסיים של לקוחות

    מוסד גדול לשירותים פיננסיים משתמש במודלים של AI לעיבוד נתונים פיננסיים רגישים.

    • האתגר: עיבוד נתונים פיננסיים רגישים מאוד באמצעות מודלים של AI כרוך בכמה סיכונים, כולל הסיכון לפריצות לנתונים, זליגת נתונים במהלך אימון או הסקת מסקנות ונקודות חולשה בתשתית ה-AI הבסיסית.
    • תרחיש שימוש: ניהול סיכונים במערכות AI עוקב באופן רציף אחרי תהליכי עבודה של AI כדי לזהות פעילות חשודה, פועל לזיהוי גישה לא מורשית לנתונים והתנהגות חריגה של מודלים, מבצע סיווג של מידע אישי רגיש ועוזר לשפר את התאימות לתקנות כמו PCI DSS ו-GDPR.

  • ספק שירותים רפואיים: פרטיות המטופלים ותאימות

    ספק שירותים רפואיים גדול מנהל רשומות רפואיות אלקטרוניות ומשתמש ב-AI לאבחון ולתכנון טיפול, תוך התמודדות עם מידע רפואי מוגן (PHI).

    • אתגר: מידע PHI שמנותח על ידי מודלים של AI כפוף לתקנות מחמירות כמו HIPAA. הסיכונים כוללים חשיפה מקרית של מידע רפואי פרטי עקב טעויות בהגדרות או מתקפות זדוניות שמכוונות למערכות AI כדי לגנוב נתוני מטופלים.
    • תרחיש לדוגמה: ניהול סיכונים במערכות AI מזהה הפרות פוטנציאליות של HIPAA ושולח התראות לגביהן, מזהה גישה לא מורשית ל-PHI על ידי מודלים או משתמשים, מסמן שירותי AI פגיעים ובעלי פוטנציאל להגדרות שגויות, ועוקב אחרי דליפות נתונים.

  • חברת ייצור ורובוטיקה: קניין רוחני קנייני

    חברת ייצור שמתמחה ברובוטיקה מתקדמת ובאוטומציה מסתמכת במידה רבה על AI כדי לייעל את קווי הייצור ואת בקרת הרובוטים, וקניין רוחני (IP) חיוני מוטמע באלגוריתמים של ה-AI ובנתוני הייצור שלה.

    • אתגר: אלגוריתמים קנייניים של AI ונתונים תפעוליים רגישים חשופים לגניבה מאיומים פנימיים או מיריבים חיצוניים, מה שעלול להוביל לנחיתות תחרותית או לשיבוש תפעולי.
    • תרחיש לדוגמה: ניהול סיכונים במערכות AI עוקב אחרי גישה לא מורשית למודלים של AI ולמאגרי קוד, מזהה ניסיונות להוצאת מודלים מאומנים ודפוסי גישה חריגים לנתונים, ומסמן נקודות חולשה בסביבות פיתוח של AI כדי למנוע גניבת קניין רוחני.

כללי Event Threat Detection עבור נכסי Vertex AI

הכללים הבאים של Event Threat Detection מריצים זיהויים בנכסי Vertex AI:

  • שמירת נתונים: שיטה חדשה של AI API
  • המשכיות: מיקום גיאוגרפי חדש לשירות AI
  • העלאת רמת ההרשאה: התחזות אנומלית לחשבון שירות לצורך פעילות אדמין של AI
  • העלאת רמת ההרשאות: התחזות חריגה לחשבון שירות לצורך גישה לנתוני AI
  • העלאת רמת ההרשאות: העברה חריגה של הרשאות לחשבון שירות במספר שלבים לפעילות אדמין של AI
  • העלאת רמת ההרשאות: העברה חריגה של הרשאות לחשבון שירות במספר שלבים לצורך גישה לנתוני AI
  • העלאת רמת הרשאה: התחזות חריגה לחשבון שירות עבור פעילות אדמין ב-AI
  • גישה ראשונית: פעילות בחשבון שירות רדום בשירות AI

מידע נוסף על Event Threat Detection זמין במאמר סקירה כללית על Event Threat Detection.

מסגרת AI Protection

ניהול סיכונים במערכות AI משתמש במסגרת שכוללת אמצעי בקרה ספציפיים בענן שנפרסים אוטומטית במצב זיהוי. מצב 'זיהוי' פירושו שאמצעי הבקרה בענן מוחל על המשאבים המוגדרים למטרות מעקב. המערכת מזהה הפרות ושולחת התראות. אתם משתמשים במסגרות ובאמצעי בקרה בענן כדי להגדיר את הדרישות שלכם לניהול סיכונים במערכות AI, ומחילים את הדרישות האלה על סביבת Google Cloud . ניהול סיכונים במערכות AI כולל את מסגרת ברירת המחדל, שמגדירה אמצעי בקרה מומלצים לניהול סיכונים במערכות AI. כשמפעילים את ניהול סיכונים במערכות AI, מסגרת ברירת המחדל מוחלת באופן אוטומטי על הארגון במצב זיהוי. Google Cloud

אם צריך, אפשר ליצור עותקים של המסגרת כדי ליצור מסגרות מותאמות אישית לניהול סיכונים במערכות AI. אתם יכולים להוסיף את אמצעי הבקרה בענן למסגרות מותאמות אישית ולהחיל את המסגרות המותאמות אישית על הארגון, על התיקיות או על הפרויקטים. לדוגמה, אתם יכולים ליצור מסגרות מותאמות אישית שמחילות אמצעי בקרה ספציפיים בתחום השיפוט על תיקיות מסוימות, כדי להבטיח שהנתונים בתיקיות האלה יישארו באזור גיאוגרפי מסוים.

אמצעי בקרה בענן במסגרת ברירת המחדל של ניהול סיכונים במערכות AI

אמצעי הבקרה הבאים בענן הם חלק ממסגרת ברירת המחדל של ניהול סיכונים במערכות AI.

שם אמצעי הבקרה בענן תיאור

חסימה של רשת VPC כברירת מחדל למכונות של Vertex AI Workbench

כדי למנוע שימוש בכללי ברירת המחדל של חומת האש, שמאפשרים יותר מדי גישה, מומלץ לא ליצור מכונות Workbench ברשת ה-VPC שמוגדרת כברירת מחדל.

חסימה של הורדת קבצים במסוף JupyterLab

כדי לצמצם את הסיכונים לזליגת נתונים ולעזור במניעת הפצה של תוכנות זדוניות, אל תאפשרו הורדה של קבצים ממסוף JupyterLab במופעי Workbench.

חסימת גישה לאינטרנט לתבניות של סביבת ריצה ב-Vertex AI

אל תאפשרו גישה לאינטרנט בתבניות של זמן ריצה ב-Colab Enterprise כדי לצמצם את שטח הפנים החיצוני להתקפה ולמנוע זליגת נתונים פוטנציאלית.

חסימה של כתובת IP ציבורית למכונות של Vertex AI Workbench

כדי לצמצם את החשיפה לאינטרנט ולמזער את הסיכון לגישה לא מורשית, לא מאשרים כתובות IP חיצוניות למופעי Workbench.

חסימת גישת Root במכונות של Vertex AI Workbench

כדי למנוע שינוי לא מורשה של קבצי מערכת קריטיים או התקנה של תוכנות זדוניות, אין לאפשר גישת שורש במופעי Workbench.

הפעלת שדרוגים אוטומטיים למכונות של Vertex AI Workbench

כדי לקבל גישה לתכונות העדכניות, לעדכוני המסגרת ולתיקוני האבטחה, מומלץ להפעיל שדרוגים אוטומטיים למופעי Workbench.

הפעלת הצפנה באמצעות מפתח משל לקוחות (CMEK) עבור משימות בהתאמה אישית ב-Vertex AI

כדי לקבל יותר שליטה על ההצפנה של נתוני הקלט והפלט של משימות אימון מותאמות אישית ב-Vertex AI, אפשר לדרוש שימוש במפתחות הצפנה בניהול הלקוח (CMEK).

הפעלת CMEK למערכי נתונים של Vertex AI

דרישה לשימוש במפתחות הצפנה בניהול הלקוח (CMEK) במערכי נתונים של Vertex AI כדי לקבל יותר שליטה על הצפנת הנתונים וניהול המפתחות.

הפעלת CMEK עבור נקודות קצה של Vertex AI

כדי לקבל יותר שליטה על ההצפנה של מודלים שנפרסו ולשלוט בגישה לנתונים, אפשר לדרוש שימוש במפתחות הצפנה בניהול הלקוח (CMEK) לנקודות קצה של Vertex AI.

הפעלת CMEK ב-Vertex AI Featurestore

כדי לקבל יותר שליטה על הצפנת הנתונים והגישה אליהם, אפשר לדרוש שימוש במפתחות הצפנה בניהול הלקוח (CMEK) ב-Vertex AI Feature Store.

הפעלה של CMEK למשימות כוונון של היפר-פרמטרים ב-Vertex AI

כדי לקבל שליטה רבה יותר על ההצפנה של נתוני אימון המודל ועל הגדרת העבודה, אפשר לדרוש שימוש במפתחות הצפנה בניהול הלקוח (CMEK) בעבודות של כוונון היפר-פרמטרים.

הפעלת CMEK במאגרי מטא-נתונים של Vertex AI

כדי לקבל יותר שליטה על ההצפנה של מטא-נתונים ועל בקרת הגישה, אפשר לדרוש שימוש במפתחות הצפנה בניהול הלקוח (CMEK) במאגרי מטא-נתונים של Vertex AI.

הפעלת CMEK עבור מודלים של Vertex AI

דרישה לשימוש במפתחות הצפנה בניהול הלקוח (CMEK) במודלים של Vertex AI כדי לקבל יותר שליטה על הצפנת הנתונים וניהול המפתחות.

הפעלת CMEK עבור תבניות של סביבות ריצה ב-Vertex AI Notebook

דרישה לשימוש במפתחות הצפנה בניהול הלקוח (CMEK) בתבניות של סביבות זמן ריצה ב-Colab Enterprise, כדי להגן על סביבות זמן הריצה ועל הנתונים שמשויכים אליהן.

הפעלת CMEK ב-Vertex AI TensorBoard

כדי לקבל שליטה רבה יותר על ההצפנה של נתוני הניסויים וההדמיות של המודלים, אפשר לדרוש שימוש במפתחות הצפנה בניהול הלקוח (CMEK) ב-Vertex AI TensorBoard.

הפעלת הצפנה באמצעות מפתח משל לקוחות (CMEK) בצינורות עיבוד נתונים לאימון ב-Vertex AI

דרישה לשימוש במפתחות הצפנה בניהול הלקוח (CMEK) בצינורות של Vertex AI לאימון מודלים, כדי לקבל יותר שליטה על ההצפנה של נתוני האימון ושל הארטיפקטים שנוצרים.

הפעלת הצפנה באמצעות מפתח שמוגדר על ידי הלקוח (CMEK) במכונות של Vertex AI Workbench

כדי לקבל יותר שליטה על הצפנת הנתונים, אפשר לדרוש שימוש במפתחות הצפנה בניהול הלקוח (CMEK) עבור מופעים של Vertex AI Workbench.

הפעלת התכונה 'מחיקה לפח' במכונות של Vertex AI Workbench

כדי לספק רשת ביטחון חיונית לשחזור ולמנוע אובדן נתונים מקרי, מומלץ להפעיל את התכונה 'מחיקה להעברה לאשפה של מטא נתונים' במופעי Workbench.

הפעלת השבתה במצב לא פעיל עבור תבניות של סביבת זמן ריצה ב-Vertex AI

אפשר להפעיל כיבוי אוטומטי של מצב בלי פעילות בתבניות של סביבת זמן הריצה ב-Colab Enterprise כדי לבצע אופטימיזציה של עלויות הענן, לשפר את ניהול המשאבים ולשפר את האבטחה.

הפעלת מעקב אחר תקינות במכונות של Vertex AI Workbench

כדי לאמת באופן רציף את תקינות האתחול של המכונות הווירטואליות שלכם מול בסיס נתונים מהימן, מומלץ להפעיל ניטור של התקינות במופעי Workbench.

הפעלת אתחול מאובטח לתבניות של סביבת זמן הריצה ב-Vertex AI

כדי למנוע הרצה לא מורשית של קוד ולעזור להגן על שלמות מערכת ההפעלה, כדאי להפעיל את האתחול המאובטח בתבניות של זמן הריצה ב-Colab Enterprise.

הפעלת אתחול מאובטח למכונות של Vertex AI Workbench

כדי למנוע הפעלה של תוכנות לא מורשות או זדוניות במהלך תהליך האתחול, מומלץ להפעיל את האתחול המאובטח עבור מופעי Workbench.

הפעלה של vTPM במכונות של Vertex AI Workbench

כדי להגן על תהליך האתחול ולקבל שליטה רבה יותר על ההצפנה, מומלץ להפעיל את מודול הפלטפורמה הווירטואלית המהימנה (vTPM) במופעי Workbench.

הגבלת השימוש בחשבון השירות שמוגדר כברירת מחדל למכונות של Vertex AI Workbench

כדי להפחית את הסיכון לגישה לא מורשית לשירותים של Google Cloud, מומלץ להגביל את השימוש בחשבון השירות שמוגדר כברירת מחדל, כי הוא בעל הרשאות רחבות מאוד.

אזורים פונקציונליים נתמכים של ניהול סיכונים במערכות AI

בקטע הזה מוגדרים תחומים פונקציונליים שבהם ניהול סיכונים במערכות AI יכול לעזור באבטחה.

  • עומסי עבודה של AI: עומסי עבודה של אפליקציות AI נעים בין כלים פנימיים שמטרתם לשפר את הפרודוקטיביות של העובדים לבין פתרונות שפונים לצרכנים ומיועדים לשיפור חוויית המשתמש ולקידום העסק. דוגמאות: סוכני AI, עוזרים וירטואליים, צ'אט בוטים של AI בממשק שיחה והמלצות בהתאמה אישית.
  • מודלים של AI: מודלים של AI מסווגים למודלים של AI בסיסיים, מודלים של AI שעברו כוונון עדין, מודלים סטנדרטיים של AI מצד ראשון ומודלים של AI בהתאמה אישית. לדוגמה, Gemini, ‏ Llama, מודלים לתרגום ומודלים בהתאמה אישית למשימות ספציפיות.
  • נכסי AI: נכסי AI תורמים לצינורות של פעולות למידת מכונה ומשמשים לעומסי עבודה של AI. סוגי נכסי ה-AI כוללים את הדוגמאות הבאות:
    • נכסי AI דקלרטיביים: נכסים כאלה נכללים במעקב של כלים לניהול מחזור חיים של AI, כמו Vertex AI.
    • נכסי AI משוערים: נכסים לשימוש כללי, כמו נכסי מחשוב ואחסון, שמשמשים לעיבוד נתוני AI או עומסי עבודה של AI.
    • ‫Model-as-a-Service (API only): נכסים שכוללים קריאות פרוגרמטיות למודלים של AI של צד ראשון או צד שלישי.

שימוש במרכז הבקרה של AI Security

לוח הבקרה של AI Security מספק תצוגה מקיפה של מלאי נכסי ה-AI של הארגון, ומציע אמצעים פוטנציאליים לצמצום סיכונים ולשיפור ניהול האיומים.

גישה למרכז הבקרה של AI Security

כדי לגשת ללוח הבקרה של אבטחת ה-AI, נכנסים לדף AI security (אבטחת AI) במסוף Google Cloud דרך Risk overview (סקירת סיכונים) >:

פרימיום

מעבר אל 'אבטחת AI'

Enterprise

מעבר אל 'אבטחת AI'

מידע נוסף זמין במאמר בנושא לוח הבקרה של אבטחת ה-AI.

הסבר על ניהול סיכונים במערכות AI

בקטע הזה מפורטים סיכונים פוטנציאליים שקשורים למערכות AI. אתם יכולים לראות את הסיכונים העיקריים במלאי ה-AI שלכם.

אפשר ללחוץ על כל בעיה כדי לפתוח חלונית פרטים עם תרשים של הבעיה.

צפייה באיומים מבוססי-AI

בקטע הזה מוסבר על איומים שקשורים למערכות AI. אתם יכולים לראות את 5 האיומים האחרונים שקשורים למשאבי ה-AI שלכם.

בדף הזה אתם יכולים:

  • לוחצים על הצגת הכול כדי לראות איומים שמשויכים למשאבי ה-AI שלכם.
  • כדי לראות פרטים נוספים על איום מסוים, לוחצים עליו.

הדמיה של מלאי ה-AI

במרכז הבקרה אפשר לראות תרשים של מלאי ה-AI, שכולל סיכום של הפרויקטים שמשולב בהם AI גנרטיבי, המודלים מאינטראקציה ישירה (First-Party) ומצד שלישי שנמצאים בשימוש פעיל, ומערכי הנתונים שמשמשים לאימון המודלים מצד שלישי.

בדף הזה אתם יכולים:

  • כדי להציג את דף פרטי המלאי, לוחצים על אחד מהצמתים בתרשים.
  • כדי לראות רשימה מפורטת של נכסים ספציפיים (כמו מודלים בסיסיים ומודלים בהתאמה אישית), לוחצים על תיאור הכלי.
  • כדי לפתוח תצוגה מפורטת של המודל, לוחצים על המודל. בתצוגה הזו מוצגים פרטים כמו נקודות הקצה שבהן המודל מתארח ומערך הנתונים ששימש לאימון המודל. אם Sensitive Data Protection מופעל, בתצוגת מערכי הנתונים מוצג גם אם מערך הנתונים מכיל מידע אישי רגיש.

סיכום ממצאי הבדיקה של מסגרת ה-AI

הקטע הזה יעזור לכם להעריך ולנהל את הממצאים שנוצרו על ידי מסגרת ה-AI ומדיניות אבטחת הנתונים. הקטע הזה כולל את הפריטים הבאים:

  • ממצאים: בחלק הזה מוצג סיכום של ממצאים שנוצרו על ידי מדיניות אבטחה ומדיניות אבטחת נתונים מבוססות-AI. כדי לראות את הפרטים של הממצא, לוחצים על הצגת כל הממצאים או על המספר שלצד כל קטגוריית ממצאים. כדי להציג מידע נוסף על ממצא מסוים, לוחצים עליו.
  • מידע אישי רגיש במערכי נתונים של Vertex AI: בקטע הזה מוצג סיכום של הממצאים על סמך מידע אישי רגיש במערכי נתונים, כפי שדווח על ידי Sensitive Data Protection. מידע נוסף זמין במאמר מבוא ל-Vertex AI.

בדיקת הממצאים של הגנה מוגברת על המודל

תרשים שמציג את המספר הכולל של ההנחיות או התשובות שנסרקו על ידי הגנה מוגברת על המודל ואת מספר הבעיות שזוהו על ידי הגנה מוגברת על המודל. בנוסף, מוצגים סיכומים סטטיסטיים של סוגים שונים של בעיות שזוהו, כמו הזרקת הנחיות, זיהוי של פריצת מחסומים וזיהוי של מידע אישי רגיש.

המידע הזה מאוכלס על סמך המדדים שהגנה מוגברת על המודל מפרסם ב-Cloud Monitoring. מידע נוסף זמין במאמר סקירה כללית על הגנה מוגברת על המודל.

המאמרים הבאים