משרות היברידיות וטריגרים של משרות

משימות היברידיות וטריגרים של משימות כוללים קבוצה של שיטות API אסינכרוניות שמאפשרות לסרוק נתוני מטען (payload) שנשלחים כמעט מכל מקור כדי למצוא מידע רגיש, ואז לאחסן את הממצאים ב- Google Cloud. משימות היברידיות מאפשרות לכם לכתוב סורקי נתונים משלכם שמתנהגים ומציגים נתונים באופן דומה לשיטות הבדיקה של אחסון Sensitive Data Protection.

באמצעות עבודות היברידיות, אתם יכולים להזרים נתונים מכל מקור אל Sensitive Data Protection. הכלי Sensitive Data Protection בודק את הנתונים כדי לזהות מידע רגיש או פרטים אישיים מזהים (PII), ואז שומר את תוצאות הסריקה של הבדיקה במשאב של עבודת Sensitive Data Protection. אפשר לבדוק את תוצאות הסריקה בממשק המשתמש או ב-API של Sensitive Data Protection Console, או לציין פעולות שיתבצעו אחרי הסריקה, כמו שמירת נתוני תוצאות הבדיקה בטבלת BigQuery או שליחת התראה ב-Pub/Sub.

בתרשים הבא מוצג סיכום של תהליך העבודה של משרות היברידיות:

במאמר הזה מוסבר על עבודות היברידיות וטריגרים לעבודות, ואיך הם פועלים. במאמר בדיקת נתונים חיצוניים באמצעות משימות היברידיות מוסבר איך מטמיעים משימות היברידיות וטריגרים למשימות.

מידע על סביבות היברידיות

סביבות 'היברידיות' נפוצות בארגונים. הרבה ארגונים מאחסנים ומעבדים נתונים רגישים באמצעות שילוב כלשהו של האפשרויות הבאות:

• ספקי ענן אחרים
• שרתים מקומיים או מאגרי נתונים אחרים
• מערכות אחסון לא מקוריות, כמו מערכות שפועלות בתוך מכונה וירטואלית
• אפליקציות לאינטרנט ולניידים
• פתרונות מבוססי-Google Cloud

באמצעות עבודות היברידיות, Sensitive Data Protection יכול לבדוק נתונים שנשלחים אליו מכל אחד מהמקורות האלה. ריכזנו כאן כמה תרחישים לדוגמה:

• בדיקת נתונים שמאוחסנים ב-Amazon Relational Database Service (RDS), ב-MySQL שפועל בתוך מכונה וירטואלית או במסד נתונים מקומי.
• בודקים ומבצעים טוקניזציה של נתונים כשמבצעים העברה משרתים מקומיים לענן, או בין סביבות ייצור, פיתוח וניתוח.
• בדיקה ועריכה של טרנזקציות מאפליקציית אינטרנט או מאפליקציה לנייד לפני אחסון הנתונים במצב מנוחה.

אפשרויות בדיקה

כפי שמתואר בפירוט רב יותר במאמר בנושא סוגי שיטות, כשרוצים לבדוק תוכן כדי למצוא מידע אישי רגיש, Sensitive Data Protection מספק שלוש אפשרויות ברירת מחדל:

• בדיקת שיטות תוכן: באמצעות בדיקת תוכן, אתם מעבירים ל-Sensitive Data Protection מטען ייעודי קטן של נתונים יחד עם הוראות לגבי מה לבדוק. לאחר מכן, Sensitive Data Protection בודק את הנתונים כדי למצוא תוכן רגיש ופרטים אישיים מזהים (PII), ומחזיר לכם את תוצאות הסריקה.
• בדיקת שיטות אחסון: באמצעות בדיקת אחסון, Sensitive Data Protection בודק מאגר אחסון מבוסס Google Cloud, כמו מסד נתונים של BigQuery, קטגוריה של Cloud Storage או סוג של Datastore. אתם מציינים ל-Sensitive Data Protection מה לבדוק ומה לחפש, ואז Sensitive Data Protection מריץ עבודה שסורקת את המאגר. אחרי שהסריקה מסתיימת, Sensitive Data Protection שומר סיכום של תוצאות הסריקה בחזרה בעבודה. בנוסף, אפשר לציין שהתוצאות יישלחו לניתוח במוצר אחר Google Cloud , כמו טבלה נפרדת ב-BigQuery.
• בדיקת משרות היברידיות: משרות היברידיות מספקות את היתרונות של שתי השיטות הקודמות. הם מאפשרים לכם להזרים נתונים כמו בשיטות של תוכן, וגם ליהנות מהאחסון, מהוויזואליזציה ומהפעולות של משימות בדיקת אחסון. כל הגדרות הבדיקה מנוהלות במסגרת Sensitive Data Protection, ולא נדרשות הגדרות נוספות בצד הלקוח. משימות היברידיות יכולות להיות שימושיות לסריקת מערכות אחסון לא מקומיות, כמו מסד נתונים שפועל במכונה וירטואלית (VM), בשרת מקומי או בענן אחר. שיטות היברידיות יכולות להיות שימושיות גם לבדיקת מערכות עיבוד, כמו עומסי עבודה של העברה, או אפילו להעברת תקשורת משירות לשירות באמצעות פרוקסי. שיטות תוכן יכולות לעשות את זה גם כן, אבל שיטות היברידיות מספקות לכם את קצה העורף של אחסון הממצאים שיכול לצבור את הנתונים שלכם בכמה קריאות ל-API, כך שלא תצטרכו לעשות את זה בעצמכם.

מידע על משרות היברידיות וטריגרים למשרות

משרה היברידית היא למעשה שילוב של שיטות תוכן ושיטות אחסון. תהליך העבודה הבסיסי לשימוש במשימות היברידיות ובטריגרים של משימות הוא כזה:

1. אתם כותבים סקריפט או יוצרים תהליך עבודה ששולח נתונים לבדיקה ב-Sensitive Data Protection, יחד עם מטא-נתונים.
2. מגדירים ויוצרים משאב או טריגר של משימה היברידית ומפעילים אותו כדי שיפעל כשהוא מקבל נתונים.
3. הסקריפט או תהליך העבודה פועלים בצד הלקוח ושולחים נתונים אל Sensitive Data Protection בצורה של בקשת hybridInspect. הנתונים כוללים הודעת הפעלה ומזהה של העבודה או של טריגר העבודה, שמפעיל את הבדיקה.
4. הכלי Sensitive Data Protection בודק את הנתונים בהתאם לקריטריונים שהגדרתם במשימה או בטריגר ההיברידיים.
5. השירות Sensitive Data Protection שומר את תוצאות הסריקה במשאב של העבודה ההיברידית, יחד עם המטא-נתונים שאתם מספקים. אפשר לבדוק את התוצאות באמצעות ממשק המשתמש של Sensitive Data Protection במסוף Google Cloud .
6. אפשר גם להגדיר את Sensitive Data Protection להפעלת פעולות אחרי הסריקה, כמו שמירת נתוני תוצאות הבדיקה בטבלת BigQuery או שליחת הודעה באימייל או ב-Pub/Sub.

טריגר היברידי של משימות מאפשר לכם ליצור, להפעיל ולהפסיק משימות כדי להפעיל פעולות מתי שצריך. אם מוודאים שהסקריפט או הקוד שולחים נתונים שכוללים את המזהה של טריגר העבודה ההיברידי, לא צריך לעדכן את הסקריפט או הקוד בכל פעם שמתחילה עבודה חדשה.

תרחישים אופייניים של עבודה היברידית

משרות היברידיות מתאימות למטרות כמו:

• ביצוע סריקה חד-פעמית של מסד נתונים מחוץ ל- Google Cloud כחלק מבדיקה רבעונית של מסדי נתונים.
• מעקב יומי אחרי כל התוכן החדש שנוסף למסד נתונים שלא נתמך באופן מובנה על ידי Sensitive Data Protection.
• סריקת נתונים שמגיעים למסד נתונים, תוך שליטה באופן החלוקה של הנתונים למחיצות.
• כדי לזהות תנועה של מידע אישי רגיש שעלולה לגרום לבעיות, אפשר לעקוב אחרי התנועה ברשת באמצעות Sensitive Data Protection Filter for Envoy (מסנן HTTP של WebAssembly עבור שרתי proxy מסוג Envoy sidecar).

מידע על אופן הטיפול בתרחישים האלה זמין במאמר תרחישי בדיקה היברידיים אופייניים.

סוגי המטא-נתונים שאפשר לספק

בקטע הזה מתוארים סוגי המטא-נתונים שאפשר לצרף לנתונים חיצוניים שרוצים לבדוק או לממצאים.

אפשר להגדיר מטא-נתונים ברמות הבאות:

• העבודה ההיברידית או הטריגר של העבודה ההיברידית
• הבקשה hybridInspect

מטא-נתונים בעבודה היברידית או בטריגר של עבודה היברידית

בקטע הזה מתוארים סוגי המטא-נתונים שאפשר לצרף לעבודה היברידית או לטריגר של עבודה היברידית.

תוויות חובה

במשימה היברידית או בטריגר של משימה היברידית, אפשר לציין רשימה של תוויות נדרשות שחייבות להיכלל בכל בקשות הבדיקה ההיברידיות שאתם שולחים. בקשות למשרה היברידית או לטריגר של משרה היברידית שלא כוללות את התוויות הנדרשות האלה יידחו. מידע נוסף זמין במאמר בנושא דרישת תוויות מבקשות של hybridInspect.

תוויות אופציונליות

אפשר לציין צמדי מפתח/ערך שיצורפו לכל הממצאים ממשימה היברידית או מטריגר של משימה היברידית. לדוגמה, אם רוצים שכל הממצאים של משרה היברידית יקבלו את התווית "env"="prod", מציינים את צמד מפתח/ערך הזה כשיוצרים את המשרה ההיברידית.

אפשרויות של נתונים בטבלה

אתם יכולים לציין עמודות שהן מזהי שורות (מפתחות ראשיים) לאובייקטים של טבלאות בנתונים. אם העמודות שצוינו קיימות בטבלה, הערכים מהעמודות האלה נכללים לצד כל ממצא, כדי שתוכלו לעקוב אחרי הממצא ולראות מאיזו שורה הוא הגיע. האפשרויות האלה של טבלאות רלוונטיות רק לבקשות ששולחות נתונים טבלאיים, כמו פורמטים של item.table או byteItem כמו CSV.

אם אתם יודעים מראש מהם המפתחות הראשיים, אתם יכולים להגדיר אותם כשדות מזהים כשאתם יוצרים את העבודה ההיברידית או את הטריגר לעבודה ההיברידית. אפשר לציין עד שלושה שמות של עמודות בשדה hybridOptions.tableOptions.identifyingFields.

מטא-נתונים בבקשת hybridInspect

בקטע הזה מתוארים סוגי המטא-נתונים שאפשר לצרף לhybridInspectבקשה. נתוני המטא-נתונים שאתם שולחים בבקשת hybridInspect חלים רק על הבקשה הזו.

פרטי המאגר

כל בקשה ששולחים לעיבוד היברידי או להפעלת עיבוד היברידי יכולה לכלול פרטים על מקור הנתונים, כולל רכיבים כמו fullPath,‏ rootPath,‏ relativePath,‏ type,‏ version ועוד. לדוגמה, אם סורקים טבלאות במסד נתונים, אפשר להגדיר את השדות כך:

{
  "hybridItem": {
    "item": {...},
    "findingDetails": {
      "containerDetails": {
        "fullPath": "10.0.0.20/database1/table1",
        "relativePath": "table1",
        "rootPath": "10.0.0.20/database1",
        "type": "postgres",
        "version": "9.6"
      },
      "labels": {...}
    }
  }
}

אי אפשר להגדיר פרטים של מאגר תגים ברמת המשרה ההיברידית או ברמת הטריגר של המשרה ההיברידית.

תוויות חובה

אם מגדירים תוויות חובה כשיוצרים משימה היברידית או טריגר למשימה היברידית, כל בקשת hybridInspect ששולחים למשימה ההיברידית או לטריגר למשימה ההיברידית חייבת לכלול את תוויות החובה האלה. מידע נוסף זמין במאמר בנושא דרישה של תוויות מבקשות של hybridInspect.

תוויות אופציונליות

בכל בקשת hybridInspect, אפשר לציין צמדי מפתח/ערך לצירוף לכל הממצאים בבקשה. בשיטה הזו אפשר לצרף תוויות שונות לכל hybridInspectבקשה.

אפשרויות של נתונים בטבלה

אתם יכולים לציין עמודות שהן מזהי שורות (מפתחות ראשיים) לאובייקטים של טבלאות בנתונים. אם העמודות שצוינו קיימות בטבלה, הערכים מהעמודות האלה נכללים לצד כל ממצא, כדי שתוכלו לעקוב אחרי הממצא ולראות מאיזו שורה הוא הגיע. האפשרויות האלה של טבלאות רלוונטיות רק לבקשות ששולחות נתונים טבלאיים, כמו פורמטים של item.table או byteItem כמו CSV.

אם אתם לא יודעים מראש מהם המפתחות הראשיים, אתם לא צריכים להגדיר אותם ברמת המשימה ההיברידית או ברמת הטריגר של המשימה ההיברידית. אפשר להגדיר אותם בבקשת hybridInspect יחד עם הנתונים הטבלאיים שרוצים לבדוק. כל השדות שמציינים ברמת המשרה ההיברידית או הטריגר של המשרה ההיברידית משולבים עם השדות שמציינים בhybridInspectבקשה.

פעולות נתמכות

בדומה לעבודות אחרות של Sensitive Data Protection, עבודות היברידיות תומכות בפעולות. לא כל הפעולות רלוונטיות למשרות היברידיות. בהמשך מפורטות הפעולות הנתמכות בשלב הזה, ומידע על אופן הפעולה שלהן. חשוב לדעת שעם הפעולות Pub/Sub, אימייל ו-Cloud Monitoring, הממצאים זמינים בסיום העבודה.

• ‫Save findings to Sensitive Data Protection (שמירת הממצאים ב-Sensitive Data Protection) ו-Save findings to BigQuery (שמירת הממצאים ב-BigQuery): הממצאים נשמרים במשאב של Sensitive Data Protection או בטבלה ב-BigQuery, בהתאמה. הפעולות האלה פועלות במשרות היברידיות באופן דומה לאופן שבו הן פועלות בסוגים אחרים של משרות, עם הבדל חשוב אחד: במשרות היברידיות, הממצאים זמינים בזמן שהמשרה פועלת; בסוגים אחרים של משרות, הממצאים זמינים כשהמשרה מסתיימת.

• שליחה של Pub/Sub: כשמשימה מסתיימת, הודעת Pub/Sub נשלחת.

  הערה: אם יש בעיות בהגדרות או בהרשאות של נושא Pub/Sub, Sensitive Data Protection ינסה לשלוח את ההתראה ל-Pub/Sub שוב ושוב במשך שבועיים לכל היותר. אחרי שבועיים, ההתראה נמחקת.

• שליחת אימייל: כשמשימה מסתיימת, תישלח הודעת אימייל.

• פרסום ב-Cloud Monitoring: כשהעבודה מסתיימת, הממצאים מתפרסמים ב-Monitoring.

סיכום

אלה כמה מהתכונות והיתרונות העיקריים של שימוש בעבודות היברידיות ובטריגרים של עבודות:

• משימות היברידיות מאפשרות לכם להזרים נתונים אל Sensitive Data Protection כמעט מכל מקור, בענן או מחוצה לו.
• טריגרים של משימות היברידיות מופעלים כש-Sensitive Data Protection מקבל זרם נתונים שכולל הודעת הפעלה ומזהה של טריגר המשימה.
• אפשר לחכות עד לסיום הסריקה של הבדיקה, או להפסיק את העבודה באופן ידני. תוצאות הבדיקה נשמרות ב-Sensitive Data Protection או ב-BigQuery, בין אם מאפשרים לעבודת הבדיקה להסתיים או מפסיקים אותה לפני כן.
• תוצאות הסריקה של בדיקת Sensitive Data Protection מתוך טריגר של עבודה היברידית נשמרות במשאב של עבודה היברידית בתוך Sensitive Data Protection.
• כדי לבדוק את תוצאות הסריקה, אפשר לעיין במשאב של טריגר העבודה ב-Sensitive Data Protection.
• אפשר גם להגדיר פעולה ב-Sensitive Data Protection שתשלח את תוצאות העבודה ההיברידית למסד נתונים של BigQuery ותשלח לכם התראה באימייל או ב-Pub/Sub.

המאמרים הבאים

• במאמר שליחת נתונים חיצוניים אל Sensitive Data Protection באמצעות משימות היברידיות מוסבר איך משתמשים במשימות היברידיות ובטריגרים של משימות כדי לקבל נתונים לבדיקה.