הערכת העלות של יצירת פרופיל לנתוני BigQuery בפרויקט יחיד

בדף הזה מוסבר איך להעריך את העלות של יצירת פרופיל לנתוני BigQuery בפרויקט. אם רוצים ליצור אומדן לארגון או לתיקייה, אפשר לעיין במאמר אומדן העלות של פרופיל נתונים לארגון או לתיקייה.

מידע נוסף על יצירת פרופילים של נתוני BigQuery זמין במאמר פרופילים של נתוני BigQuery.

סקירה כללית

לפני שמתחילים ליצור פרופילים של נתונים, אפשר להריץ הערכה כדי להבין כמה נתונים יש לכם ב-BigQuery וכמה עשוי לעלות ליצור פרופיל של הנתונים האלה. כדי להריץ אומדן, יוצרים אומדן.

כשיוצרים אומדן, מציינים את המשאב (ארגון, תיקייה או פרויקט) שמכיל את הנתונים שרוצים ליצור להם פרופיל. אפשר להגדיר מסננים כדי לדייק את בחירת הנתונים. אפשר גם להגדיר תנאים שצריכים להתקיים לפני ש-Sensitive Data Protection יוצר פרופיל לטבלה. ההערכה של Sensitive Data Protection מבוססת על הצורה, הגודל והסוג של הנתונים בזמן שבו יוצרים את ההערכה.

כל אומדן כולל פרטים כמו מספר הטבלאות התואמות שנמצאו במשאב, הגודל הכולל של כל הטבלאות האלה והעלות המשוערת של יצירת פרופיל למשאב פעם אחת ועל בסיס חודשי.

מידע נוסף על אופן חישוב התמחור זמין במאמר תמחור של יצירת פרופיל נתונים.

תמחור משוער

יצירת אומדן היא בחינם.

שמירה

כל הערכה נמחקת באופן אוטומטי אחרי 28 ימים.

לפני שמתחילים

כדי לקבל את ההרשאות שנדרשות ליצירה ולניהול של אומדני עלויות של פרופילים של נתונים, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד אדמין של DLP (roles/dlp.admin) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

1. מוודאים ש-Cloud Data Loss Prevention API מופעל בפרויקט:

   נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   Enable the required API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   Enable the required API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. כדי לקבל את ההרשאות שנדרשות ליצירה ולניהול של אומדני עלויות של פרופילים של נתונים, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד אדמין של DLP (roles/dlp.admin) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

   יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת הערכת עלויות

1. עוברים לדף יצירת אומדן של פרופיל נתונים.

   מעבר אל יצירת אומדן של פרופיל נתונים

2. בוחרים את הפרויקט הרצוי.

בקטעים הבאים מוסבר בהרחבה על השלבים בדף יצירת הערכה של פרופיל הנתונים. בסיום כל קטע, לוחצים על המשך.

בחירת משאב לסריקה

מוודאים שהאפשרות Scan entire project (סריקת כל הפרויקט) נבחרה.

הזנת מסננים ותנאים

אפשר לדלג על הקטע הזה אם רוצים לכלול באומדן את כל הטבלאות ב-BigQuery בפרויקט.

בקטע הזה יוצרים מסננים כדי לציין קבוצות משנה מסוימות של הנתונים שרוצים לכלול באומדן או להחריג ממנו. לגבי קבוצות משנה שאתם כוללים באומדן, אתם גם מציינים את התנאים שצריכים להתקיים כדי שטבלה בקבוצת המשנה תיכלל באומדן.

כדי להגדיר מסננים ותנאים:

1. לוחצים על הוספת מסננים ותנאים.

2. בקטע Filters (מסננים), מגדירים מסנן אחד או יותר שמציין אילו טבלאות נכללות בהיקף של האומדן.

   מציינים לפחות אחד מהערכים הבאים:

   • מזהה פרויקט או ביטוי רגולרי שמציין פרויקט אחד או יותר.
   • מזהה של מערך נתונים או ביטוי רגולרי שמציין מערך נתונים אחד או יותר.
   • מזהה טבלה או ביטוי רגולרי שמציין טבלה אחת או יותר.

   הביטויים הרגולריים צריכים להיות בהתאם לתחביר RE2.

   לדוגמה, אם רוצים שכל הטבלאות בקבוצת נתונים ייכללו במסנן, מציינים את המזהה של קבוצת הנתונים ומשאירים את שני השדות האחרים ריקים.

   כדי להוסיף עוד מסננים, לוחצים על הוספת מסנן וחוזרים על השלב הזה.

3. אם רוצים להחריג מההערכה את קבוצות המשנה של הנתונים שמוגדרות על ידי המסננים, משביתים את האפשרות Include the matching tables in my estimate (הכללת הטבלאות התואמות בהערכה). אם משביתים את האפשרות הזו, התנאים שמתוארים בהמשך הקטע הזה מוסתרים.

4. אופציונלי: בקטע תנאים, מציינים תנאים שהטבלאות התואמות צריכות לעמוד בהם כדי להיכלל בהערכה. אם מדלגים על השלב הזה, Sensitive Data Protection כולל את כל הטבלאות הנתמכות שתואמות למסננים שלכם, בלי קשר לגודל ולגיל שלהן.

   מגדירים את האפשרויות הבאות:

   • תנאים מינימליים: כדי להחריג מההערכה טבלאות קטנות או חדשות, מגדירים מספר מינימלי של שורות או גיל מינימלי של הטבלה.

   • תנאי זמן: כדי להחריג טבלאות ישנות, מפעילים את תנאי הזמן. אחר כך בוחרים תאריך ושעה. כל טבלה שנוצרה בתאריך הזה או לפניו לא תיכלל בהערכה.

     לדוגמה, אם מגדירים את תנאי הזמן ל22/4/5,‏ 23:59, ההערכה של Sensitive Data Protection לא תכלול טבלאות שנוצרו ב-4 במאי 2022, בשעה 23:59 או לפני כן.

   • Tables to profile (טבלאות ליצירת פרופיל): כדי לציין את סוגי הטבלאות שייכללו באומדן, בוחרים באפשרות Only include tables of a specified type or types (כולל רק טבלאות מסוג מסוים). לאחר מכן בוחרים את סוגי הטבלאות שרוצים לכלול.

     אם לא מפעילים את התנאי הזה, או אם לא בוחרים סוגי טבלאות, ההערכה של Sensitive Data Protection כוללת את כל הטבלאות הנתמכות.

   נניח שהגדרתם את ההגדרות הבאות:

   • תנאים מינימליים

     • מספר השורות המינימלי: 10 שורות
     • משך הזמן המינימלי: 24 שעות

   • תנאי זמן

     • חותמת זמן: 4/5/22, ‏ 23:59

   • טבלאות ליצירת פרופיל

     האפשרות Only include tables of a specified type or types (הכללת טבלאות רק מסוג או מסוגים מסוימים) מסומנת. ברשימת סוגי הטבלאות, רק האפשרות Profile BigLake tables (טבלאות פרופיל BigLake) מסומנת.

   במקרה הזה, Sensitive Data Protection לא יכלול טבלאות שנוצרו בתאריך 4 במאי 2022 בשעה 23:59 או לפני כן. מבין הטבלאות שנוצרו אחרי התאריך והשעה האלה, פרופילים של Sensitive Data Protection מנתחים רק את הטבלאות ב-BigLake שיש בהן 10 שורות או שהן בנות לפחות 24 שעות.

5. לוחצים על סיום.

6. אם רוצים להוסיף עוד מסננים ותנאים, לוחצים על הוספת מסננים ותנאים וחוזרים על השלבים הקודמים.

   הפריט האחרון ברשימת המסננים והתנאים הוא תמיד הפריט עם התווית מסננים ותנאים שמוגדרים כברירת מחדל. הגדרת ברירת המחדל הזו מוחלת על הטבלאות בפרויקט שלא תואמות לאף אחד מהמסננים והתנאים שיצרתם.

   

7. כדי לשנות את מסנני ברירת המחדל ואת התנאים, לוחצים על עריכת מסננים ותנאים ומשנים את ההגדרות לפי הצורך.

הגדרת מיקום לשמירת ההערכה

1. ברשימה Resource location, בוחרים את האזור שבו רוצים לאחסן את האומדן הזה.

   המיקום שבו תבחרו לאחסן את האומדן לא ישפיע על הנתונים שייסרקו. בנוסף, היא לא משפיעה על המיקום שבו פרופילי הנתונים יישמרו בהמשך. הנתונים נסרקים באותו אזור שבו הם מאוחסנים (כפי שהוגדר ב-BigQuery). מידע נוסף מופיע במאמר שיקולים לגבי מיקום הנתונים.

2. בודקים את ההגדרות ולוחצים על יצירה.

הכלי Sensitive Data Protection יוצר את האומדן ומוסיף אותו לרשימת האומדנים. לאחר מכן, המערכת מריצה את ההערכה.

התהליך יכול להימשך עד 24 שעות, בהתאם לכמות הנתונים במשאב. בינתיים, אפשר לסגור את הדף Sensitive Data Protection ולחזור אליו מאוחר יותר. התראה מופיעה ב Google Cloud מסוף כשהאומדן מוכן.

איך רואים אומדן

1. עוברים לרשימת ההערכות.

   לדף האומדנים

2. לוחצים על האומדן שרוצים לראות. האומדן כולל את הפרטים הבאים:

   • מספר הטבלאות במקור, פחות הטבלאות שהחרגתם באמצעות מסננים ותנאים.
   • הכמות הכוללת של הנתונים שהטבלאות מייצגות.
   • מספר יחידות המינוי שנדרשות כדי ליצור פרופיל של כמות הנתונים הזו מדי חודש.
   • העלות של הגילוי הראשוני, שהיא העלות המשוערת של יצירת פרופיל לטבלאות שנמצאו. האומדן הזה מבוסס רק על תמונת מצב של הנתונים הנוכחיים, ולא מתייחס לגידול בנתונים במהלך תקופת זמן מסוימת.
   • הערכות עלויות נוספות לפרופילים של טבלאות שהגיל שלהן הוא פחות מ-6, 12 או 24 חודשים. ההערכות הנוספות האלה מוצגות כדי להראות לכם איך הגבלה נוספת של כיסוי הנתונים יכולה לעזור לכם לשלוט בעלות של יצירת פרופיל הנתונים.
   • העלות החודשית המשוערת של יצירת פרופיל לנתונים, בהנחה שהשימוש ב-BigQuery בכל חודש זהה לשימוש בחודש הזה.
   • תרשים שמראה את הצמיחה של BigQuery לאורך זמן.
   • פרטי ההגדרה שהגדרתם.

תרשים הערכה

כל הערכה כוללת תרשים שמציג את הצמיחה ההיסטורית של הנתונים ב-BigQuery. אתם יכולים להשתמש במידע הזה כדי להעריך את העלות החודשית של יצירת פרופיל נתונים.

המאמרים הבאים

• מידע נוסף על תמחור של פרופילים של נתונים
• מידע נוסף על פרופילי נתונים לנתוני BigQuery
• איך יוצרים פרופיל של נתונים בארגון או בתיקייה
• איך יוצרים פרופיל של נתונים בפרויקט יחיד