בדף הזה מוסבר איך להעריך את העלות של יצירת פרופיל לנתוני BigQuery בארגון או בתיקייה. אם רוצים ליצור אומדן לפרויקט, אפשר לעיין במאמר אומדן העלות של פרופיל נתונים לפרויקט יחיד.
מידע נוסף על יצירת פרופילים של נתוני BigQuery זמין במאמר פרופילים של נתוני BigQuery.
סקירה כללית
לפני שמתחילים ליצור פרופילים של נתונים, אפשר להריץ הערכה כדי להבין כמה נתונים יש לכם ב-BigQuery וכמה עשוי לעלות ליצור פרופיל של הנתונים האלה. כדי להריץ אומדן, יוצרים אומדן.
כשיוצרים אומדן, מציינים את המשאב (ארגון, תיקייה או פרויקט) שמכיל את הנתונים שרוצים ליצור להם פרופיל. אפשר להגדיר מסננים כדי לדייק את בחירת הנתונים. אפשר גם להגדיר תנאים שצריכים להתקיים לפני ש-Sensitive Data Protection יוצר פרופיל לטבלה. ההערכה של Sensitive Data Protection מבוססת על הצורה, הגודל והסוג של הנתונים בזמן שבו יוצרים את ההערכה.
כל אומדן כולל פרטים כמו מספר הטבלאות התואמות שנמצאו במשאב, הגודל הכולל של כל הטבלאות האלה והעלות המשוערת של יצירת פרופיל למשאב פעם אחת ועל בסיס חודשי.
מידע נוסף על אופן חישוב התמחור זמין במאמר תמחור של יצירת פרופיל נתונים.
תמחור משוער
יצירת אומדן היא בחינם.
שמירה
כל הערכה נמחקת באופן אוטומטי אחרי 28 ימים.
מגבלות
אם לארגון או לתיקייה שלכם יש פרויקט שמוגן על ידי גבולות גזרה לשירות VPC Service Controls, Sensitive Data Protection יכול להיות שהכמות של נתוני BigQuery במשאב שלכם תהיה נמוכה מהכמות האמיתית. אם יש לכם גבולות גזרה לשירות, אתם צריכים ליצור אומדן לכל אחד מהם בנפרד.
לפני שמתחילים
כדי לקבל את ההרשאות שנדרשות ליצירה ולניהול של הערכות עלויות של פרופיל נתונים, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד אדמין של DLP (roles/dlp.admin) בארגון או בתיקייה.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
יצירת הערכת עלויות
עוברים לדף יצירת אומדן של פרופיל נתונים.
בוחרים את הארגון.
בקטעים הבאים מוסבר בהרחבה על השלבים בדף יצירת הערכה של פרופיל הנתונים. בסיום כל קטע, לוחצים על המשך.
בחירת משאב לסריקה
מבצעים אחת מהפעולות הבאות:- כדי ליצור אומדן לארגון, בוחרים באפשרות סריקת הארגון כולו.
- כדי ליצור הערכה לתיקייה, בוחרים באפשרות סריקת התיקייה שנבחרה. אחר כך לוחצים על Browse (עיון) ובוחרים את התיקייה.
הזנת מסננים ותנאים
אפשר לדלג על הקטע הזה אם רוצים לכלול באומדן את כל הטבלאות של BigQuery בארגון או בתיקייה.בקטע הזה יוצרים מסננים כדי לציין קבוצות משנה מסוימות של הנתונים שרוצים לכלול באומדן או להחריג ממנו. לגבי קבוצות משנה שאתם כוללים באומדן, אתם גם מציינים את התנאים שצריכים להתקיים כדי שטבלה בקבוצת המשנה תיכלל באומדן.
כדי להגדיר מסננים ותנאים:
- לוחצים על הוספת מסננים ותנאים.
בקטע Filters (מסננים), מגדירים מסנן אחד או יותר שמציין אילו טבלאות נכללות בהיקף של האומדן.
מציינים לפחות אחד מהערכים הבאים:
- מזהה פרויקט או ביטוי רגולרי שמציין פרויקט אחד או יותר.
- מזהה של מערך נתונים או ביטוי רגולרי שמציין מערך נתונים אחד או יותר.
- מזהה טבלה או ביטוי רגולרי שמציין טבלה אחת או יותר.
הביטויים הרגולריים צריכים להיות בהתאם לתחביר RE2.
לדוגמה, אם רוצים שכל הטבלאות בפרויקט ייכללו במסנן, מציינים את מזהה הפרויקט ומשאירים את שני השדות האחרים ריקים.
כדי להוסיף עוד מסננים, לוחצים על הוספת מסנן וחוזרים על השלב הזה.
אם רוצים להחריג מההערכה את קבוצות המשנה של הנתונים שמוגדרות על ידי המסננים, משביתים את האפשרות Include the matching tables in my estimate (הכללת הטבלאות התואמות בהערכה). אם משביתים את האפשרות הזו, התנאים שמתוארים בהמשך הקטע הזה מוסתרים.
אופציונלי: בקטע תנאים, מציינים תנאים שהטבלאות התואמות צריכות לעמוד בהם כדי להיכלל בהערכה. אם מדלגים על השלב הזה, Sensitive Data Protection כולל את כל הטבלאות הנתמכות שתואמות למסננים שלכם, בלי קשר לגודל ולגיל שלהן.
מגדירים את האפשרויות הבאות:
תנאים מינימליים: כדי להחריג מההערכה טבלאות קטנות או חדשות, מגדירים מספר מינימלי של שורות או גיל מינימלי של הטבלה.
תנאי זמן: כדי להחריג טבלאות ישנות, מפעילים את תנאי הזמן. אחר כך בוחרים תאריך ושעה. כל טבלה שנוצרה בתאריך הזה או לפניו לא תיכלל בהערכה.
לדוגמה, אם מגדירים את תנאי הזמן ל22/4/5, 23:59, ההערכה של Sensitive Data Protection לא תכלול טבלאות שנוצרו ב-4 במאי 2022, בשעה 23:59 או לפני כן.
Tables to profile (טבלאות ליצירת פרופיל): כדי לציין את סוגי הטבלאות שייכללו באומדן, בוחרים באפשרות Only include tables of a specified type or types (כולל רק טבלאות מסוג מסוים). לאחר מכן בוחרים את סוגי הטבלאות שרוצים לכלול.
אם לא מפעילים את התנאי הזה, או אם לא בוחרים סוגי טבלאות, ההערכה של Sensitive Data Protection כוללת את כל הטבלאות הנתמכות.
נניח שהגדרתם את ההגדרות הבאות:
תנאים מינימליים
- מספר השורות המינימלי: 10 שורות
- משך הזמן המינימלי: 24 שעות
תנאי זמן
- חותמת זמן: 4/5/22, 23:59
טבלאות ליצירת פרופיל
האפשרות Only include tables of a specified type or types (הכללת טבלאות רק מסוג או מסוגים מסוימים) מסומנת. ברשימת סוגי הטבלאות, רק האפשרות Profile BigLake tables (טבלאות פרופיל BigLake) מסומנת.
במקרה הזה, Sensitive Data Protection לא יכלול טבלאות שנוצרו בתאריך 4 במאי 2022 בשעה 23:59 או לפני כן. מבין הטבלאות שנוצרו אחרי התאריך והשעה האלה, פרופילים של Sensitive Data Protection מנתחים רק את הטבלאות ב-BigLake שיש בהן 10 שורות או שהן בנות לפחות 24 שעות.
לוחצים על סיום.
אם רוצים להוסיף עוד מסננים ותנאים, לוחצים על הוספת מסננים ותנאים וחוזרים על השלבים הקודמים.
הפריט האחרון ברשימת המסננים והתנאים הוא תמיד הפריט עם התווית מסננים ותנאים שמוגדרים כברירת מחדל. הגדרת ברירת המחדל הזו חלה על הטבלאות במשאב שנבחר (ארגון או תיקייה) שלא תואמות לאף אחד מהמסננים והתנאים שיצרתם.
כדי לשנות את מסנני ברירת המחדל ואת התנאים, לוחצים על עריכת מסננים ותנאים ומשנים את ההגדרות לפי הצורך.
ניהול של קונטיינר וחיוב של סוכן שירות
בקטע הזה מציינים את הפרויקט שבו רוצים להשתמש כמאגר של סוכני שירות. אתם יכולים לאפשר ל-Sensitive Data Protection ליצור פרויקט חדש באופן אוטומטי, או לבחור פרויקט קיים.
בין אם אתם משתמשים בסוכן שירות חדש או בסוכן שירות קיים, חשוב לוודא שיש לו גישת קריאה לנתונים שאתם רוצים ליצור להם פרופיל.
יצירת פרויקט באופן אוטומטי
אם אין לכם את ההרשאות שדרושות ליצירת פרויקט בארגון, אתם צריכים לבחור פרויקט קיים במקום זאת או לקבל את ההרשאות הנדרשות. מידע על ההרשאות הנדרשות זמין במאמר תפקידים שנדרשים לעבודה עם פרופילי נתונים ברמת הארגון או התיקייה.
כדי ליצור באופן אוטומטי פרויקט לשימוש כמאגר של סוכן השירות:
- בשדה Service agent container, בודקים את מזהה הפרויקט המוצע ועורכים אותו לפי הצורך.
- לוחצים על יצירה.
- אופציונלי: מעדכנים את שם ברירת המחדל של הפרויקט.
בוחרים את החשבון לחיוב עבור כל הפעולות שניתנות לחיוב שקשורות לפרויקט החדש הזה, כולל פעולות שלא קשורות לגילוי.
לוחצים על יצירה.
הפרויקט החדש נוצר על ידי Sensitive Data Protection. סוכן השירות בפרויקט הזה ישמש לאימות ב-Sensitive Data Protection ובממשקי API אחרים.
בחירת פרויקט קיים
כדי לבחור פרויקט קיים כמאגר של סוכן השירות, לוחצים על השדה Service agent container (מאגר של סוכן השירות) ובוחרים את הפרויקט.
הגדרת מיקום לשמירת ההערכה
ברשימה Resource location, בוחרים את האזור שבו רוצים לאחסן את האומדן הזה.
המיקום שבו תבחרו לאחסן את האומדן לא ישפיע על הנתונים שייסרקו. בנוסף, היא לא משפיעה על המיקום שבו פרופילי הנתונים יישמרו בהמשך. הנתונים נסרקים באותו אזור שבו הם מאוחסנים (כפי שהוגדר ב-BigQuery). מידע נוסף מופיע במאמר שיקולים לגבי מיקום הנתונים.
בודקים את ההגדרות ולוחצים על יצירה.
הכלי Sensitive Data Protection יוצר את האומדן ומוסיף אותו לרשימת האומדנים. לאחר מכן, המערכת מריצה את ההערכה.
התהליך יכול להימשך עד 24 שעות, בהתאם לכמות הנתונים במשאב. בינתיים, אפשר לסגור את הדף Sensitive Data Protection ולחזור אליו מאוחר יותר. התראה מופיעה ב Google Cloud מסוף כשהאומדן מוכן.
איך רואים אומדן
עוברים לרשימת ההערכות.
לוחצים על האומדן שרוצים לראות. האומדן כולל את הפרטים הבאים:
- מספר הטבלאות במקור, פחות הטבלאות שהחרגתם באמצעות מסננים ותנאים.
- הכמות הכוללת של הנתונים שהטבלאות מייצגות.
- מספר יחידות המינוי שנדרשות כדי ליצור פרופיל של כמות הנתונים הזו מדי חודש.
- העלות של הגילוי הראשוני, שהיא העלות המשוערת של יצירת פרופיל לטבלאות שנמצאו. האומדן הזה מבוסס רק על תמונת מצב של הנתונים הנוכחיים, ולא מתייחס לגידול בנתונים במהלך תקופת זמן מסוימת.
- הערכות עלויות נוספות לפרופילים של טבלאות שהגיל שלהן הוא פחות מ-6, 12 או 24 חודשים. ההערכות הנוספות האלה מוצגות כדי להראות לכם איך הגבלה נוספת של כיסוי הנתונים יכולה לעזור לכם לשלוט בעלות של יצירת פרופיל הנתונים.
- העלות החודשית המשוערת של יצירת פרופיל לנתונים, בהנחה שהשימוש ב-BigQuery בכל חודש זהה לשימוש בחודש הזה.
- תרשים שמראה את הצמיחה של BigQuery לאורך זמן.
- פרטי ההגדרה שהגדרתם.
תרשים הערכה
כל הערכה כוללת תרשים שמציג את הצמיחה ההיסטורית של הנתונים ב-BigQuery. אתם יכולים להשתמש במידע הזה כדי להעריך את העלות החודשית של יצירת פרופיל נתונים.
המאמרים הבאים
- מידע נוסף על תמחור של פרופילים של נתונים
- מידע נוסף על פרופילי נתונים לנתוני BigQuery
- איך יוצרים פרופיל של נתונים בארגון או בתיקייה
- איך יוצרים פרופיל של נתונים בפרויקט יחיד