יצירת פרופיל של הנתונים
במאמר הזה מוסבר איך להשתמש בסריקות של פרופיל הנתונים כדי להבין טוב יותר את הנתונים. BigQuery משתמש ב-Knowledge Catalog כדי לנתח את המאפיינים הסטטיסטיים של הנתונים, כמו ערכים ממוצעים, ערכים ייחודיים וערכים מקסימליים. המידע הזה משמש גם את Knowledge Catalog כדי להמליץ על כללים לבדיקת איכות הנתונים.
מידע נוסף על פרופיל נתונים זמין במאמר מידע על פרופיל נתונים.
לפני שמתחילים
מפעילים את Dataplex API.
תפקידים שנדרשים להפעלת ממשקי API
כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים
התפקידים הנדרשים
בקטע הזה מפורטים התפקידים וההרשאות ב-IAM שנדרשים כדי להשתמש בסריקות של פרופילי נתונים ב-Knowledge Catalog.
תפקידים והרשאות של משתמשים
כדי לקבל את ההרשאות שדרושות ליצירה ולניהול של סריקות פרופיל נתונים, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:
-
יצירה, הפעלה, עדכון ומחיקה של סריקות פרופיל נתונים:
Dataplex DataScan Editor (
roles/dataplex.dataScanEditor) בפרויקט שמכיל את סריקת הנתונים -
צפייה בתוצאות של סריקת פרופיל נתונים, במשימות ובהיסטוריה:
Dataplex DataScan Viewer (
roles/dataplex.dataScanViewer) בפרויקט שמכיל את סריקת הנתונים -
פרסום תוצאות הסריקה של פרופיל הנתונים ב-Knowledge Catalog:
Dataplex Catalog Editor (
roles/dataplex.catalogEditor) ב-@bigqueryentry group -
כדי לראות את תוצאות הסריקה של פרופיל הנתונים שפורסם ב-BigQuery, עוברים לכרטיסייה פרופיל נתונים:
BigQuery Data Viewer (
roles/bigquery.dataViewer) בטבלה
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות ליצירה ולניהול של סריקות פרופיל נתונים. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי ליצור ולנהל סריקות של פרופיל נתונים, צריך את ההרשאות הבאות:
-
יצירה, הפעלה, עדכון ומחיקה של סריקות פרופיל נתונים:
-
dataplex.datascans.createבפרויקט -
dataplex.datascans.updateבסריקת נתונים -
dataplex.datascans.deleteבסריקת נתונים -
dataplex.datascans.runבסריקת נתונים -
dataplex.datascans.getבסריקת נתונים -
dataplex.datascans.listבפרויקט -
dataplex.dataScanJobs.getבמשימת סריקת נתונים -
dataplex.dataScanJobs.listבסריקת נתונים
-
-
הצגת תוצאות הסריקה של פרופיל הנתונים, המשימות וההיסטוריה:
-
dataplex.datascans.getDataבסריקת נתונים -
dataplex.datascans.listבפרויקט -
dataplex.dataScanJobs.getבמשימת סריקת נתונים -
dataplex.dataScanJobs.listבסריקת נתונים
-
-
פרסום תוצאות של סריקת פרופיל נתונים ב-Knowledge Catalog:
-
dataplex.entryGroups.useDataProfileAspecton entry group -
bigquery.tables.updateבטבלה -
dataplex.entries.updateon entry
-
-
כדי לראות את התוצאות של פרופיל הנתונים שפורסם עבור טבלה ב-BigQuery או ב-Knowledge Catalog:
-
bigquery.tables.getבטבלה -
bigquery.tables.getDataבטבלה
-
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
תפקידים והרשאות של חשבון שירות ב-Knowledge Catalog
כדי לוודא שלחשבון השירות של Knowledge Catalog יש את ההרשאות שנדרשות להרצת סריקות של פרופילי נתונים ולייצוא התוצאות, צריך לבקש מהאדמין להקצות לחשבון השירות של Knowledge Catalog את תפקידי ה-IAM הבאים:
-
מריצים סריקות של פרופיל נתונים על נתונים ב-BigQuery:
- BigQuery Job User (
roles/bigquery.jobUser) בפרויקט שבו מופעלת הסריקה - BigQuery Data Viewer (צפייה בנתוני BigQuery) (
roles/bigquery.dataViewer) בטבלאות שנסרקות
- BigQuery Job User (
-
הפעלת סריקות של פרופיל נתונים לטבלאות חיצוניות ב-BigQuery שמשתמשות בנתונים מ-Cloud Storage:
- צפייה באובייקט אחסון (
roles/storage.objectViewer) בקטגוריה של Cloud Storage - Storage Legacy Bucket Reader (
roles/storage.legacyBucketReader) on Cloud Storage bucket
- צפייה באובייקט אחסון (
-
הפעלת סריקות של פרופיל נתונים לטבלאות של קטלוג REST של Iceberg ב- Google Cloud Lakehouse:
BigLake Viewer (
roles/biglake.viewer) בטבלאות של קטלוג REST של Iceberg שנסרקות -
ייצוא תוצאות הסריקה של פרופיל הנתונים לטבלה ב-BigQuery:
BigQuery Data Editor (עריכה של נתוני BigQuery)
roles/bigquery.dataEditorבטבלה
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות להפעלת סריקות של פרופיל נתונים ולייצוא תוצאות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי להריץ סריקות של פרופיל נתונים ולייצא תוצאות, נדרשות ההרשאות הבאות:
-
מריצים סריקות של פרופיל נתונים על נתונים ב-BigQuery:
-
bigquery.jobs.createבפרויקט -
bigquery.tables.getבטבלה -
bigquery.tables.getDataבטבלה
-
-
הפעלת סריקות של פרופיל נתונים לטבלאות חיצוניות ב-BigQuery שמשתמשות בנתונים מ-Cloud Storage:
-
storage.buckets.getבקטגוריה -
storage.objects.getבאובייקט
-
-
מייצאים את תוצאות הסריקה של פרופיל הנתונים לטבלה ב-BigQuery:
-
bigquery.tables.createבמערך הנתונים -
bigquery.tables.updateDataבטבלה
-
יכול להיות שהאדמין יוכל גם להעניק לחשבון השירות של Knowledge Catalog את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
אם בטבלה נעשה שימוש באבטחה ברמת השורה ב-BigQuery, אפשר לסרוק ב-Knowledge Catalog רק את השורות שחשבון השירות של Knowledge Catalog יכול לראות. כדי לאפשר ל-Knowledge Catalog לסרוק את כל השורות, מוסיפים את חשבון השירות שלו למסנן שורות שבו התנאי הוא TRUE.
אם בטבלה נעשה שימוש באבטחה ברמת העמודה ב-BigQuery, צריך לתת ל-Knowledge Catalog גישה לסריקת עמודות מוגנות. כדי לתת גישה, צריך להקצות לחשבון השירות של Knowledge Catalog את התפקיד Data Catalog Fine-Grained Reader (roles/datacatalog.fineGrainedReader) בכל תגי המדיניות שמשמשים בטבלה. למשתמש שיוצר או מעדכן סריקת נתונים צריכות להיות גם הרשאות לעמודות מוגנות.
הקצאת תפקידים לחשבון השירות של קטלוג הידע
כדי להריץ סריקות של פרופיל נתונים, Knowledge Catalog משתמש בחשבון שירות שנדרשות לו הרשאות להרצת משימות ב-BigQuery ולקריאת נתונים מטבלאות ב-BigQuery. כדי להעניק את התפקידים הנדרשים, פועלים לפי השלבים הבאים:
מקבלים את כתובת האימייל של חשבון השירות של קטלוג הידע. אם לא יצרתם בפרויקט הזה פרופיל נתונים או סריקה של איכות הנתונים, מריצים את הפקודה הבאה
gcloudכדי ליצור את זהות השירות:gcloud beta services identity create --service=dataplex.googleapis.comהפקודה מחזירה את כתובת האימייל של חשבון השירות, בפורמט הבא: service-PROJECT_ID@gcp-sa-dataplex.iam.gserviceaccount.com.
אם חשבון השירות כבר קיים, אפשר למצוא את כתובת האימייל שלו בתצוגת הגורמים עם השם Dataplex בדף IAM במסוף Google Cloud .
נותנים לחשבון השירות את התפקיד BigQuery Job User (
roles/bigquery.jobUser) בפרויקט. התפקיד הזה מאפשר לחשבון השירות להריץ משימות של BigQuery לסריקה.gcloud projects add-iam-policy-binding PROJECT_ID \ --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" \ --role="roles/bigquery.jobUser"מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud . -
service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com: כתובת האימייל של חשבון השירות של Knowledge Catalog.
-
מעניקים לחשבון השירות את התפקיד BigQuery Data Viewer (
roles/bigquery.dataViewer) לכל טבלה שרוצים ליצור לה פרופיל. התפקיד הזה מעניק הרשאת קריאה בלבד לטבלאות.gcloud bigquery tables add-iam-policy-binding DATASET_ID.TABLE_ID \ --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" \ --role="roles/bigquery.dataViewer"מחליפים את מה שכתוב בשדות הבאים:
-
DATASET_ID: המזהה של מערך הנתונים שמכיל את הטבלה. -
TABLE_ID: המזהה של הטבלה שרוצים ליצור לה פרופיל. -
service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com: כתובת האימייל של חשבון השירות של Knowledge Catalog.
-
יצירת סריקה של פרופיל נתונים
המסוף
במסוף Google Cloud , בדף BigQuery Metadata curation, עוברים לכרטיסייה Data profiling & quality.
לוחצים על יצירת סריקה של פרופיל נתונים.
אופציונלי: מזינים שם לתצוגה.
מזינים מזהה. מוסכמות למתן שמות למשאבים
אופציונלי: מזינים תיאור.
בשדה טבלה, לוחצים על עיון. בוחרים את הטבלה שרוצים לסרוק ולוחצים על בחירה. יש תמיכה רק בטבלאות של קטלוג BigQuery סטנדרטי ושל קטלוג Iceberg REST.
עבור טבלאות במערכי נתונים במספר אזורים, בוחרים אזור שבו ייסרקו הנתונים.
כדי לעיין בטבלאות שמאורגנות באגמי Knowledge Catalog, לוחצים על עיון באגמי Knowledge Catalog.
בקטע מצב, בוחרים באחת מהאפשרויות הבאות:
רגיל: פרופיל הנתונים עם הגדרות סריקה שניתנות להתאמה אישית. זהו מצב ברירת המחדל.
קל משקל: מספק תובנות מהירות עם זמן אחזור קצר וסריקה ברמת דיוק נמוכה.
אם בחרתם במצב רגיל, צריך להגדיר את האפשרויות הבאות. האפשרויות האלה לא מופיעות כשבוחרים במצב קל משקל.
בשדה היקף, בוחרים באפשרות מצטבר או כל הנתונים.
אם בוחרים באפשרות נתונים מצטברים, בשדה עמודת חותמת זמן בוחרים עמודה מסוג
DATEאוTIMESTAMPמהטבלה ב-BigQuery. העמודה הזו משמשת את Knowledge Catalog כדי לזהות רשומות חדשות כשהן מתווספות. בטבלאות שמחולקות למחיצות לפי עמודה מהסוגיםDATEאוTIMESTAMP, מומלץ להשתמש בעמודה הזו כעמודת המחיצה.אופציונלי: כדי לסנן את הנתונים, מבצעים אחת מהפעולות הבאות:
כדי לסנן לפי שורות, מסמנים את התיבה סינון שורות. מזינים ביטוי SQL תקין שאפשר להשתמש בו בסעיף
WHEREבתחביר GoogleSQL. לדוגמה:col1 >= 0.המסנן יכול להיות שילוב של תנאי SQL בכמה עמודות. לדוגמה:
col1 >= 0 AND col2 < 10.כדי לסנן לפי עמודות, מסמנים את התיבה Filter columns.
כדי לכלול עמודות בסריקת הפרופיל, בשדה Include columns (כלול עמודות), לוחצים על Browse (עיון). בוחרים את העמודות שרוצים לכלול ולוחצים על בחירה.
כדי להחריג עמודות מסריקת הפרופיל, בשדה החרגת עמודות לוחצים על עיון. בוחרים את העמודות שרוצים להחריג ולוחצים על בחירה.
כדי להחיל דגימה על סריקת פרופיל הנתונים, בוחרים אחוז דגימה ברשימה גודל הדגימה. בוחרים ערך באחוזים בטווח שבין 0.0% ל-100.0%, עם עד 3 ספרות אחרי הנקודה העשרונית.
בקבוצות נתונים גדולות יותר, כדאי לבחור אחוז דגימה נמוך יותר. לדוגמה, אם הטבלה היא בגודל 1 PB, והזנתם ערך בין 0.1% ל-1.0%, פרופיל הנתונים יכלול דגימה של נתונים בגודל 1-10 TB.
כדי לקבל תוצאה, צריכות להיות לפחות 100 רשומות בנתונים שנדגמו.
בסריקות מצטברות של נתונים, סריקת פרופיל הנתונים מחילה דגימה על התוספת האחרונה.
אופציונלי: מפרסמים את תוצאות הסריקה של פרופיל הנתונים בדפים BigQuery ו-Knowledge Catalog במסוףGoogle Cloud של טבלת המקור. מסמנים את התיבה פרסום התוצאות ב-Knowledge Catalog.
אפשר לראות את תוצאות הסריקה האחרונות בכרטיסייה פרופיל נתונים בדפים של BigQuery ושל Knowledge Catalog עבור טבלת המקור. כדי לאפשר למשתמשים לגשת לתוצאות הסריקה שפורסמו, אפשר לעיין בקטע הענקת גישה לתוצאות סריקת פרופיל הנתונים במסמך הזה.
יכול להיות שהאפשרות לפרסום לא תהיה זמינה במקרים הבאים:
- אין לכם את ההרשאות הנדרשות בטבלה.
- סריקה נוספת של פרופיל נתונים מוגדרת לפרסום תוצאות.
בקטע תזמון, בוחרים באחת מהאפשרויות הבאות:
חזרה: הפעלת הסריקה של פרופיל הנתונים לפי לוח זמנים: שעתי, יומי, שבועי, חודשי או בהתאמה אישית. מציינים את תדירות הסריקה ואת השעה שבה היא תתבצע. אם בוחרים באפשרות 'בהתאמה אישית', צריך להשתמש בפורמט cron כדי לציין את לוח הזמנים.
על פי דרישה: הפעלת סריקת פרופיל הנתונים על פי דרישה.
הרצה חד-פעמית: סריקת פרופיל הנתונים תופעל פעם אחת עכשיו, והסריקה תוסר אחרי פרק הזמן של המחיקה האוטומטית. התכונה הזו נמצאת בגרסת טרום-השקה.
- הגדרת מחיקה אוטומטית של תוצאות אחרי סריקה: זמן המחיקה האוטומטית מגדיר את משך הזמן שבו סריקת פרופיל נתונים נשארת פעילה אחרי ההפעלה. סריקה של פרופיל נתונים ללא הגדרת זמן מחיקה אוטומטית מוסרת אוטומטית אחרי 24 שעות. פרק הזמן של המחיקה האוטומטית יכול להיות בין 0 שניות (מחיקה מיידית) ל-365 ימים.
לוחצים על Continue.
אופציונלי: ייצוא תוצאות הסריקה לטבלת BigQuery רגילה. בקטע Export scan results to BigQuery table (ייצוא תוצאות הסריקה לטבלת BigQuery), מבצעים את הפעולות הבאות:
בשדה Select BigQuery dataset (בחירת מערך נתונים ב-BigQuery), לוחצים על Browse (עיון). בוחרים מערך נתונים ב-BigQuery לאחסון תוצאות הסריקה של פרופיל הנתונים.
בשדה BigQuery table (טבלת BigQuery), מציינים את הטבלה שבה יאוחסנו תוצאות הסריקה של פרופיל הנתונים. אם אתם משתמשים בטבלה קיימת, ודאו שהיא תואמת לסכימת טבלת הייצוא. אם הטבלה שצוינה לא קיימת, Knowledge Catalog יוצר אותה בשבילכם.
אופציונלי: מוסיפים תוויות. תוויות הן צמדי מפתח/ערך שמאפשרים לקשר בין אובייקטים או ביניהם לבין משאבים אחרים של Google Cloud .
כדי ליצור את הסריקה, לוחצים על יצירה.
אם מגדירים את התזמון להפעלה לפי דרישה, אפשר גם להפעיל את הסריקה עכשיו בלחיצה על הפעלת הסריקה.
gcloud
כדי ליצור סריקה של פרופיל נתונים, משתמשים בפקודה gcloud dataplex datascans create data-profile.
אם נתוני המקור מאורגנים באגם של Knowledge Catalog, צריך לכלול את הדגל --data-source-entity:
gcloud dataplex datascans create data-profile DATASCAN \ --location=LOCATION \ --data-source-entity=DATA_SOURCE_ENTITY
אם נתוני המקור לא מאורגנים באגם של Knowledge Catalog, צריך לכלול את הדגל --data-source-resource:
gcloud dataplex datascans create data-profile DATASCAN \ --location=LOCATION \ --data-source-resource=DATA_SOURCE_RESOURCE
מחליפים את המשתנים הבאים:
-
DATASCAN: השם של סריקת פרופיל הנתונים. -
LOCATION: Google Cloud האזור שבו ייסרק פרופיל הנתונים. -
DATA_SOURCE_ENTITY: הישות ב-Knowledge Catalog שמכילה את הנתונים של סריקת פרופיל הנתונים. לדוגמה,projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity. -
DATA_SOURCE_RESOURCE: השם של המשאב שמכיל את הנתונים לסריקת פרופיל הנתונים. לדוגמה,//bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table.
C#
C#
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי C#הוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery C# API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
המשך
Go
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Goהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Go API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Java
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Python
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Pythonהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Ruby
Ruby
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Rubyהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Ruby API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
REST
כדי ליצור סריקה של פרופיל נתונים, משתמשים ב-method dataScans.create.
יצירת כמה סריקות של פרופיל נתונים
אפשר להגדיר סריקות של פרופיל נתונים לכמה טבלאות במערך נתונים ב-BigQuery בו-זמנית באמצעות מסוף Google Cloud .
במסוף Google Cloud , בדף BigQuery Metadata curation, עוברים לכרטיסייה Data profiling & quality.
לוחצים על יצירת סריקה של פרופיל נתונים.
בוחרים באפשרות סריקות מרובות של פרופילים של נתונים.
מזינים קידומת למזהה. Knowledge Catalog יוצר באופן אוטומטי מזהי סריקה באמצעות הקידומת והסיומות הייחודיות שצוינו.
מזינים תיאור לכל הסריקות של פרופיל הנתונים.
בשדה Dataset, לוחצים על Browse. בוחרים קבוצת נתונים שממנה רוצים לבחור טבלאות. לוחצים על Select.
אם מערך הנתונים הוא רב-אזורי, בוחרים אזור שבו ייסרקו פרופילי הנתונים.
בקטע מצב, בוחרים באחת מהאפשרויות הבאות:
רגיל: פרופיל הנתונים עם הגדרות סריקה שניתנות להתאמה אישית. זהו מצב ברירת המחדל.
קל משקל: מספק תובנות מהירות עם סריקה בזמן אחזור קצר ובדיוק נמוך. התכונה הזו נמצאת בגרסת טרום-השקה.
אם בחרתם במצב רגיל, מגדירים את ההגדרות הבאות לסריקות. ההגדרות האלה לא מופיעות כשבוחרים במצב קל משקל.
בשדה היקף, בוחרים באפשרות מצטבר או כל הנתונים.
אם בוחרים בנתונים מצטברים, אפשר לבחור רק טבלאות שמחולקות למחיצות בעמודה מסוג
DATEאוTIMESTAMP.כדי להחיל דגימה על הסריקות של פרופיל הנתונים, בוחרים אחוז דגימה ברשימה גודל הדגימה.
בוחרים ערך אחוזים בין 0.0% ל-100.0% עם עד 3 ספרות עשרוניות.
אופציונלי: מפרסמים את תוצאות הסריקה של פרופיל הנתונים בדפים BigQuery ו-Knowledge Catalog במסוףGoogle Cloud של טבלת המקור. מסמנים את התיבה פרסום התוצאות ב-Knowledge Catalog.
אפשר לראות את תוצאות הסריקה האחרונות בכרטיסייה פרופיל נתונים בדפים של BigQuery ושל Knowledge Catalog עבור טבלת המקור. כדי לאפשר למשתמשים לגשת לתוצאות הסריקה שפורסמו, אפשר לעיין בקטע הענקת גישה לתוצאות של סריקת פרופיל נתונים במסמך הזה.
בקטע תזמון, בוחרים באחת מהאפשרויות הבאות:
חזרה: הפעלת הסריקות של פרופיל הנתונים לפי לוח זמנים: שעתי, יומי, שבועי, חודשי או בהתאמה אישית. מציינים באיזו תדירות הסריקות יפעלו ובאיזו שעה. אם בוחרים באפשרות 'בהתאמה אישית', צריך להשתמש בפורמט cron כדי לציין את לוח הזמנים.
על פי דרישה: הרצת סריקות של פרופיל הנתונים על פי דרישה.
הרצה חד-פעמית: הרצת הסריקה של פרופיל הנתונים פעם אחת עכשיו, והסרת הסריקה אחרי זמן המחיקה האוטומטית. התכונה הזו נמצאת בגרסת טרום-השקה.
- הגדרת מחיקה אוטומטית של תוצאות אחרי סריקה: הזמן למחיקה אוטומטית מגדיר את משך הזמן שבו סריקת פרופיל נתונים נשארת פעילה אחרי ההפעלה. סריקה של פרופיל נתונים ללא הגדרת זמן למחיקה אוטומטית מוסרת אוטומטית אחרי 24 שעות. פרק הזמן של המחיקה האוטומטית יכול להיות בין 0 שניות (מחיקה מיידית) ל-365 ימים.
לוחצים על Continue.
בשדה Choose tables (בחירת טבלאות), לוחצים על Browse (עיון). בוחרים טבלה אחת או יותר לסריקה ולוחצים על בחירה.
לוחצים על Continue.
אופציונלי: ייצוא תוצאות הסריקה לטבלת BigQuery רגילה. בקטע Export scan results to BigQuery table (ייצוא תוצאות הסריקה לטבלת BigQuery), מבצעים את הפעולות הבאות:
בשדה Select BigQuery dataset (בחירת מערך נתונים ב-BigQuery), לוחצים על Browse (עיון). בוחרים מערך נתונים ב-BigQuery לאחסון תוצאות הסריקה של פרופיל הנתונים.
בשדה BigQuery table (טבלת BigQuery), מציינים את הטבלה שבה יאוחסנו תוצאות הסריקה של פרופיל הנתונים. אם אתם משתמשים בטבלה קיימת, צריך לוודא שהיא תואמת לסכימת טבלת הייצוא. אם הטבלה שצוינה לא קיימת, Knowledge Catalog תיצור אותה בשבילכם.
ב-Knowledge Catalog נעשה שימוש באותה טבלת תוצאות לכל הסריקות של פרופיל הנתונים.
אופציונלי: מוסיפים תוויות. תוויות הן צמדי מפתח/ערך שמאפשרים לקבץ אובייקטים קשורים או לקבץ אותם עם משאבים אחרים של Google Cloud .
כדי ליצור את הסריקות, לוחצים על יצירה.
אם מגדירים את התזמון להפעלה לפי דרישה, אפשר גם להריץ את הסריקות עכשיו על ידי לחיצה על הפעלת הסריקה.
הפעלת סריקת פרופיל נתונים
המסוף
-
במסוף Google Cloud , בדף BigQuery Metadata curation, עוברים לכרטיסייה Data profiling & quality.
- לוחצים על סריקת פרופיל הנתונים כדי להריץ אותה.
- לוחצים על הפעלה מיידית.
gcloud
כדי להריץ סריקה של פרופיל נתונים, משתמשים בפקודה gcloud dataplex datascans run:
gcloud dataplex datascans run DATASCAN \ --location=LOCATION
מחליפים את המשתנים הבאים:
-
DATASCAN: השם של סריקת פרופיל הנתונים. -
LOCATION: Google Cloud האזור שבו נוצרה סריקת פרופיל הנתונים.
C#
C#
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי C#הוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery C# API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
המשך
Go
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Goהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Go API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Java
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Python
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Pythonהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Ruby
Ruby
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Rubyהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Ruby API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
REST
כדי להריץ סריקה של פרופיל נתונים, משתמשים ב-dataScans.run method.
הצגת תוצאות של סריקת פרופיל נתונים
המסוף
במסוף Google Cloud , בדף BigQuery Metadata curation, עוברים לכרטיסייה Data profiling & quality.
לוחצים על השם של סריקת פרופיל נתונים.
בקטע סקירה כללית מוצג מידע על המשימות האחרונות, כולל מתי הסריקה בוצעה, מספר הרשומות בטבלה שנסרקו וסטטוס המשימה.
בקטע Data profile scan configuration מוצגים פרטים על הסריקה.
כדי לראות מידע מפורט על משימה, כמו העמודות של הטבלה שנסרקה, נתונים סטטיסטיים על העמודות שנמצאו בסריקה ויומני המשימות, לוחצים על הכרטיסייה היסטוריית המשימות. לאחר מכן לוחצים על מזהה משרה.
gcloud
כדי להציג את התוצאות של עבודת סריקה של פרופיל נתונים, משתמשים בפקודה gcloud dataplex datascans jobs describe:
gcloud dataplex datascans jobs describe JOB \ --location=LOCATION \ --datascan=DATASCAN \ --view=FULL
מחליפים את המשתנים הבאים:
-
JOB: מזהה העבודה של עבודת הסריקה של פרופיל הנתונים. -
LOCATION: Google Cloud האזור שבו נוצרה סריקת פרופיל הנתונים. -
DATASCAN: השם של סריקת פרופיל הנתונים שאליה שייך הג'וב. -
--view=FULL: כדי לראות את תוצאת עבודת הסריקה, מצייניםFULL.
C#
C#
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי C#הוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery C# API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
המשך
Go
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Goהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Go API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Java
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Python
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Pythonהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Ruby
Ruby
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Rubyהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Ruby API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
REST
כדי לראות את התוצאות של סריקת פרופיל נתונים, משתמשים בשיטה dataScans.get.
הצגת התוצאות שפורסמו
אם תוצאות הסריקה של פרופיל הנתונים מתפרסמות בדפי BigQuery ו-Knowledge Catalog במסוף Google Cloud , תוכלו לראות את תוצאות הסריקה האחרונות בכרטיסייה Data profile של טבלת המקור.
במסוף Google Cloud , עוברים לדף BigQuery.
בחלונית הימנית, לוחצים על כלי הניתוחים:

אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.
בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים.
לוחצים על סקירה כללית > טבלאות, ואז בוחרים את הטבלה שרוצים לראות את תוצאות הסריקה של פרופיל הנתונים שלה.
לוחצים על הכרטיסייה פרופיל נתונים.
מוצגות התוצאות האחרונות שפורסמו.
צפייה במשימת הסריקה האחרונה של פרופיל הנתונים
המסוף
במסוף Google Cloud , בדף BigQuery Metadata curation, עוברים לכרטיסייה Data profiling & quality.
לוחצים על השם של סריקת פרופיל נתונים.
לוחצים על הכרטיסייה תוצאות אחרונות של המשימה.
בכרטיסייה תוצאות העבודה האחרונה, אם יש לפחות ריצה אחת שהושלמה בהצלחה, מוצג מידע על העבודה האחרונה. היא מפרטת את העמודות של הטבלה שנסרקה ואת הנתונים הסטטיסטיים לגבי העמודות שנמצאו בסריקה.
gcloud
כדי לראות את הסריקה האחרונה של פרופיל הנתונים שהסתיימה בהצלחה, משתמשים בפקודה gcloud dataplex datascans describe:
gcloud dataplex datascans describe DATASCAN \ --location=LOCATION \ --view=FULL
מחליפים את המשתנים הבאים:
-
DATASCAN: השם של סריקת פרופיל הנתונים שרוצים לראות את העבודה האחרונה שלה. -
LOCATION: האזור שבו נוצרה סריקת פרופיל הנתונים. Google Cloud -
--view=FULL: כדי לראות את תוצאת עבודת הסריקה, מצייניםFULL.
REST
כדי לראות את עבודת הסריקה האחרונה, משתמשים בשיטה dataScans.get.
צפייה בתוצאות סריקה היסטוריות
ב-Knowledge Catalog נשמרת היסטוריית הסריקות של פרופיל הנתונים של 300 המשימות האחרונות או של השנה האחרונה, לפי המוקדם מביניהם.
המסוף
במסוף Google Cloud , בדף BigQuery Metadata curation, עוברים לכרטיסייה Data profiling & quality.
לוחצים על השם של סריקת פרופיל נתונים.
לוחצים על הכרטיסייה היסטוריית המשרות.
בכרטיסייה היסטוריית המשימות מופיע מידע על משימות קודמות, כמו מספר הרשומות שנסרקו בכל משימה, סטטוס המשימה והשעה שבה המשימה הופעלה.
כדי לראות מידע מפורט על משימה, לוחצים על אחת מהמשימות בעמודה מזהה משימה.
gcloud
כדי לראות את העבודות ההיסטוריות של סריקת פרופיל הנתונים, משתמשים בפקודה gcloud dataplex datascans jobs list:
gcloud dataplex datascans jobs list \ --location=LOCATION \ --datascan=DATASCAN
מחליפים את המשתנים הבאים:
-
LOCATION: האזור שבו נוצרה סריקת פרופיל הנתונים. Google Cloud DATASCAN: השם של סריקת פרופיל הנתונים שעבורה רוצים להציג את המשימות.
C#
C#
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי C#הוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery C# API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
המשך
Go
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Goהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Go API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Java
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Python
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Pythonהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Ruby
Ruby
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Rubyהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Ruby API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
REST
כדי לראות משימות היסטוריות של סריקת פרופיל נתונים, משתמשים בשיטה dataScans.jobs.list.
צפייה בסריקות של פרופיל הנתונים של טבלה
כדי לראות את הסריקות של פרופיל הנתונים שחלות על טבלה ספציפית, מבצעים את הפעולות הבאות:
במסוף Google Cloud , בדף BigQuery Metadata curation (ניהול מטא-נתונים), עוברים לכרטיסייה Data profiling & quality (פרופיל נתונים ואיכות).
מסננים את הרשימה לפי שם הטבלה וסוג הסריקה.
הענקת גישה לתוצאות של סריקת פרופיל נתונים
כדי לאפשר למשתמשים בארגון לראות את תוצאות הסריקה:
במסוף Google Cloud , בדף BigQuery Metadata curation, עוברים לכרטיסייה Data profiling & quality.
לוחצים על סריקת פרופיל הנתונים שרוצים לשתף את התוצאות שלה.
לוחצים על הכרטיסייה Permissions.
צריך לבצע את הפעולות הבאות:
- כדי להעניק גישה ל-Principal, לוחצים על Grant access. מקצים את התפקיד Dataplex DataScan DataViewer לחשבון המשתמש המשויך.
- כדי להסיר גישה מחשבון משתמש, בוחרים את החשבון שרוצים להסיר ממנו את התפקיד Dataplex DataScan DataViewer. לוחצים על הסרת הגישה ומאשרים כשמוצגת בקשה.
ניהול סריקות של פרופיל נתונים לטבלה ספציפית
במאמר הזה מוסבר איך לנהל סריקות של פרופיל הנתונים בפרויקט באמצעות הדף Metadata curation > Data profiling & quality (ניהול מטא-נתונים > פרופיל נתונים ואיכות) ב-Google Cloud console.
אתם יכולים גם ליצור ולנהל סריקות של פרופיל נתונים כשאתם עובדים עם טבלה ספציפית. במסוף Google Cloud , בדף BigQuery של הטבלה, משתמשים בכרטיסייה פרופיל נתונים. צריך לבצע את הפעולות הבאות:
במסוף Google Cloud , עוברים לדף BigQuery.
בחלונית Explorer (בצד ימין), לוחצים על Datasets ואז על מערך הנתונים. עכשיו לוחצים על סקירה כללית > טבלאות ובוחרים את הטבלה שרוצים לראות את תוצאות הסריקה של פרופיל הנתונים שלה.
לוחצים על הכרטיסייה פרופיל נתונים.
בהתאם לשאלה אם הטבלה כוללת סריקה של פרופיל נתונים שהתוצאות שלה פורסמו, אפשר לעבוד עם הסריקות של פרופיל הנתונים של הטבלה בדרכים הבאות:
תוצאות הסריקה של פרופיל הנתונים מתפרסמות: התוצאות האחרונות שפורסמו מוצגות בדף.
כדי לנהל את הסריקות של פרופיל הנתונים בטבלה הזו, לוחצים על סריקה של פרופיל הנתונים ובוחרים באחת מהאפשרויות הבאות:
יצירת סריקה חדשה: יצירת סריקה חדשה של פרופיל נתונים. מידע נוסף זמין בקטע יצירת סריקה של פרופיל נתונים במסמך הזה. כשיוצרים סריקה מדף הפרטים של טבלה, הטבלה נבחרת מראש.
הפעלה מיידית: הפעלת הסריקה.
עריכת הגדרות הסריקה: עריכת ההגדרות, כולל השם לתצוגה, המסננים, גודל הדגימה והתזמון.
ניהול הרשאות הסריקה: קובעים למי תהיה גישה לתוצאות הסריקה. מידע נוסף זמין בקטע הענקת גישה לתוצאות הסריקה של פרופיל הנתונים במאמר הזה.
הצגת תוצאות היסטוריות: הצגת מידע מפורט על משימות קודמות של סריקת פרופיל נתונים. מידע נוסף זמין בקטעים הצגת תוצאות סריקה של פרופיל נתונים והצגת תוצאות סריקה היסטוריות במסמך הזה.
הצגת כל הסריקות: הצגת רשימה של סריקות פרופיל נתונים שרלוונטיות לטבלה הזו.
תוצאות הסריקה של פרופיל הנתונים לא מתפרסמות: לוחצים על התפריט לצד פרופיל נתונים מהיר, ואז בוחרים מבין האפשרויות הבאות:
התאמה אישית של פרופיל הנתונים: יצירת סריקה חדשה של פרופיל הנתונים. מידע נוסף זמין בקטע יצירת סריקה של פרופיל נתונים במסמך הזה. כשיוצרים סריקה מדף הפרטים של טבלה, הטבלה נבחרת מראש.
הצגת פרופילים קודמים: הצגת רשימה של סריקות פרופיל נתונים שרלוונטיות לטבלה הזו.
עדכון סריקה של פרופיל נתונים
המסוף
במסוף Google Cloud , בדף BigQuery Metadata curation, עוברים לכרטיסייה Data profiling & quality.
לוחצים על השם של סריקת פרופיל נתונים.
לוחצים על עריכה ועורכים את הערכים.
לוחצים על Save.
gcloud
כדי לעדכן סריקה של פרופיל נתונים, משתמשים בפקודה gcloud dataplex datascans update data-profile:
gcloud dataplex datascans update data-profile DATASCAN \ --location=LOCATION \ --description=DESCRIPTION
מחליפים את המשתנים הבאים:
-
DATASCAN: השם של סריקת פרופיל הנתונים שרוצים לעדכן. -
LOCATION: האזור שבו נוצרה סריקת פרופיל הנתונים. Google Cloud -
DESCRIPTION: התיאור החדש של הסריקה של פרופיל הנתונים.
C#
C#
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי C#הוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery C# API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
המשך
Go
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Goהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Go API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Java
Java
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Java API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Python
Python
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Pythonהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Python API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Ruby
Ruby
לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Rubyהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Ruby API.
כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
REST
כדי לערוך סריקה של פרופיל נתונים, משתמשים ב-dataScans.patch method.
מחיקת סריקה של פרופיל נתונים
המסוף
במסוף Google Cloud , בדף BigQuery Metadata curation, עוברים לכרטיסייה Data profiling & quality.
לוחצים על הסריקה שרוצים למחוק.
לוחצים על מחיקה ומאשרים כשמוצגת בקשה.
gcloud
כדי למחוק סריקה של פרופיל נתונים, משתמשים בפקודה gcloud dataplex datascans delete:
gcloud dataplex datascans delete DATASCAN \ --location=LOCATION --async
מחליפים את המשתנים הבאים:
-
DATASCAN: השם של הסריקה של פרופיל הנתונים שרוצים למחוק. -
LOCATION: האזור שבו נוצרה סריקת פרופיל הנתונים. Google Cloud
REST
כדי למחוק סריקה של פרופיל נתונים, משתמשים בשיטה dataScans.delete.
המאמרים הבאים
- כך בוחנים את הנתונים באמצעות יצירת תובנות מהנתונים.
- מידע נוסף על משילות מידע (data governance) ב-BigQuery
- איך סורקים את הנתונים כדי לזהות בעיות באיכות הנתונים
- איך בודקים נתונים בטבלה ויוצרים שאילתות באמצעות הכלי לבדיקת טבלאות