הצגה של כרטיסי מוצר ושל חילופי נתונים והרשמה אליהם

ב-BigQuery sharing (לשעבר Analytics Hub), אתם יכולים לחפש רשימות ובורסות נתונים ולהירשם אליהן כדי לשלוח שאילתות לגבי נתונים משותפים ישירות ב-BigQuery, בלי לשכפל נתונים או לשלם על אחסון. כשנרשמים למינוי, נוצרים בפרויקט מערכי נתונים מקושרים לקריאה בלבד, שמאפשרים לכם לנתח טבלאות ותצוגות משותפות לצד המשאבים הקיימים.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לשימוש בכרטיסי מוצר, אתם צריכים לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

• גילוי של כרטיסי מוצר ומרכזי נתונים: Analytics Hub Viewer (roles/analyticshub.viewer) בפרויקט של המנוי
• הרשמה למינוי לכרטיסי מוצר:
  • ‫BigQuery User (roles/bigquery.user) בפרויקט המנוי
  • מנוי ל-Analytics Hub (roles/analyticshub.subscriber) בכרטיס של בעל התוכן הדיגיטלי, באוסף נתונים לשיתוף או בפרויקט
• הרשמה להחלפת נתונים:
  • ‫BigQuery User (roles/bigquery.user) בפרויקט המנוי
  • מנוי ב-Analytics Hub (roles/analyticshub.subscriber) בחדר נקי לנתונים
  • תפקיד בעלים של מינוי ל-Analytics Hub (roles/analyticshub.subscriptionOwner) בפרויקט היעד
• צפייה במערכי נתונים מקושרים והרצת שאילתות עליהם: BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקט המנוי
• צפייה במטא-נתונים של הטבלה: BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקט של המנוי
• עדכון מערכי נתונים מקושרים: BigQuery Data Owner (roles/bigquery.dataOwner) בפרויקט המנוי
• מחיקת מערכי נתונים מקושרים: BigQuery Admin (roles/bigquery.admin) בפרויקט המנוי

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש כוללים את ההרשאות שנדרשות לשימוש בכרטיסי מוצר. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי להשתמש בכרטיסי מוצר, צריך את ההרשאות הבאות:

• יצירת מערכי נתונים חדשים: bigquery.datasets.create בפרויקט של המנוי
• שאילתות של מערכי נתונים: bigquery.jobs.create בפרויקט של המנוי

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

חיפוש כרטיסי מוצר

כדי לראות את כל הרישומים הציבוריים והפרטיים:

1. נכנסים לדף Sharing (Analytics Hub) במסוף Google Cloud .

   מעבר אל 'שיתוף' (Analytics Hub)

2. לוחצים על כרטיסי מוצר בחיפוש. מופיעה תיבת דו-שיח עם רשימה של כרטיסי מוצר שאפשר לגשת אליהם.

3. כדי לסנן את כרטיסי המוצר לפי שם או תיאור, מזינים את הטקסט בשדה חיפוש כרטיסי מוצר.

4. בקטע Filters, מסננים את כרטיסי המוצר באמצעות השדות הבאים:

   • כרטיסי מוצר: בוחרים אם רוצים לראות כרטיסי מוצר פרטיים, כרטיסי מוצר גלויים לכולם או כרטיסי מוצר בארגון.

   • קטגוריות: בוחרים קטגוריה אחת או יותר.

   • מיקום: בוחרים מיקום. אפשר לחפש רק לפי המיקום של אוסף נתונים לשיתוף. מידע נוסף זמין במאמר בנושא אזורים נתמכים.

   • ספק: בוחרים ספק נתונים. חלק מספקי הנתונים דורשים שתבקשו גישה למערכי הנתונים המסחריים שלהם. אחרי שתבקשו גישה, ספק הנתונים ייצור איתכם קשר כדי לשתף את מערכי הנתונים שלו.

5. מעיינים ברישומים המסוננים.

גילוי של החלפות נתונים

כדי למצוא נתוני שיתוף:

1. נכנסים לדף Sharing (Analytics Hub) במסוף Google Cloud .

   מעבר אל 'שיתוף' (Analytics Hub)

2. לוחצים על כרטיסי מוצר בחיפוש. מופיעה תיבת דו-שיח עם רשימה של כרטיסי מוצר ונתוני שוק שאפשר להירשם אליהם.

3. כדי לסנן את נתוני ההחלפה לפי שם או תיאור, מזינים את הטקסט בשדה חיפוש כרטיסי מוצר.

4. בקטע Filters, מסננים את הנתונים של אוספי נתונים לשיתוף של חדר נקי לנתונים באמצעות השדות הבאים:

   • כרטיסי מוצר: מסמנים את התיבה חדרים נקיים לנתונים כדי לראות חדרים נקיים לנתונים ששותפו.

   • קטגוריות: בוחרים קטגוריה אחת או יותר.

   • מיקום: בוחרים מיקום. אפשר לחפש רק לפי המיקום של אוסף נתונים לשיתוף. מידע נוסף זמין במאמר בנושא אזורים נתמכים.

5. מעיינים בחדרים הנקיים לנתונים שסוננו.

הרשמה לדפי אפליקציה

כשנרשמים לרשימה, מקבלים גישה לקריאה בלבד של הנתונים ברשימה על ידי יצירת מערך נתונים מקושר בפרויקט.

חשוב: מומלץ להימנע מהצבת נתונים בפרויקט שנמצא בתוך מתחם היקפי של VPC Service Controls. אם הפרויקט נמצא בתוך גבולות גזרה, צריך להוסיף את הכללים המתאימים לתעבורת נתונים נכנסת (ingress) ויוצאת (egress).

כדי להירשם לקבלת עדכונים על דף עסקי:

המסוף

1. כדי לראות רשימה של כרטיסי מוצר שיש לכם גישה אליהם, פועלים לפי השלבים במאמר בנושא איתור כרטיסי מוצר.

2. ברשימת כרטיסי המוצר, לוחצים על כרטיס המוצר שאליו רוצים להירשם. מופיעה תיבת דו-שיח עם פרטי כרטיס המוצר. בתיבת הדו-שיח מצוין אם הספק הפעיל רישום ביומן של כתובות האימייל של המנויים, ומופיעה רשימה של האזורים שבהם הכרטיסייה זמינה.

3. אם נדרש אישור או רכישה כדי לגשת לכרטיס המוצר (למשל, מערך נתונים מסחרי), לוחצים על בקשת גישה או על רכישה דרך Marketplace. אחרת, לוחצים על Subscribe (הרשמה) כדי לפתוח את תיבת הדו-שיח Create linked dataset (יצירת מערך נתונים מקושר).

4. אם Analytics Hub API לא מופעל בפרויקט, לוחצים על Enable Analytics Hub API בהודעה שמופיעה.

5. בתיבת הדו-שיח יצירת מערך נתונים מקושר, מציינים את הפרטים הבאים:

   • פרויקט: מזינים את שם הפרויקט שבו רוצים להוסיף את מערך הנתונים.
   • שם מערך הנתונים המקושר: מזינים שם למערך הנתונים המקושר.

   • אזור ראשי: בוחרים את האזור שבו רוצים ליצור את מערך הנתונים המקושר.

     הערה: האזור הראשי לא צריך להיות זהה לאזור הראשי של הספק. כדי לצמצם את זמן האחזור של השכפול, אפשר למקם את מערך הנתונים המקושר באותו מיקום אזורי של הספק.

   • אופציונלי: אזורים של העתקים: בוחרים את האזורים שבהם רוצים ליצור העתקים של מערכי נתונים מקושרים. אחסון מערך הנתונים המקושר במיקום משותף עם נתונים אחרים מצמצם את התנועה היוצאת ומאפשר לבצע הצטרפות בין מערכי נתונים. כדי ליצור רפליקות, צריכה להיות לכם הרשאה מסוג bigquery.datasets.update במערך הנתונים המקושר.

   הערה: המערכת מנסה ליצור עותקים משוכפלים של מערך הנתונים המקושר, אבל אם חסרה ההרשאה bigquery.datasets.update במערך הנתונים המקושר, לא נוצרים עותקים משוכפלים.

6. כדי ליצור את מערך הנתונים המקושר, לוחצים על שמירה.

API

כדי להירשם לכרטיס מוצר, מבצעים קריאה ל-method‏ projects.locations.dataExchanges.listings.subscribe:

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID:subscribe

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud שמכיל את כרטיס המוצר שרוצים להירשם אליו.
• ‫LOCATION: המיקום של כרטיס המוצר.
• ‫DATAEXCHANGE_ID: מזהה חילופי הנתונים של כרטיס המוצר.
• ‫LISTING_ID: מזהה כרטיס המוצר שרוצים להירשם אליו.
• ‫SUBSCRIBER_PROJECT_ID: מזהה ה Google Cloud פרויקט של המנוי שבו רוצים ליצור את מערך הנתונים המקושר.
• ‫LINKED_DATASET_ID: המזהה שרוצים לתת למערך הנתונים המקושר.
• ‫PRIMARY_REGION: האזור הגיאוגרפי הראשי שבו רוצים ליצור את מערך הנתונים המקושר.

בגוף הבקשה, מציינים את מערך הנתונים שבו רוצים ליצור את מערך הנתונים המקושר:

{
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

כדי ליצור מינוי עם העתקים מקושרים של מערכי נתונים בכמה אזורים, צריך לציין את האזור הראשי בשדה location. כדי לציין אזורי רפליקה משניים, מוסיפים את האזורים לשדה destinationDataset.replica_locations. מוודאים שכל האזורים שצוינו הם אזורים שבהם הכרטיס זמין.

הערה: המערכת מנסה ליצור עותקים של מערך הנתונים המקושר, אבל אם חסרה ההרשאה bigquery.datasets.update במערך הנתונים המקושר, לא נוצרים עותקים.

אם הבקשה מצליחה, גוף התגובה מכיל את אובייקט המינוי.

אם מפעילים את הרישום ביומן של כתובות האימייל של המנויים בשביל אוסף הנתונים לשיתוף או כרטיס המוצר באמצעות השדה logLinkedDatasetQueryUserEmail, התגובה להרשמה תכיל את הערך log_linked_dataset_query_user_email: true. הנתונים שנרשמו ביומן זמינים בשדה job_principal_subject של INFORMATION_SCHEMA.SHARED_DATASET_USAGE התצוגה.

אם מפעילים שיתוף של תהליכים מאוחסנים (תצוגה מקדימה), התשובה של כרטיס המוצר תכיל את stored_procedure_config: true.

הערה: כדי להריץ פרוצדורות מאוחסנות משותפות במערך נתונים מקושר, צריך לתת הרשאה לפרוצדורות מאוחסנות משותפות לגשת למשאבים בפרויקט.

הרשמה להחלפת נתונים

כשנרשמים לאוסף נתונים לשיתוף, מקבלים גישת קריאה בלבד לנתונים באוסף הנתונים לשיתוף על ידי יצירת קבוצת נתונים מקושרת בפרויקט.

כדי להירשם להחלפת נתונים בחדר נתונים נקי:

המסוף

1. כדי לראות רשימה של מרכזי נתונים שאתם יכולים לגשת אליהם, פועלים לפי השלבים במאמר גילוי מרכזי נתונים.

2. ברשימת אוספי הנתונים לשיתוף של החדרים הנקיים לנתונים, לוחצים על אוסף הנתונים לשיתוף של החדר הנקי לנתונים שרוצים להירשם אליו. מופיעה תיבת דו-שיח עם פרטי ההחלפה של החדר הנקי לנתונים.

3. לוחצים על Subscribe (הרשמה) כדי לפתוח את תיבת הדו-שיח Add data clean room to project (הוספת חדר נקי לנתונים לפרויקט).

4. אם Analytics Hub API לא מופעל בפרויקט, לוחצים על Enable Analytics Hub API בהודעה שמופיעה.

5. בתיבת הדו-שיח Add data clean room to project, מציינים את הפרטים הבאים:

   • יעד: מזינים את שם הפרויקט שרוצים להוסיף אליו את מערך הנתונים.

6. כדי ליצור את מערך הנתונים המקושר, לוחצים על שמירה.

API

כדי להירשם לאוסף נתונים לשיתוף בחדר נקי לנתונים, מפעילים את השיטה projects.locations.dataExchanges.subscribe:

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID:subscribe

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud שמכיל את אוסף הנתונים לשיתוף שרוצים להירשם אליהם.
• LOCATION: המיקום של חילופי הנתונים.
• ‫DATAEXCHANGE_ID: מזהה חילופי הנתונים.
• ‫SUBSCRIBER_PROJECT_ID: מזהה ה Google Cloud פרויקט של המנוי שבו רוצים ליצור את מערך הנתונים המקושר.
• ‫SUBSCRIPTION_ID: שם המינוי שרוצים ליצור.
• ‫LINKED_DATASET_ID: המזהה שרוצים לתת למערך הנתונים המקושר.
• ‫PRIMARY_REGION: האזור הגיאוגרפי הראשי שבו רוצים ליצור את מערך הנתונים המקושר.

בגוף הבקשה, מציינים את מיקום היעד, את שם המינוי ואת מערך הנתונים שבו רוצים ליצור את מערך הנתונים המקושר:

{
"destination": "projects/SUBSCRIBER_PROJECT_ID/locations/LOCATION",
"subscription": "SUBSCRIPTION_ID",
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

אם הבקשה מצליחה, גוף התגובה מכיל את אובייקט הפעולה. אם הפעלתם רישום ביומן של אימיילים של מנויים להחלפת נתונים, התשובה של המינוי תכיל את הערך log_linked_dataset_query_user_email: true.

צפייה בקבוצות נתונים מקושרות

מערכי נתונים מקושרים מוצגים יחד עם מערכי נתונים אחרים במסוףGoogle Cloud .

כדי לראות את מערכי הנתונים המקושרים בפרויקט, פועלים לפי השלבים הבאים:

המסוף

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית ניווט קלאסי, לוחצים על קטגוריה.

   

   אם החלונית Classic Explorer לא מוצגת, לוחצים על Expand left pane כדי לפתוח אותה.

3. בחלונית Classic Explorer, לוחצים על שם הפרויקט שמכיל את מערך הנתונים המקושר .

אפשרות אחרת היא לחפש ולצפות במערכי נתונים מקושרים באמצעות Knowledge Catalog. כדי להתאים את כל מערכי הנתונים המקושרים ששותפו ב-BigQuery לשאילתת החיפוש, משתמשים בפרדיקט type=dataset.linked. מידע נוסף מפורט במאמר בנושא תחביר החיפוש ב-Knowledge Catalog.

Cloud Shell

כדי לפרסם את מערכי הנתונים המקושרים בפרויקט באמצעות כלי שורת הפקודה bq, מריצים את הפקודה הבאה ב-Cloud Shell:

PROJECT=PROJECT_ID \
for dataset in $(bq ls --project_id $PROJECT | tail +3); do [ "$(bq show -d --project_id $PROJECT $dataset | egrep LINKED)" ] && echo $dataset; done

מחליפים את PROJECT_ID במזהה הפרויקט ב- Google Cloud .

הערה: אם בעל תוכן דיגיטלי מסיר מינוי, בדף הפרטים של קבוצת הנתונים המקושרת מצוין שקבוצת הנתונים לא מקושרת. מכיוון שאי אפשר להריץ שאילתות על קבוצת נתונים לא מקושרת, אפשר למחוק את קבוצת הנתונים הלא מקושרת.

שליחת שאילתות לקבוצות נתונים מקושרות

אפשר לשלוח שאילתות לגבי טבלאות ותצוגות במערכי הנתונים המקושרים באותו אופן שבו שולחים שאילתות לגבי כל טבלה אחרת ב-BigQuery.

כדי לשלוח שאילתה לטבלה בקבוצת נתונים מקושרת, מריצים שאילתת SELECT שמפנה למזהה הפרויקט, למזהה קבוצת הנתונים המקושרת ולשם הטבלה:

SELECT * FROM `PROJECT_ID`.`LINKED_DATASET_ID`.`TABLE_NAME`
LIMIT 10;

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫LINKED_DATASET_ID: המזהה של מערך הנתונים המקושר.
• ‫TABLE_NAME: השם של הטבלה או התצוגה שרוצים לשלוח אליהן שאילתה.

מידע נוסף זמין במאמר בנושא הפעלת שאילתות אינטראקטיביות.

עדכון של מערכי נתונים מקושרים

המשאבים במערך נתונים מקושר הם לקריאה בלבד. אי אפשר לערוך נתונים או מטא-נתונים של משאבים במערכי נתונים מקושרים, או לציין הרשאות למשאבים ספציפיים.

אתם יכולים לעדכן רק את התיאור והתוויות של מערכי הנתונים המקושרים. שינויים במערך נתונים מקושר לא משפיעים על מערכי הנתונים המשותפים או על מקור הנתונים.

כדי לעדכן את התיאור והתוויות של מערך נתונים מקושר, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית Explorer (סייר), לוחצים על Explorer (סייר):

   

3. בחלונית Explorer, מרחיבים את שם הפרויקט, לוחצים על Datasets (מערכי נתונים) ואז לוחצים על שם מערך הנתונים שמופיע כקישור כדי לפתוח אותו.

4. בחלונית הפרטים, לוחצים על עריכת הפרטים ומגדירים את האפשרויות הבאות:

   1. כדי להוסיף תוויות, אפשר לעיין במאמר בנושא הוספת תווית למערך נתונים.

   2. כדי להפעיל אוסף כללים (collation), מרחיבים את האפשרויות המתקדמות ופועלים לפי השלבים הבאים:

      1. בוחרים באפשרות הפעלת ברירת מחדל של איסוף נתונים.
      2. בוחרים אפשרות מהרשימה Default collation.

5. כדי לשמור את השינויים, לוחצים על שמירה.

צפייה במטא-נתונים של טבלה

כדי לראות את המטא-נתונים של טבלה במערך נתונים מקושר, שולחים שאילתה לתצוגה INFORMATION_SCHEMA.TABLES:

SELECT * FROM `LINKED_DATASET_ID`.INFORMATION_SCHEMA.TABLES;

מחליפים את LINKED_DATASET_ID במזהה של מערך הנתונים המקושר.

הערה: שאילתות INFORMATION_SCHEMA שמבוססות על אזור לא מחזירות מטא-נתונים עבור טבלאות מקושרות. מידע נוסף על תצוגות שלא נתמכות זמין במאמר מגבלות.

ביטול ההרשמה למערכי נתונים מקושרים או מחיקה שלהם

כדי לבטל את ההרשמה לקבוצת נתונים, מוחקים את קבוצת הנתונים המקושרת. מחיקה של מערך נתונים מקושר לא מוחקת את מערך הנתונים המקורי.

אי אפשר לאחזר מערך נתונים מקושר אחרי שמוחקים אותו. עם זאת, תמיד אפשר ליצור מחדש את מערך הנתונים המקושר שנמחק על ידי הרשמה לכרטיס המוצר שוב.

אם בעל תוכן דיגיטלי מסיר את המינוי שלכם, מערך הנתונים המקושר שלכם יבוטל הקישור שלו ממערך הנתונים המשותף. מכיוון שמדובר בפעולה שיוזם בעל התוכן הדיגיטלי במשאב שבבעלות המנוי, מערך הנתונים המקושר נשאר בפרויקט שלכם במצב לא מקושר. כדי להסיר את קבוצת הנתונים שלא קושרה, צריך למחוק אותה.

כדי למחוק קבוצת נתונים מקושרת, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית Explorer (סייר), לוחצים על Explorer (סייר):

   

3. בחלונית Explorer, מרחיבים את שם הפרויקט, לוחצים על Datasets (מערכי נתונים) ואז לוחצים על שם מערך הנתונים שמופיע כקישור כדי לפתוח אותו.

4. לוחצים על Delete.

5. בתיבת הדו-שיח מחיקת מערך נתונים מקושר?, מאשרים את המחיקה על ידי הקלדת delete.

6. לוחצים על Delete.

המאמרים הבאים

• מידע נוסף על שיתוף ב-BigQuery
• איך מנהלים כרטיסי מוצר
• איך מנהלים את חילופי הנתונים
• איך צופים ביומני ביקורת של שיתוף ב-BigQuery