הצגה של דפי מוצר וחילופי נתונים והרשמה אליהם

ב-BigQuery sharing (לשעבר Analytics Hub), אתם יכולים לגלות ולהירשם לרישומים ולחילופי נתונים כדי לשלוח שאילתות לגבי נתונים משותפים ישירות ב-BigQuery, בלי לשכפל נתונים או לשלם עלויות אחסון. כשנרשמים, נוצרים בפרויקט מערכי נתונים מקושרים לקריאה בלבד, שמאפשרים לנתח טבלאות ותצוגות משותפות לצד המשאבים הקיימים.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לשימוש בדפי האפליקציות, אתם צריכים לבקש מהאדמין לתת לכם את התפקידים הבאים ב-IAM:

• לגלות נתונים וחילופי נתונים: צפייה ב-Analytics Hub (roles/analyticshub.viewer) בפרויקט המנוי
• הרשמה למינוי לדפי אפליקציות:
  • BigQuery User (roles/bigquery.user) בפרויקט המנוי
  • Analytics Hub Subscriber (roles/analyticshub.subscriber) ב-listing, ב-exchange או בפרויקט של בעל התוכן הדיגיטלי
• הרשמה למאגרי נתונים:
  • BigQuery User (roles/bigquery.user) בפרויקט המנוי
  • מנוי ב-Analytics Hub (roles/analyticshub.subscriber) בחדר הנקי לנתונים
  • התפקיד "בעלי המינוי ב-Analytics Hub" (roles/analyticshub.subscriptionOwner) בפרויקט היעד
• צפייה במערכי נתונים מקושרים ושליחת שאילתות לגביהם: BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקט המנוי
• צפייה במטא-נתונים של הטבלה: BigQuery Data Viewer (roles/bigquery.dataViewer) בפרויקט המנוי
• עדכון מערכי נתונים מקושרים: BigQuery Data Owner (roles/bigquery.dataOwner) בפרויקט המנוי
• מחיקת מערכי נתונים מקושרים: אדמין ב-BigQuery (roles/bigquery.admin) בפרויקט המנוי

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי להשתמש בפרטי האפליקציה בחנות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי להשתמש בדפי האפליקציה, נדרשות ההרשאות הבאות:

• יצירת מערכי נתונים חדשים: ‫bigquery.datasets.create בפרויקט המנוי
• שליחת שאילתות למערכי נתונים: ‫bigquery.jobs.create בפרויקט של המנוי

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

חיפוש דפי אפליקציה

כדי למצוא דפי מוצר ציבוריים ופרטיים:

1. במסוף Google Cloud , נכנסים לדף שיתוף (מאגר הניתוחים ב-Analysis).

   מעבר אל Sharing (Analytics Hub)

2. לוחצים על חיפוש דפי אפליקציות. מופיעה תיבת דו-שיח עם רשימה של דפי האפליקציה שיש לכם גישה אליהם.

3. כדי לסנן את כרטיסי המוצר לפי שם או תיאור, מזינים את הטקסט בשדה Search for listings.

4. בקטע Filters, מסננים את כרטיסי המוצר לפי השדות הבאים:

   • רשימות: בוחרים אם רוצים לראות רשימות פרטיות, רשימות ציבוריות או רשימות בארגון.

   • קטגוריות: בוחרים קטגוריה אחת או יותר.

   • מיקום: בוחרים מיקום. אפשר לחפש רק לפי המיקום של חילופי הנתונים. מידע נוסף זמין במאמר אזורים נתמכים.

   • ספק: בוחרים ספק נתונים. חלק מספקי הנתונים דורשים שתבקשו גישה למערכי הנתונים המסחריים שלהם. אחרי שתבקשו גישה, ספק הנתונים ייצור איתכם קשר כדי לשתף את מערכי הנתונים שלו.

5. מעיינים בכרטיסי המוצר המסוננים.

חיפוש מאגרי נתונים משותפים

כדי למצוא מאגרי נתונים:

1. במסוף Google Cloud , נכנסים לדף שיתוף (מאגר הניתוחים ב-Analysis).

   מעבר אל Sharing (Analytics Hub)

2. לוחצים על חיפוש דפי אפליקציות. מופיעה תיבת דו-שיח עם רשימה של חילופי נתונים ורשומות שאפשר להירשם אליהם.

3. כדי לסנן את חילופי הנתונים לפי שם או תיאור, מזינים את הטקסט בשדה Search for listings.

4. בקטע Filters, מסננים את חילופי הנתונים בחדר הנקי באמצעות השדות הבאים:

   • ‫Listings: מסמנים את התיבה Clean rooms כדי לראות את החדרים הנקיים המשותפים.

   • קטגוריות: בוחרים קטגוריה אחת או יותר.

   • מיקום: בוחרים מיקום. אפשר לחפש רק לפי המיקום של חילופי הנתונים. מידע נוסף זמין במאמר אזורים נתמכים.

5. מעיינים בחדרים הנקיים לנתונים שסוננו.

הרשמה לדפי אפליקציה

כשאתם נרשמים לרשימה, אתם מקבלים גישה לקריאה בלבד לנתונים שברשימה, על ידי יצירת מערך נתונים מקושר בפרויקט שלכם.

זהירות: אל תמקמו נתונים בפרויקט שנמצא במתחם היקפי של VPC Service Controls. אם הפרויקט נמצא בתוך היקף, צריך להוסיף את הכללים המתאימים לתעבורת נתונים נכנסת (ingress) ויוצאת (egress).

כדי להירשם לרישום:

המסוף

1. כדי לראות את רשימת כרטיסי המוצר שיש לכם גישה אליהם, פועלים לפי השלבים שמפורטים בקטע חיפוש כרטיסי מוצר.

2. ברשימת כרטיסי המידע, לוחצים על כרטיס המידע שרוצים להירשם אליו. מופיעה תיבת דו-שיח עם פרטי דף האפליקציה בחנות. בתיבת הדו-שיח מצוין אם הספק הפעיל רישום ביומן של כתובות האימייל של המנויים, ומופיעה רשימה של האזורים שבהם אפשר להירשם.

3. אם צריך אישור או רכישה כדי להשתמש בנתונים (למשל, קבוצת נתונים מסחרית), לוחצים על Request access או על Purchase via Marketplace. אחרת, לוחצים על Subscribe כדי לפתוח את תיבת הדו-שיח Create linked dataset.

4. אם Analytics Hub API לא מופעל בפרויקט, לוחצים על Enable Analytics Hub API בהודעה שמופיעה.

5. בתיבת הדו-שיח Create linked dataset, מציינים את הפרטים הבאים:

   • ‫Project: מזינים את שם הפרויקט שבו רוצים להוסיף את מערך הנתונים.
   • שם מערך הנתונים המקושר: מזינים שם למערך הנתונים המקושר.

   • ‫Primary region: בוחרים את האזור שבו רוצים ליצור את מערך הנתונים המקושר.

     הערה: האזור הראשי לא חייב להיות זהה לאזור הראשי של הספק. כדי לצמצם את זמן האחזור של הרפליקציה, אתם יכולים למקם את מערך הנתונים המקושר באזור של הספק.

   • אופציונלי: Replica regions: בוחרים את האזורים שבהם רוצים ליצור עותקים של מערכי נתונים מקושרים. אם תמקמו את קבוצת הנתונים המקושרת באותו מקום שבו נמצאים נתונים אחרים, תוכלו לצמצם את תעבורת הנתונים היוצאת ולבצע איחודים בין קבוצות נתונים. כדי ליצור רפליקות, צריך את ההרשאה bigquery.datasets.update במערך הנתונים המקושר.

   הערה: המערכת מנסה ליצור עותקים של מערכי נתונים מקושרים, אבל אם ההרשאה bigquery.datasets.update חסרה במערך הנתונים המקושר, לא נוצרים עותקים.

6. כדי ליצור את מערך הנתונים המקושר, לוחצים על Save.

API

כדי להירשם ל-listing, צריך להפעיל את ה-method‏ projects.locations.dataExchanges.listings.subscribe:

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID:subscribe

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud שמכיל את המוצר שרוצים להירשם אליו.
• ‫LOCATION: המיקום של כרטיס המוצר.
• ‫DATAEXCHANGE_ID: מזהה המאגר להחלפת נתונים של ה-listing.
• ‫LISTING_ID: מזהה כרטיס המוצר שרוצים להירשם אליו.
• ‫SUBSCRIBER_PROJECT_ID: מזהה הפרויקט ב- Google Cloud של הפרויקט המנוי שבו רוצים ליצור את מערך הנתונים המקושר.
• ‫LINKED_DATASET_ID: המזהה שרוצים לתת למערך הנתונים המקושר.
• ‫PRIMARY_REGION: האזור הגיאוגרפי הראשי שבו רוצים ליצור את מערך הנתונים המקושר.

בגוף הבקשה, מציינים את מערך הנתונים שבו רוצים ליצור את מערך הנתונים המקושר:

{
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

כדי ליצור מינוי עם עותקים מקושרים של מערך נתונים בכמה אזורים, צריך לציין את האזור הראשי בשדה location. כדי לציין אזורים של רפליקות משניות, מוסיפים את האזורים לשדה destinationDataset.replica_locations. חשוב לוודא שכל האזורים שצוינו הם אזורים שבהם כרטיס המוצר זמין.

הערה: המערכת מנסה ליצור עותקים של מערכי נתונים מקושרים, אבל אם ההרשאה bigquery.datasets.update חסרה במערך הנתונים המקושר, לא נוצרים עותקים.

אם הבקשה בוצעה בהצלחה, גוף התגובה מכיל את אובייקט המינוי.

אם מפעילים את רישום כתובות האימייל של המנויים ביומן של חילופי הנתונים או של כרטיס המוצר באמצעות השדה logLinkedDatasetQueryUserEmail, התגובה למינוי מכילה את הערך log_linked_dataset_query_user_email: true. הנתונים שנרשמו ביומן זמינים בשדה job_principal_subject של התצוגה INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

אם מפעילים שיתוף של פרוצדורות מאוחסנות (תצוגה מקדימה), התגובה של הרישום מכילה את stored_procedure_config: true.

הערה: כדי להריץ פרוצדורות משותפות מאוחסנות במערך נתונים מקושר, צריך לאשר לפרוצדורות המשותפות המאוחסנות לגשת למשאבים בפרויקט.

הרשמה למאגרי נתונים משותפים

כשנרשמים לחילופי נתונים, מקבלים גישה לקריאה בלבד לנתונים בחילופי הנתונים, על ידי יצירת מערך נתונים מקושר בפרויקט.

כדי להירשם לאוסף נתונים לשיתוף של חדר נקי לנתונים, יש לבצע את השלבים הבאים:

המסוף

1. כדי לראות רשימה של מאגרי נתונים נקיים שיש לכם גישה אליהם, פועלים לפי השלבים שמפורטים במאמר חיפוש מאגרי נתונים.

2. ברשימת החדרים הנקיים לנתונים, לוחצים על החדר הנקי לנתונים שרוצים להירשם אליו. מופיעה תיבת דו-שיח עם פרטי החלפת הנתונים בחדר הנקי לנתונים.

3. לוחצים על Subscribe כדי לפתוח את תיבת הדו-שיח Add data clean room to project.

4. אם Analytics Hub API לא מופעל בפרויקט, לוחצים על Enable Analytics Hub API בהודעה שמופיעה.

5. בתיבת הדו-שיח Add data clean room to project, מציינים את הפרטים הבאים:

   • ‫Destination: מזינים את שם הפרויקט שבו רוצים להוסיף את מערך הנתונים.

6. כדי ליצור את מערך הנתונים המקושר, לוחצים על Save.

API

כדי להירשם ל-data clean room exchange, מפעילים את השיטה projects.locations.dataExchanges.subscribe:

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID:subscribe

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud שמכיל את המידע שרוצים להירשם אליו.
• ‫LOCATION: המיקום של המאגר לחילופי נתונים.
• ‫DATAEXCHANGE_ID: המזהה של המאגר להחלפת נתונים.
• ‫SUBSCRIBER_PROJECT_ID: מזהה הפרויקט ב- Google Cloud של המנוי שבו רוצים ליצור את מערך הנתונים המקושר.
• ‫SUBSCRIPTION_ID: שם המינוי שרוצים ליצור.
• ‫LINKED_DATASET_ID: המזהה שרוצים לתת למערך הנתונים המקושר.
• ‫PRIMARY_REGION: האזור הגיאוגרפי הראשי שבו רוצים ליצור את מערך הנתונים המקושר.

בגוף הבקשה, מציינים את מיקום היעד, את שם המינוי ואת מערך הנתונים שבו רוצים ליצור את מערך הנתונים המקושר:

{
"destination": "projects/SUBSCRIBER_PROJECT_ID/locations/LOCATION",
"subscription": "SUBSCRIPTION_ID",
"destinationDataset": {
  "datasetReference": {
    "projectId": "SUBSCRIBER_PROJECT_ID",
    "datasetId": "LINKED_DATASET_ID"
  },
  "location": "PRIMARY_REGION"
}
}

אם הבקשה מצליחה, גוף התגובה מכיל את אובייקט הפעולה. אם הפעלתם רישום ביומן של כתובות האימייל של המנויים להחלפת הנתונים, התשובה למינוי תכיל את הערך log_linked_dataset_query_user_email: true.

צפייה בקבוצות הנתונים המקושרות

מערכי נתונים מקושרים מוצגים יחד עם מערכי נתונים אחרים במסוףGoogle Cloud .

כדי לראות את מערכי הנתונים המקושרים בפרויקט:

המסוף

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית Classic Explorer, לוחצים על category Classic Explorer:

   

   אם החלונית Classic Explorer לא מוצגת, לוחצים על Expand left pane כדי לפתוח אותה.

3. בחלונית Classic Explorer, לוחצים על שם הפרויקט שמכיל את מערך הנתונים המקושר של .

אפשר גם לחפש ולראות מערכי נתונים מקושרים באמצעות Knowledge Catalog. כדי להתאים את כל מערכי הנתונים המקושרים של BigQuery sharing בשאילתת החיפוש, משתמשים בפרדיקט type=dataset.linked. למידע נוסף, ראו תחביר החיפוש של Knowledge Catalog.

Cloud Shell

כדי להציג את רשימת מערכי הנתונים המקושרים בפרויקט באמצעות כלי שורת הפקודה bq, מריצים את הפקודה הבאה ב-Cloud Shell:

PROJECT=PROJECT_ID \
for dataset in $(bq ls --project_id $PROJECT | tail +3); do [ "$(bq show -d --project_id $PROJECT $dataset | egrep LINKED)" ] && echo $dataset; done

מחליפים את PROJECT_ID במזהה הפרויקט ב- Google Cloud .

הערה: אם בעל תוכן דיגיטלי מסיר מינוי, בדף הפרטים של קבוצת הנתונים המקושרת מצוין שהקישור של קבוצת הנתונים בוטל. אי אפשר לשלוח שאילתות לקבוצת נתונים לא מקושרת, לכן אתם יכולים למחוק את קבוצת הנתונים הלא מקושרת.

שליחת שאילתות לקבוצות נתונים מקושרות

אתם יכולים לשלוח שאילתות לטבלאות ולתצוגות במערכי הנתונים המקושרים, בדיוק כמו שאתם שולחים שאילתות לכל טבלה אחרת ב-BigQuery.

כדי לשלוח שאילתה לטבלה בקבוצת נתונים מקושרת, מריצים שאילתת SELECT שמפנה למזהה הפרויקט, למזהה של קבוצת הנתונים המקושרת ולשם הטבלה:

SELECT * FROM `PROJECT_ID`.`LINKED_DATASET_ID`.`TABLE_NAME`
LIMIT 10;

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫LINKED_DATASET_ID: המזהה של מערך הנתונים המקושר.
• ‫TABLE_NAME: שם הטבלה או התצוגה שרוצים לשלוח אליה שאילתה.

מידע נוסף מופיע במאמר הרצת שאילתות אינטראקטיביות.

עדכון של קבוצות נתונים מקושרות

המשאבים במערך נתונים מקושר הם לקריאה בלבד. אי אפשר לערוך נתונים או מטא-נתונים של משאבים במערכי נתונים מקושרים, או לציין הרשאות למשאבים ספציפיים.

אפשר לעדכן רק את התיאור והתוויות של מערכי הנתונים המקושרים. שינויים בקבוצת נתונים מקושרת לא משפיעים על קבוצת הנתונים המקורית או על קבוצות הנתונים המשותפות.

כדי לעדכן את התיאור והתוויות של מערך נתונים מקושר:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית Explorer לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את שם הפרויקט, לוחצים על Datasets ולוחצים על השם של מערך הנתונים המקושר כדי לפתוח אותו.

4. בחלונית הפרטים, לוחצים על Edit details ומגדירים את האפשרויות הבאות:

   1. כדי להוסיף תוויות, קראו את המאמר הוספת תווית למערך נתונים.

   2. כדי להפעיל את האפשרות collation, מרחיבים את הקטע Advanced options ופועלים לפי השלבים הבאים:

      1. בוחרים באפשרות הפעלת ברירת המחדל של איסוף.
      2. ברשימה Default collation, בוחרים אפשרות.

5. כדי לשמור את השינויים, לוחצים על שמירה.

הצגת המטא-נתונים של הטבלה

כדי לראות את המטא-נתונים של טבלה במערך נתונים מקושר, שולחים שאילתה לתצוגה INFORMATION_SCHEMA.TABLES:

SELECT * FROM `LINKED_DATASET_ID`.INFORMATION_SCHEMA.TABLES;

מחליפים את LINKED_DATASET_ID במזהה של מערך הנתונים המקושר.

הערה: שאילתות INFORMATION_SCHEMA מבוססות-אזור לא מחזירות מטא-נתונים של טבלאות מקושרות. מידע נוסף על תצוגות שלא נתמכות מופיע בקטע מגבלות.

ביטול המינוי או מחיקה של מערכי נתונים מקושרים

כדי לבטל את המינוי למערך נתונים, צריך למחוק את מערך הנתונים המקושר. מחיקה של מערך נתונים מקושר לא מוחקת את מערך הנתונים המקורי.

אי אפשר לאחזר קבוצת נתונים מקושרת אחרי שמוחקים אותה. עם זאת, אתם יכולים ליצור מחדש את קבוצת הנתונים המקושרת שנמחקה בכל שלב, על ידי הרשמה ל-listing שוב.

אם בעל תוכן דיגיטלי מסיר את המינוי שלכם, מערך הנתונים המקושר שלכם מנותק ממערך הנתונים המשותף. מכיוון שזו פעולה שהמוציא לאור יזם במשאב שבבעלות המנוי, מערך הנתונים המקושר נשאר בפרויקט שלכם במצב לא מקושר. כדי להסיר את קבוצת הנתונים הלא מקושרת, צריך למחוק אותה.

כדי למחוק קבוצת נתונים מקושרת:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית Explorer לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את שם הפרויקט, לוחצים על Datasets ולוחצים על השם של מערך הנתונים המקושר כדי לפתוח אותו.

4. לוחצים על Delete.

5. בתיבת הדו-שיח Delete linked dataset?‎, מאשרים את המחיקה על ידי הזנת הערך delete.

6. לוחצים על Delete.

המאמרים הבאים

• מידע ולמידה על BigQuery sharing
• איך מנהלים את דפי האפליקציות בחנות
• איך מנהלים את חילופי הנתונים
• איך צופים ביומני הביקורת של BigQuery sharing