הצגה של כרטיסי מוצר ושל חילופי נתונים והרשמה אליהם

במאמר הזה מוסבר איך לצפות בפרטי כרטיסי מוצר ובבורסות נתונים ב-BigQuery Sharing (לשעבר Analytics Hub) ולהירשם אליהם. בתור מנויים לשיתוף ב-BigQuery, אתם יכולים לראות ולהירשם לכרטיסי מוצר ולמרכזי נתונים שיש לכם גישה אליהם. כשנרשמים לרישום או ל-BigQuery sharing, נוצר מערך נתונים מקושר ב Google Cloud פרויקט.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לשימוש בכרטיסי מוצר, צריך לבקש מהאדמין של שיתוף BigQuery להקצות לכם את התפקידים הבאים בניהול זהויות והרשאות גישה (IAM) בפרויקט המנוי של שיתוף BigQuery:

• כרטיסי מוצר: Analytics Hub Viewer (roles/analyticshub.viewer)
• גילוי חילופי נתונים: Analytics Hub Viewer (roles/analyticshub.viewer)

• Subscribe to listings: BigQuery User (roles/bigquery.user)

  • כדי להירשם למוצרים, צריך גם לבקש מהמוציא לאור של BigQuery sharing להעניק לכם את התפקיד 'מנוי ל-Analytics Hub' (roles/analyticshub.subscriber) במוצר, בבורסה או בפרויקט שלו, בהתאם להיקף שמתאים ביותר לתרחיש השימוש שלכם.

• הרשמה למועדוני נתונים: BigQuery User (roles/bigquery.user)

  • כדי להירשם לבורסות נתונים בהקשר של חדרי נתונים נקיים, צריך גם לבקש מהמפרסם ב-BigQuery sharing להעניק לכם את התפקיד 'מנוי' (roles/analyticshub.subscriber) ב-Analytics Hub בחדר הנתונים הנקי הספציפי. בנוסף, צריך לבקש מבעלי פרויקט היעד בארגון המנויים של BigQuery sharing להעניק לכם את התפקיד 'בעלים של מינוי ל-Analytics Hub' (roles/analyticshub.subscriptionOwner) בפרויקט היעד.

• צפייה במערכי נתונים מקושרים: BigQuery Data Viewer (roles/bigquery.dataViewer)

• הרצת שאילתות במערכי נתונים מקושרים: BigQuery Data Viewer (roles/bigquery.dataViewer)

• עדכון מערכי נתונים מקושרים: בעלים של נתונים ב-BigQuery (roles/bigquery.dataOwner)

• הצגת מטא-נתונים של טבלה: BigQuery Data Viewer (roles/bigquery.dataViewer)

• מחיקת מערכי נתונים מקושרים: BigQuery Admin (roles/bigquery.admin)

כדי לקרוא הסבר על מתן תפקידים, קראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות לביצוע המשימות שמתוארות במסמך הזה. כדי לראות את ההרשאות הנדרשות ליצירה של מערכי נתונים ולשאילתות עליהם, מרחיבים את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

• יצירת מערכי נתונים חדשים: bigquery.datasets.create או bigquery.datasets.* כדי לבצע פעולות נוספות במערכי נתונים.
• שאילתות במערכי נתונים: bigquery.jobs.create או bigquery.jobs.* כדי לבצע פעולות נוספות על משימות.

יכול להיות שתוכלו לקבל את ההרשאות האלה גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

חיפוש כרטיסי מוצר

כדי לראות את כל הרישומים הציבוריים והפרטיים:

1. נכנסים לדף Sharing (Analytics Hub) במסוף Google Cloud .

   מעבר אל 'שיתוף' (Analytics Hub)

2. לוחצים על חיפושים של כרטיסי מוצר. מופיעה תיבת דו-שיח עם רשימה של כרטיסי מוצר שאפשר לגשת אליהם.

3. כדי לסנן כרטיסי מוצר לפי השם או התיאור שלהם, מזינים את השם או התיאור של כרטיס המוצר בשדה Search for listings.

4. בקטע Filters אפשר לסנן את כרטיסי המוצר לפי השדות הבאים:

   • כרטיסי מוצר: בוחרים אם רוצים לראות כרטיסי מוצר פרטיים, כרטיסי מוצר גלויים לכולם או כרטיסי מוצר בארגון.

   • קטגוריות: בוחרים קטגוריה אחת או יותר.

   • מיקום: בוחרים מיקום. אפשר לחפש רק לפי מיקום של חילופי נתונים. מידע נוסף זמין במאמר בנושא אזורים נתמכים.

   • ספק: בוחרים את ספק הנתונים. חלק מספקי הנתונים דורשים שתבקשו גישה למערכי הנתונים המסחריים שלהם. אחרי שתבקשו גישה, ספק הנתונים ייצור איתכם קשר כדי לשתף את מערכי הנתונים שלו.

5. מעיינים בתוצאות הסינון.

גילוי של חילופי נתונים

כדי למצוא נתוני שיתוף:

1. נכנסים לדף Sharing (Analytics Hub) במסוף Google Cloud .

   מעבר אל 'שיתוף' (Analytics Hub)

2. לוחצים על חיפושים של כרטיסי מוצר. מופיעה תיבת דו-שיח עם רשימה של כרטיסי מוצר ונתוני שוק שאפשר להירשם אליהם.

3. כדי לסנן את ההחלפות של נתונים לפי השם או התיאור שלהן, מזינים את השם או התיאור של ההחלפה של חדר נקי לנתונים בשדה חיפוש כרטיסי מוצר.

4. בקטע מסננים, אפשר לסנן את הנתונים שמועברים בחדר נקי לנתונים לפי השדות הבאים:

   • כרטיסי מוצר: מסמנים את תיבת הסימון חדרים נקיים לנתונים כדי לראות את החדרים הנקיים לנתונים ששותפו איתכם.

   • קטגוריות: בוחרים קטגוריה אחת או יותר.

   • מיקום: בוחרים מיקום. אפשר לחפש רק לפי המיקום של חילופי הנתונים. מידע נוסף זמין במאמר בנושא אזורים נתמכים.

5. מעיינים בחדרים הנקיים לנתונים שסוננו.

הרשמה לדפי אפליקציה

כשנרשמים לרשימה, מקבלים גישה לקריאה בלבד של הנתונים ברשימה על ידי יצירת מערך נתונים מקושר בפרויקט.

שימו לב: מומלץ להימנע מהצבת נתונים בפרויקט שנמצא בתוך גבולות גזרה של VPC Service Controls. אם עושים את זה, צריך להוסיף את כללי תעבורת הנתונים הנכנסת (ingress) ותעבורת הנתונים היוצאת (egress) המתאימים.

כדי להירשם לעדכונים על דף עסקי:

המסוף

1. כדי לראות רשימה של כרטיסי מוצר שיש לכם גישה אליהם, פועלים לפי השלבים במאמר בנושא איתור כרטיסי מוצר.

2. מעיינים בכרטיסי המוצר ולוחצים על כרטיס מוצר שרוצים להירשם אליו. מופיעה תיבת דו-שיח עם פרטי כרטיס המוצר. בתיבת הדו-שיח מוצג אם הספק הפעיל רישום ביומן של כתובות האימייל של המנויים. בקטע Additional details (פרטים נוספים), אפשר לראות את האזורים שבהם הספק הציע את כרטיס המוצר.

3. אם אין לכם גישה להרשמה לכרטיס מוצר, למשל כרטיס מוצר שמפנה אל מערך נתונים מסחרי, אתם יכולים ללחוץ על בקשת גישה או על רכישה דרך Marketplace. אם לוחצים על מערך נתונים שאפשר להירשם אליו, ואז לוחצים על הרשמה, נפתח הדיאלוג יצירת מערך נתונים מקושר.

4. אם Analytics Hub API לא מופעל בפרויקט, תוצג הודעת שגיאה עם קישור להפעלת ה-API. לוחצים על Enable Analytics Hub API (הפעלת Analytics Hub API).

5. בתיבת הדו-שיח יצירת מערך נתונים מקושר, מציינים את הפרטים הבאים:

   • ‫Project: מציינים את שם הפרויקט שרוצים להוסיף לו את מערך הנתונים.
   • שם מערך הנתונים המקושר: מציינים את השם של מערך הנתונים המקושר.

   • אזור ראשי: בוחרים את האזור שבו רוצים ליצור את מערך הנתונים המקושר.

     הערה: האזור הראשי שנבחר לא חייב להיות זהה לאזור הראשי של הספק. כדי לצמצם את זמן האחזור של שכפול הנתונים, אפשר למקם את מערך הנתונים המקושר באותו אזור שבו נמצא הספק.

   • אופציונלי: אזורי העתקה (גרסת Preview): בוחרים את האזור או האזורים שבהם רוצים ליצור העתקים משניים נוספים של מערכי נתונים מקושרים. כדי למזער את תעבורת הנתונים היוצאת (egress) ולבצע בקלות הצטרפות של נתונים ממערכי נתונים שונים, כדאי למקם את מערך הנתונים המקושר באותו אזור שבו נמצאים שאר הנתונים. כדי ליצור העתקים של מערך נתונים מקושר, אתם צריכים את ההרשאה bigquery.datasets.update במערך הנתונים המקושר.

   הערה: אנחנו עושים את המקסימום כדי לוודא שייווצרו העתקים של מערכי נתונים מקושרים. אם חסרות הרשאות, לא נוצרים עותקים.

6. כדי לשמור את השינויים, לוחצים על שמירה. מערך הנתונים המקושר מופיע בפרויקט.

API

משתמשים בשיטה projects.locations.dataExchanges.listings.subscribe.

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID/listings/LISTING_ID:subscribe

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט של כרטיס המוצר שרוצים להירשם אליו.
• LOCATION: המיקום של כרטיס המוצר שרוצים להירשם אליו.
• ‫DATAEXCHANGE_ID: המזהה של חילופי הנתונים של כרטיס המוצר שרוצים להירשם אליו.
• ‫LISTING_ID: מזהה כרטיס המוצר שרוצים להירשם אליו.

בגוף הבקשה, מציינים את מערך הנתונים שבו רוצים ליצור את מערך הנתונים המקושר.

כדי ליצור מינוי עם עותקים משוכפלים של מערך נתונים מקושר שזמינים בכמה אזורים (בגרסת Preview), צריך לציין את האזור הראשי של מערך הנתונים המקושר באמצעות השדה location בגוף הבקשה. באזורים המשניים שבהם רוצים ליצור עותקים משוכפלים של מערך הנתונים המקושר, אפשר להשתמש בשדה destinationDataset.replica_locations בגוף הבקשה ולציין את כל האזורים המשניים שנבחרו. מוודאים שהאזורים שצוינו במאפיין location ובשדה destinationDataset.replica_locations הם אזורים שבהם כרטיס המוצר המשויך זמין.

הערה: אנחנו עושים את המקסימום כדי לוודא שייווצרו העתקים של מערכי נתונים מקושרים. אם חסרה ההרשאה bigquery.datasets.update במערך הנתונים המקושר, לא נוצרים עותקים משוכפלים.

אם הבקשה מצליחה, גוף התגובה מכיל את אובייקט המינוי.

אם מפעילים רישום ביומן של כתובות אימייל של מנויים בשביל חילופי הנתונים או כרטיס המוצר באמצעות השדה logLinkedDatasetQueryUserEmail, התגובה להרשמה תכיל את הערך log_linked_dataset_query_user_email: true. הנתונים שנרשמו זמינים בשדה job_principal_subject של התצוגה INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

אם מפעילים את שיתוף הפרוצדורות המאוחסנות (תצוגה מקדימה), התשובה של כרטיס המוצר תכיל את stored_procedure_config: true.

הערה: מנויים ל-BigQuery sharing צריכים לאשר פרוצדורות מאוחסנות משותפות במערך נתונים מקושר כדי לקרוא ולכתוב ממשאבים מסוימים שבבעלות המנוי.

הרשמה להחלפת נתונים

כשנרשמים למרכז נתונים, מקבלים גישה לקריאה בלבד לנתונים בחדר הנקי לנתונים של מרכז הנתונים. כדי לקבל את הגישה הזו, צריך ליצור מערך נתונים מקושר בפרויקט.

כדי להירשם להחלפת נתונים בחדר נקי לנתונים, בצע את השלבים הבאים:

המסוף

1. כדי לראות רשימה של חילופי נתונים בחדרים נקיים לנתונים שיש לכם גישה אליהם, פועלים לפי השלבים במאמר גילוי חילופי נתונים.

2. מעיינים בנתונים ששותפו בחדר הנקי ולוחצים על הנתונים שרוצים להירשם אליהם. מופיעה תיבת דו-שיח עם פרטי ההחלפה של חדר נקי לנתונים.

3. אם לוחצים על חדר נקי לנתונים שאפשר להירשם אליו, ואז לוחצים על הרשמה, נפתח הדיאלוג הוספת חדר נקי לנתונים לפרויקט.

4. אם Analytics Hub API לא מופעל בפרויקט, תוצג הודעת שגיאה עם קישור להפעלת ה-API. לוחצים על Enable Analytics Hub API (הפעלת Analytics Hub API).

5. בתיבת הדו-שיח הוספת חדר נקי לנתונים לפרויקט, מציינים את הפרטים הבאים:

   • יעד: מציינים את שם הפרויקט שרוצים להוסיף אליו את מערך הנתונים.

6. כדי לשמור את השינויים, לוחצים על שמירה. מערך הנתונים המקושר מופיע בפרויקט.

API

משתמשים בשיטה projects.locations.dataExchanges.subscribe.

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/location/LOCATION/dataExchanges/DATAEXCHANGE_ID:subscribe

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט של מרכז הנתונים שרוצים להירשם אליו.
• LOCATION: המיקום של חילופי הנתונים שרוצים להירשם אליהם.
• ‫DATAEXCHANGE_ID: המזהה של חילופי הנתונים שרוצים להירשם אליהם.

בגוף הבקשה, מציינים את מערך הנתונים שבו רוצים ליצור את מערך הנתונים המקושר.

אם הבקשה מצליחה, גוף התגובה מכיל את אובייקט המינוי. אם הפעלתם את האפשרות 'רישום ביומן של אימיילים למנויים' (תצוגה מקדימה) להחלפת הנתונים, התגובה למינוי תכיל את log_linked_dataset_query_user_email: true.

צפייה בקבוצות נתונים מקושרות

מערכי נתונים מקושרים מוצגים יחד עם מערכי נתונים אחרים במסוףGoogle Cloud .

כדי לראות את מערכי הנתונים המקושרים בפרויקט, פועלים לפי השלבים הבאים:

המסוף

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית ניווט קלאסי, לוחצים על קטגוריה ניווט קלאסי:

   

   אם החלונית Classic Explorer לא מוצגת, לוחצים על Expand left pane כדי לפתוח אותה.

3. בחלונית Classic Explorer, לוחצים על שם הפרויקט שמכיל את מערך הנתונים המקושר.

אפשר גם להשתמש ב-Data Catalog (הוצא משימוש) או ב-Dataplex Universal Catalog כדי לחפש ולראות מערכי נתונים מקושרים. כדי להתאים לכל מערכי הנתונים המקושרים של שיתוף BigQuery, משתמשים בפרדיקט type=dataset.linked. מידע נוסף זמין במאמרים תחביר החיפוש ב-Data Catalog או תחביר החיפוש ב-Dataplex Universal Catalog.

Cloud Shell

מריצים את הפקודה הבאה:

PROJECT=PROJECT_ID \
for dataset in $(bq ls --project_id $PROJECT | tail +3); do [ "$(bq show -d --project_id $PROJECT $dataset | egrep LINKED)" ] && echo $dataset; done

מחליפים את PROJECT_ID במזהה הפרויקט ב- Google Cloud .

הערה: אם מפרסם שמשתף נתונים ב-BigQuery sharing מסיר את המינוי, בדף הפרטים של מערך הנתונים המקושר יופיע שמערך הנתונים לא מקושר. אפשר למחוק קבוצת נתונים לא מקושרת כי אי אפשר להריץ שאילתה על קבוצת נתונים לא מקושרת.

שליחת שאילתות לקבוצות נתונים מקושרות

אפשר לשלוח שאילתות לגבי טבלאות ותצוגות במערכי הנתונים המקושרים באותו אופן שבו שולחים שאילתות לגבי כל טבלה אחרת ב-BigQuery.

עדכון של מערכי נתונים מקושרים

המשאבים במערך נתונים מקושר הם לקריאה בלבד. אי אפשר לערוך את הנתונים או את המטא-נתונים של משאבים במערכי נתונים מקושרים, או לציין הרשאות למשאבים ספציפיים.

אפשר לעדכן רק את התיאור והתוויות של מערכי הנתונים המקושרים. שינויים במערך נתונים מקושר לא משפיעים על מערכי הנתונים המשותפים או על מקור הנתונים.

כדי לעדכן את התיאור והתוויות של מערך נתונים מקושר, פועלים לפי השלבים הבאים:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית Explorer (סייר), לוחצים על Explorer (סייר):

   

3. בחלונית Explorer, מרחיבים את שם הפרויקט, לוחצים על Datasets (מערכי נתונים) ואז לוחצים על השם של מערך הנתונים המקושר כדי לפתוח אותו.

4. בחלונית הפרטים, לוחצים על עריכת הפרטים ומציינים את הפרטים הבאים:

   1. כדי להוסיף תוויות, אפשר לעיין במאמר בנושא הוספת תווית למערך נתונים.

   2. כדי להפעיל אוסף כללים (collation), מרחיבים את הקטע אפשרויות מתקדמות ופועלים לפי השלבים הבאים:

      1. בוחרים באפשרות הפעלת ברירת מחדל של איסוף כללים.
      2. בוחרים אפשרות מהרשימה Default collation (ברירת מחדל של איסוף נתונים).

5. לוחצים על Save.

הצגת מטא-נתונים של טבלה

כדי להציג את המטא-נתונים של הטבלה הבסיסית, שולחים שאילתה לתצוגה INFORMATION_SCHEMA.TABLES:

SELECT * FROM `LINKED-DATASET.INFORMATION_SCHEMA.TABLES`

מחליפים את LINKED-DATASET בשם של קבוצת הנתונים המקושרת.

הערה: שאילתות INFORMATION_SCHEMA שמבוססות על אזור לא מחזירות מטא-נתונים של טבלאות מקושרות. מידע על תצוגות שלא תומכות במאפייני מערכי נתונים למערכי נתונים מקושרים זמין במאמר בנושא INFORMATION_SCHEMAמגבלות.

ביטול ההרשמה למערכי נתונים מקושרים או מחיקה שלהם

כדי לבטל את ההרשמה למערך נתונים, צריך למחוק את מערך הנתונים המקושר. מחיקה של מערך נתונים מקושר לא מוחקת את מערך הנתונים המקורי.

אי אפשר לאחזר מערך נתונים מקושר אחרי שמוחקים אותו. עם זאת, אפשר ליצור מחדש את מערך הנתונים המקושר שנמחק על ידי הרשמה לכרטיס המוצר שוב והוספה של מערך הנתונים ומערכי הנתונים המקושרים שנוצרו מתוך כרטיסי מוצר משולבים ב-Google Cloud Marketplace לפרויקט.

אם המפרסם של BigQuery sharing מסיר את המינוי שלכם, מערך הנתונים המקושר שלכם יבוטל הקישור שלו אל מערך הנתונים המשותף. מכיוון שמדובר בפעולה שיוזם בעל התוכן הדיגיטלי במשאב שבבעלות המנוי, מערך הנתונים המקושר נשאר בפרויקט של המנוי שמשתף ב-BigQuery במצב לא מקושר. כדי להסיר את קבוצת הנתונים שלא קושרה, צריך למחוק אותה.

כדי למחוק קבוצת נתונים מקושרת:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית Explorer (סייר), לוחצים על Explorer (סייר):

   

3. בחלונית Explorer, מרחיבים את שם הפרויקט, לוחצים על Datasets (מערכי נתונים) ואז לוחצים על השם של מערך הנתונים המקושר כדי לפתוח אותו.

4. לוחצים על Delete.

5. בתיבת הדו-שיח האם למחוק את מערך הנתונים המקושר?, מקלידים delete כדי לאשר את המחיקה.

6. לוחצים על Delete.

המאמרים הבאים

• מידע נוסף על שיתוף ב-BigQuery
• מידע נוסף על ניהול כרטיסי מוצר
• מידע נוסף על ניהול חילופי נתונים
• מידע נוסף על יומני ביקורת של BigQuery sharing