ניהול חילופי נתונים

אפשר להשתמש באוספי נתונים לשיתוף ב-BigQuery sharing כדי לשתף קבוצות נתונים בצורה מאובטחת בין פרויקטים, ארגונים או עם הציבור. אדמינים של שיתוף ב-BigQuery יכולים לבצע את המשימות הבאות:

  • יצירה, עדכון, צפייה, שיתוף ומחיקה של החלפות נתונים.
  • ניהול הרשאות גישה ותפקידים להחלפת נתונים.
  • הגדרת חילופי נתונים כך שיהיו גלויים לכולם.

כדי לנהל כרטיסי מוצר בבורסת נתונים, אפשר לעיין במאמר בנושא ניהול כרטיסי מוצר.

כברירת מחדל, חילופי נתונים הם פרטיים. רק משתמשים או קבוצות שיש להם גישה לאוסף נתונים לשיתוף יכולים לראות את כרטיסי המוצר שמוצעים בו או להירשם אליו. אתם יכולים להגדיר את אוסף הנתונים לשיתוף כגלוי לכולם. אם תגדירו את אוסף הנתונים לשיתוף כציבורי, Google Cloud משתמשים (allAuthenticatedUsers) יוכלו לגלות את כרטיסי המוצר ולהירשם אליהם.

לפני שמתחילים

כדי להתחיל להשתמש ב-BigQuery sharing (לשעבר Analytics Hub), צריך להפעיל את Analytics Hub API בתוך Google Cloud הפרויקט.

כדי להפעיל את Analytics Hub API, אתם צריכים את ההרשאות הבאות בממשק של ניהול זהויות והרשאות גישה (IAM):

  • serviceUsage.services.get
  • serviceUsage.services.list
  • serviceUsage.services.enable

תפקיד ה-IAM המוגדר מראש הבא כולל את ההרשאות שנדרשות להפעלת Analytics Hub API:

כדי להפעיל את Analytics Hub API, בוחרים באחת מהאפשרויות הבאות:

המסוף

עוברים לדף Analytics Hub API ומפעילים את Analytics Hub API לפרויקט Google Cloud .

הפעלת Analytics Hub API

gcloud

מריצים את הפקודה gcloud services enable:

gcloud services enable analyticshub.googleapis.com

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות לניהול מרכזי נתונים, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד אדמין של Analytics Hub (roles/analyticshub.admin) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת אוסף נתונים לשיתוף

אתם יכולים ליצור אוסף נתונים לשיתוף כדי לשתף קבוצות נתונים עם אנשים ספציפיים, קבוצות או הציבור. כשיוצרים אוסף נתונים לשיתוף, מציינים את הפרויקט, האזור, השם המוצג וההגדרות האופציונליות, כמו רישום ביומן של כתובות האימייל של המנויים והאפשרות לגלות את אוסף הנתונים לשיתוף באופן ציבורי.

כדי ליצור אוסף נתונים לשיתוף, פועלים לפי השלבים הבאים:

המסוף

  1. נכנסים לדף Sharing (Analytics Hub) במסוף Google Cloud .

    מעבר אל 'שיתוף' (Analytics Hub)

  2. לוחצים על Create exchange.

  3. בתיבת הדו-שיח Create exchange, בוחרים פרויקט ואזור לחילופי הנתונים. אחרי שיוצרים את אוסף הנתונים לשיתוף, אי אפשר לשנות את הפרויקט והאזור.

  4. בשדה שם לתצוגה, מזינים שם לבורסת הנתונים.

  5. אופציונלי: מזינים ערכים בשדות הבאים:

    • איש קשר ראשי: מזינים את כתובת האימייל או כתובת ה-URL של איש הקשר הראשי שאחראי על אוסף הנתונים לשיתוף.
    • תיאור: מזינים תיאור לחילופי הנתונים.

  6. כדי לרשום ביומן את מזהי העיקרון של כל המשתמשים שמריצים משימות ושאילתות במערכי נתונים מקושרים, לוחצים על המתג Subscriber Email Logging כדי להעביר אותו למצב מופעל. כשמפעילים את ההגדרה הזו, רישום כתובות האימייל של המנויים מופעל בכל דפי האפליקציות העתידיים שמופיעים במסגרת שיתוף הנתונים. הנתונים שנרשמו ביומן זמינים בשדה job_principal_subject בתצוגה INFORMATION_SCHEMA.SHARED_DATASET_USAGE.

  7. כדי שהאוסף נתונים לשיתוף יהיה גלוי לכולם, לוחצים על המתג Public Discoverability (גילוי ציבורי) כדי להעביר אותו למצב פעיל. כשבורסת פרסום גלויה לכולם, כל כרטיסי המוצר בבורסה מופיעים בקטלוג ואפשר לחפש אותם. כדאי להביא בחשבון את הגורמים הבאים כשמפעילים את ההגדרה 'גילוי ציבורי':

    • העברת הגדרות של כרטיסי מוצר: כברירת מחדל, כל כרטיסי המוצר מקבלים בירושה את הגדרת הגילוי הציבורי של אוסף הנתונים לשיתוף. בבורסות פתוחות אי אפשר לפרסם מלאי שטחים פרטי, אבל בבורסות פרטיות אפשר לפרסם מלאי שטחים פתוח. אפשר להגדיר את סוג הנראות הציבורית ברמת כרטיס המוצר הספציפי.
    • הרשאות: אם מפעילים את האפשרות 'גילוי ציבורי', צריך להגדיר את הרשאות אוסף הנתונים לשיתוף כדי להעניק ל-allUsers או ל-allAuthenticatedUsers את התפקיד 'בעל הרשאת צפייה במרכז Analytics' (roles/analyticshub.viewer).
    • דרישות הפרויקט: לפרויקט שבו יוצרים את אוסף הנתונים לשיתוף צריך להיות משויך ארגון וחשבון לחיוב.

  8. כדי ליצור את אוסף הנתונים לשיתוף, לוחצים על יצירת אוסף נתונים לשיתוף.

  9. אופציונלי: בקטע Exchange Permissions, מבצעים את השלבים הבאים:

    1. בשדות הבאים, מזינים כתובות אימייל כדי להעניק תפקידים בניהול זהויות והרשאות גישה (IAM):

    2. כדי לשמור את ההרשאות, לוחצים על הגדרת הרשאות.

  10. אם לא הגדרתם הרשאות לשיתוף הנתונים, לוחצים על דילוג.

API

כדי ליצור חילופי נתונים, משתמשים ב-method ‏projects.locations.dataExchanges.create:

POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges?dataExchangeId=DATAEXCHANGE_ID

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט שבו רוצים ליצור את אוסף נתונים לשיתוף.
  • ‫LOCATION: המיקום של חילופי הנתונים. מידע נוסף על אזורים שתומכים בשיתוף ב-BigQuery זמין במאמר בנושא אזורים נתמכים.
  • ‫DATAEXCHANGE_ID: המזהה של חילופי הנתונים.

בגוף הבקשה, מציינים את פרטי חילופי הנתונים.

אם הבקשה מצליחה, גוף התגובה מכיל את פרטי חילופי הנתונים.

אם מפעילים רישום ביומן של כתובות אימייל של מנויים באמצעות השדה logLinkedDatasetQueryUserEmail, התשובה של חילופי הנתונים מכילה log_linked_dataset_query_user_email: true. הנתונים שנרשמו ביומן זמינים בשדה job_principal_subject של INFORMATION_SCHEMA.SHARED_DATASET_USAGE התצוגה.

מידע נוסף על המשימות שאפשר לבצע בבורסות נתונים באמצעות ממשקי API זמין במאמר שיטות של projects.locations.dataExchanges.

עדכון של שיתוף נתונים

אתם יכולים לעדכן את ההגדרות של אוסף נתונים לשיתוף קיים, כמו השם המוצג, התיאור, איש הקשר הראשי והגדרות יכולת הגילוי הציבורי. אי אפשר לשנות את הפרויקט או האזור של אוסף נתונים לשיתוף קיים.

כדי לעדכן אוסף נתונים לשיתוף, פועלים לפי השלבים הבאים:

המסוף

  1. נכנסים לדף Sharing (Analytics Hub) במסוף Google Cloud .

    מעבר אל 'שיתוף' (Analytics Hub)

  2. ברשימת אוספי הנתונים לשיתוף, בוחרים את אוסף הנתונים לשיתוף שרוצים לעדכן.

  3. לוחצים על הכרטיסייה פרטים.

  4. לוחצים על עריכת הבורסה.

  5. בתיבת הדו-שיח עריכת בורסה, מעדכנים את השדות הבאים:

    • השם המוצג: מזינים שם מוצג חדש.
    • איש הקשר הראשי: מזינים כתובת URL או כתובת אימייל מעודכנת.
    • תיאור: מזינים תיאור מעודכן.

    • חשיפה לכולם: מפעילים או משביתים את החשיפה לכולם.

      • אם מפעילים את האפשרות 'גילוי ציבורי', צריך להעניק את הרשאת הצפייה ב-Analytics Hub (roles/analyticshub.viewer) ל-allUsers או ל-allAuthenticatedUsers.
      • אם משביתים את האפשרות 'גילוי ציבורי', צריך להסיר את התפקיד 'צפייה ב-Analytics Hub' (roles/analyticshub.viewer) מ-allUsers או מ-allAuthenticatedUsers. בבורסות פתוחות אי אפשר לפרסם מלאי שטחים פרטי, אבל בבורסות פרטיות אפשר לפרסם מלאי שטחים פתוח.

    • רישום ביומן של אימיילים של מנויים: הפעלה או השבתה של רישום ביומן של אימיילים של מנויים.

  6. כדי להחיל את השינויים, לוחצים על שמירה.

API

כדי לעדכן אוסף נתונים לשיתוף, משתמשים בשיטה projects.locations.dataExchanges.patch:

PATCH https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID?updateMask=UPDATEMASK

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט שמכיל את אוסף הנתונים לשיתוף.
  • LOCATION: המיקום של אוסף הנתונים לשיתוף.
  • ‫DATAEXCHANGE_ID: המזהה של חילופי הנתונים.
  • ‫UPDATEMASK: רשימה מופרדת בפסיקים של השדות שרוצים לעדכן (לדוגמה, displayName,primaryContact).

בגוף הבקשה, מציינים ערכים מעודכנים לכל אחד מהשדות הבאים:

  • displayName
  • description
  • primaryContact
  • documentation
  • icon
  • discoveryType
  • logLinkedDatasetQueryUserEmail

מידע נוסף על השדות האלה זמין במאמר בנושא משאב: DataExchange.

מידע נוסף על המשימות שאפשר לבצע בבורסות נתונים באמצעות ממשקי API זמין במאמר שיטות של projects.locations.dataExchanges.

הצגת החלפות נתונים

אתם יכולים לראות את רשימת חילופי הנתונים ב Google Cloud פרויקט או בארגון שיש לכם הרשאה לגשת אליהם.

כדי לראות את חילופי הנתונים, פועלים לפי השלבים הבאים:

המסוף

  1. נכנסים לדף Sharing (Analytics Hub) במסוף Google Cloud .

    מעבר אל 'שיתוף' (Analytics Hub)

  2. ברשימת חילופי הנתונים, רואים את חילופי הנתונים שמוצגים עבור הפרויקטGoogle Cloud . אם יש לכם הרשאה מסוג resourcemanager.organizations.get, אתם יכולים גם לראות את חילופי הנתונים בארגון שלכם. Google Cloud

API

כדי לראות את חילופי הנתונים בפרויקט, משתמשים בשיטה projects.locations.dataExchanges.list:

GET https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: המזהה של הפרויקט שבו רוצים להציג את רשימת חילופי הנתונים.
  • ‫LOCATION: המיקום שבו רוצים להציג את רשימת בורסות הנתונים הקיימות.

כדי לראות את חילופי הנתונים בארגון, משתמשים בשיטה organizations.locations.dataExchanges.list:

GET https://analyticshub.googleapis.com/v1/organizations/ORGANIZATION_ID/locations/LOCATION/dataExchanges

מחליפים את מה שכתוב בשדות הבאים:

  • ‫ORGANIZATION_ID: מזהה הארגון. מידע נוסף זמין במאמר איך מוצאים את מזהה הארגון.
  • ‫LOCATION: המיקום שבו רוצים להציג את רשימת בורסות הנתונים הקיימות.

שיתוף אוסף נתונים לשיתוף

אם מפרסם שמשתף ב-BigQuery sharing שייך לארגון אחר מהארגון שמכיל את אוסף הנתונים לשיתוף, הוא לא יכול לעיין באוסף הנתונים לשיתוף או לראות אותו ב-BigQuery sharing. כדי לאפשר לבעל התוכן הדיגיטלי לגשת לבורסת הנתונים, אפשר להעתיק ולשתף קישור ישיר.

כדי לשתף קישור לאוסף נתונים לשיתוף, פועלים לפי השלבים הבאים:

  1. נכנסים לדף Sharing (Analytics Hub) במסוף Google Cloud .

    מעבר אל 'שיתוף' (Analytics Hub)

  2. ברשימת חילופי הנתונים, מוצאים את חילוף הנתונים שרוצים לשתף ולוחצים על אפשרויות נוספות.

  3. כדי להעתיק את הקישור ללוח, לוחצים על העתקת הקישור לשיתוף.

מתן גישה למשתמשים לאוסף נתונים לשיתוף

כדי לתת למשתמשים גישה לאוסף נתונים לשיתוף, צריך להגדיר את מדיניות IAM לאוסף הנתונים לשיתוף הזה. מידע נוסף על תפקידי משתמשים מוגדרים מראש ב-IAM זמין במאמר תפקידי IAM לשיתוף ב-BigQuery.

המסוף

  1. נכנסים לדף Sharing (Analytics Hub) במסוף Google Cloud .

    מעבר אל 'שיתוף' (Analytics Hub)

  2. לוחצים על השם של אוסף הנתונים לשיתוף שרוצים להגדיר לו הרשאות.

  3. לוחצים על הכרטיסייה פרטים.

  4. לוחצים על הגדרת הרשאות.

  5. כדי להוסיף גורמים, לוחצים על Add principal.

  6. בשדה New principals, מזינים את כתובת האימייל של חשבון המשתמש שרוצים להעניק לו גישה. אפשר גם להשתמש ב-allUsers כדי להפוך משאב לציבורי ונגיש לכולם באינטרנט, או ב-allAuthenticatedUsers כדי להפוך אותו לנגיש רק למשתמשים מחוברים ב-Google.

  7. ברשימה Select a role, מעבירים את מצביע העכבר מעל Analytics Hub ובוחרים אחד מהתפקידים הבאים ב-IAM:

    • Analytics Hub Admin
    • אדמין של כרטיס מוצר ב-Analytics Hub
    • Analytics Hub Publisher
    • Analytics Hub Subscriber
    • בעלים של מינוי ל-Analytics Hub
    • Analytics Hub Viewer

  8. לוחצים על Save.

API

  1. כדי לקרוא את המדיניות הקיימת, משתמשים בשיטה projects.locations.dataExchanges.getIamPolicy:

    POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID:getIamPolicy

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PROJECT_ID: מזהה הפרויקט, לדוגמה: my-project-1.
    • ‫LOCATION: המיקום של מרכז הנתונים שלכם. משתמשים באותיות קטנות.
    • ‫DATAEXCHANGE_ID: מזהה חילופי הנתונים.

    שיתוף ב-BigQuery מחזיר את המדיניות הנוכחית.

  2. כדי להוסיף או להסיר חברים ואת תפקידי ה-IAM המשויכים שלהם, צריך לערוך את המדיניות באמצעות כלי לעריכת טקסט. כדי להוסיף חברים, צריך להשתמש בפורמט הבא:

    • user:test-user@gmail.com
    • group:admins@googlegroups.com
    • serviceAccount:server@example.gserviceaccount.com
    • domain:example.com

    לדוגמה, כדי להקצות את התפקיד roles/analyticshub.subscriber ל-group:subscribers@googlegroups.com, מוסיפים את הקישור הבא למדיניות:

    {
 "members": [
   "group:subscribers@googlegroups.com"
 ],
 "role":"roles/analyticshub.subscriber"
}

  3. כדי להגדיר את המדיניות להחלפת הנתונים, משתמשים בשיטת projects.locations.dataExchanges.setIamPolicy. בגוף הבקשה, מציינים את מדיניות ה-IAM המעודכנת מהשלב הקודם:

    POST https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID:setIamPolicy

יצירת אדמינים לשיתוף ב-BigQuery

כדי להאציל את ניהול אוספי הנתונים לשיתוף, אפשר ליצור אדמינים של אוספי נתונים לשיתוף על ידי הענקת תפקיד האדמין ב-Analytics Hub (roles/analyticshub.admin) למשתמשים ברמת הפרויקט או ברמת אוסף הנתונים לשיתוף.

הגדרת שיתוף נתונים כציבורי

כברירת מחדל, חילופי נתונים הם פרטיים. רק משתמשים או קבוצות שיש להם גישה לאוסף נתונים לשיתוף יכולים לראות את כרטיסי המוצר שמוצעים בו או להירשם אליו. אפשר להגדיר את אוסף הנתונים לשיתוף כציבורי, וכך משתמשיGoogle Cloud (allAuthenticatedUsers) יוכלו לגלות את כרטיסי המוצר שלהם ולהירשם אליהם.

כדי להפוך את שיתוף הנתונים לציבורי, פועלים לפי השלבים הבאים:

  1. כדי לאפשר למשתמשים allAuthenticatedUsers לצפות בכרטיסי מוצר, צריך להקצות להם את התפקיד 'צפייה ב-Analytics Hub' (roles/analyticshub.viewer) ברמת חילופי הנתונים.

  2. כדי לאפשר ל-allAuthenticatedUsers להירשם לכרטיסי מוצר, צריך להקצות לו את התפקיד 'מנוי ל-Analytics Hub' (roles/analyticshub.subscriber) ברמת אוסף הנתונים לשיתוף.

  3. כשיוצרים או מעדכנים אוסף נתונים לשיתוף, לוחצים על המתג גילוי ציבורי כדי להעביר אותו למצב מופעל.

מחיקת שיתוף נתונים

כשמוחקים אוסף נתונים לשיתוף, כל כרטיסי המוצר באוסף הנתונים לשיתוף נמחקים גם הם. מערכי נתונים משותפים ומקושרים לא נמחקים. מחיקת פרויקט לא מוחקת באופן אוטומטי את חילופי הנתונים שלו, ולכן צריך למחוק את כל חילופי הנתונים לפני השבתת הפרויקט. אי אפשר לבטל מחיקה של אוסף נתונים לשיתוף.

לפני שמוחקים אוסף נתונים לשיתוף, צריך להשלים את הדרישות המוקדמות הבאות בהתאם להגדרות של אוסף נתונים לשיתוף:

כדי למחוק אוסף נתונים לשיתוף, פועלים לפי השלבים הבאים:

המסוף

  1. נכנסים לדף Sharing (Analytics Hub) במסוף Google Cloud .

    מעבר אל 'שיתוף' (Analytics Hub)

  2. ברשימת חילופי הנתונים, בוחרים את חילוף הנתונים שרוצים למחוק.

  3. לוחצים על הכרטיסייה פרטים.

  4. לוחצים על מחיקת הבורסה.

  5. בתיבת הדו-שיח מחיקת הבורסה?, מאשרים את המחיקה על ידי הזנת delete.

  6. כדי למחוק את שיתוף הנתונים באופן סופי, לוחצים על מחיקה.

API

כדי למחוק חילופי נתונים, משתמשים בשיטה projects.locations.dataExchanges.delete:

DELETE https://analyticshub.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/dataExchanges/DATAEXCHANGE_ID

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט שמכיל את אוסף הנתונים לשיתוף.
  • ‫LOCATION: המיקום של חילופי הנתונים. מידע נוסף על אזורים שתומכים בשיתוף ב-BigQuery זמין במאמר בנושא אזורים נתמכים.
  • ‫DATAEXCHANGE_ID: המזהה של חילופי הנתונים.

מידע נוסף על המשימות שאפשר לבצע בבורסות נתונים באמצעות ממשקי API זמין במאמר שיטות של projects.locations.dataExchanges.

המאמרים הבאים