מבוא ל-BigQuery sharing

שיתוף ב-BigQuery (לשעבר Analytics Hub) הוא פלטפורמה לשיתוף נתונים שמאפשרת לכם לשתף נתונים ותובנות בהיקף נרחב בין גבולות ארגוניים, עם מסגרת אבטחה ופרטיות חזקה. BigQuery sharing מאפשר לכם לגלות ולגשת לספריית נתונים שאוצרה על ידי ספקי נתונים שונים. ספריית הנתונים הזו כוללת גם מערכי נתונים שסופקו על ידי Google.

לדוגמה, אתם יכולים להשתמש בשיתוף כדי להרחיב את הפרויקטים שקשורים לניתוח נתונים וללמידת מכונה באמצעות מערכי הנתונים של Google ושל צד שלישי.

תפקידים של ניהול זהויות והרשאות גישה (IAM) ב-Analytics Hub מאפשרים לכם לבצע את משימות השיתוף הבאות:

  • כבעלי נתונים ב-Analytics Hub, אתם יכולים לשתף נתונים בזמן אמת עם רשת השותפים שלכם או בתוך הארגון שלכם. כרטיסי מוצר מאפשרים לכם לשתף נתונים בלי לשכפל את הנתונים המשותפים, ואפשר לייצר מהם הכנסות ב-Google Cloud Marketplace או בערוצים שלכם. תוכלו ליצור קטלוג של מקורות נתונים שמוכנים לניתוח, ולהשתמש בהרשאות פרטניות כדי לוודא שהם יועברו בדיוק לקהל הנכון. אתם יכולים גם לנהל את המינויים ולצפות במדדי השימוש בכרטיסי המוצר.

  • בתור מנויים ב-Analytics Hub, אתם יכולים למצוא את הנתונים שאתם מחפשים, לשלב נתונים משותפים עם הנתונים הקיימים שלכם ולהשתמש בתכונות המובנות של BigQuery. כשנרשמים ל-listing, נוצר מערך נתונים מקושר או מינוי Pub/Sub מקושר בפרויקט ב- Google Cloud . אתם יכולים לנהל את המינויים באמצעות משאב המינוי, שבו מאוחסן מידע רלוונטי על המנוי ומוצג הקשר בין בעל התוכן הדיגיטלי לבין המנוי.

  • אם יש לכם הרשאת צפייה ב-Analytics Hub, אתם יכולים לעיין במשאבים המשותפים שיש לכם גישה אליהם ב-BigQuery sharing ולשלוח בקשה לבעל התוכן הדיגיטלי כדי לקבל גישה לנתונים המשותפים. אפשר לגלות רישומים מסחריים שמשולבים ב-Cloud Marketplace גם ב-BigQuery sharing וגם ב-Cloud Marketplace.

  • אדמינים ב-Analytics Hub יכולים ליצור מרכזי נתונים שמאפשרים שיתוף נתונים, ואז לתת הרשאות לבעלי נתונים ולמנויים לגשת למרכזי הנתונים האלה.

מידע נוסף זמין במאמר הגדרת תפקידים ב-Analytics Hub.

ארכיטקטורה

שיתוף ב-BigQuery מבוסס על מודל של פרסום ומנוי שלGoogle Cloud משאבי נתונים, שמאפשר שיתוף במקום ללא העתקה. שיתוף ב-BigQuery תומך במשאבים הבאים Google Cloud :

  • מערכי נתונים ב-BigQuery
  • נושאים ב-Pub/Sub

תהליך עבודה של בעל תוכן דיגיטלי

בתרשים הבא מתואר איך בעל תוכן דיגיטלי משתף נכסים:

תהליך העבודה של תפקיד המפרסם ב-Analytics Hub, שכולל משאבים משותפים, חילופי נתונים וכרטיסי מוצר.

בקטעים הבאים מתוארים התכונות בתהליך העבודה הזה.

משאבים משותפים

משאבים משותפים הם יחידת השיתוף של מוציא לאור ב-BigQuery sharing.

מערכי נתונים משותפים

מערך נתונים משותף הוא מערך נתונים ב-BigQuery שמשמש כיחידה לשיתוף נתונים ב-BigQuery sharing. ההפרדה בין מחשוב לאחסון בארכיטקטורה של BigQuery מאפשרת לבעלי נתונים לשתף מערכי נתונים עם כמה מנויים שרוצים, בלי ליצור כמה עותקים של הנתונים. כבעלי תוכן דיגיטלי, אתם יוצרים או משתמשים במערך נתונים קיים ב-BigQuery בפרויקט שלכם עם האובייקטים הנתמכים הבאים שאתם רוצים להעביר למנויים שלכם:

מערכי נתונים משותפים תומכים באבטחה ברמת העמודה ובאבטחה ברמת השורה.

כדאי לשים לב למגבלות הבאות של VPC Service Controls ושיתוף:

  • לא לפרסם נתונים משותפים בפרויקטים שנמצאים בתוך היקפי האבטחה של VPC Service Controls. אם מערכי נתונים משותפים בפרויקט נמצאים בגבולות הגזרה של VPC Service Controls, צריך כללים מתאימים לתעבורת נתונים נכנסת (ingress) ויוצאת (egress) גם לפרויקט של הבורסה (רשימות אירוח) וגם לכל הפרויקטים של המנויים, כדי להירשם בהצלחה לרשימות של בעל התוכן הדיגיטלי.

  • אל תמקמו את פרויקט הנתונים ב-service perimeter של VPC Service Controls, כי זה עלול לשבש את תהליכי העבודה של פרסום הנתונים. כדי להירשם בהצלחה לנתונים, תצטרכו להגדיר כללים לתעבורת נתונים נכנסת (ingress) ויוצאת (egress) לפרויקט של ספק הנתונים ולכל הפרויקטים של הלקוחות.

נושאים משותפים

נושא משותף הוא נושא ב-Pub/Sub, שהוא היחידה של שיתוף נתונים בזמן אמת ב-BigQuery. בעלי תוכן דיגיטלי יוצרים או משתמשים בנושא קיים ב-Pub/Sub בפרויקט שלהם ומפיצים אותו למנויים.

בורסות לפרסום

מרכז נתונים הוא מאגר שמאפשר לכם לשתף נתונים באמצעות שירות עצמי. הוא מכיל רשימות שמתייחסות למשאבים משותפים. מוציאים לאור ואדמינים יכולים להעניק גישה למנויים ברמת הבורסה וברמת כרטיס המוצר. כך לא תצטרכו להעניק גישה באופן מפורש למשאבים המשותפים הבסיסיים. אתם יכולים לעיין בבורסות נתונים, לגלות נתונים שיש לכם גישה אליהם ולהירשם למשאבים משותפים. כשיוצרים מרכז נתונים, אפשר להקצות כתובת אימייל של איש קשר ראשי. כתובת האימייל הזו מאפשרת למשתמשים ליצור קשר עם הבעלים של מרכז חילופי הנתונים כדי לשאול שאלות או להעלות חששות.

החלפת נתונים יכולה להיות אחת מהסוגים הבאים:

  • החלפת נתונים פרטיים. כברירת מחדל, חילופי נתונים הם פרטיים ורק משתמשים או קבוצות שיש להם גישה לחילופי הנתונים יכולים לראות את כרטיסי המוצר או להירשם כמנויים אליהם.
  • חילופי נתונים ציבוריים. כברירת מחדל, חילופי נתונים הם פרטיים ורק משתמשים או קבוצות שיש להם גישה לחילופי הנתונים יכולים לראות את כרטיסי המוצר או להירשם כמנויים אליהם. עם זאת, אתם יכולים לבחור להפוך את חילופי הנתונים לציבוריים. משתמשי Google Cloud (allAuthenticatedUsers) יכולים לגלות ולהירשם לכרטיסי מוצר בבורסות נתונים ציבוריות. מידע נוסף על בורסות נתונים ציבוריות זמין במאמר הפיכת בורסת נתונים לציבורית.

תפקיד האדמין ב-Analytics Hub מאפשר לכם ליצור כמה מרכזי נתונים ולנהל משתמשים אחרים שמבצעים משימות שיתוף.

כרטיסי מוצר

כרטיס מוצר הוא הפניה למשאב משותף שבעל אפליקציה מפרסם בבורסת נתונים. בעלי תוכן דיגיטלי יכולים ליצור כרטיס מוצר ולציין את תיאור המשאב, שאילתות לדוגמה להרצה או נתוני הודעות לדוגמה, קישורים לכל מסמך רלוונטי וכל מידע נוסף שיעזור למנויים להשתמש במשאב המשותף. כשיוצרים כרטיס מוצר, אפשר להקצות כתובת אימייל ראשית ליצירת קשר, שם ופרטים ליצירת קשר של ספק, ושם ופרטים ליצירת קשר של מפרסם.

כתובת האימייל של איש הקשר הראשי מאפשרת למשתמשים ליצור קשר עם בעלי הכרטיסייה כדי לשאול שאלות או להביע חששות לגבי שיתוף הנתונים. השם של הספק והפרטים ליצירת קשר הם של הסוכנות שסיפקה במקור את הנתונים של כרטיס המוצר. המידע הזה הוא אופציונלי. השם והפרטים של בעל התוכן הדיגיטלי הם של הסוכנות שמפרסמת את הנתונים לשימוש בשיתוף ב-BigQuery. הוספת המידע הזה היא אופציונלית. מידע נוסף מופיע במאמר בנושא ניהול כרטיסי מוצר.

יכולים להיות שני סוגים של כרטיסי מוצר, בהתאם למדיניות IAM שמוגדרת לכרטיס המוצר ולסוג חילופי הנתונים שכולל את כרטיס המוצר:

  • כרטיס ציבורי. רשימת מוצרים ציבורית משותפת עם כל Google Cloud המשתמשים (allAuthenticatedUsers). רשימות מוצרים בבורסת נתונים ציבורית הן רשימות מוצרים ציבוריות. הכרטיסים האלה יכולים להיות הפניות למקור ציבורי חינמי או למקור מסחרי. אם הרישום הוא של משאב מסחרי, המנויים יכולים לבקש גישה לרישום ישירות מספק הנתונים, או לעיין ברישומים מסחריים שמשולבים ב-Google Cloud Marketplace ולרכוש אותם.
  • כרטיס מוצר פרטי. רישום פרטי משותף ישירות עם אנשים או קבוצות. לדוגמה, יכול להיות שרישום פרטי יתייחס למערך נתונים של מדדי שיווק שאתם משתפים עם צוותים פנימיים אחרים בארגון.

תהליך העבודה של המנוי

בתרשים הבא מתואר אופן האינטראקציה של מנויי Analytics Hub עם משאבים משותפים:

תהליך העבודה של תפקיד המנוי ב-Analytics Hub, שכולל משאבים משותפים, חילופי נתונים, כרטיסי מוצר ומשאבים מקושרים.

בקטעים הבאים מתוארים התכונות בתהליך העבודה של המנוי.

מקורות מידע מקושרים

משאבים מקושרים נוצרים כשנרשמים למינוי של כרטיס מוצר לשיתוף ב-BigQuery, ומקשרים מנוי למשאב הבסיסי שמשותף.

מערכי נתונים מקושרים

מערך נתונים מקושר הוא מערך נתונים ב-BigQuery שהוא לקריאה בלבד ומשמש כאינדיקטור או כהפניה למערך נתונים משותף. כשנרשמים למינוי של רשימת נתונים, נוצר מערך נתונים מקושר בפרויקט, ולא עותק של מערך הנתונים. לכן, המנויים יכולים לקרוא את הנתונים, אבל לא יכולים להוסיף או לעדכן אובייקטים בתוכו. כשמריצים שאילתה על אובייקטים כמו טבלאות ותצוגות באמצעות מערך נתונים מקושר, הנתונים ממערך הנתונים המשותף מוחזרים. מידע נוסף על מערכי נתונים מקושרים זמין במאמר הצגה של כרטיסי מוצר ובורסות נתונים והרשמה אליהם.

למערכי נתונים מקושרים יש הרשאה לגשת לטבלאות ולתצוגות של מערך נתונים משותף. מנויים עם מערכי נתונים מקושרים יכולים לגשת לטבלאות ולתצוגות של מערך נתונים משותף בלי צורך בהרשאה נוספת לניהול זהויות והרשאות גישה.

מערכי נתונים מקושרים תומכים באובייקטים הבאים:

מינויים מקושרים ל-Pub/Sub

הרשמה לכרטיס מוצר עם נושא משותף יוצרת מינוי Pub/Sub מקושר בפרויקט של המנוי. לא נוצרים עותקים של הנושא או של נתוני ההודעה ששותפו. אפליקציות רשומות למינוי Pub/Sub המקושר יכולות לגשת להודעות שפורסמו בנושא המשותף. מנויים מקבלים גישה לנתוני ההודעות של נושא משותף ללא הרשאת IAM נוספת. בעלי תוכן דיגיטלי יכולים לנהל מינויים ישירות ב-Pub/Sub או דרך ניהול מינויים לשיתוף ב-BigQuery. מידע נוסף על מינויים מקושרים ל-Pub/Sub

אפשרויות ליציאת נתונים (רק במערכי נתונים משותפים ב-BigQuery)

אפשרויות יציאת נתונים מאפשרות לבעלי תוכן דיגיטלי להגביל את המנויים כך שלא יוכלו לייצא נתונים ממערכי נתונים מקושרים ב-BigQuery.

בעלי אפליקציות יכולים להפעיל הגבלת העברת נתונים בכרטיס מוצר, בתוצאות של שאילתה או בשניהם. כשמוגבלת יציאת נתונים, ההגבלות הבאות חלות:

  • ממשקי ה-API של העתקה, שכפול, ייצוא וצילום תמונת מצב לא זמינים.

  • האפשרויות 'העתקה', 'שיבוט', 'ייצוא' ו'תמונת מצב' לא זמינות במסוף Google Cloud .

  • אי אפשר לקשר את מערך הנתונים המוגבל לכלי לבדיקת טבלאות.

  • שירות העברת הנתונים ל-BigQuery לא זמין במערך הנתונים המוגבל.

  • הצהרות CREATE TABLE AS SELECT וכתיבה לטבלת יעד לא זמינות.

  • אי אפשר להשתמש בהצהרות CREATE VIEW AS SELECTולכתוב לתצוגת יעד.

כשיוצרים כרטיס מוצר, אפשר להגדיר את האפשרויות המתאימות של תעבורת נתונים יוצאת.

מגבלות

אלו המגבלות שחלות על שיתוף ב-BigQuery:

  • למערך נתונים משותף יכולים להיות עד 1,000 מערכי נתונים מקושרים.

  • לנושא משותף יכולים להיות מקסימום 10,000 מינויים ל-Pub/Sub. המגבלה הזו כוללת מינויים מקושרים ל-Pub/Sub ומינויים ל-Pub/Sub שנוצרו מחוץ לשיתוף ב-BigQuery (לדוגמה, ישירות מ-Pub/Sub).

  • כשיוצרים כרטיס מוצר, אי אפשר לבחור מערך נתונים עם מקורות מידע שלא נתמכים כמערך נתונים משותף. למידע נוסף על אובייקטים של BigQuery שנתמכים ב-BigQuery sharing, אפשר לעיין במאמר בנושא מערכי נתונים משותפים.

  • אי אפשר להגדיר תפקידים ב-IAM או כללי מדיניות IAM בטבלאות ספציפיות בתוך מערך נתונים מקושר. במקום זאת, כדאי להחיל אותם ברמת מערך הנתונים המקושר.

  • אי אפשר לצרף תגי IAM לטבלאות במערך נתונים מקושר. במקום זאת, מחילים אותם ברמת מערך הנתונים המקושר.

  • מערכי נתונים מקושרים שנוצרו לפני 25 ביולי 2023 לא מתמלאים מחדש על ידי משאב המינוי. רק מינויים שנוצרו אחרי 25 ביולי 2023 פועלים עם שיטות ה-API.

  • אם אתם בעלי תוכן דיגיטלי, חלים עליכם המגבלות הבאות בנוגע ליכולת הפעולה ההדדית של BigQuery:

    • כדי ליצור שאילתות בתצוגות בתוך מערכי נתונים מקושרים, צריך להעניק למנויים הרשאות מפורשות לקריאת מערך נתוני המקור. כדי להעניק גישה לתצוגות מפורטות, מומלץ ליצור תצוגות מפורטות מורשות. תצוגות מורשות יכולות להעניק למנויים גישה לנתונים של התצוגה בלי לתת להם גישה לנתוני המקור הבסיסיים.

    • תוכנית השאילתה חושפת את השאילתה של התצוגה המשותפת ואת השאילתה השגרתית, כולל מזהי הפרויקט ומערכי נתונים אחרים שמשתתפים בתצוגות מורשות. אל תכללו אף פעם בתצוגה המשותפת או בשאילתה השגרתית פרטים רגישים כמו מפתחות הצפנה.

    • מערכי נתונים משותפים עוברים אינדוקס ב-Data Catalog (הוצא משימוש) וב-Dataplex Universal Catalog. עדכונים במערך נתונים משותף, כמו הוספה של טבלאות או תצוגות, זמינים למנויים ללא דיחוי. עם זאת, בתרחישים מסוימים, למשל כשקיימים יותר מ-100 מנויים או טבלאות במערך נתונים משותף, יכול להיות שיחלפו עד 18 שעות עד שהעדכונים יאונדקסו בשירותים האלה. בגלל העיכוב באינדוקס, המנויים לא יכולים לחפש את המשאבים המעודכנים האלה במסוף Google Cloud באופן מיידי.

    • נושאים משותפים עוברים אינדוקס ב-Data Catalog (הוצא משימוש) וב-Dataplex Universal Catalog, אבל אי אפשר לסנן במיוחד לפי סוג המשאב.

    • אם הגדרתם מדיניות של אבטחה ברמת השורה או הסתרת נתונים בטבלאות שמופיעות ברשימה, המנויים צריכים להיות לקוחות Enterprise או Enterprise Plus כדי להריץ את עבודת השאילתה במערך הנתונים המקושר. מידע על מהדורות זמין במאמר מבוא למהדורות BigQuery.

  • אם יש לכם מינוי, חלות עליכם המגבלות הבאות בנוגע לתאימות של BigQuery:

    • לא ניתן להשתמש בתצוגות חומריות שמפנות לטבלאות במערך הנתונים המקושר.

    • אין תמיכה בתמונות מצב של טבלאות במערכי נתונים מקושרים.

    • יכול להיות ששאילתות עם מערכי נתונים מקושרים ועם הצהרות JOIN שגדולות מ-1 TB (אחסון פיזי) ייכשלו. כדי לפתור את הבעיה, אפשר לפנות לתמיכה.

    • אי אפשר להשתמש במסנני אזור בתצוגות של INFORMATION_SCHEMA כדי לראות את המטא-נתונים של מערך הנתונים המקושר.

    • המגבלות הבאות חלות על כרטיסי מוצר בכמה אזורים:

    • רישומים של מספר אזורים נתמכים רק במערכי נתונים משותפים ובשכפולים של מערכי נתונים מקושרים. אי אפשר להשתמש בנושאים ובמינויים משותפים ב-Pub/Sub כדי לפרסם כרטיסי מוצר בכמה אזורים.

    • אין תמיכה בכרטיסי מוצר בכמה אזורים בחדרי נתונים נקיים.

    • אין תמיכה בכרטיסי מוצר בכמה אזורים באזורי BigQuery Omni.

  • המגבלות הבאות חלות על מדדי השימוש:

    • אי אפשר לקבל את מדדי השימוש בכרטיסי מוצר שנרשמו לפני 20 ביולי 2023.

    • מדדי השימוש בטבלה חיצונית בשדות num_rows_processed ו-total_bytes_processed עשויים להכיל נתונים לא מדויקים.

    • מדדי השימוש לצריכה נתמכים רק לשימוש במשימות BigQuery. במשאבים הבאים אין תמיכה בשימוש:

    • מדדי השימוש של הצפיות מאוכלסים רק עבור שאילתות שבוצעו אחרי 22 באפריל 2024.

    • מדדי השימוש לא נרשמים ב-BigQuery לגבי מינויים מקושרים ל-Pub/Sub. אפשר להמשיך לראות את השימוש ישירות ב-Pub/Sub.

    • אי אפשר לראות נהלים מאוחסנים של SQL בלוח הבקרה של מדדי השימוש ב-BigQuery sharing. אפשר לראות את הפרטים בתצוגה INFORMATION_SCHEMA.ROUTINES, אבל לא בתצוגה INFORMATION_SCHEMA.SHARED_DATASET_USAGE. מידע נוסף זמין במאמר בנושא שימוש בתצוגה INFORMATION_SCHEMA.

  • המגבלות הבאות חלות כשנרשמים למינוי נתונים של Salesforce Data Cloud:

    • הנתונים ב-Data Cloud משותפים כתצוגות. בתור מנויים, אין לכם גישה לטבלאות הבסיסיות שהתצוגות המפורטות מפנות אליהן.

אזורים נתמכים

שיתוף ב-BigQuery נתמך באזורים ובמספר אזורים הבאים.

אזורים

בטבלה הבאה מפורטים האזורים באמריקה שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
קולומבוס, אוהיו us-east5
דאלאס us-south1 ‫סמל של עלה רמה נמוכה של CO2‎
אייווה us-central1 ‫סמל של עלה רמה נמוכה של CO2‎
לאס וגאס us-west4
לוס אנג'לס us-west2
מקסיקו northamerica-south1
מונטריאול northamerica-northeast1 ‫סמל של עלה רמה נמוכה של CO2‎
צפון וירג'יניה us-east4
אוקלהומה us-central2 ‫סמל של עלה רמה נמוכה של CO2‎
אורגון us-west1 ‫סמל של עלה רמה נמוכה של CO2‎
סולט לייק סיטי us-west3
סאו פאולו southamerica-east1 ‫סמל של עלה רמה נמוכה של CO2‎
סנטיאגו southamerica-west1
דרום קרוליינה us-east1
טורונטו northamerica-northeast2
בטבלה הבאה מפורטים האזורים באסיה ובאוקיינוס השקט שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
דלהי asia-south2
הונג קונג asia-east2
ג'קארטה asia-southeast2
מלבורן australia-southeast2
מומבאי asia-south1
אוסקה asia-northeast2
סיאול asia-northeast3
סינגפור asia-southeast1
סידני australia-southeast1
טייוואן asia-east1
טוקיו asia-northeast1
בטבלה הבאה מפורטים האזורים באירופה שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
בלגיה europe-west1 ‫סמל של עלה רמה נמוכה של CO2‎
ברלין europe-west10
פינלנד europe-north1 ‫סמל של עלה רמה נמוכה של CO2‎
פרנקפורט europe-west3
לונדון europe-west2 ‫סמל של עלה רמה נמוכה של CO2‎
מדריד europe-southwest1 ‫סמל של עלה רמה נמוכה של CO2‎
מילאנו europe-west8
הולנד europe-west4 ‫סמל של עלה רמה נמוכה של CO2‎
פריז europe-west9 ‫סמל של עלה רמה נמוכה של CO2‎
טורינו europe-west12
ורשה europe-central2
ציריך europe-west6 ‫סמל של עלה רמה נמוכה של CO2‎
בטבלה הבאה מפורטים האזורים במזרח התיכון שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
דמאם me-central2
דוחה me-central1
תל אביב me-west1
בטבלה הבאה מפורטים האזורים באפריקה שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
יוהנסבורג africa-south1

במספר אזורים

בטבלה הבאה מפורטים האזורים המרובים שבהם אפשר לשתף.
תיאור של המיקום 'במספר אזורים' השם של המיקום 'במספר אזורים'
מרכזי נתונים במדינות החברות באיחוד האירופי1 EU
מרכזי נתונים בארצות הברית US

‫1 נתונים שנמצאים במיקום 'במספר אזורים' של EU לא מאוחסנים במרכזי הנתונים europe-west2 (לונדון) או europe-west6 (ציריך).

אזורים בכל הערוצים

בטבלה הבאה מפורטים המקומות שבהם אפשר לשתף ב-Omni.
תיאור האזור הגיאוגרפי של Omni שם האזור ב-Omni
AWS
‫AWS – מזרח ארה"ב (צפון וירג'יניה) וירג'יניה) aws-us-east-1
AWS - US West (Oregon) aws-us-west-2
‫AWS - Asia Pacific (Seoul) aws-ap-northeast-2
AWS - Asia Pacific (Sydney) aws-ap-southeast-2
AWS - Europe (Ireland) aws-eu-west-1
AWS - Europe (Frankfurt) aws-eu-central-1
Azure
Azure - East US 2 azure-eastus2

תרחיש שימוש לדוגמה

בקטע הזה מופיעה דוגמה לשימוש בשיתוף ב-BigQuery.

נניח שאתם קמעונאים ולארגון שלכם יש נתונים של תחזית ביקוש בזמן אמת בפרויקט Google Cloud בשם Forecasting. אתם רוצים לשתף את נתוני התחזית לגבי הביקוש עם מאות ספקים במערכת שרשרת האספקה שלכם. בקטעים הבאים מתואר איך אפשר לשתף את הנתונים עם ספקים באמצעות BigQuery sharing.

מנהלי מערכת

כבעלים של פרויקט התחזיות, קודם צריך להפעיל את ה-API ואז להקצות למשתמש את תפקיד האדמין של Analytics Hub (roles/analyticshub.admin), כדי שהוא יוכל לנהל את שיתוף הנתונים בפרויקט. משתמשים עם תפקיד אדמין ב-Analytics Hub נקראים אדמינים של שיתוף ב-BigQuery.

אדמין שמוגדר לו שיתוף ב-BigQuery יכול לבצע את המשימות הבאות:

  • יצירה, עדכון, מחיקה ושיתוף של חילופי הנתונים בפרויקט התחזיות של הארגון.

  • לנהל אדמינים אחרים של BigQuery sharing באמצעות התפקיד 'אדמין' ב-Analytics Hub.

  • כדי לנהל את הגורמים המפרסמים בשיתוף BigQuery, צריך להעניק לעובדים בארגון את התפקיד 'מפרסם' ב-Analytics Hub (roles/analyticshub.publisher). אם רוצים שהעובדים יוכלו רק לעדכן, למחוק ולשתף כרטיסי מוצר, אבל לא ליצור אותם, צריך להקצות להם את תפקיד האדמין של כרטיסי מוצר ב-Analytics Hub (roles/analyticshub.listingAdmin).

  • כדי לנהל את המשתמשים שנרשמו לשיתוף ב-BigQuery, צריך להעניק לקבוצת Google שכוללת את כל הספקים את תפקיד המשתמש שנרשם ב-Analytics Hub (roles/analyticshub.subscriber). אם רוצים שהספקים יוכלו רק לראות את הבורסות והכרטיסים הזמינים, צריך להעניק להם את התפקיד 'צפייה ב-Analytics Hub' (roles/analyticshub.viewer). ספקים כאלה לא יכולים להירשם לכרטיסים.

מידע נוסף זמין במאמרים תפקידי IAM לשיתוף ב-BigQuery וניהול חילופי נתונים.

בעלי תוכן דיגיטלי

בעלי תוכן דיגיטלי יוצרים את כרטיסי המוצר הבאים למערכי הנתונים שלהם בפרויקט התחזיות או בפרויקט אחר:

  • כרטיס מוצר א': מערך נתונים 1 של תחזית ביקוש
  • כרטיס מוצר ב': מערך נתונים של תחזית ביקוש 2
  • רשימה C: מערך נתונים 3 של תחזית ביקוש

ספקי נתונים יכולים לעקוב אחרי מדדי השימוש במערך הנתונים המשותף שלהם. מדדי השימוש כוללים את הפרטים הבאים:

  • משימות שמופעלות על מערך הנתונים המשותף.
  • פרטי הצריכה של מערך הנתונים המשותף לפי פרויקטים וארגונים של מנויים.
  • מספר השורות והבייטים שהעבודה מעבדת.

מידע נוסף מופיע במאמר בנושא ניהול כרטיסי מוצר.

מנויים

מנויים יכולים לעיין בדפים עסקיים שיש להם גישה אליהם בבורסות נתונים. הם יכולים גם להירשם לרשימות האלה ולהוסיף את מערכי הנתונים האלה לפרויקטים שלהם על ידי יצירת מערך נתונים מקושר. לאחר מכן, ספקים יכולים להריץ שאילתות במערכי הנתונים המקושרים האלה ולאחזר תוצאות בזמן אמת.

מידע נוסף זמין במאמר הצגה והרשמה לכרטיסי מוצר ולבורסות נתונים.

תמחור

אין עלות נוספת על ניהול של חילופי נתונים או כרטיסי מוצר.

במערכי נתונים של BigQuery, בעלי האתרים משלמים על אחסון הנתונים, ואילו המנויים משלמים על שאילתות שמופעלות על הנתונים המשותפים, על סמך מודלים של תמחור לפי דרישה או לפי קיבולת. מידע על תמחור זמין במאמר תמחור ב-BigQuery.

ב-Pub/Sub, מוציאים לאור של נושאים משלמים על המספר הכולל של הבייטים שנכתבו (תפוקת פרסום) בנושא המשותף ועל תעבורת נתונים יוצאת (egress) מהרשת (אם רלוונטי). המנויים משלמים על המספר הכולל של הבייטים שנקראו (תפוקת מינוי) מהמינוי המקושר ועל תעבורת נתונים יוצאת (egress) מהרשת (אם רלוונטי). מידע נוסף על התמחור של Pub/Sub

מכסות

מידע על מכסות שיתוף ב-BigQuery זמין במאמר מכסות ומגבלות.

תאימות

BigQuery sharing, כחלק מ-BigQuery, עומד בדרישות של תוכניות התאימות הבאות:

VPC Service Controls

אפשר להגדיר את כללי התעבורה הנכנסת (ingress) והיוצאת (egress) שנדרשים כדי לאפשר למפרסמים ולמנויים לגשת לנתונים מפרויקטים שיש להם גבולות גזרה של VPC Service Controls. מידע נוסף זמין במאמר בנושא שיתוף כללים של VPC Service Controls.

המאמרים הבאים