מבוא ל-BigQuery sharing

שיתוף ב-BigQuery (לשעבר Analytics Hub) הוא פלטפורמה להחלפת נתונים שמאפשרת לכם לשתף נתונים באופן מאובטח, לגלות נתונים ולגשת אליהם מעבר לגבולות הארגון, בלי לשכפל את הנתונים.

אתם יכולים להשתמש ב-BigQuery sharing כדי לגלות מערכי נתונים של צד שלישי ושל Google שנאספו בקפידה, ולשלב אותם עם הנתונים הפנימיים שלכם כדי להרחיב את הפרויקטים של ניתוח נתונים ולמידת מכונה.

תפקידים של ניהול זהויות והרשאות גישה (IAM) לשיתוף ב-BigQuery מאפשרים לכם לבצע את משימות השיתוף הבאות ב-BigQuery:

  • Analytics Hub Publisher (roles/analyticshub.publisher): שיתוף נתונים עם רשת השותפים או בתוך הארגון בזמן אמת. כרטיסי מוצר מאפשרים לכם לשתף נתונים בלי לשכפל אותם, ואתם יכולים לייצר הכנסות מכרטיסי מוצר ב-Google Cloud Marketplace או דרך הערוצים שלכם. תוכלו ליצור קטלוג של מקורות נתונים שמוכנים לניתוח, ולהשתמש בהרשאות פרטניות כדי לוודא שהם יועברו רק למנויים מורשים. אתם יכולים גם לנהל את המינויים ולצפות במדדי השימוש של כרטיסי המוצר.

  • מנוי ל-Analytics Hub (roles/analyticshub.subscriber): גילוי נתונים, שילוב נתונים משותפים עם הנתונים הקיימים שלכם ושימוש בתכונות המובנות של BigQuery. כשנרשמים לכרטיס מוצר, נוצר מערך נתונים מקושר או מינוי Pub/Sub מקושר בפרויקט ב- Google Cloud . כדי לנהל את המינויים, משתמשים במקור המידע Subscription, שבו מאוחסן מידע על המנוי ומוצג הקשר בין בעל התוכן הדיגיטלי לבין המנוי.

  • Analytics Hub Viewer (roles/analyticshub.viewer): עיון באוספי נתונים לשיתוף וברישומים שיש לכם גישה לצפייה בהם ב-BigQuery sharing. אם אין לכם הרשאות מנוי לכרטיסי מוצר, אתם יכולים לבקש מהמוציא לאור הרשאה לגשת לנתונים המשותפים. אפשר לגלות רישומים מסחריים שמשולבים ב-Cloud Marketplace גם ב-BigQuery sharing וגם ב-Cloud Marketplace.

  • אדמין ב-Analytics Hub (roles/analyticshub.admin): יכול ליצור מרכזי נתונים שמאפשרים לבעלי תוכן דיגיטלי לשתף נתונים, ולהעניק הרשאות לבעלי תוכן דיגיטלי ולמנויים לגשת למרכזי הנתונים האלה.

מידע נוסף זמין במאמר בנושא הגדרת תפקידים ב-Analytics Hub.

ארכיטקטורה

שיתוף ב-BigQuery מבוסס על מודל של פרסום ומינוי שלGoogle Cloud משאבי נתונים, שמאפשר לכם לשתף נתונים במקום בלי לשכפל אותם. שיתוף ב-BigQuery תומך במשאבים הבאים:

  • מערכי נתונים ב-BigQuery
  • נושאים ב-Pub/Sub

תהליך עבודה של בעל תוכן דיגיטלי

בתהליך העבודה של בעלי התוכן הדיגיטלי, יוצרים משאבים משותפים בפרויקט, מארגנים אותם ברשימות בתוך אוסף נתונים לשיתוף ומעניקים גישה למנויים:

תהליך העבודה של תפקיד המפרסם ב-Analytics Hub, שכולל משאבים משותפים, חילופי נתונים וכרטיסי מוצר.

בקטעים הבאים מתוארים הרכיבים בתהליך העבודה של בעלי התוכן הדיגיטלי.

מערכי נתונים משותפים

מערך נתונים משותף הוא מערך נתונים ב-BigQuery שמשמש כיחידת שיתוף הנתונים בשיתוף ב-BigQuery. ההפרדה בין מחשוב ואחסון בארכיטקטורה של BigQuery מאפשרת לבעלי נתונים לשתף מערכי נתונים עם כמה מנויים בלי לשכפל את הנתונים. כבעלי תוכן דיגיטלי, אתם יוצרים או משתמשים במערך נתונים קיים ב-BigQuery בפרויקט שלכם עם האובייקטים הנתמכים הבאים:

מערכי נתונים משותפים תומכים באבטחה ברמת העמודה ובאבטחה ברמת השורה.

נושאים משותפים

נושא משותף הוא נושא ב-Pub/Sub, שהוא היחידה של שיתוף נתונים בסטרימינג ב-BigQuery. בעלי תוכן דיגיטלי יוצרים או משתמשים בנושא Pub/Sub קיים בפרויקט שלהם ומפיצים אותו למנויים.

בורסות לפרסום

בורסת נתונים היא מאגר שמאפשר לבעלי תוכן דיגיטלי לשתף רשימות של נתונים, ולמנויים לעיין בהן ולבקש גישה ישירות. הוא מכיל כרטיסי מוצר שמפנים למשאבים משותפים. בעלי אפליקציות ואדמינים יכולים להעניק גישה למנויים ברמת אוסף הנתונים לשיתוף וברמת כרטיסי המוצר, וכך להימנע מהענקת גישה מפורשת למשאבים המשותפים הבסיסיים. כשיוצרים אוסף נתונים לשיתוף, אפשר להקצות כתובת אימייל של איש קשר ראשי כדי שהמנויים יוכלו ליצור קשר עם הבעלים של אוסף הנתונים לשיתוף.

החלפת נתונים יכולה להיות אחת מהסוגים הבאים:

ההרשאה 'אדמין' ב-Analytics Hub מאפשרת לכם ליצור כמה אוספי נתונים לשיתוף ולנהל את חברי הצוות שמבצעים משימות BigQuery sharing.

כרטיסי מוצר

כרטיס מוצר הוא הפניה למקור מידע משותף שבעל אפליקציה מפרסם בבורסת מידע. בעלי תוכן דיגיטלי יכולים ליצור כרטיס מוצר ולציין את תיאור המשאב, שאילתות לדוגמה, נתוני הודעות לדוגמה, קישורים למסמכי תיעוד והוראות רלוונטיות למנויים. כשיוצרים כרטיס מוצר, אפשר להקצות כתובת אימייל של איש קשר ראשי, פרטים על הספק ופרטים על בעל התוכן הדיגיטלי. מידע נוסף מופיע במאמר בנושא ניהול כרטיסי מוצר.

רישום יכול להיות אחד מהסוגים הבאים, בהתאם למדיניות IAM שהוגדרה לרישום ולבורסת הנתונים הראשית שלו:

  • כרטיס פרטי: כברירת מחדל, כרטיס הוא פרטי ומשותף ישירות עם משתמשים או קבוצות ספציפיים. לדוגמה, רישום פרטי יכול להפנות למערכי נתונים של מדדים פנימיים שאתם משתפים עם צוותים ספציפיים בארגון.
  • כרטיס מוצר ציבורי: משותף עם כל Google Cloud המשתמשים (allAuthenticatedUsers). כרטיסי מוצר בבורסת נתונים ציבורית הם כרטיסי מוצר ציבוריים. הכרטיסים האלה יכולים להפנות למשאבים ציבוריים חינמיים או למשאבים מסחריים. אם כרטיס המוצר הוא של משאב מסחרי, המנויים יכולים לבקש גישה ישירות מספק הנתונים או לרכוש כרטיסי מוצר מסחריים שמשולבים ב-Cloud Marketplace.

אפשרויות של תעבורת נתונים יוצאת (egress)

במערכי נתונים משותפים ב-BigQuery, אפשרויות יציאת הנתונים מאפשרות לבעלי האתרים להגביל את המנויים כך שלא יוכלו לייצא נתונים ממערכי נתונים מקושרים.

בעלי אפליקציות יכולים להפעיל הגבלות על העברת נתונים בכרטיס מוצר, בתוצאות של שאילתה או בשניהם. כשמגבילים את תעבורת הנתונים היוצאת, ההגבלות הבאות חלות:

  • ממשקי ה-API של העתקה, שכפול, ייצוא וצילום תמונת מצב לא זמינים.
  • האפשרויות 'העתקה', 'שיבוט', 'ייצוא' ו'תמונת מצב' לא זמינות במסוף Google Cloud .
  • שירות העברת הנתונים ל-BigQuery לא זמין במערך הנתונים המוגבל.
  • הצהרות CREATE TABLE AS SELECT וכתיבה לטבלת יעד לא זמינות.
  • אי אפשר להשתמש בהצהרות CREATE VIEW AS SELECT ובכתיבה לתצוגת יעד.

כשיוצרים כרטיס מוצר, אפשר להגדיר את האפשרויות המתאימות של העברת נתונים.

תהליך העבודה של המנוי

בתהליך העבודה של המנוי, מעיינים בבורסות נתונים כדי למצוא כרטיסי מוצר, נרשמים לכרטיסי מוצר ומריצים שאילתות על המשאבים המקושרים בפרויקט:

תהליך העבודה של תפקיד המנוי ב-Analytics Hub, שכולל משאבים משותפים, חילופי נתונים, כרטיסי מוצר ומשאבים מקושרים.

בקטעים הבאים מתוארים הרכיבים בתהליך העבודה של המנוי.

קבוצות נתונים מקושרות

מערך נתונים מקושר הוא מערך נתונים ב-BigQuery שמוגדר לקריאה בלבד ומשמש כאינדיקטור או כהפניה למערך נתונים משותף. כשנרשמים למינוי של כרטיס מוצר, נוצר מערך נתונים מקושר בפרויקט בלי לשכפל את הנתונים. מנויים יכולים לשלוח שאילתות לטבלאות ולתצוגות רגילות בזמן אמת, אבל הם לא יכולים להוסיף או לעדכן אובייקטים במערך הנתונים.

למערכי נתונים מקושרים יש הרשאה לגשת לטבלאות ולתצוגות במערך נתונים משותף, בלי שתידרש הרשאת IAM נוספת במערך נתוני המקור הבסיסי. בנוסף לטבלאות ולתצוגות רגילות, מערכי נתונים מקושרים תומכים במשאבים מורשים הבאים:

מידע נוסף על מערכי נתונים מקושרים זמין במאמר הצגה של כרטיסי מוצר ובורסות נתונים והרשמה אליהם.

מינויים מקושרים ל-Pub/Sub

הרשמה לפרסום עם נושא משותף יוצרת מינוי מקושר ל-Pub/Sub בפרויקט של המנוי, בלי לשכפל את הנושא המשותף או את נתוני ההודעות. מנויים של המינוי המקושר ל-Pub/Sub יכולים לגשת להודעות שפורסמו בנושא המשותף בלי הרשאת IAM נוספת בנושא המקור. בעלי תוכן דיגיטלי יכולים לנהל מינויים ישירות ב-Pub/Sub או דרך BigQuery sharing.

מידע נוסף על מינויים מקושרים ל-Pub/Sub זמין במאמר שיתוף של נתונים בזמן אמת עם Pub/Sub.

תרחישים לדוגמה

בקטע הזה מפורטות דוגמאות לשימוש ב-BigQuery sharing לשיתוף פעולה עם שותפים ולמונטיזציה של נתונים.

שיתוף פעולה עם שותפים

נניח שאתם קמעונאים והארגון שלכם שומר נתוני תחזית ביקוש בזמן אמת בפרויקט Google Cloud שנקרא Forecasting. אתם רוצים לשתף את נתוני התחזית לגבי הביקוש עם מאות ספקים ברשת שרשרת האספקה שלכם. בקטעים הבאים מוסבר איך לשתף נתונים בין תפקידים.

מנהלי מערכת

בתור הבעלים של פרויקט Forecasting, אתם מפעילים את Analytics Hub API ומעניקים את תפקיד האדמין ב-Analytics Hub‏ (roles/analyticshub.admin) לחבר צוות שמנהל את אוסף הנתונים לשיתוף. הגורמים הראשיים עם התפקיד הזה הם מנהלי שיתוף ב-BigQuery.

אדמין עם הרשאת שיתוף ב-BigQuery יכול לבצע את המשימות הבאות:

  • יצירה, עדכון, מחיקה ושיתוף של אוסף נתונים לשיתוף בפרויקט Forecasting של הארגון.
  • אפשר לנהל את האדמינים האחרים של שיתוף ב-BigQuery באמצעות התפקיד אדמין ב-Analytics Hub.
  • כדי לנהל את בעלי התוכן לשיתוף ב-BigQuery, צריך להעניק לעובדים את תפקיד בעל התוכן לשיתוף ב-Analytics Hub (roles/analyticshub.publisher). אם העובדים צריכים רק לעדכן, למחוק ולשתף כרטיסי מוצר ולא ליצור אותם, צריך להעניק להם את התפקיד 'אדמין של כרטיסי מוצר ב-Analytics Hub' (roles/analyticshub.listingAdmin).
  • כדי לנהל את המנויים לשיתוף ב-BigQuery, צריך להעניק לקבוצת Google שכוללת את כל הספקים את תפקיד המנוי ב-Analytics Hub (roles/analyticshub.subscriber). אם הספקים צריכים רק לראות את הבורסות והכרטיסים הזמינים בלי להירשם, צריך להעניק להם את התפקיד 'צפייה' ב-Analytics Hub (roles/analyticshub.viewer).

מידע נוסף זמין במאמרים תפקידי IAM לשיתוף ב-BigQuery וניהול של חילופי נתונים.

בעלי תוכן דיגיטלי

בתרחיש הזה, מפרסמי נתונים אורזים מערכי נתונים של שרשרת האספקה ברשימות נפרדות כדי לתת מענה לצרכים של הספקים. בעלי תוכן דיגיטלי יוצרים את כרטיסי המוצר הבאים בפרויקט Forecasting:

  • כרטיס מוצר א': מערך נתונים 1 של תחזית ביקוש
  • כרטיס מוצר ב': מערך נתונים של תחזית ביקוש 2
  • כרטיס מוצר C: מערך נתונים של תחזית ביקוש 3

בעלי תוכן דיגיטלי יכולים לעקוב אחרי מדדי השימוש במערכי הנתונים המשותפים שלהם, כולל הפרטים הבאים:

  • משימות שמופעלות על מערך הנתונים המשותף.
  • פרטי הצריכה לפי פרויקטים וארגונים של מנויים.
  • המספר הכולל של השורות והבייטים שעובדו.

מידע נוסף מופיע במאמר בנושא ניהול כרטיסי מוצר.

מנויים

מנויים יכולים לעיין בכרטיסי מוצר שיש להם גישה אליהם בבורסות נתונים. ספקים נרשמים למינוי של כרטיסי המוצר האלה כדי להוסיף מערכי נתונים לפרויקטים שלהם כמערכי נתונים מקושרים. לאחר מכן, ספקים יכולים להריץ שאילתות במערכי הנתונים המקושרים האלה ולאחזר תוצאות של תחזיות בזמן אמת.

מידע נוסף זמין במאמר הצגה והרשמה לכרטיסי מוצר ולמרכזי נתונים.

מונטיזציה של נתונים

נניח שאתם ספק נתונים פיננסיים עם מערכי נתונים של תמחור מניות היסטוריות שאוצרים ב Google Cloud פרויקט בשם MarketDataSource. אתם רוצים לייצר הכנסות מהנתונים האלה על ידי הצעתם למוסדות פיננסיים ולסוחרים חיצוניים. בקטעים הבאים מוסבר איך לייצר הכנסות מנתונים באמצעות שיתוף ב-BigQuery.

מנהלי מערכת

בתור הבעלים של פרויקט MarketDataSource, אתם מפעילים את Analytics Hub API ואת Cloud Marketplace API, ואז נותנים לצוות שמנהל את הפלטפורמה המסחרית את התפקיד אדמין של Analytics Hub ‏(roles/analyticshub.admin). הגורמים הראשיים עם התפקיד הזה הם אדמינים של שיתוף ב-BigQuery.

אדמין עם הרשאת שיתוף ב-BigQuery יכול לבצע את המשימות הבאות:

  • ליצור אוסף נתונים לשיתוף ציבורי ולשלב אותו עם Cloud Marketplace.
  • כדי לנהל את המפרסמים שמשתפים נתונים ב-BigQuery, צריך להעניק למהנדסי הנתונים שאחראים ליצירת כרטיסי מוצר מסחריים את הרשאת המפרסם (roles/analyticshub.publisher) ב-Analytics Hub. אם העובדים צריכים רק לעדכן, למחוק ולשתף כרטיסי מוצר ולא ליצור אותם, צריך להעניק להם את תפקיד האדמין של כרטיסי המוצר ב-Analytics Hub ‏ (roles/analyticshub.listingAdmin).
  • ניהול תנאים מסחריים ומודלים של תמחור ב-Cloud Marketplace.

מידע נוסף זמין במאמרים בנושא ניהול חילופי נתונים ורישומים מסחריים שמשולבים ב-Cloud Marketplace.

בעלי תוכן דיגיטלי

בתרחיש הזה, בעלי תוכן דיגיטלי אורזים מוצרים של נתונים פיננסיים בחבילות שונות, על סמך מודלים של מינויים. בעלי האתרים יוצרים את הדפים העסקיים הבאים:

  • דוגמה א': מחירי מניות גלובליים (מינוי חודשי)
  • כרטיס מוצר ב': אותות שוק בזמן אמת (מינוי שנתי)
  • כרטיס C: אינדיקטורים כלכליים היסטוריים (תקופת ניסיון בחינם)

בעלי תוכן דיגיטלי יכולים לעקוב אחרי מדדי השימוש במערכי הנתונים המשותפים שלהם, כולל הפרטים הבאים:

  • משימות שמופעלות על מערך הנתונים המשותף.
  • פרטי הצריכה לפי פרויקטים וארגונים של מנויים.
  • המספר הכולל של השורות והבייטים שעובדו.

מידע נוסף מופיע במאמר בנושא ניהול כרטיסי מוצר.

מנויים

מנויים מעיינים בפרטי המוצרים בשיתוף של BigQuery או ישירות ב-Cloud Marketplace. אחרי רכישת מינוי, המנויים יוצרים מערך נתונים מקושר ב Google Cloud פרויקט שלהם ושואלים שאילתות לגבי נתונים היסטוריים לצד מודלים קנייניים למסחר, בלי לבצע הטמעה ידנית של נתונים או שכפול קבצים.

מידע נוסף זמין במאמר הצגה והרשמה לכרטיסי מוצר ולמרכזי נתונים.

תמחור

אין עלות נוספת לניהול של חילופי נתונים או של כרטיסי מוצר בשיתוף ב-BigQuery.

בטבלה הבאה מפורטים מודלים לתמחור של משאבים נתמכים:

משאב עלויות של בעל תוכן דיגיטלי עלויות למנוי מידע נוסף
מערכי נתונים ב-BigQuery אחסון הנתונים שאילתות שמופעלות על הנתונים המשותפים (תמחור לפי דרישה או לפי קיבולת) תמחור ב-BigQuery
נושאים ב-Pub/Sub נתונים שנכתבו (תפוקת פרסום) ויציאה מהרשת (אם רלוונטי) קריאת נתונים (תפוקת מינוי) ויציאת נתונים מהרשת (אם רלוונטי) תמחור Pub/Sub

אזורים נתמכים

שיתוף ב-BigQuery נתמך באזורים הבאים ובמספר אזורים:

אזורים

בטבלה הבאה מפורטים האזורים באמריקה שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
קולומבוס, אוהיו us-east5
דאלאס us-south1 ‫סמל של עלה רמה נמוכה של CO2‎
אייווה us-central1 ‫סמל של עלה רמה נמוכה של CO2‎
לאס וגאס us-west4
לוס אנג'לס us-west2
מקסיקו northamerica-south1
מונטריאול northamerica-northeast1 ‫סמל של עלה רמה נמוכה של CO2‎
צפון וירג'יניה us-east4
אוקלהומה us-central2 ‫סמל של עלה רמה נמוכה של CO2‎
אורגון us-west1 ‫סמל של עלה רמה נמוכה של CO2‎
סולט לייק סיטי us-west3
סאו פאולו southamerica-east1 ‫סמל של עלה רמה נמוכה של CO2‎
סנטיאגו southamerica-west1
דרום קרוליינה us-east1
טורונטו northamerica-northeast2
בטבלה הבאה מפורטים האזורים באסיה ובאוקיינוס השקט שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
דלהי asia-south2
הונג קונג asia-east2
ג'קארטה asia-southeast2
מלבורן australia-southeast2
מומבאי asia-south1
אוסקה asia-northeast2
סיאול asia-northeast3
סינגפור asia-southeast1
סידני australia-southeast1
טייוואן asia-east1
טוקיו asia-northeast1
בטבלה הבאה מפורטים האזורים באירופה שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
בלגיה europe-west1 ‫סמל של עלה רמה נמוכה של CO2‎
ברלין europe-west10
פינלנד europe-north1 ‫סמל של עלה רמה נמוכה של CO2‎
פרנקפורט europe-west3
לונדון europe-west2 ‫סמל של עלה רמה נמוכה של CO2‎
מדריד europe-southwest1 ‫סמל של עלה רמה נמוכה של CO2‎
מילאנו europe-west8
הולנד europe-west4 ‫סמל של עלה רמה נמוכה של CO2‎
פריז europe-west9 ‫סמל של עלה רמה נמוכה של CO2‎
טורינו europe-west12
ורשה europe-central2
ציריך europe-west6 ‫סמל של עלה רמה נמוכה של CO2‎
בטבלה הבאה מפורטים האזורים במזרח התיכון שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
דמאם me-central2
דוחה me-central1
תל אביב me-west1
בטבלה הבאה מפורטים האזורים באפריקה שבהם אפשר לשתף.
תיאור האזור שם האזור פרטים
יוהנסבורג africa-south1

במספר אזורים

בטבלה הבאה מפורטים האזורים המרובים שבהם אפשר לשתף.
תיאור של המיקום 'במספר אזורים' השם של המיקום 'במספר אזורים'
מרכזי נתונים במדינות החברות באיחוד האירופי1 EU
מרכזי נתונים בארצות הברית US

‫1 נתונים שנמצאים במיקום 'במספר אזורים' של EU לא מאוחסנים במרכזי הנתונים europe-west2 (לונדון) או europe-west6 (ציריך).

אזורים בכל הערוצים

בטבלה הבאה מפורטים המקומות שבהם אפשר לשתף ב-Omni.
תיאור האזור של Omni שם האזור ב-Omni
AWS
‫AWS – מזרח ארה"ב (צפון וירג'יניה) וירג'יניה) aws-us-east-1
AWS - US West (Oregon) aws-us-west-2
AWS - Asia Pacific (Seoul) aws-ap-northeast-2
AWS - Asia Pacific (Sydney) aws-ap-southeast-2
‫AWS – אירופה (אירלנד) aws-eu-west-1
AWS - Europe (Frankfurt) aws-eu-central-1
Azure
Azure - East US 2 azure-eastus2

מכסות

מידע על מכסות ומגבלות של BigQuery sharing זמין במאמר מכסות ומגבלות.

תאימות

השיתוף ב-BigQuery, כחלק מ-BigQuery, עומד בדרישות של תוכניות התאימות הבאות:

מגבלות

בקטעים הבאים מתוארות המגבלות התפעוליות והמגבלות שקשורות לאינטראופרביליות של שיתוף ב-BigQuery.

הגבלות כלליות על משאבים

המגבלות הכלליות הבאות חלות על שיתוף ב-BigQuery:

  • מערך נתונים משותף יכול לכלול עד 1,000 מערכי נתונים מקושרים.
  • לנושא משותף יכולים להיות מקסימום של 10,000 מינויים ל-Pub/Sub. המגבלה הזו כוללת מינויים מקושרים ל-Pub/Sub ומינויים שנוצרו ישירות ב-Pub/Sub.
  • אי אפשר לבחור קבוצת נתונים עם משאבים שלא נתמכים כקבוצת נתונים משותפת. אובייקטים נתמכים מפורטים במאמר מערכי נתונים משותפים.
  • אי אפשר להגדיר תפקידים ב-IAM או כללי מדיניות IAM בטבלאות ספציפיות בתוך מערך נתונים מקושר. במקום זאת, כדאי להחיל אותם ברמה של מערך הנתונים המקושר.
  • אי אפשר לצרף תגי IAM לטבלאות במערך נתונים מקושר. במקום זאת, אפשר להחיל אותם ברמת מערך הנתונים המקושר.
  • מערכי נתונים מקושרים שנוצרו לפני 25 ביולי 2023 לא מתמלאים מחדש על ידי משאב המינוי. רק מינויים שנוצרו אחרי 25 ביולי 2023 פועלים עם שיטות ה-API.

הגבלות על בעלי תוכן דיגיטלי

אם אתם בעלי תוכן דיגיטלי, חלות המגבלות הבאות על יכולת הפעולה ההדדית של BigQuery:

  • כדי להריץ שאילתות על תצוגות במערכי נתונים מקושרים, אתם צריכים לתת למנויים הרשאות מפורשות לקריאת מערך נתוני המקור. השיטה המומלצת היא ליצור תצוגות מורשות כדי להעניק למנויים גישה לצפייה בנתונים בלי להעניק גישה לנתוני המקור הבסיסיים.
  • תוכנית לביצוע שאילתה חושפת את השאילתה של התצוגה המשותפת ואת ההגדרות של שאילתות שגרתיות, כולל מזהי פרויקטים ומערכי נתונים אחרים שמשתתפים בתצוגות מורשות. אל תכללו מידע רגיש, כמו מפתחות הצפנה, בתצוגה המשותפת או בשאילתה שגרתית.
  • מערכי נתונים משותפים עוברים אינדוקס ב-Data Catalog (הוצא משימוש) וב-Knowledge Catalog. עדכוני סכימה במערך נתונים משותף זמינים למנויים באופן מיידי. עם זאת, אם יש יותר מ-100 מנויים או טבלאות במערך נתונים משותף, יכול להיות שיחלפו עד 18 שעות עד שהעדכונים יאונדקסו. בגלל העיכוב בהוספה לאינדקס, המנויים לא יכולים לחפש משאבים מעודכנים ב Google Cloud מסוף מיד.
  • נושאים משותפים עוברים אינדוקס בקטלוג הנתונים (הוצא משימוש) וב-Knowledge Catalog, אבל אי אפשר לסנן במיוחד לפי סוג המשאב שלהם.
  • אם מגדירים מדיניות של אבטחה ברמת השורה או הסתרת נתונים בטבלאות שמופיעות ברשימה, המנויים צריכים להשתמש במהדורת Enterprise או Enterprise Plus כדי להריץ משימות של שאילתות במערך הנתונים המקושר. מידע על מהדורות זמין במאמר מבוא למהדורות BigQuery.

מגבלות על מנויים

אם יש לכם מינוי, חלות המגבלות הבאות על יכולת הפעולה ההדדית של BigQuery:

הגבלות על כרטיסי מוצר במספר אזורים

המגבלות הבאות חלות על כרטיסים למוצרים שזמינים במספר אזורים:

  • אפשר לפרסם נתונים מכמה אזורים רק במערכי נתונים משותפים וברפליקות של מערכי נתונים מקושרים. אין תמיכה ברישומים למספר אזורים בנושאים או במינויים משותפים של Pub/Sub.
  • אין תמיכה בכרטיסי מוצר בכמה אזורים בחדרים נקיים.
  • אין תמיכה בכרטיסי מוצר בכמה אזורים באזורי BigQuery Omni.

מגבלות של מדדי השימוש

ההגבלות הבאות חלות על מדדי השימוש:

  • אי אפשר לקבל מדדי שימוש לכרטיסי מוצר שנרשמו לפני 20 ביולי 2023.
  • יכול להיות שהמדדים של השימוש בטבלה חיצונית בשדות num_rows_processed ו-total_bytes_processed יכללו נתונים לא מדויקים.

  • מדדי השימוש בצריכה נתמכים רק לשימוש במשימות BigQuery. אין תמיכה במדדי צריכה במשאבים הבאים:

  • מדדי השימוש של צפיות מאוכלסים רק בשאילתות שבוצעו אחרי 22 באפריל 2024.

  • מדדי השימוש לא נרשמים ב-BigQuery לגבי מינויים מקושרים ל-Pub/Sub. אפשר לראות את השימוש ישירות ב-Pub/Sub.

  • פרוצדורות מאוחסנות של SQL אינן זמינות בלוח הבקרה של מדדי השימוש ב-BigQuery sharing. אפשר לראות את הפרטים בתצוגה INFORMATION_SCHEMA.ROUTINES, אבל לא בתצוגה INFORMATION_SCHEMA.SHARED_DATASET_USAGE. מידע נוסף מפורט במאמר בנושא שימוש בתצוגות של INFORMATION_SCHEMA.

מגבלות של VPC Service Controls ו-Salesforce Data 360

ההגבלות הבאות חלות על VPC Service Controls ועל Salesforce Data 360:

  • אל תפרסמו נתונים משותפים או תארחו אוספי נתונים לשיתוף בפרויקטים בתוך גבולות גזרה של VPC Service Controls, אלא אם הגדרתם כללים מתאימים לתעבורת נתונים נכנסת (ingress) ויוצאת (egress) לפרויקטים של אפליקציות לשליחת הודעות, לפרויקטים של אוספי נתונים לשיתוף ולפרויקטים של אפליקציות רשומות. מידע נוסף זמין במאמר שיתוף כללים של VPC Service Controls.
  • הנתונים ב-Data 360 משותפים כתצוגות. בתור מנויים, אין לכם גישה לטבלאות הבסיסיות שהתצוגות המפורטות מפנות אליהן.

המאמרים הבאים