ניהול יחסי תלות ב-BigQuery API

במאמר הזה מתוארים Google Cloud השירותים וממשקי ה-API ש-BigQuery תלוי בהם. הסעיף גם מסביר איך השבתת השירותים האלה משפיעה על ההתנהגות של BigQuery. חשוב לעיין במסמך הזה לפני שמפעילים או משביתים שירותים בפרויקט.

חלק מהשירותים מופעלים כברירת מחדל בכל פרויקט שיוצרים. Google Cloud ממשקי API אחרים מופעלים אוטומטית בכל Google Cloud הפרויקטים שמשתמשים ב-BigQuery. כדי להשתמש בפונקציונליות של שאר השירותים, צריך להפעיל אותם באופן מפורש. מידע נוסף זמין במקורות המידע הבאים:

המסמך הזה מיועד לאדמינים.

שירותים שמופעלים כברירת מחדל

השירותים הבאים מופעלים כברירת מחדל בכל פרויקט חדש שלGoogle Cloud :

Service אילו תכונות מסתמכות על התכונה הזו ההשלכות של השבתת השירות
analyticshub.googleapis.com
  • אתם לא יכולים ליצור או לנהל חילופי נתונים, כרטיסי מוצר, מרכזי ניקוי נתונים או מינויים.
  • אי אפשר לחפש ולבדוק בורסות או מלאי שטחי פרסום שספקים אחרים יוצרים.
  • המינויים שנוצרו נשמרים אבל אי אפשר לגשת אליהם.
  • אפשר לגשת למערכי נתונים מקושרים כל עוד BigQuery API מופעל.
  • אי אפשר ליצור מינויים חדשים
bigqueryconnection.googleapis.com
  • אי אפשר לנהל חיבורים חיצוניים.
  • אי אפשר ליצור מודלים מרוחקים.
  • אי אפשר ליצור פונקציות מרוחקות.
  • אי אפשר להריץ שאילתות על טבלאות BigLake ועל טבלאות אובייקטים.
bigquerymigration.googleapis.com
  • אי אפשר ליצור משימות או הערכות להעברה.
  • אי אפשר לגשת למשימות או להערכות קיימות.

הערה: בדרך כלל אפשר להשבית את השירות הזה אחרי השלמת העברת הנתונים.
bigquerydatapolicy.googleapis.com
  • אין לכם אפשרות לנהל את מדיניות מיסוך הנתונים.
  • מדיניות של ביצוע אנונימיזציה של נתונים לא נמחקת, אבל שאילתות לטבלאות שחלה עליהן מדיניות כזו נכשלות.
bigquerydatatransfer.googleapis.com
  • אי אפשר לנהל את העברות הנתונים המתוזמנות.
  • העברות הנתונים הקיימות יופסקו.
bigqueryreservation.googleapis.com
  • אין לכם אפשרות ליצור או לנהל התחייבויות לקיבולת, הזמנות או הקצאות.
  • אי אפשר לעקוב אחרי השימוש בחריצים.
  • אין אפשרות ליתירות כשל של תוכנית התאוששות מאסון (DR).
  • השינוי האוטומטי של מספר המשבצות מופסק.
bigquerystorage.googleapis.com
dataform.googleapis.com
  • אי אפשר ליצור צינורות, שאילתות שמורות, מחברות Colab, לוחות נתונים, הכנות נתונים או פרויקטים של Dataform.
  • צינורות נתונים, מסמכי notebook או פרויקטים של Dataform מתוזמנים קיימים יפסיקו לפעול.
  • לא תהיה יותר גישה לצינורות (pipelines) קיימים, לשאילתות שמורות, למחברות Colab, למשטחי נתונים, להכנות נתונים או לפרויקטים של Dataform.
dataplex.googleapis.com
  • אי אפשר לחפש נכסי נתונים ב-BigQuery.
  • אי אפשר לשתף חיפושים של כרטיסי מוצר.
  • לא תוכלו ליצור תובנות חדשות לגבי פרופילים או לגשת לתובנות שנוצרו בעבר, לסריקות של איכות הנתונים או להצעות לשאילתות.
  • אי אפשר לראות פרטים של נכסי נתונים בתרשים השתלשלות.
  • אי אפשר לחפש נכסי נתונים בלוח הנתונים.

ההשפעה של השבתת BigQuery API

השבתה של BigQuery API משביתה גם את השירותים הבאים שתלויים ב-BigQuery API:

  • binaryauthorization.googleapis.com
  • container.googleapis.com
  • cloudapis.googleapis.com
  • dataprep.googleapis.com
  • servicebroker.googleapis.com
  • telecomdatafabric.googleapis.com

שירותים שמופעלים על ידי BigQuery Unified API

‫BigQuery Unified API‏ (bigqueryunified.googleapis.com) כולל אוסף נבחר של שירותים שנדרשים כדי שפונקציות שונות של BigQuery יפעלו. אם מפעילים את BigQuery Unified API, כל השירותים האלה מופעלים בו-זמנית. ‫Google יכולה לעדכן את השירותים באוסף הזה, והשירותים האלה מופעלים באופן אוטומטי בפרויקטים שבהם מופעל ה-API הזה. אפשר להשבית שירותים וממשקי API ספציפיים.

הוראות להפעלת bigqueryunified.googleapis.com מופיעות במאמר הפעלה והשבתה של שירותים.

Service אילו תכונות מסתמכות על התכונה הזו ההשלכות של השבתת השירות
aiplatform.googleapis.com
  • לא תהיה לכם אפשרות להריץ את המחברות.
  • מודלים קיימים של BigQuery ML מרחוק מפסיקים לפעול.
  • עדיין תהיה לכם גישה למחברות הקיימות כדי לערוך אותן.
bigqueryunified.googleapis.com
  • הפעלת שירותים שתלויים ב-BigQuery בלחיצה אחת, למעט ממשקי ה-API של cloudaicompanion,‏ composer ו-datalineage, שמפורטים במסמך הזה.
  • מוודא שהתלות החדשה ב-BigQuery מופעלת בפרויקט.
  • התלויות העתידיות לא מופעלות באופן אוטומטי בפרויקט.
compute.googleapis.com
  • ‫Google Compute Engine מספק סביבת זמן ריצה לכל התכונות שמסופקות על ידי Dataproc ו-Vertex AI.
  • קובצי notebook של Colab, מודלים מרוחקים של למידת מכונה (ML), משימות של Apache Spark,‏ SparkSQL ו-PySpark מפסיקות לפעול.
  • קוד המקור ממשיך להיות זמין.
  • ממשק Dataproc API מושבת.
dataproc.googleapis.com
  • אי אפשר ליצור אשכולות Dataproc כדי להריץ ניתוח נתונים ממקורות פתוחים.
  • אי אפשר להריץ עומסי עבודה (workloads) של Serverless for Apache Spark.
  • אי אפשר להריץ Spark בעומסי עבודה ב-BigQuery.
datastream.googleapis.com
  • כל מקורות הנתונים מושהים ואין אליהם גישה.

שירותים שמושבתים כברירת מחדל

כדי שהיכולות המתאימות יהיו זמינות, צריך להפעיל באופן ידני את השירותים הבאים:

Service אילו תכונות מסתמכות על התכונה הזו ההשלכות של השבתת השירות
cloudaicompanion.googleapis.com
  • תכונות של Gemini ב-BigQuery
composer.googleapis.com
  • קובצי DAG קיימים של Cloud Composer לא מופיעים בדף Scheduling (תזמון) והם מופסקים.
  • סביבות Cloud Composer קיימות יפסיקו לפעול ויחזירו מצב שגיאה.
datalineage.googleapis.com
  • תיעוד של שושלת הנתונים וצפייה בה
  • השיוך של מקורות הנתונים לא נשמר בפרויקט.
  • אי אפשר לראות את תרשים השושלת.

הפעלה ידנית של נכסי קוד ב-BigQuery

כדי לנהל נכסי קוד ב-BigQuery, כמו מחברות ושאילתות שמורות, צריך להפעיל את ממשקי ה-API הבאים:

  • ‫Compute Engine API
  • ‫Dataform API
  • ‫Vertex AI API

לפני מרץ 2024, ממשקי ה-API האלה לא הופעלו אוטומטית כברירת מחדל. אם יש לכם סקריפטים לאוטומציה מלפני מרץ 2024 שהסתמכו על הסטטוס של ממשקי ה-API האלה, יכול להיות שתצטרכו לעדכן אותם. אם כבר הפעלתם את ממשקי ה-API האלה, תראו תיקיות חדשות בשם Notebooks ו-Queries בחלונית Explorer ב-BigQuery.

לפני שמתחילים

כדי להפעיל באופן ידני את ניהול נכסי הקוד, אתם צריכים את תפקיד הבעלים (roles/owner) בממשק של ניהול הזהויות והרשאות הגישה (IAM) .

הפעלה ידנית של נכסי קוד ב-BigQuery

כדי להפעיל תלות ב-API שנדרשת לנכסי קוד, פועלים לפי השלבים הבאים:

  1. עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. ב-Studio, בסרגל הכרטיסיות של חלונית העריכה, לוחצים על החץ בתפריט הנפתח לצד הסימן +, מעבירים את הסמן מעל מחברת ואז בוחרים באפשרות מחברת ריקה.

  3. לוחצים על Enable APIs.

    אם האפשרות הזו לא מוצגת, בודקים אם יש לכם את הרשאת הבעלים הנדרשת ב-IAM‏ (roles/owner). אם מחברת ריקה נפתחת, סימן שה-API הנדרש כבר מופעל.

  4. בחלונית Enable core features (הפעלת התכונות העיקריות), בקטע Core feature APIs (ממשקי API של תכונות עיקריות), מבצעים את הפעולות הבאות:

    1. כדי להפעיל את כל התלות של BigQuery להזרמת נתונים, לתזמון ולמחברות, לוחצים על Enable לצד BigQuery Unified API.
    2. אופציונלי: כדי לבחור אילו ממשקי API להפעיל, לוחצים על View and enable individual APIs (הצגה והפעלה של ממשקי API ספציפיים) ואז על Enable (הפעלה) לצד כל API שרוצים להפעיל.
    3. אחרי שהפעלתם את ממשקי ה-API, לוחצים על הבא.

  5. אופציונלי: מגדירים את הרשאות המשתמש בקטע הרשאות:

    • כדי להעניק לישויות מורשות את היכולת ליצור נכסי קוד, ולקרוא, לערוך ולהגדיר הרשאות לנכסי הקוד שהן יצרו, מקלידים את שמות המשתמשים או הקבוצות שלהן בשדה משתמש BigQuery Studio.
    • כדי להעניק לישויות מורשות את היכולת לקרוא, לערוך ולהגדיר הרשאות לכל נכסי הקוד ששותפו איתן, מקלידים את שמות המשתמשים או הקבוצות שלהן בשדה BigQuery Studio Admin.

  6. לוחצים על הבא.

  7. אופציונלי: בקטע Additional APIs, לוחצים על Enable all כדי להפעיל את ממשקי ה-API שצריך כדי ליצור פרוצדורות מרוחקות ב-BigQuery באמצעות BigQuery DataFrames.

  8. אם בחרתם לא להפעיל את ממשקי ה-API הנוספים, לוחצים על סגירה כדי לסגור את החלונית הפעלת תכונות הליבה.

הגבלת הגישה לנכסי קוד

כדי למנוע הפעלה של ממשקי API נוספים, אפשר להגדיר את המגבלה של מדיניות הארגון בנושא הגבלת השימוש בשירות משאבים. תמיד אפשר להשבית ממשקי API נבחרים.

מה השלב הבא?