ניהול יחסי תלות ב-BigQuery API

כדי לנהל את ההתנהגות של BigQuery, חשוב להבין איך כל API משפיע על התכונות Google Cloud שמסתמכות על ממשקי ה-API האלה. חלק משירותי ה-API מופעלים כברירת מחדל בכל Google Cloud פרויקט שיוצרים, ואחרים מופעלים באופן אוטומטי בכל Google Cloud הפרויקטים שמשתמשים ב-BigQuery. כדי להשתמש בפונקציונליות של שירותי ה-API הנותרים, צריך להפעיל אותם באופן מפורש.

השבתה שגויה של תלות עלולה להשפיע על הפונקציונליות של BigQuery. כדאי להבין את התלות הזו כדי לקבל החלטות מושכלות כשמפעילים או משביתים שירותים בפרויקט Google Cloud .

שירותים שמופעלים כברירת מחדל

השירותים הבאים מופעלים כברירת מחדל בכל פרויקט חדש שלGoogle Cloud :

Service אילו תכונות מסתמכות על הגישה הזו ההשלכות של השבתת השירות
analyticshub.googleapis.com
  • אתם לא יכולים ליצור או לנהל חילופי נתונים, כרטיסי מוצר, מרכזי ניקוי נתונים או מינויים.
  • אי אפשר לחפש ולבדוק בורסות או כרטיסי מוצר שספקים אחרים יוצרים.
  • המינויים שנוצרו נשמרים אבל אי אפשר לגשת אליהם.
  • אפשר לגשת למערכי נתונים מקושרים כל עוד BigQuery API מופעל.
  • אי אפשר ליצור מינויים חדשים
bigqueryconnection.googleapis.com
  • אין לכם אפשרות לנהל חיבורים חיצוניים.
  • אי אפשר ליצור מודלים מרוחקים.
  • אי אפשר ליצור פונקציות מרוחקות.
  • אי אפשר לשלוח שאילתות לטבלאות BigLake ולטבלאות אובייקטים.
bigquerymigration.googleapis.com
  • אי אפשר ליצור משימות או הערכות להעברה.
  • אין משימות או הערכות קיימות.

הערה: בדרך כלל אפשר להשבית את השירות הזה אחרי השלמת העברת הנתונים.
bigquerydatapolicy.googleapis.com
  • אין לכם אפשרות לנהל את מדיניות מיסוך הנתונים.
  • מדיניות של ביצוע אנונימיזציה של נתונים לא נמחקת, אבל שאילתות לטבלאות שמוחלת עליהן אנונימיזציה של נתונים נכשלות.
bigquerydatatransfer.googleapis.com
  • אי אפשר לנהל את העברות הנתונים המתוזמנות.
  • העברות נתונים קיימות יופסקו.
bigqueryreservation.googleapis.com
  • אין לכם אפשרות ליצור או לנהל התחייבויות לקיבולת, הזמנות או הקצאות.
  • אי אפשר לעקוב אחרי השימוש במקומות.
  • העברה אוטומטית לגיבוי במקרה של כשל לא זמינה.
  • השינוי האוטומטי של מספר המשבצות יפסיק.
bigquerystorage.googleapis.com
dataform.googleapis.com
  • אי אפשר ליצור צינורות, שאילתות שמורות, מחברות Colab, לוחות נתונים, הכנות נתונים או פרויקטים של Dataform.
  • צינורות נתונים, נוטבוקים או פרויקטים של Dataform מתוזמנים קיימים מפסיקים לפעול.
  • לא תהיה יותר גישה לצינורות קיימים, לשאילתות שמורות, למחברות Colab, למשטחי נתונים, להכנות נתונים או לפרויקטים של Dataform.
dataplex.googleapis.com
  • אי אפשר לחפש נכסי נתונים ב-BigQuery.
  • אי אפשר לשתף חיפושים של כרטיסי מוצר.
  • לא תוכלו ליצור תובנות חדשות לגבי פרופילים, סריקות של איכות הנתונים או הצעות לשאילתות, או לגשת לתובנות, סריקות או הצעות שנוצרו בעבר.
  • אי אפשר לראות את פרטי נכסי הנתונים בתרשים ההשתלשלות.
  • אי אפשר לחפש נכסי נתונים בקנבס הנתונים.

ההשפעה של השבתת BigQuery API

השבתה של BigQuery API משביתה גם את השירותים הבאים שתלויים ב-BigQuery API:

  • binaryauthorization.googleapis.com
  • container.googleapis.com
  • cloudapis.googleapis.com
  • dataprep.googleapis.com
  • servicebroker.googleapis.com
  • telecomdatafabric.googleapis.com

שירותים שמופעלים על ידי BigQuery Unified API

‫BigQuery Unified API‏ (bigqueryunified.googleapis.com) כולל אוסף של שירותים שנדרשים כדי שפונקציות שונות של BigQuery יפעלו. אם מפעילים את BigQuery Unified API, כל השירותים האלה מופעלים בו-זמנית. ‫Google יכולה לעדכן את השירותים באוסף הזה, והשירותים האלה מופעלים באופן אוטומטי בפרויקטים שבהם ה-API הזה מופעל. אפשר להשבית שירותים וממשקי API ספציפיים.

הוראות להפעלת bigqueryunified.googleapis.com מופיעות במאמר הפעלה והשבתה של שירותים.

Service אילו תכונות מסתמכות על הגישה הזו ההשלכות של השבתת השירות
aiplatform.googleapis.com
  • לא תהיה לכם אפשרות להפעיל את המחברות.
  • מודלים קיימים של למידת מכונה מרחוק ב-BigQuery מפסיקים לפעול.
  • עדיין תהיה לכם גישה למחברות הקיימות כדי לערוך אותן.
bigqueryunified.googleapis.com
  • הפעלת שירותים שתלויים ב-BigQuery בלחיצה אחת, למעט ממשקי ה-API של cloudaicompanion, ‏ composer ו-datalineage.
  • מוודא שהתלות החדשה ב-BigQuery מופעלת בפרויקט.
  • תלויות עתידיות לא מופעלות באופן אוטומטי בפרויקט.
compute.googleapis.com
  • ‫Google Compute Engine מספק סביבת זמן ריצה לכל התכונות שמסופקות על ידי Managed Service for Apache Spark ו-Gemini Enterprise Agent Platform.
  • קובצי notebook של Colab, מודלים מרוחקים של ML, משימות Apache Spark,‏ SparkSQL ו-PySpark מפסיקות לפעול.
  • קוד המקור ממשיך להיות זמין.
  • ‫Dataproc API מושבת.
dataproc.googleapis.com
  • אי אפשר ליצור אשכולות של Managed Service for Apache Spark כדי להפעיל ניתוח נתונים בקוד פתוח.
  • אי אפשר להפעיל עומסי עבודה של Managed Service for Apache Spark.
  • אי אפשר להריץ Spark בעומסי עבודה ב-BigQuery.
datastream.googleapis.com
  • כל מקורות הנתונים מושהים ואין אליהם גישה.

שירותים שמושבתים כברירת מחדל

כדי שהיכולות המתאימות יהיו זמינות, צריך להפעיל ידנית את השירותים הבאים:

Service אילו תכונות מסתמכות על הגישה הזו ההשלכות של השבתת השירות
cloudaicompanion.googleapis.com
  • התכונות של Gemini ב-BigQuery
composer.googleapis.com
  • קובצי DAG קיימים של Managed Service for Apache Airflow לא מופיעים בדף Scheduling (תזמון) ומפסיקים לפעול.
  • סביבות קיימות של Managed Airflow יפסיקו לפעול ויחזירו מצב שגיאה.
datalineage.googleapis.com
  • תיעוד של שושלת הנתונים וצפייה בה
  • השיוך של מקורות הנתונים לא נשמר בפרויקט.
  • אי אפשר לראות את תרשים השושלת.

הפעלה ידנית של נכסי קוד ב-BigQuery

כדי לנהל נכסי קוד ב-BigQuery, כמו מחברות ושאילתות שמורות, צריך להפעיל את ממשקי ה-API הבאים:

  • ‫Compute Engine API
  • ‫Dataform API
  • ‫Vertex AI API

לפני מרץ 2024, ממשקי ה-API האלה לא הופעלו אוטומטית כברירת מחדל. אם יש לכם סקריפטים לאוטומציה מלפני מרץ 2024 שהסתמכו על הסטטוס של ממשקי ה-API האלה, יכול להיות שתצטרכו לעדכן אותם. אם כבר הפעלתם את ממשקי ה-API האלה, תראו תיקיות חדשות של מחברות ושאילתות בחלונית הסייר ב-BigQuery.

לפני שמתחילים

כדי להפעיל באופן ידני את ניהול נכסי הקוד, אתם צריכים את תפקיד הבעלים (roles/owner) בממשק של ניהול הזהויות והרשאות הגישה (IAM).

הפעלה ידנית של נכסי קוד ב-BigQuery

כדי להפעיל תלות נדרשת ב-API עבור נכסי קוד, פועלים לפי השלבים הבאים:

  1. עוברים לדף BigQuery.

    כניסה ל-BigQuery

  2. ב-Studio, בסרגל הכרטיסיות של חלונית העריכה, לוחצים על החץ הנפתח לצד הסימן +, מעבירים את הסמן מעל מחברת ואז בוחרים באפשרות מחברת ריקה.

  3. לוחצים על Enable APIs.

    אם האפשרות הזו לא מוצגת, בודקים אם יש לכם את הרשאת הבעלים הנדרשת ב-IAM ‏(roles/owner). אם מחברת ריקה נפתחת, סימן שה-API הנדרש כבר מופעל.

  4. בחלונית Enable core features (הפעלת תכונות ליבה), בקטע Core feature APIs (ממשקי API של תכונות ליבה), מבצעים את הפעולות הבאות:

    1. כדי להפעיל את כל התלות של BigQuery להזרמת נתונים, לתזמון ולמחברות, לוחצים על Enable לצד BigQuery Unified API.
    2. אופציונלי: כדי לבחור אילו ממשקי API להפעיל, לוחצים על View and enable individual APIs (הצגה והפעלה של ממשקי API ספציפיים) ואז על Enable (הפעלה) לצד כל API שרוצים להפעיל.
    3. אחרי שה-API מופעל, לוחצים על הבא.

  5. אופציונלי: מגדירים את הרשאות המשתמש בקטע הרשאות:

    • כדי להעניק לישויות את היכולת ליצור נכסי קוד, ולקרוא, לערוך ולהגדיר הרשאות לנכסי הקוד שהן יצרו, מקלידים את שמות המשתמשים או הקבוצות שלהן בשדה משתמש BigQuery Studio.
    • כדי להעניק לישויות את היכולת לקרוא, לערוך ולהגדיר הרשאות לכל נכסי הקוד ששותפו איתן, מקלידים את שמות המשתמשים או הקבוצות שלהן בשדה BigQuery Studio Admin.

  6. לוחצים על הבא.

  7. אופציונלי: בקטע Additional APIs, לוחצים על Enable all כדי להפעיל את ממשקי ה-API שצריך כדי ליצור פרוצדורות מרוחקות ב-BigQuery באמצעות BigQuery DataFrames.

  8. אם בחרתם לא להפעיל את ממשקי ה-API הנוספים, לוחצים על סגירה כדי לסגור את החלונית הפעלת תכונות הליבה.

הגבלת הגישה לנכסי קוד

כדי למנוע הפעלה של ממשקי API נוספים, אפשר להגדיר את המגבלה של כלל מדיניות של הארגון בנושא הגבלת השימוש ב-Service Usage. תמיד אפשר להשבית ממשקי API נבחרים.

מה השלב הבא?