סקירה כללית בנושא הקצאת הרשאות

מצב הנפקת פרטי כניסה בקטלוג הייעודי לזמן ריצה של Lakehouse מאפשר לכם להקצות גישה ל-Cloud Storage למנועי שאילתות, ולאכוף מדיניות מפורטת של ניהול זהויות והרשאות גישה (IAM) ברמת הקטלוג, מרחב השמות והטבלה של טבלאות Apache Iceberg. במקום לתת הרשאות ישירות לקטגוריה, מגדירים את נקודת הקצה של קטלוג ה-REST של Apache Iceberg כך שתספק אסימוני אחסון לטווח קצר עם היקף מצומצם לנתיבי טבלאות מורשים. המצב הזה נדרש גם לניהול טבלאות אוטומטי.

מתי כדאי להשתמש בהנפקת פרטי כניסה

הנה כמה תרחישי שימוש נפוצים:

  • אכיפת גישה ברמת הטבלה בלי תפקידים ברמת הקטגוריה: נותנים למנתחי נתונים ולעומסי עבודה גישה לטבלאות ספציפיות של Apache Iceberg, ומונעים גישה ישירה לקטגוריות של Cloud Storage או לספריות של טבלאות אחיות.
  • ניהול מרכזי של בקרת הגישה בכמה מנועי שאילתות: אתם יכולים להחיל מדיניות IAM עקבית ב-BigQuery, ב-Managed Service for Apache Spark, ב-Apache Spark בקוד פתוח וב-Trino באמצעות אסימונים זמניים עם היקף נתיב.
  • בידוד קטגוריות של מחסן נתונים בתוך גבולות גזרה לשירות: אחסון נתוני טבלאות בקטגוריות של Cloud Storage שמוגנות על ידי VPC Service Controls, תוך מתן הרשאה לקריאה ולכתיבה של אחסון באמצעות חשבון שירות של נקודת קצה (endpoint) אחת של קטלוג.

איך פועלת הפצת פרטי כניסה

כשמשתמשים במצב הפצת פרטי כניסה, רצף הפעולות אוכף את מדיניות ה-IAM לפני הגישה לאחסון. בתרשים הבא אפשר לראות איך מנועי השאילתות מקבלים אסימוני אחסון עם היקף מצומצם מהקטלוג הייעודי לזמן ריצה של Lakehouse, כדי לקרוא ולכתוב נתונים באופן מאובטח ישירות ב-Cloud Storage:

מנועי השאילתות מקבלים אסימוני אחסון עם היקף מצומצם מהקטלוג הייעודי לזמן ריצה של Lakehouse כדי לקרוא ולכתוב נתונים ב-Cloud Storage.
תהליך עבודה של הפצת פרטי כניסה שמאציל גישה ל-Cloud Storage.

רצף הפעולות שמוצג בתרשים שלמעלה:

  1. בקשה: משתמש שולח הצהרת SQL, כמו שאילתה, פעולת DML או פעולת DDL, למנוע נתמך כמו Spark או BigQuery.
  2. חיפוש מטא-נתונים: המנוע שולח בקשה לקטלוג הייעודי לזמן ריצה של Lakehouse כדי לפתור את הטבלה.
  3. אימות ומדיניות: הקטלוג הייעודי לזמן ריצה של Lakehouse מאמת את המשתמש ובודק את הרשאות ה-IAM שלו במשאבי Lakehouse.
  4. תגובה: מכיוון שמצב הפצת פרטי הכניסה מופעל, הקטלוג הייעודי לזמן ריצה של Lakehouse מחזיר למנוע את המטא-נתונים ואסימון אחסון לזמן קצר (פרטי כניסה לאחסון עם היקף מצומצם). האסימון מוגבל לנתיבים שמשויכים לטבלה, וההרשאות שלו מצומצמות למינימום הנדרש (לדוגמה, גישה לקריאה בלבד לשאילתות שלא צריכות לכתוב קבצים).
  5. גישה: המנוע משתמש בטוקן הזה כדי לקרוא או לכתוב את הקבצים המורשים הספציפיים ישירות מ-Cloud Storage.
  6. חישוב: המנוע מעבד את הנתונים או מבצע את הפעולה ומחזיר את התוצאות.

כשמפעילים ניהול טבלאות אוטומטי (gcp.biglake.table-management.enabled), משימות תחזוקה ברקע כמו דחיסה, פקיעת תוקף של תמונות מצב ואיסוף אשפה משתמשות בחשבון השירות שמוקצה אוטומטית לקטלוג כדי לבצע אימות ישירות מול Cloud Storage ולעדכן את קובצי הנתונים הבסיסיים.

מנועים נתמכים

כדי להשתמש בהנפקת פרטי כניסה עם מנועי שאילתות, צריך להגדיר את נקודת הקצה של קטלוג REST של Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse במצב הנפקת פרטי כניסה. אי אפשר להשתמש בהנפקת פרטי כניסה בנקודות קצה של קטלוג Apache Hive.

  • מנועי קוד פתוח: מנועים נתמכים כמו Spark ו-Trino משתמשים באסימוני אחסון לטווח קצר שמונפקים על ידי הקטלוג הייעודי לזמן ריצה של Lakehouse. אפליקציית הלקוח צריכה לציין תמיכה בהנפקת פרטי כניסה בכותרת X-Iceberg-Access-Delegation.
  • BigQuery: ב-BigQuery נעשה שימוש בפרטי כניסה שהונפקו כדי לגשת ל-Cloud Storage, במקום בפרטי הכניסה של משתמשי הקצה.

ההרשאות הנדרשות לחשבון השירות

כשמצב הפצת פרטי הכניסה מופעל, צריך לוודא שלחשבונות השירות הבאים יש את התפקידים הנדרשים:

  • חשבון שירות של נקודת קצה (endpoint) של קטלוג בהקצאת משאבים אוטומטית: אתם צריכים לתת לחשבון הזה את התפקיד Storage Object User‏ (roles/storage.objectUser) בכל הקטגוריות המשויכות של Cloud Storage. בלי הגישה הזו, פרטי הכניסה שנוצרו לא יכולים לקרוא או לכתוב באחסון. אם אתם משתמשים בGoogle Cloud מסוף, לחיצה על Set bucket permissions מאמתת את התפקיד הזה. ב-Google Cloud CLI, ב-Terraform או ב-API בארכיטקטורת REST, צריך להקצות את התפקיד הזה באופן ידני.
  • חשבונות שירות של מנוע שאילתות: חשבונות שירות שמריצים משימות של מנוע שאילתות (כמו Managed Service for Apache Spark או Dataflow) צריכים את התפקיד "עריכת BigLake"‏ (roles/biglake.editor) כדי לקבל פרטי כניסה שהונפקו עם היקף כתיבה.

שימוש ב-VPC Service Controls עם שירות להנפקת פרטי כניסה

כשמשתמשים בנקודת הקצה של קטלוג ה-REST של Apache Iceberg במצב של הפצת פרטי כניסה עם קטגוריות של Cloud Storage בתוך גבולות גזרה לשירות של VPC Service Controls, אפשר לתמוך בתרחישים הבאים לדוגמה:

  • יצירה ושינוי של טבלאות Apache Iceberg בקטגוריות מוגנות: הפעלה של פקודות CREATE TABLE או פקודות DML מ-BigQuery, מ-Managed Service for Apache Spark, מ-Spark או מ-Trino כשקטגוריות של מחסן נתונים נמצאות בתוך גבולות גזרה לשירות.
  • הקצאת הרשאות קריאה מפורטות של טבלאות בתוך גבולות הגזרה של האחסון: אכיפת מדיניות IAM ברמת הטבלה באמצעות אסימוני אחסון לטווח קצר עם היקף מצומצם, בלי להקצות למשתמשי קצה או לזמני ריצה של שאילתות תפקידי IAM ישירים בקטגוריות שמוגנות על ידי גבולות הגזרה.

במצב של הנפקת פרטי כניסה, מנועי השאילתות ו-Lakehouse מאמתים את הזהות ב-Cloud Storage באמצעות פרטי כניסה שהונפקו לחשבון השירות של הקצאת המשאבים האוטומטית בנקודת הקצה של הקטלוג (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com). מכיוון שסוכן השירות הזה שייך לפרויקט בניהול Google שנמצא מחוץ לגבולות הגזרה לשירות, Cloud Storage מעריך בקשות שאומתו באמצעות פרטי הכניסה שלו כתעבורת נתונים נכנסת (ingress) לגבולות הגזרה בכל פעם שגבולות הגזרה של הפרויקט של הקטגוריה מגבילים את storage.googleapis.com. הבדיקה הזו מתבצעת גם כשנקודת הקצה של הקטלוג, משימת השאילתה והקטגוריה נמצאים באותו פרויקט ובאותם גבולות גזרה לשירות.

כדי לאפשר גישה, צריך להגדיר כלל כניסה ב-Access Context Manager בהיקף שמגן על הפרויקט של הקטגוריה, עם ההגדרות הבאות:

  • זהות המקור: serviceAccount:blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com
  • ‫Target project: הפרויקט של הקטגוריה (projects/BUCKET_PROJECT_NUMBER)
  • ‫Service:‏ storage.googleapis.com עם כל השיטות ('*'), או שיטות ספציפיות שנתמכות בשירות

בדוגמה הבאה ל-ingress.yaml, לחשבון השירות של נקודת הקצה של הקטלוג יש גישה ל-storage.googleapis.com בפרויקט של הקטגוריה:

- ingressFrom:
    identities:
    - serviceAccount:CATALOG_ENDPOINT_SERVICE_ACCOUNT
    sources:
    - accessLevel: '*'
  ingressTo:
    operations:
    - serviceName: storage.googleapis.com
      methodSelectors:
      - method: '*'
    resources:
    - projects/BUCKET_PROJECT_NUMBER

מחליפים את מה שכתוב בשדות הבאים:

  • ‫CATALOG_ENDPOINT_SERVICE_ACCOUNT: כתובת האימייל של חשבון השירות שהוקצה אוטומטית לנקודת הקצה של הקטלוג (blirc-PROJECT_NUMBER-ID@gcp-sa-biglakerestcatalog.iam.gserviceaccount.com). כדי לאחזר את כתובת האימייל הזו, מתארים את נקודת הקצה של הקטלוג:

    gcloud biglake iceberg catalogs describe CATALOG_ID \
        --project=PROJECT_ID \
        --format='value(biglake-service-account)'
    

    בפקודה הזו, CATALOG_ID הוא המזהה של נקודת הקצה של הקטלוג ו-PROJECT_ID הוא המזהה של הפרויקט שמכיל את נקודת הקצה של הקטלוג.

  • ‫BUCKET_PROJECT_NUMBER: מספר הפרויקט שמכיל את הקטגוריה של Cloud Storage.

אם בקשה ליצירת טבלה או לשאילתה נחסמת על ידי VPC Service Controls, הודעת השגיאה כוללת ערך של vpcServiceControlsUniqueIdentifier. מחפשים את יומני הביקורת Policy Denied ביומני הביקורת של Cloud, על ידי התאמת protoPayload.metadata.vpcServiceControlsUniqueId למזהה הזה, ובודקים את ingressViolations של חשבון המשתמש blirc-.... מידע נוסף זמין במאמר אחזור שגיאות של VPC Service Controls מיומני ביקורת.

המאמרים הבאים