אבטחה ברמת השורה וברמת העמודה

כדי להגביל את השורות שחשבונות המשתמשים יכולים לראות, וכדי להסתיר או לחסום ערכים רגישים בעמודות בלי לשכפל את קובצי Cloud Storage הבסיסיים, אתם יכולים להגדיר ב-BigQuery בקרת גישה ברמת פירוט גבוהה (FGAC) בטבלאות Apache Iceberg שמנוהלות על ידי הקטלוג הייעודי לזמן ריצה של Lakehouse. ‫FGAC כולל אבטחה ברמת השורה ואבטחה ברמת העמודה עם אנונימיזציה דינמית של נתונים. במאמר הזה נסביר איך ליצור כללי מדיניות גישה ברמת השורה ולהחיל כללי מדיניות נתונים ישירות על עמודות.

כדי לצרף ולנהל כללי מדיניות גישה ברמת השורה וכללי מדיניות נתונים ברמת העמודה בטבלאות Apache Iceberg, מריצים הצהרות של שפת הגדרת נתונים (DDL) של GoogleSQL ב-BigQuery, שמשתמשות במזהה הטבלה P.C.N.T (Project.Catalog.Namespace.Table) שמורכב מארבעה חלקים. כשהקטלוג משתמש במצב הפצת פרטי כניסה, נקודת הקצה של קטלוג REST של Apache Iceberg אוכפת הגנה על הפצת פרטי כניסה בטבלאות שמוגנות באמצעות FGAC. נקודת הקצה מחזירה קוד סטטוס של HTTP‏ 403 Forbidden לבקשות ישירות של פרטי כניסה ל-Cloud Storage, אלא אם לישות המורשית ששולחת את הבקשה יש גישה ללא אנונימיזציה (RAW_DATA_ACCESS_POLICY) לכל עמודה מוגנת, ואם לטבלה יש מדיניות גישה ברמת השורה, גישה לא מסוננת לשורות (FILTER USING (TRUE)).

מגבלות

בקרת גישה ברמת פירוט גבוהה בטבלאות Apache Iceberg שמנוהלות על ידי קטלוג ייעודי לזמן ריצה של Lakehouse כפופה למגבלות הבאות, בנוסף למגבלות הרגילות של מדיניות הנתונים בעמודות ולמגבלות האבטחה ברמת השורה:

  • רק SQL DDL: אפשר לצרף, לעדכן או לנתק מדיניות נתונים של עמודות וליצור או למחוק מדיניות גישה ברמת השורה רק באמצעות הצהרות BigQuery GoogleSQL DDL‏ (CREATE TABLE,‏ ALTER TABLE ... ADD COLUMN,‏ ALTER TABLE ... ALTER COLUMN ... SET OPTIONS,‏ CREATE ROW ACCESS POLICY ו-DROP ROW ACCESS POLICY). אי אפשר לנהל את הקישורים האלה לטבלאות באמצעות מסוף Google Cloud ,‏ BigQuery API‏ (tables.patch), כלי שורת הפקודה של BigQuery או Terraform.
  • חובה להשתמש במזהה טבלה של P.C.N.T עם ארבעה חלקים: כשמפנים לטבלת Apache Iceberg שמנוהלת על ידי קטלוג ייעודי לזמן ריצה של Lakehouse בהצהרות או בשאילתות DDL, צריך להשתמש בפורמט P.C.N.T (PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME) עם ארבעה חלקים.
  • אין תמיכה בתגי מדיניות ובתגי משילות מידע (data governance): בטבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse, אין תמיכה בתגי מדיניות (וטקסונומיות) של Data Catalog ובתגי משילות מידע של Resource Manager. כדי לאכוף אבטחה ברמת העמודה ואנונימיזציה של נתונים, צריך להחיל מדיניות נתונים ישירות על עמודות.
  • אין תמיכה בשאילתות משנה במדיניות גישה ברמת השורה: מדיניות גישה ברמת השורה בטבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse לא תומכת בשאילתות משנה בביטוי הסינון FILTER USING.
  • מעקה בטיחות להנפקת פרטי כניסה למנועי קוד פתוח: בקטלוגים שמוגדרים עם מצב הנפקת פרטי כניסה, נקודת הקצה של קטלוג Apache Iceberg REST מחזירה קוד סטטוס של HTTP‏ 403 Forbidden כשלקוח, כמו מנוע קוד פתוח, מבקש פרטי כניסה זמניים ל-Cloud Storage בשביל טבלה שמוגנת באמצעות FGAC. כדי לקבל פרטי כניסה שהונפקו, לחשבון המשתמש שמבצע את הקריאה צריכה להיות גישה לא מוסתרת (RAW_DATA_ACCESS_POLICY) לכל עמודה מוגנת. אם בטבלה יש כללי מדיניות גישה ברמת השורה, צריכה להיות לו גישה לא מסוננת לשורות (FILTER USING (TRUE)). במאמר הגדרת פרטי כניסה למנוע קוד פתוח בטבלאות שמוגנות באמצעות FGAC מוסבר איך עושים את זה.
  • מצב פרטי כניסה של משתמשי קצה: בקטלוגים שלא משתמשים במצב הפצת פרטי כניסה, BigQuery אוכף מדיניות גישה ברמת השורה וברמת העמודה רק על שאילתות שפועלות ב-BigQuery, ולא כשחשבונות משתמשים קוראים ישירות את קובצי Cloud Storage הבסיסיים. כדי למנוע מישויות מורשות לעקוף את בקרת הגישה המפורטת (FGAC) באמצעות קריאה ישירה של קובצי האחסון, השתמשו במצב הנפקת פרטי כניסה.
  • אין תמיכה בקטלוגים מאוחדים: אי אפשר להשתמש בבקרת גישה ברמה מפורטת (אבטחה ברמת השורה ומדיניות נתונים ברמת העמודה) בקטלוגים מאוחדים או בטבלאות חיצוניות שהגישה אליהן מתבצעת באמצעות חיבורים חוצי-עננים.

לפני שמתחילים

  1. מוודאים שהחיוב מופעל בפרויקט ב- Google Cloud .

  2. מפעילים את BigLake API ואת BigQuery Data Policy API, אם הם עדיין לא מופעלים.

    התפקידים שנדרשים כדי להפעיל ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). כך מקצים תפקידים.

    הפעלת ממשקי ה-API

  3. מגדירים את הקטלוג הייעודי לזמן ריצה של Lakehouse עם נקודת הקצה של קטלוג REST של Apache Iceberg במצב הנפקת פרטי כניסה.
  4. יוצרים טבלת Apache Iceberg.

התפקידים הנדרשים

כדי לנהל ולשלוח שאילתות לגבי מדיניות של בקרת גישה פרטנית בטבלאות Apache Iceberg, צריך הרשאות של ניהול זהויות והרשאות גישה (IAM) גם בטבלת Lakehouse (biglake.*) וגם במדיניות הנתונים או במשימת השאילתה של BigQuery (bigquery.*).

כדי לקבל את ההרשאות שנדרשות להגדרה ולשליחת שאילתות של אבטחה ברמת השורה וברמת העמודה בטבלאות Apache Iceberg, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים:

  • יצירה, עדכון, מחיקה או מתן גישה למדיניות נתונים:
  • צירוף או ניתוק של מדיניות נתונים בעמודה בטבלת Apache Iceberg:
  • יצירה, עדכון, הצגה ברשימה או מחיקה של מדיניות גישה ברמת השורה בטבלת Apache Iceberg:
    • ‫BigLake Admin (roles/biglake.admin) בטבלה, במרחב השמות, בקטלוג או בפרויקט
    • BigQuery Job User ‏(roles/bigquery.jobUser) בפרויקט השאילתה
  • שליחת שאילתה לטבלת Apache Iceberg שמוגנת באמצעות FGAC:
    • ‫BigLake Viewer (roles/biglake.viewer) בטבלה, במרחב השמות, בקטלוג או בפרויקט
    • BigQuery Job User ‏(roles/bigquery.jobUser) בפרויקט השאילתה

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי להגדיר אבטחה ברמת השורה וברמת העמודה בטבלאות Apache Iceberg, ולשלוח אליהן שאילתות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי להגדיר ולשלוח שאילתות לאבטחה ברמת השורה וברמת העמודה בטבלאות Apache Iceberg, נדרשות ההרשאות הבאות:

  • יצירה, עדכון, מחיקה או מתן גישה למדיניות נתונים:
    • bigquery.dataPolicies.create בפרויקט
    • bigquery.dataPolicies.update במדיניות בנושא נתונים
    • bigquery.dataPolicies.delete במדיניות בנושא נתונים
    • bigquery.dataPolicies.get במדיניות בנושא נתונים
    • bigquery.dataPolicies.setIamPolicy במדיניות בנושא נתונים
    • ‫bigquery.jobs.create בפרויקט של השאילתה
  • מצרפים מדיניות נתונים לעמודה בטבלת Apache Iceberg:
    • biglake.tables.setColumnDataPolicy בטבלה (או מרחב השמות ב-CREATE TABLE)
    • biglake.tables.update בטבלה (או biglake.tables.create ב-CREATE TABLE)
    • bigquery.dataPolicies.get במדיניות בנושא נתונים
    • bigquery.dataPolicies.attach במדיניות בנושא נתונים
    • ‫bigquery.jobs.create בפרויקט של השאילתה
  • ניתוק מדיניות נתונים מעמודה בטבלת Apache Iceberg:
    • biglake.tables.setColumnDataPolicy בטבלה
    • biglake.tables.update בטבלה
    • ‫bigquery.jobs.create בפרויקט של השאילתה
  • יצירה או עדכון של מדיניות גישה ברמת השורה:
    • biglake.rowAccessPolicies.create בטבלה
    • biglake.rowAccessPolicies.update בטבלה
    • biglake.rowAccessPolicies.setIamPolicy בטבלה
    • biglake.tables.getData בטבלת היעד
    • ‫bigquery.jobs.create בפרויקט של השאילתה
  • הצגה של כללי מדיניות גישה ברמת השורה:
    • biglake.rowAccessPolicies.list בטבלה
    • biglake.rowAccessPolicies.get בטבלה
    • biglake.rowAccessPolicies.getIamPolicy בטבלה
  • מוחקים מדיניות אחת או את כל כללי המדיניות של גישה ברמת השורה:
    • biglake.rowAccessPolicies.delete בטבלה
    • biglake.rowAccessPolicies.setIamPolicy בטבלה
    • biglake.rowAccessPolicies.list בטבלה (כשמבטלים את כל כללי המדיניות)
    • ‫bigquery.jobs.create בפרויקט של השאילתה
  • שליחת שאילתה לטבלת Apache Iceberg שמוגנת באמצעות FGAC:
    • biglake.tables.get בטבלה
    • biglake.tables.getData בטבלה
    • ‫bigquery.jobs.create בפרויקט של השאילתה

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

בנוסף להרשאות IAM ברמת הטבלה, כללי המדיניות המפורטים בטבלה צריכים גם לאשר את חשבונות המשתמשים שמבצעים את השאילתות:

  • אבטחה ברמת העמודה: צריך להעניק לחשבון המשתמש את ההרשאה FINE_GRAINED_READ ברשימת grantees של RAW_DATA_ACCESS_POLICY (לערכים לא מוסתרים) או של DATA_MASKING_POLICY (לערכים מוסתרים) שמצורפת לעמודה ששלחתם אליה שאילתה.
  • אבטחה ברמת השורה: החשבון הראשי צריך להיכלל ב-grantee_list של מדיניות גישה ברמת השורה בטבלה, שמעניקה לו באופן אוטומטי את התפקיד roles/biglake.filteredDataViewer שמנוהל על ידי המערכת. התפקיד הזה כולל את ההרשאה biglake.rowAccessPolicies.getFilteredData.

בנוסף להרשאות IAM ברמת הטבלה, כללי המדיניות הפרטניים בטבלה צריכים גם לתת גישה לחשבונות המשתמשים שמריצים את השאילתות:

  • אבטחה ברמת העמודה: צריך להעניק לחשבון המשתמש את ההרשאה FINE_GRAINED_READ ברשימת grantees של RAW_DATA_ACCESS_POLICY (לערכים לא מוסתרים) או של DATA_MASKING_POLICY (לערכים מוסתרים) שמצורפת לעמודה ששלחתם אליה שאילתה.
  • אבטחה ברמת השורה: החשבון הראשי צריך להיכלל ב-grantee_list של מדיניות גישה ברמת השורה בטבלה, שמעניקה לו באופן אוטומטי את התפקיד roles/biglake.filteredDataViewer שמנוהל על ידי המערכת. התפקיד הזה כולל את ההרשאה biglake.rowAccessPolicies.getFilteredData.

הגדרת אבטחה ברמת העמודה והסתרת נתונים

כדי להגדיר בקרת גישה ברמת העמודה והסתרת מידע דינמית בטבלאות Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse, צריך ליצור כללי מדיניות נתונים ב-BigQuery ולצרף אותם ישירות לעמודות בטבלה באמצעות GoogleSQL DDL. למידע נוסף על מושגים כלליים והגדרות של כללי הסתרה, קראו את המאמרים מבוא להסתרת נתונים והסתרת נתונים באמצעות החלת מדיניות נתונים על עמודה.

יצירת מדיניות נתונים

מדיניות נתונים מגדירה כלל הסתרת נתונים (DATA_MASKING_POLICY) או גישה לנתונים גולמיים שלא הוסתרו (RAW_DATA_ACCESS_POLICY). אפשר ליצור כללי מדיניות נתונים באמצעות GoogleSQL DDL או BigQuery Data Policy API v2. בהתאם לתרחיש לדוגמה, מריצים את אחת מההצהרות הבאות:

  • כדי ליצור מדיניות נתונים עם ביטוי הסתרה מוגדר מראש (כמו SHA256 או ALWAYS_NULL), מריצים את ההצהרה CREATE DATA_POLICY:

    CREATE DATA_POLICY IF NOT EXISTS `PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME`
    OPTIONS (
        data_policy_type = "DATA_MASKING_POLICY",
        masking_expression = "SHA256"
    );
    
  • כדי ליצור מדיניות גישה לנתונים גולמיים שמאשרת לחשבונות משתמשים לקרוא ערכי עמודות לא מוסתרים, מגדירים את data_policy_type ל-RAW_DATA_ACCESS_POLICY:

    CREATE DATA_POLICY IF NOT EXISTS `PROJECT_ID.region-LOCATION.RAW_POLICY_NAME`
    OPTIONS (
        data_policy_type = "RAW_DATA_ACCESS_POLICY"
    );
    

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud.
  • ‫LOCATION: האזור או המיקום במספר אזורים של מדיניות הנתונים (לדוגמה, us או us-central1).
  • ‫MASKING_POLICY_NAME: שם ייחודי למדיניות של הסתרת המידע.
  • ‫RAW_POLICY_NAME: שם ייחודי למדיניות הגישה לנתונים גולמיים.

הענקה או ביטול של הרשאת קריאה מפורטת

כשמחילים מדיניות נתונים ישירות על עמודות, הרשימה grantees במדיניות הנתונים קובעת את הרשאת הקריאה בזמן השאילתה. ב-GoogleSQL, אתם מעניקים או מבטלים את ההרשאה FINE_GRAINED_READ במדיניות הנתונים:

  • הקצאת FINE_GRAINED_READ ב-DATA_MASKING_POLICY נותנת לחשבון המשתמש גישת קריאה מוסתרת לעמודות שמוגנות על ידי המדיניות הזו.
  • הקצאת ההרשאה FINE_GRAINED_READ ב-RAW_DATA_ACCESS_POLICY נותנת לחשבון הראשי גישת קריאה לא מוסתרת (גולמית) לעמודות שמוגנות על ידי המדיניות הזו.
  • משתמש: principal://goog/subject/USER_EMAIL
  • חשבון שירות: principal://iam.googleapis.com/projects/-/serviceAccounts/SA_EMAIL
  • קבוצה ב-Google: principalSet://goog/group/GROUP_EMAIL

כדי לנהל גישת קריאה פרטנית במדיניות נתונים, מריצים את אחת מההצהרות הבאות:

כדי לתת לחשבונות משתמשים גישת קריאה פרטנית למדיניות נתונים, מריצים את ההצהרה GRANT FINE_GRAINED_READ:

GRANT FINE_GRAINED_READ ON DATA_POLICY `PROJECT_ID.region-LOCATION.DATA_POLICY_NAME`
TO "principal://goog/subject/USER_EMAIL",
    "principalSet://goog/group/GROUP_EMAIL";

כדי לבטל את הרשאת הקריאה המפורטת של חשבון ראשי, מריצים את ההצהרה REVOKE FINE_GRAINED_READ:

REVOKE FINE_GRAINED_READ ON DATA_POLICY `PROJECT_ID.region-LOCATION.DATA_POLICY_NAME`
FROM "principal://goog/subject/USER_EMAIL";

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫LOCATION: האזור או המיקום במספר אזורים של מדיניות הנתונים.
  • ‫DATA_POLICY_NAME: השם של מדיניות הגישה לנתונים הגולמיים או למדיניות של הסתרת המידע.
  • ‫USER_EMAIL: כתובת האימייל של חשבון המשתמש.
  • ‫GROUP_EMAIL: כתובת האימייל של קבוצת Google.

צירוף מדיניות נתונים לעמודות באמצעות P.C.N.T DDL

כדי לצרף מדיניות נתונים לעמודות בטבלת Apache Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse, משתמשים בפורמט P.C.N.T (PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME) שמורכב מארבעה חלקים:

מזהה. בהתאם לתרחיש לדוגמה, מריצים את אחת מההצהרות הבאות:

  • כדי לצרף מדיניות נתונים לעמודה קיימת, מוסיפים (+=) לאפשרות data_policies של העמודה ומריצים את ההצהרה ALTER TABLE ... ALTER COLUMN SET OPTIONS:

    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ALTER COLUMN COLUMN_NAME SET OPTIONS (
      data_policies += ["{'name':'PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME'}",
                        "{'name':'PROJECT_ID.region-LOCATION.RAW_POLICY_NAME'}"]
    );
    
  • כדי להוסיף עמודה חדשה עם מדיניות נתונים מצורפת, מריצים את ההצהרה ALTER TABLE ... ADD COLUMN:

    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ADD COLUMN COLUMN_NAME STRING OPTIONS (
      data_policies = ["{'name':'PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME'}"]
    );
    
  • כדי ליצור טבלת Apache Iceberg חדשה עם מדיניות נתונים מצורפת לעמודות, מריצים את ההצהרה CREATE TABLE:

    CREATE TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME` (
      id INT64,
      COLUMN_NAME STRING OPTIONS (
        data_policies = ["{'name':'PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME'}",
                         "{'name':'PROJECT_ID.region-LOCATION.RAW_POLICY_NAME'}"]
      )
    );
    

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: המזהה P.C.N.T של טבלת Apache Iceberg, שמורכב מארבעה חלקים.
  • ‫COLUMN_NAME: שם העמודה שרוצים להגן עליה.
  • ‫LOCATION: האזור או המיקום במספר אזורים של מדיניות הנתונים.
  • ‫MASKING_POLICY_NAME ו-RAW_POLICY_NAME: השמות של מדיניות הנתונים שרוצים לצרף.

ניתוק או החלפה של מדיניות נתונים בעמודות

כדי להסיר או להחליף מדיניות נתונים בעמודה בטבלת Apache Iceberg, משתמשים באחת מההצהרות הבאות עם מזהה הטבלה P.C.N.T שמורכב מארבעה חלקים:

  • כדי להסיר את כל מדיניות הנתונים מעמודה, מגדירים את data_policies למערך ריק ([]):

    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ALTER COLUMN COLUMN_NAME SET OPTIONS (
      data_policies = []
    );
    
  • כדי להחליף את מדיניות הנתונים הקיימת בעמודה ברשימה חדשה, משתמשים באופרטור = במקום באופרטור +=:

    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ALTER COLUMN COLUMN_NAME SET OPTIONS (
      data_policies = ["{'name':'PROJECT_ID.region-LOCATION.NEW_POLICY_NAME'}"]
    );
    
  • כדי למחוק מדיניות נתונים אחרי שמנתקים אותה מכל עמודות הטבלה שמפנות אליה, מריצים את ההצהרה DROP DATA_POLICY:

    DROP DATA_POLICY IF EXISTS `PROJECT_ID.region-LOCATION.MASKING_POLICY_NAME`;
    

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: המזהה של טבלת Apache Iceberg, שמורכב מ-4 חלקים: P.C.N.T
  • ‫COLUMN_NAME: שם העמודה
  • ‫LOCATION: המיקום של מדיניות הנתונים באזור או במספר אזורים
  • ‫NEW_POLICY_NAME ו-MASKING_POLICY_NAME: השמות של כללי מדיניות הנתונים שרוצים לצרף או למחוק.

הגדרת אבטחה ברמת השורה

כדי להגביל את הגישה לשורות ספציפיות בטבלת Apache Iceberg שמנוהלת על ידי קטלוג ייעודי לזמן ריצה של Lakehouse, אתם יכולים ליצור כללי מדיניות גישה ברמת השורה באמצעות הצהרות GoogleSQL DDL שמשתמשות במזהה הטבלה P.C.N.T שמורכב מארבעה חלקים. למידע נוסף על מושגים כלליים של אבטחה ברמת השורה ועל סמנטיקה של מסננים, קראו את המאמר שימוש באבטחה ברמת השורה.

יצירה או עדכון של מדיניות גישה ברמת השורה

כשמגדירים אבטחה ברמת השורה בטבלה, יוצרים מדיניות עם סעיף FILTER USING (TRUE) לאדמינים ולחשבונות שירות של כותבים שצריכים גישה מלאה לשורות, ואז יוצרים כללי מדיניות מסוננים לקבוצות משתמשים ספציפיות.

  1. נותנים גישה מלאה לשורות (FILTER USING (TRUE)) לאדמינים של הטבלה או לחשבונות שירות עם הרשאת כתיבה:

    CREATE OR REPLACE ROW ACCESS POLICY ADMIN_POLICY_NAME
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    GRANT TO ("group:ADMIN_GROUP_EMAIL")
    FILTER USING (TRUE);
    
  2. יוצרים מדיניות גישה ברמת השורה שמסננת שורות על סמך ביטוי פרדיקט:

    CREATE OR REPLACE ROW ACCESS POLICY FILTER_POLICY_NAME
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    GRANT TO ("user:USER_EMAIL", "group:ANALYST_GROUP_EMAIL")
    FILTER USING (FILTER_EXPRESSION);
    

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫ADMIN_POLICY_NAME ו-FILTER_POLICY_NAME: שמות ייחודיים למדיניות הגישה ברמת השורה בטבלה.
    • ‫PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: המזהה P.C.N.T של טבלת Apache Iceberg, שמורכב מארבעה חלקים.
    • ‫ADMIN_GROUP_EMAIL,‏ USER_EMAIL ו-ANALYST_GROUP_EMAIL: כתובות האימייל של קבוצות Google או של המשתמשים שקיבלו גישה לשורות.
    • ‫FILTER_EXPRESSION: ביטוי של מסנן בוליאני שמוערך כמו פסוקית WHERE (לדוגמה, region = 'APAC').

מחיקת כללי מדיניות גישה ברמת השורה

כדי להסיר כללי מדיניות גישה ברמת השורה מטבלת Apache Iceberg, מריצים אחת מההצהרות הבאות:

  • כדי למחוק מדיניות גישה ספציפית ברמת השורה כשמדיניות גישה אחרת ברמת השורה נשארת בטבלה, מריצים את ההצהרה DROP ROW ACCESS POLICY:

    DROP ROW ACCESS POLICY IF EXISTS FILTER_POLICY_NAME
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`;
    
  • כדי למחוק את מדיניות הגישה האחרונה שנותרה ברמת השורה או את כל כללי מדיניות הגישה ברמת השורה בטבלה, מריצים את ההצהרה DROP ALL ROW ACCESS POLICIES:

    DROP ALL ROW ACCESS POLICIES
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`;
    

מחליפים את מה שכתוב בשדות הבאים:

  • ‫FILTER_POLICY_NAME: השם של מדיניות הגישה ברמת השורה שרוצים למחוק.
  • ‫PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: המזהה של טבלת Apache Iceberg, שמורכב מ-4 חלקים: P.C.N.T

שליחת שאילתות לטבלה שמוגנת באמצעות FGAC ב-BigQuery

כשחשבון משתמש שולח שאילתה לטבלת Apache Iceberg שמוגנת באמצעות FGAC ב-BigQuery, באמצעות המזהה P.C.N.T שמורכב מארבעה חלקים, BigQuery מעריך את כללי המדיניות ברמת השורה וברמת העמודה בזמן השאילתה:

  • הערכה ברמת השורה: חשבונות משתמשים ב-grantee_list של מדיניות אחת או יותר של בקרת גישה ברמת השורה רואים את איחוד השורות שתואמות לפרדיקטים של filter_expression במדיניות הזו. חשבונות משתמשים שלא נכללים במדיניות גישה ברמת השורה בטבלה לא רואים שורות בכלל.
  • הערכה ברמת העמודה:
    • חשבונות משתמשים שקיבלו את ההרשאה FINE_GRAINED_READ ב-RAW_DATA_ACCESS_POLICY שמצורף לעמודה יכולים לראות נתונים לא מוסתרים (גולמיים).
    • חשבונות משתמשים שקיבלו את התפקיד FINE_GRAINED_READ ב-DATA_MASKING_POLICY (ולא ב-RAW_DATA_ACCESS_POLICY לאותה עמודה) רואים נתונים מוסתרים. אם כמה כללי מדיניות של הסתרת מידע חלים על אותו חשבון משתמש בעמודה, BigQuery בוחר את הכלל לפי היררכיית הכללים של הסתרת המידע.
    • חשבונות משתמשים שלא קיבלו את ההרשאה FINE_GRAINED_READ באף מדיניות נתונים שמצורפת לעמודה מוגנת, יקבלו את השגיאה Access Denied כשישלחו שאילתה לעמודה הזו. חשבונות המשתמשים האלה עדיין יכולים לשלוח שאילתות לעמודות לא מוגנות באופן מפורש או להשתמש ב-SELECT * EXCEPT(PROTECTED_COLUMN).

לדוגמה, השאילתה הבאה מחזירה ערכים של שורות ועמודות בהתאם למדיניות של מבצע הקריאה:

SELECT id, COLUMN_NAME
FROM `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`;

מחליפים את מה שכתוב בשדות הבאים:

  • ‫COLUMN_NAME: שם העמודה שרוצים לשלוח אליה שאילתה.
  • ‫PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: המזהה P.C.N.T של טבלת Apache Iceberg, שמורכב מארבעה חלקים.

הגדרת פרטי כניסה למנוע קוד פתוח בטבלאות שמוגנות באמצעות FGAC

כשמנוע שאילתות בקוד פתוח (כמו Apache Spark, ‏Trino או Apache Flink) קורא מטבלה של Apache Iceberg או כותב אליה בקטלוג שמוגדר עם מצב הפצת פרטי כניסה, המנוע קורא לנקודת הקצה של קטלוג ה-REST של Apache Iceberg כדי לקבל פרטי כניסה ל-Cloud Storage עם היקף מצומצם וזמן קצר.

בגלל שהגישה הישירה לקבצים ב-Cloud Storage עוקפת את הערכת המדיניות בזמן השאילתה ב-BigQuery, נקודת הקצה של קטלוג ה-REST של Apache Iceberg אוכפת מעקה בטיחות להנפקת פרטי כניסה. אם ישות מורשית מבקשת פרטי כניסה לאחסון של טבלה שמוגנת באמצעות FGAC, מעקה הבטיחות מחזיר קוד סטטוס של HTTP‏ 403 Forbidden, אלא אם לישות המורשית יש גישה מלאה לטבלה:

  • גישה לנתונים לא מוסתרים (גולמיים) בכל העמודות המוגנות: לכל עמודה מוגנת בטבלה צריך להיות גם RAW_DATA_ACCESS_POLICY מצורף. נותנים לחשבון המשתמש שמבצע את הקריאה את ההרשאה FINE_GRAINED_READ ב-RAW_DATA_ACCESS_POLICY.
  • גישה לא מסוננת לשורות (כל השורות): אם לטבלה מצורפות מדיניות גישה ברמת השורה, מקצים לחשבון הראשי ששולח את הקריאה מדיניות גישה ברמת השורה עם פסוקית FILTER USING (TRUE).

מתן גישה מלאה לחשבון שירות של כותב מנוע בקוד פתוח

חשבון שירות שמריץ משימות של מנוע קוד פתוח, כמו משימות ב-Managed Service for Apache Spark או ב-Dataflow, צריך גישה מלאה לטבלה כדי לקבל פרטי כניסה שהונפקו לטבלת Apache Iceberg שמוגנת באמצעות FGAC. כדי לתת את הגישה הזו, מבצעים את השלבים הבאים ב-BigQuery:

  1. מתן גישה לנתונים גולמיים (RAW_DATA_ACCESS_POLICY) בכל העמודות המוגנות: מצרפים RAW_DATA_ACCESS_POLICY לכל עמודה מוגנת בטבלה, ואז נותנים את ההרשאה FINE_GRAINED_READ לחשבון השירות באמצעות מזהה החשבון שלו ב-IAM v2,‏ principal://IAM.googleapis.com/projects/-/serviceAccounts/SA_EMAIL:

    -- 1. Create a raw data access policy (if not already created)
    CREATE DATA_POLICY IF NOT EXISTS `PROJECT_ID.region-LOCATION.RAW_POLICY_NAME`
    OPTIONS (
      data_policy_type = "RAW_DATA_ACCESS_POLICY"
    );
    
    -- 2. Grant FINE_GRAINED_READ on the raw data access policy to the writer service account
    GRANT FINE_GRAINED_READ ON DATA_POLICY `PROJECT_ID.region-LOCATION.RAW_POLICY_NAME`
    TO "principal://iam.googleapis.com/projects/-/serviceAccounts/WRITER_SA_EMAIL";
    
    -- 3. Attach the raw data access policy to each protected column on the table
    ALTER TABLE `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    ALTER COLUMN COLUMN_NAME SET OPTIONS (
      data_policies += ["{'name':'PROJECT_ID.region-LOCATION.RAW_POLICY_NAME'}"]
    );
    
  2. הקצאת מדיניות גישה לכל השורות אם מופעלת אבטחה ברמת השורה: אם לטבלה יש מדיניות גישה ברמת השורה, מקצים לחשבון השירות מדיניות גישה ברמת השורה עם סעיף FILTER USING (TRUE):

    CREATE OR REPLACE ROW ACCESS POLICY WRITER_ROW_POLICY_NAME
    ON `PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME`
    GRANT TO ("serviceAccount:WRITER_SA_EMAIL")
    FILTER USING (TRUE);
    

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID.CATALOG_ID.NAMESPACE.TABLE_NAME: המזהה של טבלת Apache Iceberg, שמורכב מ-4 חלקים: P.C.N.T
  • ‫LOCATION: המיקום של מדיניות הנתונים באזור או במספר אזורים
  • ‫RAW_POLICY_NAME: השם של מדיניות הגישה לנתונים גולמיים
  • ‫COLUMN_NAME: השם של כל עמודה מוגנת בטבלה
  • ‫WRITER_ROW_POLICY_NAME: שם ייחודי למדיניות הגישה ברמת השורה של הכותב
  • ‫WRITER_SA_EMAIL: כתובת האימייל של חשבון השירות ששולח קריאה לנקודת הקצה של קטלוג REST של Apache Iceberg, לדוגמה spark-writer-sa@PROJECT_ID.iam.gserviceaccount.com.

המאמרים הבאים