סקירה כללית על תצוגות של Apache Iceberg

תצוגות Apache Iceberg מאפשרות להגדיר טבלאות לוגיות פתוחות ולא מנוהלות באמצעות SQL, ולהשתמש בהן ממנועים שתואמים ל-Iceberg, כמו Apache Spark,‏ Trino, ‏ Apache Flink, ‏ PyIceberg ו-dbt. אתם יכולים להשתמש בתצוגות של Iceberg כדי ליצור צינורות עיבוד נתונים מודולריים של SQL ולחשוף היטלים מותאמים אישית ללא העתקה בטבלאות Iceberg. התצוגות של Iceberg מנוהלות על ידי הקטלוג הייעודי לזמן ריצה של Lakehouse באמצעות נקודת הקצה של קטלוג REST של Apache Iceberg, והן פועלות בהתאם למפרט התצוגה של Apache Iceberg ולמפרט OpenAPI של Iceberg REST.

במסמך הזה, התצוגות האלה נקראות תצוגות Iceberg.

בשונה מתצוגות מורשות ב-BigQuery, תצוגות Iceberg נבדקות בצד הלקוח על ידי מנוע המחשוב. תצוגות Iceberg הן אובייקטים בקטלוג שאתם יוצרים, מנהלים ושולחים אליהם שאילתות ממנועי קוד פתוח.

יכולות

אלה היכולות שנתמכות:

  • מחזור חיים מלא של תצוגות: יצירה, החלפה, שינוי מאפיינים, הצגה, בדיקה ומחיקה של תצוגות Iceberg ממנועי קוד פתוח שתואמים ל-Iceberg, כמו Apache Spark ו-Trino.
  • הגדרות תצוגה עשירות: הגדרת תצוגות עם שמות חלופיים לעמודות, הערות ברמת העמודה וברמת התצוגה, מאפיינים בהתאמה אישית, איחודים, צבירות, ביטויי טבלה נפוצים (CTE),‏ UNION ALL, שאילתות משנה, תצוגות בתצוגות אחרות ו-Time Travel בטבלאות הבסיסיות.
  • אימות גמיש: אפשר להשתמש בפרטי כניסה של משתמשי קצה או בהנפקת פרטי כניסה עם קטגוריות רגילות של Cloud Storage וקטגוריות עם מרחב שמות היררכי.
  • תמיכה בקטלוגים: אפשר ליצור תצוגות בקטלוגים עם כמה קטגוריות ובקטלוגים עם קטגוריה אחת.

אפשר ליצור, לנהל ולשלוח שאילתות לתצוגות של Iceberg רק באמצעות מנועי קוד פתוח שתואמים ל-Iceberg, שמתחברים לנקודת הקצה של קטלוג ה-REST של Apache Iceberg. מידע נוסף מופיע בקטע מגבלות.

ב-Spark, צריך להשתמש ב-Spark 3.5 ואילך עם סביבת זמן הריצה של Iceberg בגרסה 1.6.0 ואילך. צריך להשתמש ב-Iceberg runtime בגרסה 1.10.0 ואילך כדי ש-Spark יזהה את נקודות הקצה הנתמכות של התצוגה דרך התגובה GET /v1/config של הקטלוג. מגדירים את spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions כדי ש-Spark יקצה את ה-DDL של התצוגה ואת הרזולוציה לנקודת הקצה של קטלוג ה-REST של Apache Iceberg.

ב-Trino, צריך להשתמש ב-Trino 482 ואילך. מידע נוסף זמין במאמר תמיכה ב-Trino.

איך פועלות תצוגות Iceberg

תצוגת Iceberg מאחסנת את הגדרת ה-SQL, הסכימה והמאפיינים שלה בקובץ metadata.json עם גרסאות ב-Cloud Storage, בנתיב VIEW_LOCATION/metadata/. הקטלוג הייעודי לזמן ריצה של Lakehouse עוקב אחרי מיקום המטא-נתונים הנוכחי של כל תצוגה, וחושף את התצוגה דרך נקודות הקצה של התצוגה בנקודת הקצה של קטלוג REST של Apache Iceberg.

מנוע Compute Engine שלכם מעריך את תצוגות Iceberg בצד הלקוח. כשמריצים את SELECT * FROM my_view, המנוע טוען את הגדרת התצוגה מהקטלוג, פותר כל טבלה ותצוגה בתצוגה מקוננת שאליהן יש הפניה, ואז מריץ את השאילתה בטבלאות Iceberg הבסיסיות. הקטלוג לא מריץ את השאילתה בשבילכם.

בכל פעם שמחליפים תצוגה באמצעות CREATE OR REPLACE VIEW, הקטלוג כותב קובץ metadata.json חדש, מוסיף גרסה וסכימה חדשות למטא-נתונים של התצוגה ושומר את ה-view-uuid של התצוגה. המאפיין version.history.num-entries מגביל את מספר הגרסאות שנשמרות. מידע נוסף זמין במאמר הצגת נכסים.

טבלאות ותצוגות חולקות את אותו מרחב שמות של מזהים בתוך מרחב שמות של קטלוג. אי אפשר ליצור תצוגה עם שם זהה לזה של טבלה קיימת, או להחליף טבלה בתצוגה.

תפקידים והרשאות נדרשים

מכיוון ש-Compute Engine מעריך תצוגות בצד הלקוח, כדי לשלוח שאילתה לתצוגה נדרשות הרשאות בתצוגה ובכל טבלה ותצוגה מקוננת שהתצוגה מפנה אליהן.

כדי לקבל את ההרשאות שדרושות ליצירה, לניהול ולשליחת שאילתות לתצוגות Iceberg, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט ובקטגוריית האחסון:

  • יצירה, החלפה, שינוי ומחיקה של תצוגות: עורך BigLake‏ (roles/biglake.editor) – הפרויקט שלכם
  • הצגה ובדיקה של הגדרות תצוגה: BigLake Viewer (roles/biglake.viewer) – הפרויקט שלכם
  • תצוגות של שאילתות במצב הפצת פרטי כניסה: BigLake Viewer (roles/biglake.viewer) – הפרויקט שלכם
  • תצוגות של שאילתות במצב פרטי כניסה של משתמשי קצה:
    • ‫BigLake Viewer (roles/biglake.viewer) – הפרויקט שלכם
    • צפייה באובייקטים של אחסון (roles/storage.objectViewer) – הקטגוריה של Cloud Storage
  • כתיבת קובצי מטא-נתונים של תצוגה במצב פרטי הכניסה של משתמש הקצה: Storage Object User (roles/storage.objectUser) – הקטגוריה של Cloud Storage

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי ליצור, לנהל ולשאול תצוגות Iceberg. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור, לנהל ולשאול תצוגות של Iceberg, נדרשות ההרשאות הבאות:

  • יוצרים תצוגה:
    • biglake.views.create במרחב השמות
    • biglake.tables.get בכל טבלת Iceberg שהתצוגה מפנה אליה
  • תצוגות רשימה: biglake.views.list במרחב השמות
  • כדי לקבל פרטים על התצוגה: biglake.views.get בתצוגה
  • שינוי תצוגה:
    • biglake.views.update בתצוגה
    • biglake.tables.get בכל טבלת Iceberg שההגדרה של התצוגה החדשה מפנה אליה
  • מחיקת תצוגה: biglake.views.delete בתצוגה
  • שליחת שאילתה לתצוגה:
    • ‫biglake.views.get בתצוגה ובכל התצוגות המקושרות
    • biglake.tables.get בכל טבלת Iceberg שהתצוגה מפנה אליה
  • קריאת נתוני טבלה במצב הפצת פרטי כניסה: biglake.tables.getData בכל טבלת Iceberg שהתצוגה מפנה אליה
  • קריאת מטא-נתונים של תצוגה ונתוני טבלה במצב פרטי כניסה של משתמש קצה: storage.objects.get בקטגוריה של Cloud Storage
  • כתיבת קובצי מטא-נתונים של תצוגה במצב פרטי כניסה של משתמשי קצה: storage.objects.create בקטגוריה של Cloud Storage

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

בטבלה הבאה מפורט מיפוי של כל הרשאת צפייה לפעולות בנקודות הקצה של קטלוג Apache Iceberg REST שהיא מאשרת:

הרשאה משאב פעולות בנקודות קצה (endpoint) כלול בתפקידים מוגדרים מראש
biglake.views.create מרחב שמות CreateIcebergView roles/biglake.admin, roles/biglake.editor
biglake.views.get הצגה GetIcebergView, CheckIcebergViewExists roles/biglake.admin, roles/biglake.editor, roles/biglake.viewer, roles/biglake.metadataViewer
biglake.views.update הצגה UpdateIcebergView roles/biglake.admin, roles/biglake.editor
biglake.views.delete הצגה DeleteIcebergView roles/biglake.admin, roles/biglake.editor
biglake.views.list מרחב שמות ListIcebergViewIdentifiers roles/biglake.admin, roles/biglake.editor, roles/biglake.viewer, roles/biglake.metadataViewer

מידע נוסף זמין במאמר תפקידי IAM ב-Lakehouse.

נקודות קצה (endpoints) נתמכות של תצוגות

כשמנוע מאתחל סשן קטלוג באמצעות GET /v1/config?warehouse=WAREHOUSE_URI, נקודת הקצה של קטלוג Apache Iceberg REST מפרסמת את נקודות הקצה הבאות של התצוגה ברשימה endpoints. בטבלה הבאה, {prefix} הוא projects/PROJECT_ID/catalogs/CATALOG_ID.

שיטה ונתיב פעולה תיאור ההרשאה הנדרשת
GET /v1/{prefix}/namespaces/{namespace}/views ListIcebergViewIdentifiers מציג את המזהים של תצוגות הרשימה במרחב השמות. תמיכה בערכים pageToken ו-pageSize. לא כולל טבלאות. ‫biglake.views.list במרחב השמות
POST /v1/{prefix}/namespaces/{namespace}/views CreateIcebergView יוצרת תצוגה, כותבת את קובץ ה-00000-UUID.metadata.json הראשוני ב-Cloud Storage ורושמת את התצוגה. ‫biglake.views.create במרחב השמות
GET /v1/{prefix}/namespaces/{namespace}/views/{view} GetIcebergView טעינת המטא-נתונים של התצוגה הנוכחית ומיקום המטא-נתונים. ‫biglake.views.get בתצוגה
POST /v1/{prefix}/namespaces/{namespace}/views/{view} UpdateIcebergView מאמת את הדרישות של בקרת בו-זמניות אופטימית ומאשר את העדכונים בקובץ metadata.json חדש. ‫biglake.views.update בתצוגה
DELETE /v1/{prefix}/namespaces/{namespace}/views/{view} DeleteIcebergView הסרת התצוגה מהקטלוג ומחיקת מדיניות ניהול הזהויות והרשאות הגישה (IAM) ברמת התצוגה. ‫biglake.views.delete בתצוגה
HEAD /v1/{prefix}/namespaces/{namespace}/views/{view} CheckIcebergViewExists בודקת אם תצוגה מסוימת קיימת. ‫biglake.views.get בתצוגה

פעולות ניהול

אתם יכולים לבצע את פעולות הניהול הבאות בתצוגות Iceberg:

  • יצירת תצוגה: מגדירים תצוגה של טבלה אחת או יותר של Iceberg באמצעות Spark או נקודת הקצה של קטלוג REST של Apache Iceberg‏ (CreateIcebergView).
  • הצגת תצוגות: הצגת המזהים של התצוגות במרחב שמות באמצעות Spark או נקודת הקצה של קטלוג REST של Apache Iceberg‏ (ListIcebergViewIdentifiers).
  • קבלת פרטי תצוגה: בדיקת הסכימה, הגדרת ה-SQL והמאפיינים של תצוגה באמצעות Spark או נקודת הקצה של קטלוג ה-REST של Apache Iceberg‏ (GetIcebergView).
  • הרצת שאילתות בתצוגה: הרצת שאילתות בתצוגה ממנוע קוד פתוח שתואם ל-Iceberg, כמו Spark.
  • שינוי תצוגה: החלפת הגדרת התצוגה או עדכון מאפייני התצוגה באמצעות Spark או נקודת הקצה של קטלוג REST של Apache Iceberg‏ (UpdateIcebergView).
  • מחיקת תצוגה: הסרת תצוגה מהקטלוג באמצעות Spark או נקודת הקצה של קטלוג REST של Apache Iceberg‏ (DeleteIcebergView).

מגבלות

לתצוגות Iceberg יש את המגבלות הבאות:

  • מנועי קוד פתוח בלבד. אפשר ליצור, לנהל ולשלוח שאילתות לתצוגות של Iceberg רק ממנועי קוד פתוח שתואמים ל-Iceberg, דרך נקודת הקצה של קטלוג REST של Apache Iceberg. אי אפשר להשתמש בתצוגות Iceberg ב-SQL של BigQuery, בכלי שורת הפקודה bq, במסוף Google Cloud , ב-CLI של gcloud וב-Terraform.
  • סוגי הקטלוגים הנתמכים תצוגות Iceberg נתמכות רק בקטלוגים עם כמה קטגוריות ובקטלוגים עם קטגוריה אחת. הקטלוג דוחה פעולות של תצוגות בקטלוגים של BigQuery ובקטלוגים מאוחדים, ומופיעה השגיאה 400 Bad Request (FAILED_PRECONDITION).
  • פעולות תצוגה של REST שלא נתמכות.
    • אי אפשר לשנות את השם של תצוגה (POST /v1/{prefix}/views/rename או ALTER VIEW ... RENAME TO). כדי לשנות שם של תצוגה, יוצרים תצוגה עם השם החדש ואז מוחקים את התצוגה המקורית.
    • אי אפשר לרשום קובץ תצוגה metadata.json קיים (registerView).
    • אין תמיכה בתצוגות מהותיות. יש תמיכה רק בתצוגות לוגיות של Iceberg.
  • מסע בזמן בתצוגות. אי אפשר להחיל את TIMESTAMP AS OF או את VERSION AS OF על מזהה תצוגה. הגדרת תצוגה יכולה להחיל את המסע בזמן על הטבלאות שעליהן היא מבצעת שאילתות. מידע נוסף זמין במאמר יצירת תצוגה עם נסיעה בזמן בטבלאות בסיסיות.
  • הצגת מיקום האחסון
    • בקטלוגים עם קטגוריה אחת, אין תמיכה במיקומים של תצוגות מותאמות אישית. מיקום התצוגה חייב להתאים לנתיב ברירת המחדל NAMESPACE_LOCATION/VIEW_NAME.
    • בקטלוגים עם כמה קטגוריות, מיקום התצוגה המותאמת אישית חייב להיות בתוך הקידומת של ה-URI לאחסון של מרחב השמות ובתוך מיקומי האחסון המותרים של הקטלוג.
    • אחרי שיוצרים תצוגה, אי אפשר לשנות את מיקום האחסון שלה. ניסיון להגדיר מיקום אחר ייכשל ותופיע השגיאה 400 Bad Request.

הצגת הנכסים

תצוגות Iceberg תומכות במאפייני התצוגה שמוגדרים על ידי Apache Iceberg. בטבלה הבאה מוסבר איך הקטלוג מטפל במאפיינים האלה:

מאפיין (property) ערך ברירת המחדל התנהגות
write.metadata.compression-codec gzip כברירת מחדל, הקטלוג כותב קובצי .gz.metadata.json דחוסים באמצעות gzip. מגדירים את הערך none כדי לכתוב קובצי .metadata.json לא דחוסים. הערך תלוי אותיות רישיות. אפשר להגדיר את המאפיין הזה בזמן היצירה או באמצעות ALTER VIEW ... SET TBLPROPERTIES.
write.metadata.path VIEW_LOCATION/metadata המערכת מתעלמת מהמדיניות לגבי צפיות. הקטלוג תמיד כותב קובצי מטא-נתונים של תצוגות בנתיב VIEW_LOCATION/metadata/VERSION-UUID.metadata.json.
version.history.num-entries 10 חייב להיות מספר שלם חיובי. מגביל את מספר הרשומות שהקטלוג שומר ברשימת versions של התצוגה וברשימת version-log. אם מספר הגרסאות חורג מהמגבלה, המערכת מסירה מהקטלוג את הרשומות הישנות ביותר, ותמיד שומרת את הגרסה הנוכחית ואת הגרסאות שנוספו על ידי ה-commit. יומן הגרסאות מיועד לביקורת ולהחזרה למצב קודם על ידי אדמין. Compute Engine לא תומכים בשליחת שאילתות SQL על גרסאות היסטוריות של תצוגות.

המאמרים הבאים