יצירת תצוגה

יצירת תצוגה של Apache Iceberg מאפשרת לכם לרשום טבלה לוגית לא חומרית שמוגדרת ב-SQL במרחב שמות של הקטלוג הייעודי לזמן ריצה של Lakehouse, כדי שמנועים שתואמים ל-Iceberg, כמו Spark ו-Trino, יוכלו לשלוח אליה שאילתות. הקטלוג כותב את הגדרת התצוגה לקובץ metadata.json עם גרסה ב-Cloud Storage, במיקום של התצוגה.

הקטלוג מאמת את הסכימות של הטבלאות שאליהן מפנים כשיוצרים תצוגה, ולכן מרחב השמות וכל טבלה שהתצוגה מפנה אליה כבר צריכים להיות קיימים. מידע נוסף זמין במאמר סקירה כללית על תצוגות של Apache Iceberg.

לפני שמתחילים

  1. מוודאים שהחיוב מופעל בפרויקט ב- Google Cloud .

  2. מפעילים את BigLake API, אם הוא עדיין לא מופעל.

    התפקידים שנדרשים כדי להפעיל ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). כך מקצים תפקידים.

    להפעלת ה-API

  3. מגדירים את הקטלוג הייעודי לזמן ריצה של Lakehouse עם קטלוג של כמה קטגוריות או קטלוג של קטגוריה אחת. אין תמיכה בתצוגות Iceberg בקטלוגים של BigQuery או בקטלוגים מאוחדים.
  4. המגבלות של תצוגות Iceberg
  5. מקשרים את מנוע הקוד הפתוח לנקודת הקצה של קטלוג REST של Apache Iceberg.

    • ‫Spark: משתמשים ב-Spark מגרסה 3.5 ואילך עם סביבת זמן הריצה של Iceberg מגרסה 1.6.0 ואילך. כדי ש-Spark יזהה את נקודות הקצה הנתמכות של התצוגה דרך התגובה GET /v1/config של הקטלוג, צריך להשתמש בסביבת זמן הריצה של Iceberg מגרסה 1.10.0 ואילך. מגדירים את spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions כדי ש-Spark יעביר את ה-DDL של התצוגה ואת הרזולוציה לנקודת הקצה של קטלוג ה-REST של Apache Iceberg.
    • ‫Trino: משתמשים ב-Trino 482 ואילך, ומגדירים את מחבר Trino Iceberg כך שישתמש בנקודת הקצה של קטלוג REST של Apache Iceberg. למידע נוסף, קראו את המאמר תמיכה ב-Trino.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות ליצירת תצוגה, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM בפרויקט ובקטגוריית האחסון:

  • יצירת תצוגה: עורך BigLake‏ (roles/biglake.editor) – הפרויקט שלכם
  • כתיבת קובצי מטא-נתונים של תצוגה במצב פרטי הכניסה של משתמש הקצה: Storage Object User (roles/storage.objectUser) – הקטגוריה של Cloud Storage

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי ליצור תצוגה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי ליצור תצוגה, צריך את ההרשאות הבאות:

  • יוצרים תצוגה:
    • biglake.views.create במרחב השמות
    • biglake.tables.get בכל טבלת Iceberg שהתצוגה מפנה אליה
  • כתיבת קובצי מטא-נתונים של תצוגה במצב פרטי כניסה של משתמשי קצה: storage.objects.create בקטגוריה של Cloud Storage

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

ברשימה המלאה של הרשאות הצפייה מפורטים התפקידים וההרשאות הנדרשים.

יצירת מסדי נתונים טבלאיים

הדוגמאות במסמך הזה מתייחסות למרחב השמות ולטבלאות הבאים. אם הם עדיין לא קיימים, יוצרים אותם:

CREATE NAMESPACE IF NOT EXISTS my_ns;
USE my_ns;

CREATE TABLE IF NOT EXISTS employees (
  id INT,
  name STRING,
  dept STRING,
  salary DOUBLE
) USING iceberg;

CREATE TABLE IF NOT EXISTS departments (
  dept_code STRING,
  dept_name STRING,
  building STRING
) USING iceberg;

אופציונלי: מוסיפים נתונים לדוגמה כדי שתוכלו לשלוח שאילתות לתצוגות שיצרתם:

INSERT INTO my_ns.employees VALUES
  (1, 'Alice', 'Engineering', 150000.0),
  (2, 'Bob', 'Marketing', 120000.0),
  (3, 'Charlie', 'Engineering', 135000.0);

INSERT INTO my_ns.departments VALUES
  ('Engineering', 'Eng Org', 'Building A'),
  ('Marketing', 'Growth Org', 'Building B');

יצירת תצוגה

יוצרים תצוגת Iceberg מעל טבלה אחת או יותר של Iceberg.

Spark

יצירת תצוגה עם שמות חלופיים מפורשים לעמודות, הערות ברמת העמודה, הערה ברמת התצוגה ומאפיינים מותאמים אישית. המנוע פותר שמות טבלאות לא מוגדרים בהגדרת התצוגה באמצעות default-catalog ו-default-namespace של התצוגה:

CREATE VIEW eng_employees (
  emp_id COMMENT 'Unique employee ID',
  emp_name COMMENT 'Full name of employee',
  salary COMMENT 'Annual compensation'
)
COMMENT 'Curated view of Engineering department employees'
TBLPROPERTIES ('tier' = 'silver')
AS SELECT id, name, salary
FROM employees
WHERE dept = 'Engineering';

כדי ליצור תצוגה רק אם היא עדיין לא קיימת, משתמשים ב-CREATE VIEW IF NOT EXISTS. אם התצוגה קיימת, ההצהרה תתבצע בלי לשנות אותה:

CREATE VIEW IF NOT EXISTS eng_employees AS
SELECT id, name, salary FROM employees;

כברירת מחדל, הקטלוג כותב קובצי מטא-נתונים דחוסים ב-gzip‏ (.gz.metadata.json). כדי לכתוב קובצי מטא-נתונים לא דחוסים (.metadata.json), מגדירים את המאפיין write.metadata.compression-codec לערך none:

CREATE VIEW uncompressed_eng_view
TBLPROPERTIES ('write.metadata.compression-codec' = 'none')
AS SELECT id, name FROM employees WHERE dept = 'Engineering';

REST

כדי ליצור תצוגת Iceberg באמצעות ה-API בארכיטקטורת REST, שולחים בקשת POST לנקודת הקצה (endpoint) CreateIcebergView:

POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/views

גוף הבקשה חייב להכיל מטען ייעודי (payload) תקין של Iceberg CreateViewRequest JSON שמגדיר את שם התצוגה, הסכימה, גרסת התצוגה והמאפיינים הראשוניים. אם מגדירים location בהתאמה אישית, הוא צריך לעמוד בכללים של מיקום האחסון של התצוגה בהתאם לסוג הקטלוג. אי אפשר לשנות את המיקום אחרי שיוצרים את המאגר.

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud.
  • ‫CATALOG_ID: מזהה הקטלוג.
  • ‫NAMESPACE_NAME: השם של מרחב השמות של הקטלוג.

יצירת תצוגות עם צירופים, צבירות ושאילתות משנה

הגדרה של תצוגה יכולה לכלול איחודים, צבירות, ביטויי CASE, ביטויי טבלה נפוצים (CTE),‏ UNION ALL ושאילתות משנה.

יוצרים תצוגה שמחברת בין שתי טבלאות:

CREATE VIEW employee_directory AS
SELECT e.id, e.name, d.dept_name, d.building
FROM my_ns.employees e
JOIN my_ns.departments d
  ON e.dept = d.dept_code;

יוצרים תצוגה שצוברת נתונים ומשתמשת בביטוי CASE:

CREATE VIEW dept_summary AS
SELECT
  dept,
  CASE WHEN dept = 'Engineering' THEN 'TECH' ELSE 'NON-TECH' END AS category,
  COUNT(*) AS headcount,
  AVG(salary) AS avg_salary
FROM my_ns.employees
GROUP BY dept;

יוצרים תצוגה שמשתמשת ב-CTE, ב-UNION ALL ובשאילתת משנה:

CREATE VIEW high_earners_cte AS
WITH eng AS (
  SELECT id, name, salary FROM my_ns.employees WHERE dept = 'Engineering'
)
SELECT id, name FROM eng WHERE salary >= 140000.0
UNION ALL
SELECT id, name FROM my_ns.employees
WHERE id IN (SELECT id FROM my_ns.employees WHERE dept = 'Marketing');

יצירת תצוגה בתצוגה

תצוגה יכולה לשלוח שאילתה לתצוגה אחרת. כדי לשלוח שאילתה לתצוגה החיצונית, צריך את ההרשאה biglake.views.get בשתי התצוגות וגישת קריאה לכל טבלה שאחת מהתצוגות מפנה אליה.

CREATE VIEW top_eng_employees AS
SELECT emp_id, emp_name
FROM my_ns.eng_employees
WHERE salary >= 140000.0;

יצירת תצוגה עם נסיעה בזמן בטבלאות הבסיסיות

תצוגות לא שומרות תמונות מצב של הנתונים שלהן, אבל הגדרת תצוגה יכולה לשלוח שאילתה לטבלת Iceberg בסיסית עם חותמת זמן או מזהה תמונת מצב ספציפיים. התבנית הזו מתאימה ליצירת קווי בסיס היסטוריים שניתן לשחזר, לצורך תאימות, דיווח או אימון מודלים.

  1. מוסיפים רשומה כדי ליצור גרסה חדשה של הטבלה הבסיסית:

    INSERT INTO my_ns.employees VALUES (4, 'Diana', 'Engineering', 160000.0);
    
  2. יוצרים תצוגה שמוצמדת למצב של הטבלה לפני ההוספה. מחליפים את חותמת הזמן בזמן שלפני ההוספה:

    CREATE VIEW eng_employees_baseline AS
    SELECT id, name, salary
    FROM my_ns.employees TIMESTAMP AS OF 'TIMESTAMP'
    WHERE dept = 'Engineering';
    

    לחלופין, אפשר להצמיד את התצוגה למזהה ספציפי של תמונת מצב של טבלה:

    CREATE VIEW eng_employees_snapshot_audit AS
    SELECT id, name, salary
    FROM my_ns.employees VERSION AS OF SNAPSHOT_ID
    WHERE dept = 'Engineering';
    
  3. שליחת שאילתה לתצוגה ההיסטורית. התוצאה לא כוללת את הרשומה החדשה שנוספה:

    SELECT * FROM eng_employees_baseline;
    

אי אפשר להחיל את TIMESTAMP AS OF או את VERSION AS OF ישירות על מזהה תצוגה. מבטאים את הנסיעה בזמן בתוך הגדרת התצוגה, מול הטבלה הבסיסית. מידע נוסף זמין במאמר פתרון בעיות בתצוגות Iceberg.

המאמרים הבאים