יצירת תצוגה של Apache Iceberg מאפשרת לכם לרשום טבלה לוגית לא חומרית שמוגדרת ב-SQL במרחב שמות של הקטלוג הייעודי לזמן ריצה של Lakehouse, כדי שמנועים שתואמים ל-Iceberg, כמו Spark ו-Trino, יוכלו לשלוח אליה שאילתות. הקטלוג כותב את הגדרת התצוגה לקובץ metadata.json עם גרסה ב-Cloud Storage, במיקום של התצוגה.
הקטלוג מאמת את הסכימות של הטבלאות שאליהן מפנים כשיוצרים תצוגה, ולכן מרחב השמות וכל טבלה שהתצוגה מפנה אליה כבר צריכים להיות קיימים. מידע נוסף זמין במאמר סקירה כללית על תצוגות של Apache Iceberg.
לפני שמתחילים
-
מפעילים את BigLake API, אם הוא עדיין לא מופעל.
התפקידים שנדרשים כדי להפעיל ממשקי API
כדי להפעיל ממשקי API, צריך את ההרשאה
serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). כך מקצים תפקידים. - מגדירים את הקטלוג הייעודי לזמן ריצה של Lakehouse עם קטלוג של כמה קטגוריות או קטלוג של קטגוריה אחת. אין תמיכה בתצוגות Iceberg בקטלוגים של BigQuery או בקטלוגים מאוחדים.
- המגבלות של תצוגות Iceberg
מקשרים את מנוע הקוד הפתוח לנקודת הקצה של קטלוג REST של Apache Iceberg.
- Spark: משתמשים ב-Spark מגרסה 3.5 ואילך עם סביבת זמן הריצה של Iceberg מגרסה 1.6.0 ואילך. כדי ש-Spark יזהה את נקודות הקצה הנתמכות של התצוגה דרך התגובה
GET /v1/configשל הקטלוג, צריך להשתמש בסביבת זמן הריצה של Iceberg מגרסה 1.10.0 ואילך. מגדירים אתspark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensionsכדי ש-Spark יעביר את ה-DDL של התצוגה ואת הרזולוציה לנקודת הקצה של קטלוג ה-REST של Apache Iceberg. - Trino: משתמשים ב-Trino 482 ואילך, ומגדירים את מחבר Trino Iceberg כך שישתמש בנקודת הקצה של קטלוג REST של Apache Iceberg. למידע נוסף, קראו את המאמר תמיכה ב-Trino.
- Spark: משתמשים ב-Spark מגרסה 3.5 ואילך עם סביבת זמן הריצה של Iceberg מגרסה 1.6.0 ואילך. כדי ש-Spark יזהה את נקודות הקצה הנתמכות של התצוגה דרך התגובה
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות ליצירת תצוגה, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM בפרויקט ובקטגוריית האחסון:
-
יצירת תצוגה:
עורך BigLake (
roles/biglake.editor) – הפרויקט שלכם -
כתיבת קובצי מטא-נתונים של תצוגה במצב פרטי הכניסה של משתמש הקצה:
Storage Object User (
roles/storage.objectUser) – הקטגוריה של Cloud Storage
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
התפקידים המוגדרים מראש האלה כוללים את ההרשאות שנדרשות כדי ליצור תצוגה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי ליצור תצוגה, צריך את ההרשאות הבאות:
-
יוצרים תצוגה:
-
biglake.views.createבמרחב השמות -
biglake.tables.getבכל טבלת Iceberg שהתצוגה מפנה אליה
-
-
כתיבת קובצי מטא-נתונים של תצוגה במצב פרטי כניסה של משתמשי קצה:
storage.objects.createבקטגוריה של Cloud Storage
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
ברשימה המלאה של הרשאות הצפייה מפורטים התפקידים וההרשאות הנדרשים.
יצירת מסדי נתונים טבלאיים
הדוגמאות במסמך הזה מתייחסות למרחב השמות ולטבלאות הבאים. אם הם עדיין לא קיימים, יוצרים אותם:
CREATE NAMESPACE IF NOT EXISTS my_ns;
USE my_ns;
CREATE TABLE IF NOT EXISTS employees (
id INT,
name STRING,
dept STRING,
salary DOUBLE
) USING iceberg;
CREATE TABLE IF NOT EXISTS departments (
dept_code STRING,
dept_name STRING,
building STRING
) USING iceberg;
אופציונלי: מוסיפים נתונים לדוגמה כדי שתוכלו לשלוח שאילתות לתצוגות שיצרתם:
INSERT INTO my_ns.employees VALUES
(1, 'Alice', 'Engineering', 150000.0),
(2, 'Bob', 'Marketing', 120000.0),
(3, 'Charlie', 'Engineering', 135000.0);
INSERT INTO my_ns.departments VALUES
('Engineering', 'Eng Org', 'Building A'),
('Marketing', 'Growth Org', 'Building B');
יצירת תצוגה
יוצרים תצוגת Iceberg מעל טבלה אחת או יותר של Iceberg.
Spark
יצירת תצוגה עם שמות חלופיים מפורשים לעמודות, הערות ברמת העמודה, הערה ברמת התצוגה ומאפיינים מותאמים אישית. המנוע פותר שמות טבלאות לא מוגדרים בהגדרת התצוגה באמצעות default-catalog ו-default-namespace של התצוגה:
CREATE VIEW eng_employees (
emp_id COMMENT 'Unique employee ID',
emp_name COMMENT 'Full name of employee',
salary COMMENT 'Annual compensation'
)
COMMENT 'Curated view of Engineering department employees'
TBLPROPERTIES ('tier' = 'silver')
AS SELECT id, name, salary
FROM employees
WHERE dept = 'Engineering';
כדי ליצור תצוגה רק אם היא עדיין לא קיימת, משתמשים ב-CREATE VIEW IF NOT EXISTS. אם התצוגה קיימת, ההצהרה תתבצע בלי לשנות אותה:
CREATE VIEW IF NOT EXISTS eng_employees AS
SELECT id, name, salary FROM employees;
כברירת מחדל, הקטלוג כותב קובצי מטא-נתונים דחוסים ב-gzip (.gz.metadata.json). כדי לכתוב קובצי מטא-נתונים לא דחוסים (.metadata.json), מגדירים את המאפיין write.metadata.compression-codec לערך none:
CREATE VIEW uncompressed_eng_view
TBLPROPERTIES ('write.metadata.compression-codec' = 'none')
AS SELECT id, name FROM employees WHERE dept = 'Engineering';
REST
כדי ליצור תצוגת Iceberg באמצעות ה-API בארכיטקטורת REST, שולחים בקשת POST לנקודת הקצה (endpoint) CreateIcebergView:
POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/views
גוף הבקשה חייב להכיל מטען ייעודי (payload) תקין של Iceberg CreateViewRequest JSON שמגדיר את שם התצוגה, הסכימה, גרסת התצוגה והמאפיינים הראשוניים. אם מגדירים location בהתאמה אישית, הוא צריך לעמוד בכללים של מיקום האחסון של התצוגה בהתאם לסוג הקטלוג. אי אפשר לשנות את המיקום אחרי שיוצרים את המאגר.
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט ב- Google Cloud. -
CATALOG_ID: מזהה הקטלוג. -
NAMESPACE_NAME: השם של מרחב השמות של הקטלוג.
יצירת תצוגות עם צירופים, צבירות ושאילתות משנה
הגדרה של תצוגה יכולה לכלול איחודים, צבירות, ביטויי CASE, ביטויי טבלה נפוצים (CTE), UNION ALL ושאילתות משנה.
יוצרים תצוגה שמחברת בין שתי טבלאות:
CREATE VIEW employee_directory AS
SELECT e.id, e.name, d.dept_name, d.building
FROM my_ns.employees e
JOIN my_ns.departments d
ON e.dept = d.dept_code;
יוצרים תצוגה שצוברת נתונים ומשתמשת בביטוי CASE:
CREATE VIEW dept_summary AS
SELECT
dept,
CASE WHEN dept = 'Engineering' THEN 'TECH' ELSE 'NON-TECH' END AS category,
COUNT(*) AS headcount,
AVG(salary) AS avg_salary
FROM my_ns.employees
GROUP BY dept;
יוצרים תצוגה שמשתמשת ב-CTE, ב-UNION ALL ובשאילתת משנה:
CREATE VIEW high_earners_cte AS
WITH eng AS (
SELECT id, name, salary FROM my_ns.employees WHERE dept = 'Engineering'
)
SELECT id, name FROM eng WHERE salary >= 140000.0
UNION ALL
SELECT id, name FROM my_ns.employees
WHERE id IN (SELECT id FROM my_ns.employees WHERE dept = 'Marketing');
יצירת תצוגה בתצוגה
תצוגה יכולה לשלוח שאילתה לתצוגה אחרת. כדי לשלוח שאילתה לתצוגה החיצונית, צריך את ההרשאה biglake.views.get בשתי התצוגות וגישת קריאה לכל טבלה שאחת מהתצוגות מפנה אליה.
CREATE VIEW top_eng_employees AS
SELECT emp_id, emp_name
FROM my_ns.eng_employees
WHERE salary >= 140000.0;
יצירת תצוגה עם נסיעה בזמן בטבלאות הבסיסיות
תצוגות לא שומרות תמונות מצב של הנתונים שלהן, אבל הגדרת תצוגה יכולה לשלוח שאילתה לטבלת Iceberg בסיסית עם חותמת זמן או מזהה תמונת מצב ספציפיים. התבנית הזו מתאימה ליצירת קווי בסיס היסטוריים שניתן לשחזר, לצורך תאימות, דיווח או אימון מודלים.
מוסיפים רשומה כדי ליצור גרסה חדשה של הטבלה הבסיסית:
INSERT INTO my_ns.employees VALUES (4, 'Diana', 'Engineering', 160000.0);יוצרים תצוגה שמוצמדת למצב של הטבלה לפני ההוספה. מחליפים את חותמת הזמן בזמן שלפני ההוספה:
CREATE VIEW eng_employees_baseline AS SELECT id, name, salary FROM my_ns.employees TIMESTAMP AS OF 'TIMESTAMP' WHERE dept = 'Engineering';לחלופין, אפשר להצמיד את התצוגה למזהה ספציפי של תמונת מצב של טבלה:
CREATE VIEW eng_employees_snapshot_audit AS SELECT id, name, salary FROM my_ns.employees VERSION AS OF SNAPSHOT_ID WHERE dept = 'Engineering';שליחת שאילתה לתצוגה ההיסטורית. התוצאה לא כוללת את הרשומה החדשה שנוספה:
SELECT * FROM eng_employees_baseline;
אי אפשר להחיל את TIMESTAMP AS OF או את VERSION AS OF ישירות על מזהה תצוגה. מבטאים את הנסיעה בזמן בתוך הגדרת התצוגה, מול הטבלה הבסיסית. מידע נוסף זמין במאמר פתרון בעיות בתצוגות Iceberg.