טבלאות Apache Iceberg שמנוהלות על ידי הקטלוג הייעודי לזמן ריצה של Lakehouse ומוצגות דרך נקודת הקצה של קטלוג REST של Apache Iceberg מאפשרות לכם לעבוד עם נתונים פתוחים וניתנים לפעולה הדדית, שתואמים למפרט הטבלה של Apache Iceberg בקוד פתוח. אתם יכולים לקרוא את הטבלאות האלה ולכתוב בהן באמצעות BigQuery או כל מנוע עיבוד שתואם ל-Iceberg.
במסמך הזה, הטבלאות האלה נקראות טבלאות Apache Iceberg מנוהלות או טבלאות Iceberg. כדי להשוות בין סוגי הטבלאות, קראו את המאמר השוואה בין סוגי הטבלאות.
אפשרויות טבלה
כדי להפעיל את היכולות הבאות, צריך להגדיר את אפשרויות הטבלה:
- יכולת פעולה הדדית של קריאה/כתיבה (גרסת טרום-השקה (Preview)): תמיכה חלקה בקריאה ובכתיבה למספר מנועים, כולל BigQuery, Managed Service for Apache Spark, מנועים שתואמים ל-Iceberg כמו מנועי קוד פתוח (Apache Spark, Apache Flink ו-Trino) ומנועים של צד שלישי (כמו Snowflake).
- ניהול טבלאות אוטומטי (גרסת טרום-השקה (Preview)): ניהול טבלאות אוטומטי (אופטימיזציה של האחסון) כמו דחיסה ואיסוף אשפה.
בנוסף ליכולות שלמעלה, היכולות הבאות נתמכות גם כברירת מחדל בטבלאות Apache Iceberg שמנוהלות על ידי Lakehouse:
- שפת הגדרת נתונים (DDL) ב-BigQuery (גרסת טרום-השקה): אתם יכולים ליצור או לעדכן טבלאות Iceberg באמצעות הצהרות DDL ב-BigQuery (לדוגמה,
CREATE TABLE,ALTER TABLEו-DROP TABLE), וגם ליצור או לעדכן טבלאות באמצעות מנועים שתואמים ל-Iceberg, כמו Spark, Flink ו-Trino. אחרי שיוצרים את הטבלאות, אפשר לקרוא ולכתוב בהן במנועים האלה וב-BigQuery, והן חלק מאותו קטלוג ומאותו מבנה של מרחב שמות, שמנוהלים על ידי הקטלוג הייעודי לזמן ריצה של Lakehouse. - תמיכה בהנפקת פרטי כניסה ל-BigQuery: ב-BigQuery אפשר להשתמש בהנפקת פרטי כניסה לאימות כשקוראים או כותבים טבלאות Iceberg בקטלוג הייעודי לזמן ריצה של Lakehouse. אפשר להגדיר הפצת פרטי כניסה ברמת הקטלוג.
פעולות ניהול
אתם יכולים לבצע את פעולות הניהול הבאות בטבלאות Apache Iceberg:
- יצירת טבלה: יוצרים טבלת Apache Iceberg במרחב שמות של קטלוג באמצעות מסוף Google Cloud , Spark, Trino, gcloud, BigQuery (גרסת טרום-השקה (Preview)) או Iceberg REST Catalog API (
CreateIcebergTable). - רישום טבלה: רישום טבלת Apache Iceberg קיימת במרחב שמות של קטלוג באמצעות gcloud או Iceberg REST Catalog API (
RegisterIcebergTable). - הצגת רשימת טבלאות: הצגת מזהי טבלאות במרחב שמות באמצעות מסוף Google Cloud , Spark, Trino, gcloud, BigQuery (גרסת טרום-השקה) או Iceberg REST Catalog API (
ListIcebergTableIdentifiers). - קבלת פרטי טבלה: בדיקת הסכימה, המאפיינים ופרטי הכניסה של הטבלה באמצעות מסוף Google Cloud , Spark, Trino, gcloud, BigQuery (גרסת טרום-השקה (Preview)) או Iceberg REST Catalog API (
GetIcebergTable,LoadIcebergTableCredentials). - הוספת נתונים: הוספת שורות נתונים לטבלאות Iceberg באמצעות Spark, Trino או BigQuery (גרסת טרום-השקה).
- הרצת שאילתות בטבלה: אתם יכולים להריץ שאילתות בטבלאות Iceberg מ-Spark, מ-Trino או מ-BigQuery באמצעות שמות טבלאות שמורכבים מארבעה חלקים.
- שינוי נתונים באמצעות DML: עדכון, מחיקה או מיזוג של שורות נתונים בטבלאות Iceberg באמצעות פקודות DML מ-BigQuery (גרסת טרום-השקה), מ-Spark או מ-Trino.
- שינוי טבלה: פיתוח סכימת הטבלה ועדכון מאפייני המטא-נתונים באמצעות מסוף Google Cloud , Spark, Trino, gcloud, BigQuery (גרסת טרום-השקה (Preview)) או Iceberg REST Catalog API (
UpdateIcebergTable). - הגדרת אפשרויות הטבלה: מגדירים מאפיינים כדי להפעיל את DML של BigQuery (גרסת טרום-השקה) וניהול אוטומטי של טבלאות.
- ניהול רשימות ACL של טבלאות: הצגה ועדכון של מדיניות IAM בטבלאות Iceberg כדי לשלוט בגישה של חשבונות משתמשים ספציפיים (
get-iam-policy,set-iam-policy). - שדרוג טבלאות Iceberg V1 ל-V2: שדרגו את טבלאות Iceberg V1 הקיימות לפורמט V2 הנתמך.
- שימוש בווקטורים של מחיקה בינארית בטבלאות Iceberg V3: הפעילו וקטורים של מחיקה בינארית כדי לשפר את ביצועי המחיקה בטבלאות Iceberg V3.
- מחיקת טבלה: הסרת רישום של טבלה מהקטלוג בלי למחוק את קובצי האחסון הבסיסיים באמצעות מסוף Google Cloud , Spark, Trino, gcloud, BigQuery (גרסת טרום-השקה) או Iceberg REST Catalog API (
DeleteIcebergTable).
המאמרים הבאים
- איך מגדירים את נקודת הקצה של קטלוג REST של Apache Iceberg
- איך שולחים שאילתה לטבלה
- איך מנהלים את רשימות ה-ACL של הטבלאות