ניהול טבלאות בקטלוג REST של Iceberg ב-Lakehouse

‫Lakehouse for Apache Iceberg תומך ביצירה, בניהול ובשאילתות של טבלאות קטלוג Lakehouse Iceberg REST שמאוחסנות ב-Cloud Storage.

הטבלאות האלה מנוהלות דרך קטלוג זמן הריצה של Lakehouse, וניתן לקרוא אותן באמצעות BigQuery ומנועי קוד פתוח מקושרים. פעולות כתיבה עדיין מוגבלות למנוע הספציפי שיצר את הטבלה במקור.

לפני שמתחילים

בסקירה הכללית של הטבלה מוסבר על הסוגים השונים של הטבלאות ועל ההשלכות של השימוש בהן.

יש תמיכה רק בטבלאות Apache Iceberg V2 (זמינות כללית) ו-V3 (גרסת Preview). אין תמיכה בטבלאות Iceberg V1. כדי לשדרג טבלאות קיימות בגרסה 1, אפשר לעיין במאמר שדרוג טבלאות Iceberg מגרסה 1 לגרסה 2.

  1. מוודאים שהחיוב מופעל בפרויקט Google Cloud .

  2. מפעילים את BigLake API.

    תפקידים שנדרשים להפעלת ממשקי API

    כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

    להפעלת ה-API

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לניהול טבלאות בקטלוג REST של Lakehouse Iceberg, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט ובקטגוריית האחסון:

  • ליצור ולמחוק טבלאות:
    • אדמין BigLake‏ (roles/biglake.admin) – הפרויקט
    • אדמין לניהול נפח האחסון (roles/storage.admin) – קטגוריה של Cloud Storage
  • קריאת נתוני טבלה במצב של מכירת אישורים: BigLake Viewer (roles/biglake.viewer) – הפרויקט
  • כתיבת נתוני טבלה במצב של מכירת אישורים: BigLake Editor (roles/biglake.editor) – הפרויקט
  • קריאת נתוני טבלה במצב שאינו credential vending:
    • בעל הרשאת צפייה ב-BigLake‏ (roles/biglake.viewer) – הפרויקט
    • צפייה באובייקטים של אחסון (roles/storage.objectViewer) – קטגוריה של Cloud Storage
  • כתיבת נתוני טבלה במצב של מכירת כרטיסים ללא פרטי כניסה:
    • BigLake Editor (roles/biglake.editor) – הפרויקט
    • משתמש באובייקטים באחסון (roles/storage.objectUser) – קטגוריה של Cloud Storage

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

פעולות ניהול

אתם יכולים לבצע את פעולות הניהול הבאות בטבלאות של קטלוג REST של Iceberg ב-Lakehouse:

  • יצירת טבלה: יצירת טבלת Apache Iceberg במרחב שמות של קטלוג באמצעות Google Cloud מסוף, Spark,‏ Trino או Iceberg REST Catalog API‏ (CreateIcebergTable).
  • רשימת טבלאות: אפשר להציג מזהי טבלאות במרחב שמות באמצעות Google Cloud המסוף, Spark,‏ Trino או Iceberg REST Catalog API‏ (ListIcebergTableIdentifiers).
  • קבלת פרטים על טבלה: בדיקת הסכימה, המאפיינים ופרטי הכניסה של הטבלה באמצעות מסוף Google Cloud , Spark,‏ Trino או Iceberg REST Catalog API‏ (GetIcebergTable,‏ LoadIcebergTableCredentials).
  • הוספת נתונים: הוספת שורות נתונים לטבלאות Iceberg באמצעות Spark או Trino.
  • הפעלת שאילתות על טבלה: הפעלת שאילתות על טבלאות Iceberg מ-Spark,‏ Trino או BigQuery באמצעות שמות טבלאות בני ארבעה חלקים.
  • שינוי טבלה: שינוי סכימת הטבלה ועדכון מאפייני המטא-נתונים באמצעות מסוף Google Cloud ,‏ Spark,‏ Trino או Iceberg REST Catalog API ‏ (UpdateIcebergTable).
  • מחיקת טבלה: אפשר להסיר רישום של טבלה מהקטלוג בלי למחוק את קובצי האחסון הבסיסיים באמצעות Google Cloud המסוף, Spark,‏ Trino או Iceberg REST Catalog API‏ (DeleteIcebergTable).

המאמרים הבאים