עבודה עם היסטוריית השינויים

היסטוריית השינויים מאפשרת לעקוב אחרי ההיסטוריה של שורות שנוספו לטבלאות מנוהלות של Apache Iceberg (לשעבר טבלאות BigLake ל-Apache Iceberg ב-BigQuery). אתם יכולים להשתמש בפונקציה עם ערך טבלה (TVF) של GoogleSQL‏ APPENDS כדי לראות את כל השורות שנוספו לטבלה בטווח תאריכים מסוים, כמו שורות שנוספו באמצעות הצהרות DDL של CREATE TABLE, פקודות DML של INSERT ו-MERGE, משימות טעינה באצווה והטמעת עדכונים בזמן אמת.

בטבלאות מנוהלות של Apache Iceberg נעשה שימוש במושגים וביכולות של היסטוריית השינויים ב-BigQuery, כדי לאפשר לכם לעבד תוספות מצטברות שבוצעו בטבלאות. אם תבינו אילו שורות נוספו לטבלה, תוכלו לתחזק באופן מצטבר רפליקה של הטבלה מחוץ ל-BigQuery, לבדוק הוספות של נתונים היסטוריים או להפעיל פייפליינים במורד הזרם בלי לסרוק את כל הטבלה או ליצור עותקים יקרים.

ההרשאות הנדרשות

כדי לראות את היסטוריית השינויים בטבלה מנוהלת של Apache Iceberg, צריך את ההרשאות הבאות:

  • ההרשאה bigquery.tables.getData בטבלה. ההרשאה הזו כלולה בתפקידים הבאים שמוגדרים מראש בניהול זהויות והרשאות גישה (IAM):
    • roles/bigquery.dataViewer
    • roles/bigquery.dataEditor
    • roles/bigquery.dataOwner
    • roles/bigquery.admin
  • ההרשאה bigquery.connections.delegate בחיבור למשאב Google Cloud שמשויך לטבלה. ההרשאה הזו כלולה בתפקיד משתמש בחיבור של BigQuery‏ (roles/bigquery.connectionUser).
  • בנוסף, לחשבון השירות שמשויך לחיבור למשאב Google Cloud צריכים להיות התפקידים roles/storage.objectUser ו-roles/storage.legacyBucketReader בקטגוריה של Cloud Storage.

למידע על דרישות הרשאה נוספות כשהטבלה משתמשת באבטחה ברמת השורה או ברמת העמודה, קראו את הקטע הרשאות נדרשות במסמכי התיעוד של היסטוריית השינויים ב-BigQuery.

מגבלות

טבלאות מנוהלות של Apache Iceberg תומכות בהיסטוריית שינויים, ומשתמשות באותם מושגים ויכולות כמו היסטוריית השינויים הרגילה של BigQuery. כשעובדים עם היסטוריית השינויים בטבלאות מנוהלות של Apache Iceberg, חלות המגבלות הבאות:

המאמרים הבאים

למידע נוסף, אפשר לקרוא את מאמרי העזרה הבאים של BigQuery: