הטמעת נתונים באמצעות סימון נתונים שהשתנו (CDC) מאפשרת לכם לסנכרן את מסדי הנתונים של המקור עם טבלאות מנוהלות של Apache Iceberg (לשעבר טבלאות BigLake ל-Apache Iceberg ב-BigQuery) ב-Lakehouse ללא גבולות בזמן אמת. באמצעות תיעוד של שינויים מצטברים, כמו הוספות, עדכונים ומחיקות, ה-CDC מוודא שה-lakehouse משקף את המצב העדכני ביותר של הנתונים התפעוליים, בלי צורך לטעון מחדש את הטבלה במלואה.
טבלאות מנוהלות של Apache Iceberg משתמשות במושגים וביכולות של BigQuery CDC כדי לעבד את השינויים האלה ביעילות, ולאפשר ניתוח נתונים בזמן אחזור קצר בנתונים שמאוחסנים בפורמטים פתוחים כמו Apache Iceberg. הגישה הזו מפחיתה באופן משמעותי את התקורה הניהולית שקשורה לתהליכי ETL רגילים.
מגבלות
טבלאות מנוהלות של Apache Iceberg תומכות בהטמעת נתונים עם סימון נתונים שהשתנו (CDC), ומשתמשות באותם מושגים ויכולות כמו הטמעת נתונים רגילה עם CDC ב-BigQuery. עם זאת, יש כמה מגבלות נוספות שחשוב להכיר:
- אין תמיכה במחיקות שלא לפי הסדר. בניגוד להטמעת CDC ב-BigQuery, בטבלאות מנוהלות של Iceberg עם תמיכה ב-CDC לא נשמר חלון שמירה של מחיקות. אם אירוע
DELETEמגיע לפני שהרשומה התואמת נוספת, המחיקה נמחקת על ידי משימות ההחלה ברקע. כתוצאה מכך, רשומות לא תקינות שהיו אמורות להימחק עלולות להישאר בטבלה. - כל המגבלות שמפורטות בקטע מגבלות על טבלאות מנוהלות ב-Apache Iceberg.
- כל המגבלות שמפורטות בקטע מגבלות על הטמעת CDC ב-BigQuery.
המאמרים הבאים
למידע נוסף, אפשר לקרוא את מאמרי העזרה הבאים של BigQuery:
- העברת נתונים בסטרימינג באמצעות סימון נתונים שהשתנו (CDC)
- העברת נתונים בסטרימינג באמצעות BigQuery Storage Write API (gRPC)
- איך משתמשים ב-Datastream כדי לשכפל מסדי נתונים של טרנזקציות לטבלאות Apache Iceberg