הטמעה של לכידת שינויי נתונים (CDC) מאפשרת לסנכרן את מסדי הנתונים של המקור עם טבלאות מנוהלות של Apache Iceberg (לשעבר טבלאות BigLake ל-Apache Iceberg ב-BigQuery) בזמן אמת. על ידי תיעוד של שינויים מצטברים – כמו הוספות, עדכונים ומחיקות – ה-CDC מוודא שמאגר הנתונים שלכם משקף את המצב העדכני ביותר של הנתונים התפעוליים, בלי שתצטרכו לטעון מחדש את הטבלה במלואה.
טבלאות מנוהלות של Apache Iceberg משתמשות במושגים וביכולות של BigQuery CDC כדי לעבד את השינויים האלה ביעילות ולאפשר ניתוח נתונים עם השהיה נמוכה של נתונים שמאוחסנים בפורמטים פתוחים כמו Apache Iceberg. הגישה הזו מצמצמת באופן משמעותי את התקורה הניהולית שמשויכת לתהליכי ETL טיפוסיים.
מגבלות
טבלאות מנוהלות של Apache Iceberg תומכות בהטמעה של נתוני שינוי (CDC), ומתבססות על אותם מושגים ויכולות כמו הטמעה רגילה של CDC ב-BigQuery. עם זאת, יש כמה מגבלות נוספות שכדאי לדעת עליהן:
- אין תמיכה במחיקות לא רציפות. בניגוד להטמעה של BigQuery CDC, לא מתבצעת שמירה של חלון זמן למחיקה בטבלאות מנוהלות של Iceberg עם CDC. אם אירוע
DELETEמגיע לפני שהרשומה התואמת מוכנסת, משימות ההחלה ברקע מבטלות את המחיקה. כתוצאה מכך, יכול להיות שרשומות לא מסודרות יישארו בטבלה, למרות שהכוונה הייתה למחוק אותן. - כל המגבלות שמפורטות בקטע מגבלות על טבלאות מנוהלות ב-Apache Iceberg.
- כל המגבלות שמופיעות בקטע מגבלות על הטמעה של CDC ב-BigQuery.
המאמרים הבאים
מידע נוסף זמין במאמרי העזרה הבאים של BigQuery:
- הזרמת נתונים באמצעות סימון נתונים שהשתנו (CDC)
- הזרמת נתונים באמצעות BigQuery Storage Write API (gRPC)
- איך משתמשים ב-Datastream כדי לשכפל מסדי נתונים של עסקאות לטבלאות BigLake