הזרמת נתונים ממקורות Spanner

שימוש במסד נתונים של Spanner כמקור ב-Datastream מאפשר לשכפל נתונים היסטוריים ואירועים של סנכרון שינויים בזרמי נתונים ליעד, לצורך ניתוח בזמן אמת.

כדי להכין את מקור Spanner ב-Datastream, קראו את המידע על התנהגות הרפליקציה, המהדורות הנתמכות והמגבלות הידועות.

התנהגות

‫Spanner הוא שירות מסד נתונים מנוהל, שניתן להתאמה ועם זמינות גבוהה, שאפשר להשתמש בו כמקור ב-Datastream. ‫Datastream משתמש בסנכרון שינויים בזרמי נתונים של Spanner כדי לעקוב אחרי שינויים שבוצעו במסדי הנתונים של Spanner. השינויים שנכללים בסנכרון שינויים בזרמי נתונים משוכפלים ליעד כדי לשחזר את האירועים במקור.

‫Datastream לא יוצר או משנה את סנכרון השינויים בזרמי נתונים, ולכן אי אפשר לכלול ב-Datastream אובייקטים של מסד נתונים שלא מתבצע אחריהם מעקב בסנכרון השינויים בזרמי נתונים של Spanner.

למידע נוסף על Spanner, קראו את מאמרי העזרה של Spanner.

גרסאות

‫Datastream תומך בכל המהדורות הזמינות של Spanner:

  • מהדורת Standard
  • מהדורת Enterprise
  • מהדורת Enterprise Plus

סקירה כללית של כל מהדורה מופיעה במאמר סקירה כללית של מהדורות Spanner.

תוכנית בחינם

באמצעות Datastream אפשר להעביר נתונים בסטרימינג מ-Spanner ל-BigQuery בתוכנית בחינם, ולקבל עד 100GiB של נתוני CDC בחינם בכל חודש. למידע נוסף, ראו התמחור של Datastream.

מגבלות ידועות

המגבלות הידועות בשימוש במסד נתונים של Spanner כמקור כוללות:

  • יש תמיכה רק בסנכרון שינויים בזרמי נתונים שמשתמשים בסוגי תיעוד הערכים NEW_ROW או NEW_ROW_AND_OLD_VALUES.
  • ב-Datastream אין תמיכה בעמודות מסוג הנתונים PROTO או ENUM.
  • ב-Datastream אין תמיכה במערכים של סוגי הנתונים DATE או TIMESTAMP.
  • מילוי חוסרים במסדי נתונים בגודל של יותר מ-3 טבי-בייט (TiB) יכול להימשך יותר מ-24 שעות.
  • מילויים יוצרים תקופות של תמונות מצב, סוג של גיבוי שנוצר עבור חותמת זמן ספציפית ששומרת את גרסאות הנתונים של חותמת הזמן הזו. תקופות של תמונות מצב מעכבות דחיסות משמעותיות עד להשלמת המילוי החוזר. מידע נוסף על דחיסות זמין במאמר סקירה כללית על מנוע מבוסס-עמודות ב-Spanner.
  • יכול להיות ש-Datastream לא יצליח לעמוד בקצב של סנכרון שינויים בזרמי נתונים ב-Spanner עם יותר מ-10,000 מחיצות. כלומר, יכול להיות שאירועי השינוי יגיעו באיחור, או שהסטרימינג ייכשל בסופו של דבר.
  • יכול להיות ש-Datastream לא יצליח לעמוד בקצב של סנכרון שינויים בזרמי נתונים ב-Spanner עם יותר מ-60,000 עדכונים בשנייה. כלומר, יכול להיות שאירועי השינוי יגיעו באיחור או שהסטרימינג ייכשל בסופו של דבר.
  • יכול להיות ש-Datastream לא יעמוד בקצב של סנכרון שינויים בזרמי נתונים ב-Spanner עם קצב העברת נתונים של יותר מ-60 mebibytes‏ (MiB) לשנייה. כלומר, יכול להיות שאירועי השינוי יגיעו באיחור או שהסטרימינג ייכשל בסופו של דבר.
  • אין תמיכה בשכפול של נתונים שמחולקים למחיצות במיקומים שונים, כי ב-Spanner אין תמיכה בסנכרון שינויים בזרמי נתונים שמחולקים למחיצות.

המאמרים הבאים