הזרמת נתונים ממקורות Spanner

בדף הזה מופיע מידע על:

  • התנהגות של Datastream כשמטפלים בנתונים שנשלפים ממסד נתונים של Spanner כמקור.
  • מהדורות של מסדי נתונים ב-Spanner שנתמכות ב-Datastream.
  • מגבלות ידועות לשימוש במסד נתונים של Spanner כמקור.

התנהגות

‫Spanner הוא שירות מנוהל של מסד נתונים שאפשר להתאים לעומס ובעל זמינות גבוהה, שאפשר להשתמש בו כמקור עם Datastream. מקור הנתונים משתמש בזרם שינויים של Spanner כדי לעקוב אחרי שינויים שבוצעו במסדי נתונים של Spanner. השינויים שכלולים בזרם השינויים משוכפלים ליעד כדי לשחזר את אירועי המקור.

‫Datastream לא יוצר או משנה סנכרון שינויים בזרמי נתונים, ולכן אי אפשר לכלול בשידור של Datastream את אובייקטי מסד הנתונים שלא מתבצע אחריהם מעקב על ידי סנכרון שינויים בזרמי נתונים של Spanner שצוין.

מידע נוסף על Spanner זמין במאמרי העזרה בנושא Spanner.

גרסאות

‫Datastream תומך בכל מהדורות Spanner שזמינות:

  • מהדורה רגילה
  • מהדורת Enterprise
  • מהדורת Enterprise Plus

סקירה כללית של כל גרסה זמינה במאמר Spanner editions overview.

תוכנית בחינם

‫Datastream מאפשר לכם להזרים נתונים מ-Spanner ל-BigQuery באמצעות תוכנית בחינם, ומספק לכם עד 100GiB של סימון נתונים שהשתנו (CDC) בחינם בכל חודש. מידע נוסף זמין במאמר בנושא תמחור של Datastream.

מגבלות ידועות

המגבלות הידועות בשימוש במסד נתונים של Spanner כמקור כוללות:

  • נתמכים רק שינויים בזרם באמצעות סוג לכידת הערך NEW_ROW.
  • העמודות מסוג הנתונים PROTO או ENUM לא נתמכות ב-Datastream.
  • ‫Datastream לא תומך במערכים של סוגי נתונים DATE או TIMESTAMP.
  • תהליך מילוי החוסרים במסדי נתונים בגודל של יותר מ-3 טביבייט (TiB) יכול להימשך יותר מ-24 שעות.
  • במילוי חוסרים נוצרות תקופות של תמונות מצב, סוג של גיבוי שנוצר עבור חותמת זמן ספציפית ושומר את גרסאות הנתונים של חותמת הזמן הזו. תקופות של צילום מצב מעכבות דחיסות גדולות עד להשלמת המילוי החוזר. מידע נוסף על פעולות דחיסה זמין במאמר סקירה כללית של מנוע מבוסס-עמודות ב-Spanner.
  • יכול להיות שיהיו בעיות ב-Datastream בשמירה על קצב העדכון של סנכרון שינויים בזרמי נתונים ב-Spanner עם יותר מ-10,000 מחיצות. המשמעות היא שאירועי השינוי עשויים להגיע באיחור, או שהזרם עלול להיכשל בסופו של דבר.
  • יכול להיות שיהיו בעיות ב-Datastream אם הוא ינסה לעמוד בקצב של שינויים ב-Spanner עם יותר מ-60,000 עדכונים בשנייה. המשמעות היא שאירועי השינוי עשויים להגיע באיחור, או שהזרם עלול להיכשל בסופו של דבר.
  • יכול להיות שיהיו בעיות ב-Datastream אם קצב העברת הנתונים של שינויים ב-Spanner הוא מעל 60 מביבייט (MiB) לשנייה. המשמעות היא שאירועי השינוי עשויים להגיע באיחור, או שהזרם עלול להיכשל בסופו של דבר.
  • אין תמיכה בשכפול של נתונים עם חלוקה לפי מיקום גיאוגרפי, כי בפידים של שינויים ב-Spanner אין תמיכה בנתונים עם חלוקה.

המאמרים הבאים