סקירה כללית על Datastream

‫Datastream הוא שירות ללא שרת (serverless) לסימון נתונים שהשתנו (CDC) וליצירת רפליקות, שמאפשר לסנכרן נתונים בין מסדי נתונים ואפליקציות מסוגים שונים עם זמן אחזור מינימלי. מכיוון ש-Datastream הוא שירות ללא שרת (serverless), הוא משתנה באופן אוטומטי בלי שתצטרכו להקצות או לנהל משאבים.

אתם יכולים לשכפל נתונים ל-BigQuery כדי לנתח אותם כמעט בזמן אמת, או לכתוב זרמי אירועי שינוי ב-Cloud Storage לארכיטקטורות מבוססות-אירועים. שילוב עם תבניות של Pub/Sub ו-Dataflow מאפשר לכם לטעון נתונים ליעדים כמו Cloud SQL ו-Spanner. ‫Datastream משתלב גם עם Knowledge Catalog לניהול ריכוזי של מטא-נתונים ושושלת נתונים ב- Google Cloud.

‫Datastream תומך במקורות של מסדי נתונים, כולל MySQL,‏ Oracle, ‏ PostgreSQL, ‏ AlloyDB ל-PostgreSQL, ‏ SQL Server, ‏ MongoDB ו-Spanner. אתם יכולים גם להעביר בסטרימינג נתונים מ-Salesforce וממקורות בגרסת טרום-השקה (Preview), כמו Salesforce Marketing Cloud, ‏ Microsoft Dataverse, ‏ ServiceNow ו-Workday. אפשרויות קישוריות פרטיות, דיווח על סטטוס וטיפול בשינויים בסכימה תומכים בשכפול אמין להעברות ולפריסות של ענן היברידי.

תרחישים לדוגמה

יכולות הסטרימינג של Datastream מאפשרות מגוון תרחישי שימוש:

  • שכפול וסנכרון של נתונים בארגון עם זמן אחזור מינימלי

    אתם יכולים לסנכרן נתונים בין מסדי נתונים ואפליקציות הטרוגניים בצורה אמינה, עם זמן אחזור קצר והשפעה מינימלית על הביצועים של המקור. לנצל את היתרונות של מקורות נתונים לניתוח, לשכפול מסדי נתונים, להעברה לענן ולארכיטקטורות מבוססות-אירועים בסביבות היברידיות.

  • הגדלה או הקטנה של היקף הפעילות בצורה חלקה באמצעות ארכיטקטורה בלי שרת (serverless)

    אתם יכולים להתחיל לעבוד במהירות עם שירות ללא שרת (serverless) שקל להשתמש בו, ומתאים את עצמו בצורה חלקה לשינויים בנפח הנתונים. אתם יכולים להתמקד בהפקת תובנות עדכניות מהנתונים שלכם ובטיפול בבעיות בעדיפות גבוהה, במקום לנהל את התשתית, לכוונן את הביצועים או להקצות משאבים.

  • שילוב עם Google Cloud חבילת שילוב הנתונים

    קישור נתונים בארגון באמצעות חבילת המוצרים של Google Cloud לשילוב נתונים. שילוב של Datastream עם תבניות של משימות Dataflow כדי לקרוא נתונים מקטגוריה של Cloud Storage ולטעון אותם במגוון יעדים, כמו BigQuery,‏ Spanner ו-Cloud SQL.

רכיבי חוויה

ב-Datastream יש שלושה רכיבים עיקריים:

  • הגדרות של קישוריות פרטית מאפשרות ל-Datastream לתקשר עם מקור נתונים דרך רשת פרטית (באופן פנימי ב-Google Cloud, או עם מקורות חיצוניים שמחוברים דרך VPN או Interconnect). התקשורת הזו מתבצעת באמצעות חיבור בין רשתות שכנות (peering) של ענן וירטואלי פרטי (VPC).
  • פרופילי חיבור מייצגים את פרטי הקישוריות למקור וליעד. המידע הזה ישמש את מקור הנתונים.
  • השידורים משתמשים במידע שבפרופילי החיבור כדי להעביר נתוני CDC ומילוי חוסרים מהמקור ליעד.

המאמרים הבאים