סקירה כללית על Datastream

‫Datastream הוא שירות ללא שרת (serverless) קל לשימוש לסימון נתונים שהשתנו (CDC) וליצירת רפליקות. הוא מאפשר לכם לסנכרן נתונים בצורה מהימנה ועם השהיה מינימלית.

‫Datastream מספק שכפול חלק של נתונים ממסדי נתונים תפעוליים ל-BigQuery. בנוסף, Datastream תומך בכתיבת זרם אירועי השינוי ל-Cloud Storage, ומציע שילוב יעיל עם תבניות Dataflow כדי ליצור תהליכי עבודה מותאמים אישית לטעינת נתונים למגוון רחב של יעדים, כמו Cloud SQL ו-Spanner. אפשר גם להשתמש ב-Datastream כדי ליהנות מזרם האירועים ישירות מ-Cloud Storage, וכך להשיג ארכיטקטורות מבוססות-אירועים. ‫Datastream תומך במקורות Oracle,‏ MySQL,‏ SQL Server,‏ PostgreSQL (כולל AlloyDB ל-PostgreSQL),‏ MongoDB,‏ Salesforce ו-Spanner.

היתרונות של Datastream כוללים:

  • תהליך הגדרה פשוט של צינורות ELT (חילוץ, טעינה, טרנספורמציה) לשכפול נתונים עם השהיה נמוכה, כדי לאפשר תובנות כמעט בזמן אמת ב-BigQuery.
  • השירות הוא ללא שרת (serverless), כך שלא צריך לספק או לנהל משאבים, והוא מתרחב ומתכווץ אוטומטית לפי הצורך, עם זמן השבתה מינימלי.
  • חוויית הגדרה ומעקב קלה לשימוש שמאפשרת להשיג ערך מוסף מהר מאוד.
  • שילוב בין השירותים הטובים ביותר Google Cloud בפורטפוליו של שירותי הנתונים, לשילוב נתונים ב-Datastream, ‏ Dataflow, ‏ Pub/Sub,‏ BigQuery, ‏ Knowledge Catalog ועוד.
  • ניהול ריכוזי של מטא-נתונים ושל שושלת הנתונים באמצעות Knowledge Catalog, שמאפשר לכם לראות את המשאבים של Datastream בהקשר של כל מקורות הנתונים שלכם ב- Google Cloud.
  • סנכרון ואיחוד של מקורות נתונים במסדי נתונים ובאפליקציות הטרוגניים.
  • אבטחה, עם אפשרויות קישוריות פרטיות והאבטחה שאתם מצפים לה מ-Google Cloud.
  • היא מדויקת ואמינה, עם דיווח שקוף על הסטטוס וגמישות חזקה בעיבוד במקרה של שינויים בנתונים ובסכימה.
  • השירות תומך בתרחישי שימוש רבים, כולל ניתוח נתונים, שכפול מסדי נתונים וסנכרון לצורך העברות והגדרות של ענן היברידי, וגם לצורך בניית ארכיטקטורות מבוססות-אירועים.

תרחישים לדוגמה

היכולות של Datastream לסטרימינג מאפשרות מגוון תרחישי שימוש:

  • שכפול וסנכרון של נתונים בארגון עם השהיה מינימלית

    אתם יכולים לסנכרן נתונים בין מסדי נתונים הטרוגניים ואפליקציות באופן מהימן, עם זמן אחזור נמוך והשפעה מינימלית על הביצועים של המקור. מקורות נתונים מאפשרים לכם ליהנות מניתוח נתונים, משכפול מסדי נתונים, מהעברה לענן ומארכיטקטורות מבוססות-אירועים בסביבות היברידיות.

  • הגדלה או הקטנה של נפח הפעילות בצורה חלקה באמצעות ארכיטקטורה ללא שרתים

    שירות ללא שרת (serverless) קל לשימוש שמאפשר לכם להתחיל לעבוד במהירות, ומתרחב בצורה חלקה ככל שנפחי הנתונים משתנים. אתם יכולים להתמקד בהפקת תובנות עדכניות מהנתונים שלכם ובתגובה לבעיות בעדיפות גבוהה, במקום לנהל את התשתית, לבצע אופטימיזציה של הביצועים או להקצות משאבים.

  • שילוב עם חבילת שילוב הנתונים Google Cloud

    חיבור נתונים בארגון באמצעות חבילת המוצרים Google Cloud data integration. שילוב של Datastream עם תבניות של משימות Dataflow כדי לקרוא נתונים ממאגר (bucket) של Cloud Storage ולטעון אותם למגוון יעדים, כמו BigQuery,‏ Spanner ו-Cloud SQL.

רכיבי חוויה

יש שלושה רכיבים עיקריים ב-Datastream:

  • הגדרות של קישוריות פרטית מאפשרות ל-Datastream לתקשר עם מקור נתונים ברשת פרטית (באופן פנימי ב-Google Cloud, או עם מקורות חיצוניים שמחוברים דרך VPN או Interconnect). התקשורת הזו מתבצעת דרך חיבור של קישור בין רשתות שכנות (peering) בענן וירטואלי פרטי (VPC).
  • פרופילי חיבור מייצגים מידע על קישוריות למקור וליעד. המידע הזה ישמש בשידור.
  • Streams משתמש במידע בפרופילים של החיבור כדי להעביר נתוני CDC ומילוי חוסרים מהמקור ליעד.

המאמרים הבאים