המאמר הזה מיועד למפתחים, לארכיטקטים ולמקבלי החלטות, ומציע אפשרויות לשילוב של שירות מנוהל ל-Apache Kafka עם שירותים אחרים של Google Cloud Google Cloud.
בטבלה הבאה מפורטים כמה גורמים שכדאי לקחת בחשבון כשבוחרים פתרון לשילוב נתונים של Kafka ב- Google Cloud.
| פתרון | תרחישים לדוגמה |
|---|---|
| Kafka Connect |
משימות נפוצות של שילוב נתונים שכפול נתוני Kafka בין אשכולות זמינות גבוהה/תוכנית התאוששות מאסון (DR) |
| Dataflow |
פייפליינים בנפח גבוה שינויים מורכבים בנתונים או צבירת נתונים חלונות מתקדמים |
| Managed Service for Apache Spark |
שילוב עם עומסי עבודה קיימים של Apache Spark העברת עומסי עבודה (workloads) של Apache Spark אל Google Cloud |
שימוש ב-Kafka Connect
Kafka Connect מספק מסגרת להזרמת נתונים בין Kafka למערכות אחרות. השירות המנוהל ל-Apache Kafka מאפשר הקצאת אשכולות שמריצים Kafka Connect.
מומלץ להשתמש ב-Kafka Connect לרוב משימות שילוב הנתונים הנפוצות שיש עבורן מחבר נתמך. מומלץ להשתמש ב-Kafka Connect עם MirrorMaker 2.0 כדי לשכפל נתונים בין אשכולות Kafka, למשל בארכיטקטורות של זמינות גבוהה (HA) והתאוששות מאסון (DR).
היתרונות של שימוש ב-Kafka Connect כוללים:
מחברים מובנים למקורות וליעדים כמו BigQuery, Cloud SQL ו-Cloud Storage.
משולב באופן מלא בשירות המנוהל ל-Apache Kafka, מה שמפשט את הניהול, התפעול והניטור.
תמיכה בסינון ובטרנספורמציות לכל הודעה.
שימוש ב-Dataflow
Dataflow היא פלטפורמה מנוהלת לסטרימינג שמבוססת על פרויקט הקוד הפתוח Apache Beam. אתם יכולים להפעיל צינורות Dataflow כדי לכתוב נתונים של Kafka למאגרי נתונים כמו BigQuery ו-Cloud Storage.
כדאי להשתמש ב-Dataflow בתרחישים הבאים:
פייפליינים של נתונים בנפח גבוה. משימות Dataflow יכולות להתרחב עד לאלפי עובדים. בנוסף, Dataflow תומך בהתאמה אוטומטית לעומס אופקית, שמוסיפה או מסירה workers לפי הצורך.
פייפליינים שדורשים טרנספורמציות מורכבות, כמו טיוב נתונים, העשרה או צבירה.
שילוב של AI ו-ML בפייפליין הנתונים.
צירוף של כמה זרמי נתונים עם שליטה מדויקת בחלונות ובטיפול בנתונים שמגיעים באיחור.
כדי לפרוס צינור Dataflow, אפשר להריץ תבנית מוכנה מראש או ליצור צינור Apache Beam. במקרים נפוצים של שילוב נתונים, כדאי להשתמש בתבנית. כדי לקבל גמישות ושליטה מקסימליות, או אם צינור הנתונים שלכם דורש לוגיקה מותאמת אישית, כדאי ליצור צינור נתונים של Apache Beam.
שימוש ב-Managed Service for Apache Spark
Managed Service for Apache Spark מאפשר לכם להריץ עומסי עבודה של Apache Spark באמצעות מודל Serverless או מודל מבוסס-אשכולות.
אם יש לכם צינורות Spark קיימים, כדאי להשתמש ב-Managed Service for Apache Spark עם נתוני Kafka. לדוגמה, אם יש לכם אפליקציית Spark שמעבדת נתונים בסטרימינג מ-Kafka, ואתם רוצים להעביר את האפליקציה הזו אלGoogle Cloud, Managed Service for Apache Spark הוא בחירה מתאימה.
המאמרים הבאים
שימוש בתבנית Dataflow:
יוצרים צינור עיבוד נתונים של Apache Beam:
ל-Spark Streaming ול-Kafka, Apache Spark מספק מדריך לשילוב.