במאמר הזה נסביר איך לבחור בין Pub/Sub לבין שירות מנוהל של Google Cloud ל-Apache Kafka. גם Pub/Sub וגם השירות המנוהל ל-Apache Kafka הם שירותים מנוהלים להעברת הודעות, עם יכולת התאמה לעומס (auto-scaling) בצורה אופקית, שיכולים להתמודד עם עומסי עבודה גדולים.
המסמך הזה מיועד למפתחים, לאדריכלים או למקבלי החלטות שמחפשים שירות מנוהל לטיפול בנתונים בסטרימינג ובעומסי עבודה של העברת הודעות.
יש כמה אפשרויות להפעלת Apache Kafka, כולל שירותים של שותפים ותוכנות קוד פתוח בניהול עצמי. האפשרויות האלה לא מוסברות במסמך הזה.
סקירה כללית של מושגי Pub/Sub זמינה במאמר סקירה כללית של שירות Pub/Sub.
סקירה כללית של המושגים שקשורים לשירות המנוהל ל-Apache Kafka זמינה במאמר סקירה כללית של השירות המנוהל ל-Apache Kafka.
קלות התפעול לעומת ניידות
הבחירה בין Pub/Sub לבין שירות מנוהל ל-Apache Kafka היא פשרה בין פשטות תפעולית לבין ניידות.
פשטות תפעולית של Pub/Sub
Pub/Sub הוא שירות מנוהל לחלוטין, ללא שרתים ומבוזר גלובלית, שמשתמש בתשתית Google Cloud . הוא מתרחב אוטומטית כדי לטפל בעומס העבודה, כך שלא צריך לדאוג לניהול התשתית. Pub/Sub מתאים באופן דינמי את הקיבולת של נושאים ומינויים ספציפיים. בעלי האתרים והמנויים יכולים להגדיל את ההכנסות באופן עצמאי, לא רק בנושאים ובמינויים שונים, אלא גם באותם נושאים ובאותם מינויים.
בנוסף, Pub/Sub מעביר נתונים בצורה חלקה בין כמה אזורים. המשמעות היא שמוציאים לאור ומנויים יכולים להתחבר לאזור הקרוב ביותר, והשירות מטפל בכל השאר.
השירות המנוהל ל-Apache Kafka יכול גם לטפל בכמויות גדולות של נתונים. עם זאת, אתם צריכים לנהל את גודל האשכול ולהגדיר כמה מאפיינים אחרים בהתאם לצרכים של הנושאים שלכם. הכי חשוב, צריך לקבוע כמה מחיצות להקצות לנושאים. יותר מדי מחיצות עלולות לבזבז משאבים. מספר קטן מדי של מחיצות עלול לגרום לעומס יתר על הברוקרים באשכול Kafka. צריך גם לקחת בחשבון את מספר העותקים שצריך להגדיר לכל מחיצה, בהתאם לדרישות שלכם לגבי זמן האחזור וההפצה לצרכנים.
פריסת Kafka קשורה לאזור מוגדר, ולכן אם מעבירים נתונים בין אזורים, ההעברה הזו צריכה להתבצע מחוץ לשירות. כדי לוודא שהנתונים ממשיכים לנוע בצורה תקינה ולענות על הצרכים של הנושאים באשכול Kafka, צריך להוסיף לעבודה התפעולית שלכם פעולות נוספות.
ניידות של שירות מנוהל ל-Apache Kafka
היתרונות של Pub/Sub הם התאמה אוטומטית לעומס והפצת נתונים גלובלית, אבל ממשקי ה-API של Apache Kafka נפוצים הרבה יותר.
אם אתם מתכננים להשתמש במערכות העברת הודעות עצמאיות בסביבות שונות של שרתים מקומיים או ספקי ענן, שירות מנוהל ל-Apache Kafka יכול לספק לכם חוויה עקבית יותר באפליקציות שלכם. הסיבה לכך היא שאפשר להשתמש ב-Kafka כסטנדרט ובאותו API כדי לתקשר עם שירות Kafka בכל סביבה.
אפשר להשתמש ב-Pub/Sub כמערכת מרכזית להעברת הודעות בכל הסביבות, אבל חשוב לזכור שמדובר בשירות נפרד עם API משלו. אם אתם צריכים ליצור אינטראקציה עם מערכת העברת הודעות בסביבה ספציפית, שימוש בשירות מנוהל ל-Apache Kafka עשוי לספק חוויית פיתוח אחידה יותר.
איזה שירות מתאים לכם
אם חשוב לכם לקבל חוויה עקבית בסביבות מגוונות, כדאי לבחור בשירות מנוהל ל-Apache Kafka. אם אתם מתמקדים בהגדרה מינימלית לצורך הרחבת עומסי עבודה או העברת נתונים בין אזורים, ל-Pub/Sub יש יתרון משמעותי.
בוחרים באפשרות Pub/Sub אם הגורמים הבאים מתארים את הדרישות שלכם:
אתם נותנים עדיפות לפשטות תפעולית בתוך Google Cloud.
אתם צריכים פתרון שניתן להרחבה וללא שרת, עם מינימום עומס ניהולי.
גודל עומס העבודה לא צפוי או משתנה. Pub/Sub גם מתאים מאוד כשקצב העברת הנתונים של עומס העבודה יציב.
אתם צריכים לעקוב אחרי עיבוד של כל הודעה כדי לצמצם את ההשפעות על הצינור בגלל הודעות לא תקינות. Pub/Sub, עם תורים מובנים של הודעות שלא ניתן למסור (DLQ) ותמיכה בעיבוד הודעות לא לפי הסדר, מאפשר למערכת שלכם להמשיך לפעול גם כשנתקלים בהודעות בעייתיות.
אתם צריכים צבירת נתונים בין אזורים.
אתם צריכים להגדיל את מספר המנויים והמפרסמים העצמאיים.
כדאי לבחור בשירות מנוהל ל-Apache Kafka אם הדרישות שלכם מתאימות לתיאור הבא:
ניידות בין כמה ספקי שירותי ענן או בסביבות מקומיות היא חיונית.
יש לכם עומסי עבודה קיימים של Kafka שאתם רוצים להעביר אלGoogle Cloud. מידע נוסף זמין במאמר בחירה על סמך הגדרת Kafka הקיימת.
נפח התנועה עקבי בלי הרבה שינויים.
אתם מוכנים לטפל בניהול הקיבולת.
אתם צריכים להבטיח את סדר ההודעות בנפח נתונים גבוה לכל מפתח.
אתם רוצים להשתמש בדפוס של מקור אירועים עם יומן אירועים כמקור אמת.
בחירה על סמך הגדרת Kafka הקיימת
אם אתם כבר משתמשים ב-Kafka ומחפשים פתרון מנוהל, מאובטח ואמין ב- Google Cloud, השירות המנוהל ל-Apache Kafka הוא הבחירה המומלצת.
אם אתם כבר מפעילים את Kafka ומוכנים לשכתב את האפליקציות כדי ליהנות מהיתרונות של שירות גלובלי עם יכולת מדרגיות גבוהה, התאמה אוטומטית לעומס וקנה מידה, Pub/Sub הוא המלצה טובה. מידע על מעבר מ-Kafka ל-Pub/Sub זמין במאמר מעבר מ-Kafka ל-Pub/Sub.
למשתמשים חדשים ב- Google Cloudאו בעומסי עבודה חדשים, מומלץ להשתמש ב-Pub/Sub כי הוא קל לשימוש. אם אתם רוצים להעביר את עומסי העבודה הקיימים שלכם ב-Kafka לענן עם מינימום שינויים בקוד, השירות המנוהל ל-Apache Kafka הוא הבחירה האידיאלית.
שילוב עם מוצרי Cloud
השירות המנוהל של Google ל-Apache Kafka ו-Pub/Sub משולבים עם מגוון Google Cloud שירותים כמו Dataflow, BigQuery, Cloud Storage ועוד.
אם אתם צריכים אסטרטגיה של מרובה עננים (multi-cloud) ואתם נותנים עדיפות לניידות בין ספקי שירותי ענן שונים, השירות המנוהל ל-Apache Kafka מציע גמישות רבה יותר. הסיבה לכך היא ש-Kafka משתלב עם מגוון רחב יותר של מערכות מחוץ ל- Google Cloud בהשוואה ל-Pub/Sub.
השוואה בין תכונות
אם הקריטריונים הכלליים להחלטה שמופיעים בקטעים הקודמים לא עוזרים, אפשר לבחור על סמך תמיכה בתכונות ספציפיות. בטבלה הבאה מופיעה השוואה מפורטת בין שני המוצרים.
| התכונה | Pub/Sub | שירות מנוהל ל-Apache Kafka |
|---|---|---|
| שימוש קל | קל יותר להגדיר ולתחזק | נדרש מאמץ תפעולי רב יותר |
| מודל עלויות | תשלום לפי שימוש | תשלום לפי קיבולת למחשוב תשלום לפי שימוש ברשת ובאחסון. |
| עיבוד בדיוק פעם אחת | תומך במסירה סימולטנית יחידה ובסמנטיקה חזקה של אישור. | תומך בתופעות לוואי של בדיוק פעם אחת כשקוראים מנושא אחד וכותבים לנושא אחר. |
| התאמה לעומס (scaling) | התאמה אוטומטית לעומס (automatic scaling) חלקה מ-KB ל-GB לשנייה לכל נושא, שפועלת גם בעומסי עבודה בלתי צפויים. | נדרשת הגדרה ידנית |
| משלוח לפי הזמנה | אפשר להזמין מתוך המקשים. תפוקה של 1MB לשנייה לכל מפתח סידור מדויק |
אפשר להזמין מתוך מחיצות. הזמנה לכל מחיצה עד לקיבולת התפוקה של המחיצה. |
| שמירת נתונים | 31 ימים | שמירה ללא הגבלת זמן |
| זמן האחזור מקצה לקצה | זמן האחזור מקצה לקצה הוא בדרך כלל בסדר גודל של 100 אלפיות השנייה | בדרך כלל, זמן האחזור הוא בסדר גודל של 10 אלפיות השנייה למנויים שמתנהגים בצורה תקינה. |
| תאימות לקוד פתוח של Kafka להעברה והפעלה | לא | כן |
| ניהול זהויות והרשאות גישה (IAM) ואבטחה | כן | כן |
| הגדרה אוטומטית של רשת | כן | כן |
| מרובה עננים: זהה בכל העננים | לא | כן |
| הסכם רמת שירות (SLA) לזמן פעולה תקינה | כן | כן |
| הסכם רמת שירות (SLA) של מישור הנתונים | כן | לא בשלב הזה |
| רישום ביומן ומעקב | כן | כן |
| איזון מחדש של מחיצות בין ברוקרים | לא רלוונטי | כן |
| קיבולת אוטומטית | Pub/Sub מתאים באופן דינמי את הקיבולת על סמך קצב ההודעות הנכנסות והביקוש של המנויים. | השירות מנהל את התשתית הבסיסית, כמו מכונות וירטואליות ואחסון. אתם קובעים את מספר המחיצות ואת גורם השכפול. |
| ניהול אוטומטי של האחסון | כן | כן |
| שדרוגי תוכנה אוטומטיים | כן | כן |
| תמיכת לקוחות | כן | כן |
| Kafka Connect Service | לא רלוונטי | עם שירותי Connect שסופקו על ידי המשתמש |
| תמיכה בסכימה | כן | עם מאגר סכימות שסופק על ידי המשתמש |
| תואם ל-ks qIDB, KSQL | לא | כן |
| תמיכה במחברי OSS | כן למחברי Kafka ו-Flink | לא |
| שילוב עם אגם נתונים ומחסן נתונים | כן | כן |