Kafka Connect הוא הכלי המועדף לשילוב נתונים למפתחי Kafka. היא מספקת מסגרת לחיבור של Kafka למערכות חיצוניות כמו מסדי נתונים, תורים של הודעות ומערכות קבצים.
Kafka Connect מספקת קבוצה נבחרת של פלאגינים מובנים של מחברים, שנבדקו ותוחזקו על ידי Google Cloud. תוספי המחברים האלה מקבלים תיקונים ושדרוגים באופן אוטומטי, מה שמפשט את התחזוקה ומבטיח תאימות.Google Cloud כולל גם ניטור ורישום ביומן מובנים, כדי לשמור על תקינות צינורות העיבוד.
ממשקי ה-API של Kafka Connect מוצעים כחלק מהשירות המנוהל של Google Cloud ל-Apache Kafka. אפשר לגשת לממשקי ה-API האלה דרך managedkafka.googleapis.com, והם משולבים במסוף Google Cloud ובספריות הלקוח. כדי לנהל את Kafka Connect, אפשר להשתמש במסוף Google Cloud , ב-CLI של gcloud, ב-Managed Kafka API, בספריות הלקוח ב-Cloud או ב-Terraform.
תרחישים לדוגמה לשימוש ב-Kafka Connect
Kafka Connect תומך בשילוב נתונים בין אשכול השירות המנוהל ל-Apache Kafka לבין מערכות שונות אחרות. הנה כמה תרחישי שימוש מרכזיים:
העברה של פריסות Kafka קיימות אל שירות מנוהל ל-Apache Kafka.
משכפלים את האשכול שלכם בשירות המנוהל ל-Apache Kafka לאזור אחר לצורך התאוששות מאסון.
הזרמת נתונים מהשירות המנוהל ל-Apache Kafka אל BigQuery, Cloud Storage ו-Pub/Sub.
חיבור אשכולות
קלאסטר Connect הוא פריסה מבוזרת של Kafka Connect עם תוספים ותצורות של מחברים מוכנים מראש. כל אשכול Connect משויך לאשכול ראשי של שירות מנוהל ל-Apache Kafka. האשכול הראשי הזה מאחסן את המצב של המחברים שפועלים באשכול Connect.
בדרך כלל, האשכול הראשי של השירות המנוהל ל-Apache Kafka משמש גם כיעד לכל מחברי המקור וכמקור לכל מחברי היעד שפועלים באשכול Connect המשויך.
לשירות מנוהל אחד ל-Apache Kafka יכולים להיות כמה אשכולות Connect. אם מפעילים את MirrorMaker 2.0, אשכול Connect יכול להתחבר לאשכולות של שירות מנוהל ל-Apache Kafka שאינם ראשיים או לאשכולות של Kafka בניהול עצמי כדי לקרוא או לכתוב נתונים בנושא. התהליך הזה מאפשר לשכפל נושאים בין אשכולות שונים.
מנקודת המבט של מודל המשאבים, אשכול Connect הוא משאב נפרד מאשכול של שירות מנוהל ל-Apache Kafka.
נניח שיש לכם אשכול של שירות מנוהל ל-Apache Kafka שבו אתם מאחסנים נתוני תנועת גולשים באתר. אתם רוצים להזרים את הנתונים האלה ל-BigQuery כדי לנתח אותם. אתם יכולים ליצור אשכול Connect ולהשתמש במחבר יעד BigQuery כדי להעביר את הנתונים מנושאי Kafka אל BigQuery. אשכול Connect הזה משויך לאשכול שלכם בשירות המנוהל ל-Apache Kafka כאשכול הראשי שלו.
מחברים
מחברים הם רכיבי התוכנה שמעבירים נתונים בין אשכול Kafka לבין מערכות אחרות.
מחבר מקור כותב נתונים ממקור לאשכול של שירות מנוהל ל-Apache Kafka.
מחבר יעד כותב נתונים מאשכול של שירות מנוהל ל-Apache Kafka ליעד.
מחבר נפרס, מוגדר ומנוהל בתוך אשכול Connect. אפשר להתחיל, להפסיק, להשהות ולהפעיל מחדש את המכונה, וגם לעדכן את ההגדרות שלה.
מידע נוסף על סוגי המחברים שנתמכים בשירות המנוהל ל-Apache Kafka זמין במאמר בנושא סקירה כללית על מחברים.
ניהול Kafka Connect
עם Kafka Connect, אתם יכולים להתמקד בפריסת מחברים, בזמן שהשירות המנוהל ל-Apache Kafka מטפל בתשתית הבסיסית ובמורכבויות התפעוליות.
שירות Kafka Connect מבצע אוטומטית את הפעולות הבאות:
הקצאת עובדים של Kafka Connect: כשיוצרים אשכול Connect, שירות Kafka Connect מקצה אוטומטית אשכול של עובדים ב-Kubernetes.
רשת: שירות Kafka Connect מגדיר את הרשת כדי לאפשר תקשורת בין העובדים, בין ברוקרים של שירות מנוהל ל-Apache Kafka ובין מערכות חיצוניות. במקרים מסוימים, יכול להיות שתצטרכו לבצע שינויים בהגדרות הרשת הקיימות.
עמידות אזורית: שירות Kafka Connect מפזר את העובדים על פני שלושה אזורים לפחות, כדי להבטיח שעיבוד הנתונים יוכל להימשך במקרה של הפסקת חשמל אזורית.
אימות: שירות Kafka Connect מגדיר גם אימות עם ברוקרי Kafka, כדי להבטיח חיבורים מאובטחים.
השקות ושדרוגים: שירות Kafka Connect מנהל שינויים בהגדרות של העובדים, שדרוגי גרסה ותיקוני אבטחה, כדי לוודא שהפריסות שלכם תמיד עדכניות.
בשירות Kafka Connect אפשר לבצע את ההגדרות הבאות:
מגבלות קיבולת ורשת: הגדרת מגבלות משאבים ותצורות רשת כדי לבצע אופטימיזציה של הביצועים והעלות.
ניטור ורישום ביומן: אפשר לגשת ליומני גישה ולמדדים של המחברים כדי לנטר את הביצועים ולפתור בעיות.
ניהול מחזור החיים של מחברי נתונים: השהיה, הפעלה מחדש, הפעלה או עצירה של מחברי נתונים לפי הצורך כדי לנהל את צינורות הנתונים.
מגבלות
אשכול Kafka הראשי חייב להיות אשכול של שירות מנוהל ל-Apache Kafka. האשכול הראשי הוא האשכול שאליו אשכול Kafka Connect כותב את המטא-נתונים שלו.
אי אפשר להעלות תוספים של מחברים בהתאמה אישית לאשכול Kafka Connect.
השירות לא תומך באימות מול סכימה מרוחקת באמצעות Schema Registry.