בשירות המנוהל ל-Apache Kafka, אתם יכולים לשנות את המתווכים שמוקצים למחיצת נושא. הקצאה מחדש של מחיצות נושאים יכולה לעזור לכם לאזן את העומס על כל ברוקר או לבודד את העומס על ברוקר עם תנועה גבוהה.
סקירה כללית
כשיוצרים נושא חדש בשירות המנוהל ל-Apache Kafka, בוחרים את מספר המחיצות ואת פקטור השכפול.
גורם השכפול הוא מספר הברוקרים שמאחסנים רפליקה של כל מחיצה בנושא. אחד מהברוקרים האלה פועל בתור leader, והאחרים הם followers. ה-leader מטפל בבקשות הכתיבה של המחיצה, וה-followers משכפלים את הנתונים. אם ה-leader נכשל, אחד מה-followers נבחר להיות ה-leader.
אם באשכול מופעל איזון מחדש אוטומטי, הגדלת האשכול עשויה לגרום להקצאה מחדש של מחיצות, כדי לשמור על מספר דומה של מחיצות לכל ברוקר.
יכול להיות שתרצו לשנות את הקצאת המחיצה מהסיבות הבאות:
אתם מגדילים אשכול שהאיזון האוטומטי שלו מושבת, וברוקר חדש שנוסף לא מטפל בעומס.
מחיצה מסוימת מקבלת הרבה יותר תנועה ממחיצות אחרות, ואתם רוצים לבודד את העומס על ידי העברת מחיצות אחרות לברוקרים אחרים.
כדי להקצות מחדש מחיצות, אפשר להשתמש בכלי שורת הפקודה של Kafka, כמו שמתואר בקטע הבא.
שינוי הקצאת המחיצה
כדי לשנות את המתווכים שמוקצים למחיצות, מבצעים את הפעולות הבאות.
מתקינים את כלי שורת הפקודה של Kafka במכונה וירטואלית של Compute Engine. ל-VM צריכה להיות גישה לרשת משנה שמחוברת לאשכול. מידע נוסף זמין במאמר הפקה וצריכה של הודעות באמצעות כלי שורת הפקודה של Kafka.
מריצים את הפקודה
kafka-configs.sh --describeכדי לקבל רשימה של הברוקרים באשכול.kafka-configs.sh --describe --entity-type brokers \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --command-config client.propertiesמחליפים את BOOTSTRAP_ADDRESS בכתובת ה-bootstrap של האשכול. הפקודה מחזירה רשימה של מזהי ברוקרים והגדרות ברוקר דינמיות.
פלט לדוגמה:
Dynamic configs for broker 10 are: Dynamic configs for broker 11 are: Dynamic configs for broker 12 are: Default configs for brokers in the cluster are:בדוגמה הזו, מזהי הברוקרים הם
10,11ו-12. אין הגדרות של ברוקר דינמי.יוצרים קובץ JSON שמפרט את הנושאים שרוצים להקצות מחדש לברוקרים שונים. הפורמט של הקובץ צריך להיות כמו בדוגמה הבאה:
{ "topics": [ { "topic": "topic-1" }, { "topic": "topic-2" } ] }מפעילים את הפקודה
kafka-reassign-partitions.shעם הדגל--generateכדי לקבל את מיפוי המחיצות הנוכחי, וגם כדי ליצור הקצאה מחדש של מחיצות מועמדות.kafka-reassign-partitions.sh --generate \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --topics-to-move-json-file TOPICS_FILE \ --broker-list BROKER_LIST \ --command-config client.propertiesמחליפים את מה שכתוב בשדות הבאים:
- TOPICS_FILE: הנתיב לקובץ ה-JSON מהשלב הקודם.
- BROKER_LIST: רשימה מופרדת בפסיקים של ברוקרים שצריך להקצות מחדש את המחיצות של הנושא אליהם. לדוגמה:
11,10.
פלט לדוגמה:
Current partition replica assignment {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[12,10],"log_dirs":["any","any"]}]} Proposed partition reassignment configuration {"version":1,"partitions":[{"topic":"topic-1","partition":0,"replicas":[11,10],"log_dirs":["any","any"]}]}בדוגמה הזו, מחיצה 0 של
topic-1מוקצית לברוקרים12ו-10.יוצרים קובץ JSON שמגדיר מיפוי של ברוקרים למחיצות. אפשר להתחיל עם ההצעה להקצאה מחדש מהשלב הקודם, ולשנות אותה לפי הצורך.
לדוגמה, המיפוי הבא מעביר את מחיצה 0 של
topic-1לברוקרים11ו-10.{ "version":1, "partitions":[ { "topic":"topic-1", "partition":0, "replicas":[11,10] } ] }מריצים את הפקודה
kafka-reassign-partitions.sh --executeכדי להקצות את המחיצות.kafka-reassign-partitions.sh --execute \ --reassignment-json-file PARTITION_MAP \ --bootstrap-server=BOOTSTRAP_ADDRESS \ --command-config client.propertiesמחליפים את PARTITION_MAP בנתיב לקובץ ה-JSON מהשלב הקודם.
המאמרים הבאים
- סקירה כללית על ברוקרים בשירות מנוהל ל-Apache Kafka
- מעקב אחרי אשכול של שירות מנוהל ל-Apache Kafka
- תכנון הגודל של אשכול השירות המנוהל ל-Apache Kafka