השירות המנוהל ל-Apache Kafka אוסף מדדים שבהם אפשר להשתמש כדי לעקוב אחרי אשכולות Kafka. בדף הזה מוסבר איך לראות את המדדים האלה במסוף Google Cloud .
סקירה כללית
שירות מנוהל ל-Apache Kafka מייצא כמה מדדים שזמינים בהפצה של Kafka בקוד פתוח, וגם מדדים ספציפיים לשירות כמו consumer group offset lag.
המדדים מחולקים לארבע קטגוריות של משאבים:
אשכול: המדדים האלה שימושיים לשמירה על התקינות הכוללת של אשכול.
נושא: המדדים האלה כוללים שיעורים ושגיאות של מפרסמים וצרכנים. הם עוקבים אחרי התקינות הכללית של אפליקציות Kafka, ובעיות שספציפיות לברוקר.
חלוקת נושאים: המדדים האלה מיועדים למעקב אחר בעיות בביצועים ולניפוי באגים שקשורים למחיצות ספציפיות, כמו חלוקה לא אחידה של מפתחות.
קבוצת צרכנים של מחיצת נושאים: המדדים האלה משמשים למעקב אחרי תקינות האפליקציות של הצרכנים, בעיקר השהיית הצרכנים. מדדי שגיאות של Kafka בקוד פתוח לקבוצות צרכנים לא זמינים לפי מחיצה, אלא רק ברמת הנושא.
אפשר לקבץ חלק מהמדדים לפי אינדקס הברוקר. על סמך אינדקס הברוקרים, אפשר לחפש את האזור שבו הברוקר הזה הוקצה. מידע נוסף זמין במאמר בנושא צפייה בברוקרים.
הצגת מדדים של אשכול Kafka
אפשר לראות את המדדים בדרכים הבאות:
הדף פרטי האשכול כולל לוחות בקרה של מעקב אחרי אשכולות, נושאים וקבוצות צרכנים. לוחות הבקרה האלה מכילים תרשימים מוגדרים מראש שמאפשרים לכם לראות את המצב והביצועים הכוללים של האשכול.
אתם יכולים להשתמש בMetrics Explorer כדי לראות את כל המדדים הזמינים, ליצור תרשימים בהתאמה אישית או לצבור מדדים בכמה אשכולות.
תפקידים והרשאות נדרשים
כדי לקבל את ההרשאות שנדרשות להצגת תרשימי המעקב, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM Managed Kafka Viewer (roles/managedkafka.Viewer) בפרויקט.
כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
שימוש בלוחות הבקרה למעקב
כדי לראות את לוחות הבקרה של המעקב אחרי אשכול של שירות מנוהל ל-Apache Kafka, פועלים לפי השלבים הבאים:
נכנסים לדף Clusters במסוף Google Cloud .
לוחצים על שם האשכול.
כדי לראות את המדדים של האשכול, לוחצים על הכרטיסייה Monitoring.
כדי לראות מדדים של נושא באשכול:
לוחצים על הכרטיסייה משאבים.
ברשימה Topics (נושאים), לוחצים על שם הנושא.
בדף פרטי הנושא, לוחצים על הכרטיסייה מעקב.
כדי לראות את המדדים של קבוצת צרכנים באשכול:
לוחצים על הכרטיסייה משאבים.
ברשימה Consumer groups (קבוצות צרכנים), לוחצים על השם של קבוצת הצרכנים.
בדף פרטים של קבוצת צרכנים, לוחצים על הכרטיסייה מעקב.
למידע נוסף, ראו הצגת אשכול Kafka.
שימוש ב-Metrics Explorer
כדי לראות את המדדים של שירות מנוהל ל-Apache Kafka באמצעות Metrics Explorer:
נכנסים לדף Metrics explorer במסוף Google Cloud .
בקטע הגדרה, לוחצים על בחירת מדד.
במסנן, מזינים
Apache Kafka.בקטע Active resources, בוחרים באחת מהאפשרויות הבאות:
אשכול Apache Kafka
נושא Apache Kafka
מחיצה של נושא ב-Apache Kafka
קבוצת צרכנים של מחיצת נושא ב-Apache Kafka
בוחרים מדד ולוחצים על אישור.
מידע נוסף על Metrics Explorer זמין במאמר יצירת תרשימים באמצעות Metrics Explorer.
מדדים של שירות מנוהל ל-Apache Kafka
בטבלאות הבאות מפורטים מדדים נפוצים לניטור של אשכול Kafka ומשאבי האשכול. רשימה מלאה של המדדים הזמינים מופיעה במאמר בנושא Google Cloud מדדים.
השירות המנוהל ל-Apache Kafka מזוהה באמצעות כתובת ה-URL של השירות managedkafka.googleapis.com.
מדדים של אשכולות
המדדים הבאים רלוונטיים לאשכולות. כדי לראות את המדדים של אשכול ספציפי, מסננים לפי התווית cluster_id.
| מדד | תיאור | שם MBean שווה ערך |
|---|---|---|
cpu/core_usage_time |
השימוש המצטבר במעבד (CPU) של האשכול ב-vCPU. המידע הזה יכול לעזור לכם להבין את העלות הכוללת של הפעלת האשכול. | לא רלוונטי |
cpu/limit |
מספר המעבדים (CPU) הנוכחי שהוגדר לאשכול. אפשר להשתמש בו כדי לעקוב אחרי ניצול המעבד כיחס עם המדד cpu/usage. |
לא רלוונטי |
memory/usage |
השימוש הנוכחי בזיכרון ה-RAM באשכול. אפשר להשתמש במדד הזה כדי לעקוב אחרי ניצול ה-RAM כיחס עם המדד memory/limit. |
לא רלוונטי |
memory/limit |
גודל ה-RAM הנוכחי שהוגדר באשכול. אפשר להשתמש במדד הזה כדי לעקוב אחרי ניצול ה-RAM כיחס עם המדד memory/usage. |
לא רלוונטי |
jvm/memory_area/bytes_used |
מספר הבייטים שנעשה בהם שימוש באזור זיכרון נתון של JVM (כמו heap או non-heap) עבור ברוקרים ובקרים. | java.lang:type=Memory,HeapMemoryUsage.usedjava.lang:type=Memory,NonHeapMemoryUsage.used |
jvm/memory_area/bytes_committed |
מספר הבייטים שהוקצו לאזור זיכרון נתון של JVM (כמו heap או non-heap) עבור ברוקרים ובקרים. | java.lang:type=Memory,HeapMemoryUsage.committedjava.lang:type=Memory,NonHeapMemoryUsage.committed |
cluster_byte_in_count |
המספר הכולל של בייטים מלקוחות שנשלחו לכל הנושאים. | kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec |
cluster_byte_out_count |
המספר הכולל של בייטים שנשלחו ללקוחות מכל הנושאים. | kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec |
cluster_message_in_count |
המספר הכולל של הודעות שפורסמו בכל הנושאים. | kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec |
request_count |
המספר הכולל של הבקשות שנשלחו אל הברוקר | kafka.network:type=RequestMetrics,name=RequestsPerSec,request=
{Produce|FetchConsumer|FetchFollower},version=([0-9]+) |
request_byte_count |
הגודל הכולל בבייטים של הבקשות שנשלחו אל האשכול. | kafka.network:type=RequestMetrics,name=RequestBytes,request=
([-.\w]+) |
partitions |
מספר המחיצות הנוכחי שמטופלות על ידי האשכול הזה, בחלוקה לפי ברוקר. | kafka.server:type=ReplicaManager,name=PartitionCount |
request_latencies |
מספר אלפיות השנייה שנדרשו לכל בקשה, באחוזונים שונים | kafka.network:type=RequestMetrics,name=TotalTimeMs,request=
{Produce|FetchConsumer|FetchFollower} |
consumer_groups |
המספר הנוכחי של קבוצות צרכנים שצורכות מהברוקר | kafka.server:type=GroupMetadataManager,name=NumGroups |
offline_partitions |
מספר המחיצות של נושאים אופליין כפי שנצפה על ידי הבקר. | kafka.controller:type=KafkaController,name=OfflinePartitionCount |
מדדים של נושאים
המדדים הבאים רלוונטיים לנושאים. כדי לראות את המדדים של נושא ספציפי, מסננים לפי התוויות cluster_id ו-topic_id.
| מדד | תיאור | שם MBean שווה ערך |
|---|---|---|
message_in_count |
המספר הכולל של ההודעות שפורסמו בנושא. | kafka.server:type=BrokerTopicMetrics,name=MessagesInPerSec,
topic=([-.\w]+) |
byte_in_count |
המספר הכולל של בייטים מלקוחות שנשלחו לנושא. | kafka.server:type=BrokerTopicMetrics,name=BytesInPerSec,topic=([-.\w]+) |
topic_request_count |
המספר הכולל של בקשות ליצירה ולאחזור שנשלחו לנושא. | kafka.server:type=BrokerTopicMetrics,name=TotalProduceRequestsPerSec,topic=([-.\w]+)kafka.server:type=BrokerTopicMetrics,name=TotalFetchRequestsPerSec,topic=([-.\w]+) |
topic_error_count |
המספר הכולל של בקשות יצירה שנכשלו ובקשות אחזור שנכשלו שנשלחו לנושא. | kafka.server:type=BrokerTopicMetrics,name=FailedProduceRequestsPerSec,topic=([-.\w]+)kafka.server:type=BrokerTopicMetrics,name=FailedFetchRequestsPerSec,topic=([-.\w]+) |
byte_out_count |
המספר הכולל של בייטים שנשלחו ללקוחות. | kafka.server:type=BrokerTopicMetrics,name=BytesOutPerSec,
topic=([-.\w]+) |
מדדי חלוקה
המדדים הבאים רלוונטיים למחיצות. כדי לראות את המדדים של מחיצה ספציפית בנושא, מסננים לפי התוויות cluster_id, topic_id ו-partition_index.
| מדד | תיאור | שם MBean שווה ערך |
|---|---|---|
consumer_lag |
השהיית שכפול בהודעות בין השרת הראשי לבין כל עותק משוכפל של שרת משני. |
kafka.server:type=FetcherLagMetrics,name=ConsumerLag,clientId=([-.\w]+),topic=([-.\w]+),partition=([0-9]+)
|
log_segments |
המספר הנוכחי של פלחי היומן. השימוש בזה חשוב כדי לוודא שסיווג האחסון נשאר תקין. | kafka.log:type=Log,name=NumLogSegments,topic=([-.\w]+),partition=([0-9]+) |
first_offset |
ההיסט הראשון של כל מחיצה בנושא. בשילוב עם last_offset, אפשר להשתמש בו כדי לעקוב אחרי הגבול העליון של המספר הכולל של ההודעות שמאוחסנות, וגם כדי למצוא את ההיסט בפועל של ההודעה הכי ישנה. |
kafka.log:type=Log,name=LogStartOffset,topic=([-.\w]+),partition=([0-9]+) |
last_offset |
ההיסט האחרון במחיצה. אפשר להשתמש בנתונים האלה כדי למצוא את ההיסט של כל מחיצה לאורך זמן. האפשרות הזו יכולה להיות שימושית כדי לזהות את ההיסט הספציפי שנדרש כדי לעבד מחדש נתונים החל מזמן מסוים בעבר. | kafka.log:type=Log,name=LogEndOffset,topic=([-.\w]+),partition=([0-9]+) |
byte_size |
גודל המחיצה בדיסק בבייטים. | לא רלוונטי |
מדדים של קבוצות צרכנים
המדדים הבאים רלוונטיים לקבוצות צרכנים. כדי להציג את המדדים של קבוצת צרכנים ספציפית, מסננים לפי התווית consumer_group_id.
| מדד | תיאור | שם MBean שווה ערך |
|---|---|---|
offset_lag |
ההפרש בין האופסט האחרון לבין האופסט האחרון שבוצע לגביו קומיט עבור קבוצת הצרכנים של כל מחיצה. המדד הזה מספק הערכה לגבי מספר ההודעות שנוצרו שהצרכן עדיין לא עיבד בהצלחה. | לא רלוונטי |
המאמרים הבאים
צפייה בכל המדדים של השירות המנוהל ל-Apache Kafka