שימוש בלוחות בקרה של Grafana כדי לעקוב אחרי Spanner Omni

מעקב אחרי התקינות והביצועים של פריסות Spanner Omni באמצעות מרכזי בקרה של Grafana. במרכזי הבקרה האלה מוצגים מדדים של Spanner Omni שנקלטים ב-Prometheus, וכך מספקים תובנות מקיפות לגבי המצב התפעולי של הפריסה. אתם מקבלים תובנות לגבי התקינות הכללית של המערכת, צריכת המשאבים ותהליכים פנימיים קריטיים.

מלאי שטחי פרסום במרכז הבקרה

בטבלה הבאה מופיע סיכום כללי של מרכזי הבקרה הזמינים:

מרכז שליטה מדדים מרכזיים המטרה העיקרית
סקירה כללית ‫QPS, זמן אחזור, תפוקה מעקב אחרי ביצועי הפריסה ברמה גבוהה, כולל שאילתה לשנייה (QPS), זמן האחזור של הבקשה וקצב העברת הנתונים.
תובנות לגבי המערכת CPU, זיכרון, זמן המתנה לנעילה התמקדות בצריכת משאבים ובמצב (לדוגמה, CPU, זיכרון וזמן המתנה לנעילה) ברמת מסד הנתונים עבור מסדי נתונים נבחרים.
תובנות לגבי הפריסה CPU, זיכרון וניצול רשת מספק תובנות מפורטות לגבי צריכת המשאבים הכוללת של הפריסה וסטטיסטיקות הרשת.
מערכת קבצים של Spanner Omni פעולות שקשורות לקבצים, זמן אחזור ותפוקה מעקב אחרי פעולות בסיסיות של מערכת הקבצים, ביצועים, זמן אחזור וקצב העברת נתונים.
gRPC RPC מספר, סטטוס וחביון לעקוב אחרי נתונים סטטיסטיים מפורטים של RPC תקשורת בצד השרת ובצד הלקוח.
דחיסות שיעור ההצלחה והכישלון של הדחיסה, השהיית הדחיסה הדמיה של ביצועי התחזוקה של נתוני הרקע, עם דגש על שיעורי ההצלחה והכישלון של הדחיסה ועל השהיית הדחיסה.
פיצולים, מיזוגים והעברות פיצול, מיזוג והזזה של ספירה; גודל הקבוצה מעקב אחרי ההפצה הדינמית של נתונים, כולל פעולות בספרייה (פיצולים, מיזוגים והעברות), גודל קבוצת הנתונים ונקודות חמות פוטנציאליות.
טאבלטים מספר הטאבלטים, התפלגות העומס מספקות תובנות מעמיקות לגבי נתונים סטטיסטיים, פעולות ועומס של טאבלטים, ומזהות אזורים פוטנציאליים של עומס יתר.
TrueTime סחף, חוסר ודאות, הפרות של הסכם רמת שירות (SLA) מעקב אחרי תקינות ומהימנות של שירות Spanner Omni TrueTime, כולל סחיפה, אי ודאות והפרות של הסכם רמת השירות (SLA).
יומן משותף שיעור כתיבה, מיון לפי שיעור שגיאות עוקבים אחרי הביצועים של היומן המשותף, במיוחד אחרי שיעורי הכתיבה ושיעורי השגיאות של המיון.

אלה כמה מהתרשימים שזמינים במרכזי הבקרה:

  • ‫Compute Capacity (vCPU)‎: המספר הכולל של vCPUs שהוקצו לפריסה.

  • נפח הזיכרון: נפח הזיכרון הפיזי הכולל שהוקצה לפריסה.

  • נפח אחסון: נפח האחסון הכולל והזמין במערכת הקבצים.

  • Node Status: Tracks the count of total and unhealthy servers in the deployment.

  • ‫Compute Utilization: אחוז הקיבולת הכוללת של vCPU שנמצאת בשימוש.

  • ניצול הזיכרון: סך השימוש בזיכרון בכל הפריסה. צפוי שימוש גבוה כי Spanner Omni משתמש בזיכרון פנוי למטרות מטמון.

  • ניצול נפח האחסון: אחוז מנפח האחסון הכולל שנמצא בשימוש.

  • ‫Storage Used Per vCPU: היחס בין נפח האחסון הכולל בשימוש לבין סך כל מספר ה-vCPU.

  • שרתים: טבלה מפורטת שבה מוצגים מדדים לכל שרת ולכל אזור לגבי CPU ניצול, ניצול זיכרון, זמן פעולה, סך vCPU, סך הזיכרון, נפח האחסון בשימוש ונפח האחסון.

מרכז הבקרה System insights

לוח הבקרה של תובנות המערכת מתמקד בתקינות ובביצועים של מסדי הנתונים בפריסה. לוח הבקרה הזה כולל את התרשימים הבאים:

  • סקירה כללית של ניצול המעבד (CPU): ניצול המעבד הכולל של מסד הנתונים CPU בצורה מצטברת בשרתים שנבחרו.

  • ניצול CPU לפי משתמש ומערכת: ניצול CPU במסד הנתונים שנבחר, מקובץ לפי משתמש ומשימות מערכת ועדיפות.

  • CPU Utilization By Operation Type: Utilization of CPU grouped by operation type for the selected database aggregated across the selected servers.

  • CPU Utilization By Operation Type - High Priority: Utilization of CPU grouped by operation type and filtered by high priority for the selected database aggregated across the selected servers.

  • ‫CPU Utilization By Operation Type - Medium Priority: ניצול של CPU מקובץ לפי סוג פעולה ומסונן לפי עדיפות בינונית עבור מסד הנתונים שנבחר, בצבירה בין השרתים שנבחרו.

  • ‫CPU Utilization By Operation Type - Low Priority: ניצול המעבד CPU מקובץ לפי סוג הפעולה ומסונן לפי עדיפות נמוכה עבור מסד הנתונים שנבחר, עם נתונים מצטברים מהשרתים שנבחרו.

  • זמן האחזור של הבקשה (P50, ‏ P90, ‏ P99): זמן האחזור במסד נתונים נבחר, מקובץ לפי שיטות קריאה וכתיבה בשרתים שנבחרו.

  • ‫Request Latency By Method (P50, ‏ P90, ‏ P99): זמן האחזור במסד נתונים נבחר, מקובץ לפי API methods בשרתים שנבחרו.

  • השהיית טרנזקציה (P50, ‏ P90, ‏ P99): השהיית בקשה במסד נתונים נבחר, מקובצת לפי סוג הטרנזקציה והמעורבות של ה-Leader בשרתים שנבחרו.

  • Throughput: קצב העברת הנתונים לקריאה ולכתיבה במסד נתונים נבחר בשרתים נבחרים.

  • Throughput By Method: Throughput within a selected database grouped by method across selected servers.

  • פעולות לשנייה: פעולות לשנייה במסד נתונים נבחר, מקובצות לפי שיטות קריאה וכתיבה בשרתים נבחרים.

  • פעולות לשנייה לפי שיטה: פעולות לשנייה במסד נתונים נבחר, מקובצות לפי שיטות בשרתים נבחרים.

  • ניצול נפח האחסון לפי מסד נתונים: בייטים פיזיים שלא משוכפלים, שנעשה בהם שימוש בכל מסד נתונים. המדד הזה מסופק על ידי הטאבלט הראשי של כל קבוצה. הערך של הבייטים הפיזיים המשוכפלים בפועל בכל הטבלטים של קבוצה עשוי להיות גבוה או נמוך יותר, בהתאם למצב הדחיסות בכל טבלט, אבל המדד הזה מספק מושג משוער לגבי כמות האחסון הפיזי הלא משוכפל שכל מסד נתונים משתמש בו.

  • ‫Lock Wait Time (זמן המתנה לנעילה): סה"כ זמן ההמתנה לנעילה עקב התנגשויות נעילה במסד הנתונים שנבחר, במרווח של 5 דקות.

  • שיעור העסקאות שבוטלו: שיעור העסקאות שבוטלו. שיעורי הביטול יכולים להיות גבוהים יותר כשיש התנגשויות בין טרנזקציות.

  • מספר אובייקטים של סכימה: מספר אובייקטים של סכימה במסד הנתונים שנבחר.

  • משתתפים בעסקה: חלוקת מספר המשתתפים בעסקה בכל ניסיון ביצוע (commit) של מסד הנתונים.

מרכז הבקרה לתובנות לגבי פריסה

מרכז הבקרה של תובנות לגבי פריסה מספק תובנות נוספות לגבי צריכת משאבים של פריסה. לוח הבקרה הזה כולל את התרשימים הבאים:

  • ניצול המעבד (CPU): נתון מצטבר CPU של ניצול המעבד בשרתים שנבחרו.

  • ניצול המעבד (CPU) של השרת: CPU ניצול לכל שרת שנבחר.

  • ניצול המעבד (CPU) של התהליך: CPU ניצול של כל תהליך במצטבר בשרתים שנבחרו.

  • ניצול הזיכרון: ניצול הזיכרון המצטבר של השרתים שנבחרו. הערכים צפויים להיות גבוהים כי Spanner Omni שומר נתונים במטמון בזיכרון, ו-Spanner Omni יכול לפנות את הזיכרון הזה אם צריך.

  • ניצול הזיכרון של השרת: ניצול הזיכרון של כל אחד מהשרתים שנבחרו. הערכים צפויים להיות גבוהים כי Spanner Omni שומר נתונים במטמון בזיכרון, ו-Spanner Omni יכול לפנות את הזיכרון הזה אם צריך.

  • גודל הזיכרון התושב של התהליך: גודל הזיכרון התושב של כל תהליך בשרתים שנבחרו.

  • גודל הזיכרון הווירטואלי של התהליך: גודל הזיכרון הווירטואלי של כל תהליך בשרתים שנבחרו.

  • פירוט של זיכרון השרת: ניצול הזיכרון לפי קטגוריה (מטמון, מקוטע, memtable_pinned, מערכת, עדכונים, אחר) שמצטבר בכל השרתים שנבחרו. הזיכרון הזה ספציפי לתהליך span_server.

  • Network Sent Bytes: בייטים שנשלחו לכל ממשק, מצטברים בכל השרתים.

  • בייטים שהתקבלו ברשת: בייטים שהתקבלו לכל ממשק, מצטברים בכל השרתים.

  • 10 השרתים המובילים לפי בייטים שנשלחו ברשת: 10 השרתים המובילים לפי בייטים שנשלחו ברשת (תצוגת טבלה).

  • 10 השרתים המובילים לפי בייטים שהתקבלו ברשת: 10 השרתים המובילים לפי בייטים שהתקבלו ברשת (תצוגת טבלה).

לוח הבקרה של מערכת הקבצים ב-Spanner Omni

לוח הבקרה של מערכת הקבצים Spanner Omni עוקב אחרי פעולות בסיסיות במערכת הקבצים שחשובות לביצועים, כולל שיעורי פעולות, זמן אחזור וקצב העברת נתונים. לוח הבקרה הזה כולל את התרשימים הבאים:

  • גרפים של פעולות על קבצים:

    • פעולות לשנייה: מעקב אחר השיעור הכולל של פעולות על קבצים, מקובצות לפי פעולה.

    • פעולות מקומיות ומרחוק בשנייה: מעקב אחר קצב הפעולות על קבצים, בנפרד לגישה מקומית ולגישה מרחוק.

    • שגיאות בפעולות בשנייה: שיעור השגיאות בפעולות במערכת הקבצים, מקובצות לפי פעולה וסטטוס.

  • גרפים של זמן האחזור: כוללים תרשימים של זמן האחזור P50,‏ P90 ו-P99 עבור פעולות בקבצים מקומיים ומרחוקים, מקובצים לפי פעולה.

  • תרשימי נתונים של קצב העברת נתונים:

    • קצב העברת נתונים לקריאה ולכתיבה מקומית ומרוחקת: מעקב אחרי קצב העברת הנתונים לקריאה ולכתיבה, בנפרד לגישה מקומית ולגישה מרוחקת.

    • בייטים לכל פעולה: כולל P50 ו-P90 בייטים שהועברו לכל פעולה לגישה מקומית ולגישה מרחוק.

  • נתונים סטטיסטיים של מערכת הקבצים:

    • ‫Total File system Size By Zone: הגודל הכולל של מערכת הקבצים שהוקצתה, מקובץ לפי אזור Spanner Omni.

    • File system Usage by Zone: גודל מערכת הקבצים הנוכחי בשימוש, מקובץ לפי אזור Spanner Omni.

לוח הבקרה של gRPC

בלוח הבקרה של gRPC אפשר לעקוב אחרי נתונים סטטיסטיים RPC מפורטים של כל השרתים ב פריסה. לוח הבקרה הזה כולל את התרשימים הבאים:

  • מדדים בצד השרת: מעקב אחרי הביצועים של RPC מנקודת המבט של השרת.

    • ‫RPC Latency Per Method (P50, ‏ P90, ‏ P99): זמן האחזור לכל RPCשיטה בצד השרת.

    • קצב העברת נתונים בצד השרת לכל שיטה: בייטים שנשלחו לשנייה לכל שיטה עבור שרתים נבחרים.

    • ‫Server Sent Throughput Per Process (קצב העברת נתונים לכל תהליך בשרת): מספר הבייטים שנשלחו לשנייה לכל תהליך בשרתים שנבחרו.

    • ‫Server Received Throughput Per Method: מספר הבייטים שהתקבלו לשנייה לכל שיטה עבור השרתים שנבחרו.

    • ‫Server Received Throughput Per Process: מספר הבייטים שהתקבלו לשנייה לכל תהליך בשרתים שנבחרו.

    • Server Canonical Status Count Per Method: שיעור ההתרחשות של קוד סטטוס קנוני לכל שיטה עבור שרתים נבחרים.

    • Server Completed RPCs Per Method: קצב השלמת RPCs לכל שיטה עבור שרתים נבחרים.

    • ערוצים פעילים בשרת: המספר הכולל של ערוצי צד השרת gRPC שנוצרו מאז שהאפליקציה הופעלה ונשארו פעילים.

  • מדדים בצד הלקוח: מעקב אחרי RPC הביצועים מנקודת המבט של הלקוח.

    • ‫Client Roundtrip Latency Per Method (P50, P90, P99): זמן האחזור של הלוך ושוב לכל שיטהRPC, כולל זמן האחזור של השרת, הרשת וזמן ההמתנה בתור.

    • ‫Client Sent Throughput Per Method: בייטים שנשלחו לשנייה לכל שיטה עבור שרתים נבחרים.

    • קצב העברת נתונים של לקוח לכל תהליך: מספר הבייטים שנשלחים לשנייה לכל תהליך בשרתים שנבחרו.

    • ‫Client Received Throughput Per Method: בייטים שהתקבלו לשנייה לכל שיטה עבור השרתים שנבחרו.

    • קצב העברת נתונים שהתקבל ללקוח לכל תהליך: בייט שהתקבל לשנייה לכל תהליך עבור שרתים נבחרים.

    • Client Canonical Status Count Per Method: שיעור ההתרחשות של קוד סטטוס קנוני לכל שיטה כלקוח gRPC עבור שרתים נבחרים.

    • Client Completed RPCs Per Method: קצב השלמת ה-RPC של הלקוח RPCs לכל שיטה עבור שרתים נבחרים.

לוח הבקרה של הדחיסות

במרכז הבקרה של הדחיסות מוצגת ויזואליזציה של הביצועים של משימות דחיסה ברקע. לוח הבקרה הזה כולל את התרשימים הבאים:

  • דחיסות שהצליחו ודחיסות שנכשלו (שעה אחרונה): מעקב אחר מספר הדחיסות שהצליחו ומספר הדחיסות שנכשלו, לפי סוג הדחיסה ולכל שרת.

  • Compactions Output Bytes Rate: מעקב אחר קצב הבייטים של הפלט של פעולות דחיסה במרווח של 2 דקות, מקובץ לפי סוג הדחיסה ולפי שרת.

  • Compactions Input Size Distribution: מפת חום שמציגה את ההתפלגות של גדלי הקלט של פעולות הדחיסה.

  • ‫Compactions Input Size (Mean): מציג את הגודל הממוצע של קלט הדחיסה, מקובץ לפי סוג הדחיסה ולפי שרת.

  • Compactions Input Size (Percentile Estimates): Provides percentile estimates (P50, P95, P99) of compaction input size, grouped by compaction type and per server.

  • התפלגות של השהיית דחיסה משמעותית: מפת חום שמציגה את ההתפלגות של השהיית דחיסה משמעותית שמצטברת בכל השרתים.

  • ‫Major Compaction Lag (Mean) Per Server (השהיית דחיסה משמעותית (ממוצע) לכל שרת): מציג את הממוצע של השהיית דחיסה משמעותית לכל שרת.

  • Major Compaction Lag (Percentile Estimates) Per Server: Provides percentile estimates (P50, P90, P99) of major compaction lag per server.

מרכז בקרה של פיצולים, מיזוגים והעברות

בלוח הבקרה 'פיצולים, מיזוגים והעברות' אפשר לעקוב אחרי החלוקה הדינמית של הנתונים באשכול, כולל פעולות בספריות וגודל הקבוצות. לוח הבקרה הזה כולל את התרשימים הבאים:

  • ‫Split Size Distribution: הגודל של פיצול הספרייה, כולל אחוזונים P50,‏ P90,‏ P99 ו-P100, שמצטברים בשרתים שנבחרו.

  • התפלגות גודל הקבוצה: כל הבייטים שהוקצו לקבוצה (קבועים ובזיכרון), עם אחוזונים של P50, P90, P99 ו-P100, מצטברים בשרתים שנבחרו.

  • גודל הקבוצה בהפצה של הזיכרון: כל הבייטים שהוקצו לקבוצה במבני הנתונים בזיכרון, עם אחוזונים של P50,‏ P90,‏ P99 ו-P100, מצטברים על פני השרתים שנבחרו.

  • ‫Group Size By Zone: הגדלים P50,‏ P90,‏ P99 ו-P100 של כל הבייטים שהוקצו (קבועים ובזיכרון) לקבוצה, מקובצים לפי אזור Spanner Omni.

  • מספר ההעברות הפנימיות המוצלחות של נתונים: ספירה של העברות, פיצולים ומיזוגים של ספריות וקבוצות בחלון של שעה אחת, מקובצים לפי יוזם, פעולה וסוג ההעברה.

  • מספר ההעברות של נתונים פנימיים שנכשלו: מספר השגיאות בניסיונות להעביר, לפצל ולמזג ספריות וקבוצות במהלך חלון של שעה.

  • שגיאות שלא ניתן לפצל לפי סיבה וסוג: שיעור השגיאות שלא ניתן לפצל, שבהן המערכת מתעלמת מפיצולים בעומס יתר כי הטווח לא ניתן לפיצול.

  • Peak Split CPU Usage Score: עומס השימוש המקסימלי ב-CPU בכל הפיצולים של כל מסד נתונים.

לוח בקרה של טאבלטים

לוח הבקרה של הטאבלטים מספק תובנות מעמיקות לגבי נתונים סטטיסטיים של טאבלטים, פעולות ונקודות חמות פוטנציאליות. לוח הבקרה הזה כולל את התרשימים הבאים:

  • ‫Total Tablet Count (המספר הכולל של טאבלטים): המספר הכולל של טאבלטים של Paxos בפריסה.

  • ‫Tablet Count By Zone (מספר הטאבלטים לפי אזור): מספר הטאבלטים, מקובצים לפי אזור Spanner Omni.

  • מספר הטאבלטים לפי שרת: מספר הטאבלטים בשרתים שנבחרו.

  • מספר המכונות הראשיות לפי אזור: מספר המכונות הראשיות, מקובצות לפי אזור Spanner Omni.

  • מספר ה-Leader לפי שרת: מספר טבליות ה-Leader בשרתים שנבחרו.

  • ‫Unassigned Tablets Per Zone (טאבלטים לא מוקצים לכל אזור): מספר הטאבלטים שלא הוקצו לכל אזור.

  • טעינות של טאבלטים לפי אזור: שיעור הטעינות של טאבלטים שמקובצות לפי אזור.

  • Tablet Unloads By Zone By Reason: שיעור הפריקה של טאבלטים לכל אזור, מסווג לפי הסיבה לפריקה.

  • עומס מקסימלי של טאבלט לכל שרת: תצוגת טבלה שבה מוצג עומס החישוב המקסימלי של טאבלט בכל שרת.

  • מספר הטאבלטים החמים: המספר הכולל של טאבלטים חמים (טאבלטים שחורגים מסף עומס החישוב).

  • חלוקת העומס בטאבלט: חלוקת עומס החישוב לכל טאבלט, עם אומדנים של אחוזונים P50 ו-P90, והערך המדויק MAX.

לוח הבקרה של TrueTime

בלוח הבקרה של TrueTime אפשר לראות את התקינות והמהימנות של שירות Spanner Omni TrueTime. לוח הבקרה הזה כולל את התרשימים הבאים:

  • זמינות TrueTime: מעקב אחר הזמינות הכוללת של שירות TrueTime.

  • ‫P99 TrueTime drift: מעקב אחר האחוזון ה-99 של סחף TrueTime.

  • P99 TrueTime uncertainty: מעקב אחר האחוזון ה-99 של אי הוודאות של TrueTime.

  • הפרות של הסכם רמת השירות (SLA) של השעון: מספר ההפרות של הסכם רמת השירות (SLA) של השעון.

  • מספרים של מיגרציות של מכונות וירטואליות: מעקב אחרי מספר המיגרציות של מכונות וירטואליות.

  • TrueTime drift on leader: מעקב אחרי סחיפת TrueTime בצורה ספציפית בצמתי ה-leader.

  • TrueTime desired and actual steering ppm: השוואה בין ערכי ההיגוי הרצויים והממשיים של חלקיקים למיליון (ppm).

  • שגיאת ניהוג של TrueTime: מעקב אחרי השגיאה במנגנון הניהוג של TrueTime.

מרכז בקרה של יומן משותף

לוח הבקרה של היומן המשותף הוא לוח בקרה ייעודי למעקב אחרי הביצועים והסטטוס של היומן המשותף. לוח הבקרה הזה כולל את התרשימים הבאים:

  • קצב כתיבת יומן משותף: מספר רשומות היומן המשותפות לשנייה, מצטבר ומפורט לפי מסד נתונים.

  • Shared Log Bytes Written: מספר הבייטים של יומן משותף שנכתבו בשנייה (throughput), מצטבר ומפורט לפי מסד נתונים.

  • ‫Shared Log Batches Write Rate: מספר קבוצות של יומנים משותפים שנכתבו בשנייה, מצטבר בכל השרתים שנבחרו.

  • ‫Shared Log Batch Write Latency Distribution (התפלגות חביון של כתיבת אצווה של יומן משותף): התפלגות החביון של P50, P90 ו-P99 לכתיבת אצווה של יומן משותף.

  • התפלגות של מספר הרשומות בחבילות של יומן משותף: התפלגות של מספר הרשומות בחבילות של יומן משותף P50, P90 ו-P99.

  • קצב הבקשות של LogSort: קצב הבקשות של LogSort שמצטבר בשרתים שנבחרו.

  • שיעור שגיאות המיון של LogSort: שיעור שגיאות המיון של LogSort שמצטברות בשרתים שנבחרו.

  • ‫In Progress Shared Log Readers: המספר הכולל של קוראי יומנים משותפים שעוסקים בשחזור טאבלט.

המאמרים הבאים