Apache Cassandra

השילוב של Apache Cassandra אוסף מדדים של בקשות, משימות ואחסון שמדגישים את העומס על מופע. אפשר גם להגדיר את השילוב כך שיאסוף מדדים כלליים של JVM שקשורים לזיכרון ו-garbage collection. השילוב אוסף גם יומנים של המערכת, ניפוי באגים ואיסוף. היומנים האלה מנותחים למטען ייעודי (payload) של JSON, שכולל שדות להודעה, למחלקת Java ולמספר השורה.

מידע נוסף על Cassandra זמין במאמרי העזרה של Apache Cassandra.

דרישות מוקדמות

כדי לאסוף נתוני טלמטריה של Cassandra, צריך להתקין את סוכן התפעול:

  • כדי להשתמש במדדים, צריך להתקין את גרסה 2.6.0 ואילך.
  • כדי לראות את היומנים, צריך להתקין גרסה 2.5.0 ומעלה.

השילוב הזה תומך בגרסאות 3.11 ו-4.0 של Cassandra.

הגדרת מופע Cassandra

כדי לחשוף נקודת קצה של JMX, צריך להגדיר את com.sun.management.jmxremote.port מאפיין המערכת כשמפעילים את JVM. מומלץ גם להגדיר את מאפיין המערכת com.sun.management.jmxremote.rmi.port לאותו פורט. כדי לחשוף נקודת קצה של JMX מרחוק, צריך להגדיר גם את מאפיין המערכת java.rmi.server.hostname.

כברירת מחדל, המאפיינים האלה מוגדרים בקובץ cassandra-env.sh של פריסת Cassandra.

כדי להגדיר מאפייני מערכת באמצעות ארגומנטים של שורת הפקודה, מוסיפים את הקידומת -D לשם המאפיין כשמפעילים את ה-JVM. לדוגמה, כדי להגדיר את com.sun.management.jmxremote.port ליציאה 7199, מציינים את ההגדרה הבאה כשמפעילים את ה-JVM:

-Dcom.sun.management.jmxremote.port=7199

הגדרת סוכן תפעול ל-Cassandra

פועלים לפי המדריך בנושא הגדרת Ops Agent, מוסיפים את הרכיבים הנדרשים כדי לאסוף טלמטריה ממופעי Cassandra ומפעילים מחדש את הסוכן.

הגדרה לדוגמה

הפקודות הבאות יוצרות את ההגדרה לאיסוף ולעיבוד של נתוני טלמטריה עבור Cassandra:

# Configures Ops Agent to collect telemetry from the app. You must restart the agent for the configuration to take effect.

set -e

# Check if the file exists
if [ ! -f /etc/google-cloud-ops-agent/config.yaml ]; then
  # Create the file if it doesn't exist.
  sudo mkdir -p /etc/google-cloud-ops-agent
  sudo touch /etc/google-cloud-ops-agent/config.yaml
fi

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    cassandra:
      type: cassandra
      endpoint: service:jmx:rmi:///jndi/rmi://127.0.0.1:7199/jmxrmi
  service:
    pipelines:
      cassandra:
        receivers:
          - cassandra
logging:
  receivers:
    cassandra_system:
      type: cassandra_system
    cassandra_debug:
      type: cassandra_debug
    cassandra_gc:
      type: cassandra_gc
  service:
    pipelines:
      cassandra:
        receivers:
          - cassandra_system
          - cassandra_debug
          - cassandra_gc
EOF

כדי שהשינויים האלה ייכנסו לתוקף, צריך להפעיל מחדש את Ops Agent:

Linux

  1. כדי להפעיל מחדש את הסוכן, מריצים את הפקודה הבאה במופע: 
    sudo systemctl restart google-cloud-ops-agent
  2. כדי לוודא שהסוכן הופעל מחדש, מריצים את הפקודה הבאה ומוודאים שהרכיבים Metrics Agent ו-Logging Agent הופעלו: 
    sudo systemctl status "google-cloud-ops-agent*"

Windows

  1. מתחברים למופע באמצעות RDP או כלי דומה ומתחברים ל-Windows.
  2. פותחים טרמינל ב-PowerShell עם הרשאות אדמין על ידי לחיצה ימנית על סמל PowerShell ובחירה באפשרות הפעלה כמנהל מערכת.
  3. כדי להפעיל מחדש את הסוכן, מריצים את פקודת PowerShell הבאה: 
    Restart-Service google-cloud-ops-agent -Force
  4. כדי לוודא שהסוכן הופעל מחדש, מריצים את הפקודה הבאה ומוודאים שהרכיבים Metrics Agent ו-Logging Agent הופעלו: 
    Get-Service google-cloud-ops-agent*

הגדרת איסוף יומנים

כדי להטמיע יומנים מ-Cassandra, צריך ליצור מקלט ליומנים ש-Cassandra מייצרת, ואז ליצור צינור למקלט החדש.

כדי להגדיר מקלט ליומני cassandra_system, מציינים את השדות הבאים:

שדה ברירת מחדל תיאור
exclude_paths רשימה של תבניות של נתיבים במערכת הקבצים שצריך להחריג מהקבוצה שתואמת ל-include_paths.
include_paths [/var/log/cassandra/system*.log] רשימה של נתיבי מערכת קבצים לקריאה על ידי מעקב אחרי כל קובץ. אפשר להשתמש בתו כללי לחיפוש (*) בנתיבים. לדוגמה, /var/log/cassandra/system*.log.
record_log_file_path false אם הערך הוא true, הנתיב לקובץ הספציפי שממנו נרשם רשומת היומן מופיע ברשומת היומן של הפלט כערך של התווית agent.googleapis.com/log_file_path. כשמשתמשים בתו כללי, מתועד רק הנתיב של הקובץ שממנו התקבל הרשומה.
type הערך חייב להיות cassandra_system.
wildcard_refresh_interval 60s המרווח שבו נתיבי קבצים עם תו כללי ב-include_paths מתרעננים. הערך הוא משך זמן, לדוגמה 30s או 2m. הנכס הזה יכול להיות שימושי כשקצב העברת הנתונים של הרישום ביומן גבוה, והקבצים ביומן מתחלפים מהר יותר מהמרווח שמוגדר כברירת מחדל.

כדי להגדיר מקלט ליומני cassandra_debug, מציינים את השדות הבאים:

שדה ברירת מחדל תיאור
exclude_paths רשימה של תבניות של נתיבים במערכת הקבצים שצריך להחריג מהקבוצה שתואמת ל-include_paths.
include_paths [/var/log/cassandra/debug*.log] רשימה של נתיבי מערכת קבצים לקריאה על ידי מעקב אחרי כל קובץ. אפשר להשתמש בתו כללי לחיפוש (*) בנתיבים. לדוגמה, /var/log/cassandra/system*.log.
record_log_file_path false אם הערך הוא true, הנתיב לקובץ הספציפי שממנו נרשם רשומת היומן מופיע ברשומת היומן של הפלט כערך של התווית agent.googleapis.com/log_file_path. כשמשתמשים בתו כללי, מתועד רק הנתיב של הקובץ שממנו התקבל הרשומה.
type הערך חייב להיות cassandra_debug.
wildcard_refresh_interval 60s המרווח שבו נתיבי קבצים עם תו כללי ב-include_paths מתרעננים. הערך הוא משך זמן, לדוגמה 30s או 2m. הנכס הזה יכול להיות שימושי כשקצב העברת הנתונים של הרישום ביומן גבוה, והקבצים ביומן מתחלפים מהר יותר מהמרווח שמוגדר כברירת מחדל.

כדי להגדיר מקלט ליומני cassandra_gc, מציינים את השדות הבאים:

שדה ברירת מחדל תיאור
exclude_paths רשימה של תבניות של נתיבים במערכת הקבצים שצריך להחריג מהקבוצה שתואמת ל-include_paths.
include_paths [/var/log/cassandra/gc.log.*.current] רשימה של נתיבי מערכת קבצים לקריאה על ידי מעקב אחרי כל קובץ. אפשר להשתמש בתו כללי לחיפוש (*) בנתיבים. לדוגמה, /var/log/cassandra/system*.log.
record_log_file_path false אם הערך הוא true, הנתיב לקובץ הספציפי שממנו נרשם רשומת היומן מופיע ברשומת היומן של הפלט כערך של התווית agent.googleapis.com/log_file_path. כשמשתמשים בתו כללי, מתועד רק הנתיב של הקובץ שממנו התקבל הרשומה.
type הערך חייב להיות cassandra_gc.
wildcard_refresh_interval 60s המרווח שבו נתיבי קבצים עם תו כללי ב-include_paths מתרעננים. הערך הוא משך זמן, לדוגמה 30s או 2m. הנכס הזה יכול להיות שימושי כשקצב העברת הנתונים של הרישום ביומן גבוה, והקבצים ביומן מתחלפים מהר יותר מהמרווח שמוגדר כברירת מחדל.

מה נרשם ביומן

הערך של logName נגזר ממזהי המקלט שצוינו בהגדרה. אלה השדות המפורטים בתוך LogEntry:

יומני cassandra_system מכילים את השדות הבאים ב-LogEntry:

שדה סוג תיאור
jsonPayload.javaClass מחרוזת מחלקת Java שממנה הגיע היומן
jsonPayload.level מחרוזת רמת רשומת היומן
jsonPayload.lineNumber מחרוזת מספר השורה בקובץ המקור שממנה נוצר היומן
jsonPayload.message מחרוזת הודעה ביומן, כולל מעקב מפורט אחר מחסנית הקריאות (stacktrace) אם הוא זמין
jsonPayload.module מחרוזת מודול של Cassandra שממנו נוצר היומן
severity מחרוזת (LogSeverity) רמת רשומת היומן (מתורגמת).

יומני cassandra_debug מכילים את השדות הבאים ב-LogEntry:

שדה סוג תיאור
jsonPayload.javaClass מחרוזת מחלקת Java שממנה הגיע היומן
jsonPayload.level מחרוזת רמת רשומת היומן
jsonPayload.lineNumber מחרוזת מספר השורה בקובץ המקור שממנה נוצר היומן
jsonPayload.message מחרוזת הודעה ביומן
jsonPayload.module מחרוזת מודול של Cassandra שממנו נוצר היומן
severity מחרוזת (LogSeverity) רמת רשומת היומן (מתורגמת).

יומני cassandra_gc מכילים את השדות הבאים ב-LogEntry:

שדה סוג תיאור
jsonPayload.level מחרוזת הרמה של הרשומה ביומן
jsonPayload.message מחרוזת הודעה ביומן
jsonPayload.pid מחרוזת מזהה התהליך של תהליך Java שמתעד את ההודעה
jsonPayload.tid מחרוזת מזהה השרשור של תהליך Java שמתעד את ההודעה ביומן
jsonPayload.timeStopped מחרוזת מספר השניות שבהן מכונת ה-JVM הופסקה לצורך garbage collection
jsonPayload.timeStopping מחרוזת מספר השניות שחלפו עד שה-JVM הפסיק את השרשורים לפני איסוף האשפה
jsonPayload.uptime מחרוזת מספר השניות שבהן מכונת ה-JVM הייתה פעילה
severity מחרוזת (LogSeverity) רמת רשומת היומן (מתורגמת).

הגדרת איסוף מדדים

כדי להטמיע מדדים מ-Cassandra, צריך ליצור מקלט למדדים ש-Cassandra מייצרת, ואז ליצור צינור למקלט החדש.

המקלט הזה לא תומך בשימוש בכמה מופעים בהגדרה, למשל כדי לעקוב אחרי כמה נקודות קצה. כל המקרים האלה כותבים לאותה סדרת זמן, ואין ל-Cloud Monitoring דרך להבחין ביניהם.

כדי להגדיר נמען למדדים של cassandra, צריך לציין את השדות הבאים:

שדה ברירת מחדל תיאור
collect_jvm_metrics true מגדירה את המקלט כך שיאסוף גם את מדדי ה-JVM הנתמכים.
collection_interval 60s ערך של משך זמן, כמו 30s או 5m.
endpoint localhost:7199 כתובת ה-URL של שירות JMX או המארח והיציאה שמשמשים ליצירת כתובת ה-URL של השירות. הערך צריך להיות בפורמט service:jmx:<protocol>:<sap> או host:port. הערכים בטופס host:port משמשים ליצירת כתובת URL של שירות service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi.
password הסיסמה שהוגדרה אם JMX מוגדר לדרוש אימות.
type הערך חייב להיות cassandra.
username שם המשתמש שהוגדר אם JMX מוגדר לדרוש אימות.

מה נבדק

בטבלה הבאה מפורטים המדדים שנאספים על ידי סוכן תפעול ממופע Cassandra.

סוג המדד 
סוג, סוג
משאבים במעקב		 תוויות
workload.googleapis.com/cassandra.client.request.count
CUMULATIVE, INT64
gce_instance 		operation
workload.googleapis.com/cassandra.client.request.error.count
CUMULATIVE, INT64
gce_instance 		operation
status
workload.googleapis.com/cassandra.client.request.range_slice.latency.50p
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/cassandra.client.request.range_slice.latency.99p
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/cassandra.client.request.range_slice.latency.max
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/cassandra.client.request.read.latency.50p
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/cassandra.client.request.read.latency.99p
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/cassandra.client.request.read.latency.max
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/cassandra.client.request.write.latency.50p
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/cassandra.client.request.write.latency.99p
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/cassandra.client.request.write.latency.max
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/cassandra.compaction.tasks.completed
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/cassandra.compaction.tasks.pending
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/cassandra.storage.load.count
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/cassandra.storage.total_hints.count
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/cassandra.storage.total_hints.in_progress.count
GAUGE, INT64
gce_instance 		 

אימות ההגדרה

בקטע הזה מוסבר איך לוודא שהגדרתם נכון את מקלט Cassandra. יכול להיות שיעברו דקה או שתיים עד שהסוכן של Ops יתחיל לאסוף נתוני טלמטריה.

כדי לוודא שיומני Cassandra נשלחים אל Cloud Logging, מבצעים את הפעולות הבאות:

  1. במסוף Google Cloud , נכנסים לדף Logs Explorer:

    כניסה אל Logs Explorer

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

  2. מזינים את השאילתה הבאה בעורך ולוחצים על Run query: 
    resource.type="gce_instance"
(log_id("cassandra_system") OR log_id("cassandra_debug") OR log_id("cassandra_gc"))

כדי לוודא שמדדי Cassandra נשלחים אל Cloud Monitoring, מבצעים את הפעולות הבאות:

  1. במסוף Google Cloud , עוברים לדף  Metrics explorer:

    כניסה אל Metrics Explorer

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Monitoring.

  2. בסרגל הכלים של חלונית הכלי ליצירת שאילתות, לוחצים על הלחצן ששמו הוא  MQL או  PromQL.
  3. מוודאים שהאפשרות PromQL נבחרה במתג שפה. המתג לשפה נמצא באותו סרגל כלים שבו אפשר לעצב את השאילתה.
  4. מזינים את השאילתה הבאה בעורך ולוחצים על Run query: 
    {"workload.googleapis.com/cassandra.client.request.count", monitored_resource="gce_instance"}

צפייה בלוח הבקרה

כדי לראות את המדדים של Cassandra, צריך להגדיר תרשים או לוח בקרה. שילוב Cassandra כולל לוח בקרה אחד או יותר. כל לוחות הבקרה מותקנים אוטומטית אחרי שמגדירים את השילוב וסוכן Ops מתחיל לאסוף נתונים של מדדים.

אפשר גם לראות תצוגה מקדימה סטטית של מרכזי בקרה בלי להתקין את האינטגרציה.

כדי לראות מרכז בקרה שהותקן:

  1. במסוף Google Cloud , עוברים לדף  Dashboards:

    מעבר אל מרכזי בקרה

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Monitoring.

  2. לוחצים על הכרטיסייה רשימת לוחות בקרה ואז בוחרים בקטגוריה שילובים.
  3. לוחצים על השם של מרכז הבקרה שרוצים להציג.

אם הגדרתם שילוב אבל לוח הבקרה לא הותקן, צריך לבדוק שסוכן התפעול פועל. אם אין נתוני מדדים לתרשים במרכז הבקרה, ההתקנה של מרכז הבקרה נכשלת. אחרי שסוכן התפעול מתחיל לאסוף מדדים, לוח הבקרה מותקן בשבילכם.

כדי לראות תצוגה מקדימה סטטית של מרכז הבקרה:

  1. נכנסים לדף  Integrations במסוף Google Cloud :

    עוברים אל Integrations

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Monitoring.

  2. לוחצים על המסנן Compute Engine של פלטפורמת הפריסה.
  3. מאתרים את הרשומה של Cassandra ולוחצים על הצגת פרטים.
  4. לוחצים על הכרטיסייה מרכזי בקרה כדי לראות תצוגה מקדימה סטטית. אם מרכז הבקרה מותקן, אפשר ללחוץ על View dashboard (הצגת מרכז הבקרה) כדי לעבור אליו.

מידע נוסף על מרכזי בקרה ב-Cloud Monitoring זמין במאמר בנושא מרכזי בקרה וטבלאות.

מידע נוסף על השימוש בדף Integrations (שילובים) זמין במאמר ניהול שילובים.

התקנה של כללי מדיניות התראות

מדיניות התראות מורה ל-Cloud Monitoring לשלוח לכם התראה כשמתרחשים תנאים מסוימים. השילוב של Cassandra כולל מדיניות התראות אחת או יותר שתוכלו להשתמש בהן. אפשר לראות ולהתקין את מדיניות ההתראות הזו בדף שילובים ב-Monitoring.

כדי לראות את התיאורים של כללי מדיניות ההתראות הזמינים ולהתקין אותם:

  1. נכנסים לדף  Integrations במסוף Google Cloud :

    עוברים אל Integrations

    אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Monitoring.

  2. מאתרים את הרשומה של Cassandra ולוחצים על הצגת פרטים.
  3. לוחצים על הכרטיסייה התראות. בכרטיסייה הזו מופיעים תיאורים של מדיניות ההתראות הזמינה וממשק להתקנתן.
  4. התקנה של כללי מדיניות התראות. כדי שמדיניות ההתראות תדע לאן לשלוח התראות על הפעלה של התראה, היא צריכה לקבל מכם מידע להתקנה. כדי להתקין מדיניות התראות:
    1. ברשימת מדיניות ההתראות הזמינה, בוחרים את אלה שרוצים להתקין.

    2. בקטע הגדרת התראות, בוחרים ערוץ התראות אחד או יותר. יש לכם אפשרות להשבית את השימוש בערוצי התראות, אבל אם תעשו את זה, מדיניות ההתראות שלכם תופעל ללא התראות. אפשר לבדוק את הסטטוס שלהם בדף 'מעקב', אבל לא תקבלו התראות.

      מידע נוסף על ערוצי התראות זמין במאמר בנושא ניהול ערוצי התראות.

    3. לוחצים על יצירת מדיניות.

למידע נוסף על מדיניות התראות ב-Cloud Monitoring, אפשר לעיין במאמר מבוא להתראות.

מידע נוסף על השימוש בדף Integrations (שילובים) זמין במאמר ניהול שילובים.

המאמרים הבאים

בסרטון Install the Ops Agent to troubleshoot third-party applications מוסבר איך להשתמש ב-Ansible כדי להתקין את סוכן התפעול, להגדיר אפליקציית צד שלישי ולהתקין לוח בקרה לדוגמה.