Apache HBase

השילוב עם Apache HBase אוסף מדדים של אשכולות מ-master ומשרתי אזורים. מדדים של שרת אזורי קשורים לאחסון, לבקשות ולזמן האחזור. בנוסף, השילוב אוסף את master ויומנים של שרתים אזוריים ומנתח אותם למטען ייעודי (payload) בפורמט JSON. התוצאה כוללת שדות של מקור, רמה והודעה.

מידע נוסף על HBase זמין במסמכי התיעוד של Apache HBase.

דרישות מוקדמות

כדי לאסוף נתוני טלמטריה של HBase, צריך להתקין את סוכן התפעול:

• כדי להשתמש במדדים, צריך להתקין גרסה 2.11.0 ומעלה.
• כדי לראות את היומנים, צריך להתקין את גרסה 2.11.0 ואילך.

השילוב הזה תומך בגרסאות HBase‏ 1.7.x,‏ 2.3.x ו-2.4.x.

הגדרת מופע HBase

כדי לחשוף נקודת קצה של JMX, צריך להגדיר את מאפיין המערכת com.sun.management.jmxremote.port כשמפעילים את JVM. מומלץ גם להגדיר את מאפיין המערכת com.sun.management.jmxremote.rmi.port לאותו פורט. כדי לחשוף נקודת קצה של JMX מרחוק, צריך להגדיר גם את מאפיין המערכת java.rmi.server.hostname.

כברירת מחדל, המאפיינים האלה מוגדרים בקובץ hbase-env.sh של פריסת HBase.

כדי להגדיר מאפייני מערכת באמצעות ארגומנטים של שורת הפקודה, מוסיפים את הקידומת -D לשם המאפיין כשמפעילים את ה-JVM. לדוגמה, כדי להגדיר את com.sun.management.jmxremote.port ליציאה 10101, מציינים את ההגדרה הבאה כשמפעילים את JVM:

-Dcom.sun.management.jmxremote.port=10101

הגדרת סוכן התפעול ל-HBase

פועלים לפי המדריך בנושא הגדרת Ops Agent, מוסיפים את הרכיבים הנדרשים לאיסוף נתוני טלמטריה ממופעי HBase ומפעילים מחדש את הסוכן.

הגדרה לדוגמה

הפקודות הבאות יוצרות את ההגדרה לאיסוף ולעיבוד של נתוני טלמטריה עבור HBase:

# Configures Ops Agent to collect telemetry from the app. You must restart the agent for the configuration to take effect.

set -e

# Check if the file exists
if [ ! -f /etc/google-cloud-ops-agent/config.yaml ]; then
  # Create the file if it doesn't exist.
  sudo mkdir -p /etc/google-cloud-ops-agent
  sudo touch /etc/google-cloud-ops-agent/config.yaml
fi

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    hbase:
      type: hbase
      endpoint: service:jmx:rmi:///jndi/rmi://127.0.0.1:10101/jmxrmi
  service:
    pipelines:
      hbase:
        receivers:
          - hbase
logging:
  receivers:
    hbase_system:
      type: hbase_system
  service:
    pipelines:
      hbase_system:
        receivers:
          - hbase_system
EOF

כדי שהשינויים האלה ייכנסו לתוקף, צריך להפעיל מחדש את Ops Agent:

Linux

1. כדי להפעיל מחדש את הסוכן, מריצים את הפקודה הבאה במופע:

   sudo systemctl restart google-cloud-ops-agent
   

2. כדי לוודא שהסוכן הופעל מחדש, מריצים את הפקודה הבאה ומוודאים שהרכיבים Metrics Agent ו-Logging Agent הופעלו:

   sudo systemctl status "google-cloud-ops-agent*"
   

Windows

1. מתחברים למופע באמצעות RDP או כלי דומה ומתחברים ל-Windows.
2. פותחים טרמינל ב-PowerShell עם הרשאות אדמין על ידי לחיצה ימנית על סמל PowerShell ובחירה באפשרות הפעלה כמנהל מערכת.
3. כדי להפעיל מחדש את הסוכן, מריצים את פקודת PowerShell הבאה:

   Restart-Service google-cloud-ops-agent -Force
   

4. כדי לוודא שהסוכן הופעל מחדש, מריצים את הפקודה הבאה ומוודאים שהרכיבים Metrics Agent ו-Logging Agent הופעלו:

   Get-Service google-cloud-ops-agent*
   

הגדרת איסוף יומנים

כדי להטמיע יומנים מ-HBase, צריך ליצור מקלט ליומנים ש-HBase מייצר, ואז ליצור צינור למקלט החדש.

כדי להגדיר מקלט ליומני hbase_system, מציינים את השדות הבאים:

שדה	ברירת מחדל	תיאור
exclude_paths		רשימה של תבניות נתיבים במערכת הקבצים שצריך להחריג מהקבוצה שתואמת ל-include_paths.
include_paths	[/opt/hbase/logs/hbase-*-regionserver-*.log, /opt/hbase/logs/hbase-*-master-*.log]	רשימה של נתיבי מערכת קבצים לקריאה על ידי מעקב אחרי כל קובץ. אפשר להשתמש בתו כללי לחיפוש (*) בנתיבים. לדוגמה, /var/log/hbase*/*.log.
record_log_file_path	false	אם הערך הוא true, הנתיב לקובץ הספציפי שממנו נלקחה רשומת היומן מופיע ברשומת היומן של הפלט כערך של התווית agent.googleapis.com/log_file_path. כשמשתמשים בתו כללי, רק הנתיב של הקובץ שממנו התקבל הרשומה מתועד.
type		הערך חייב להיות hbase_system.
wildcard_refresh_interval	60s	המרווח שבו נתיבי קבצים עם תו כללי ב-include_paths מתעדכנים. הערך מוצג כמשך זמן, לדוגמה 30s או 2m. הנכס הזה יכול להיות שימושי כשקצב העברת הנתונים של הרישום גבוה, וקובצי היומן מתחלפים מהר יותר מהמרווח שמוגדר כברירת מחדל.

מה נרשם ביומן

הערך של logName נגזר ממזהי המקלט שצוינו בהגדרה. אלה השדות המפורטים שבתוך LogEntry:

יומני hbase_system מכילים את השדות הבאים ב-LogEntry:

שדה	סוג	תיאור
jsonPayload.level	מחרוזת	רמת רשומת היומן
jsonPayload.message	מחרוזת	הודעה ביומן, כולל מעקב מפורט אחר מחסנית (stacktrace) אם הוא זמין
jsonPayload.module	מחרוזת	מודול של hbase שממנו הגיע היומן
jsonPayload.source	מחרוזת	המקור שממנו הגיע היומן
severity	מחרוזת (LogSeverity)	רמת רשומת היומן (מתורגמת).

הגדרת איסוף מדדים

כדי להטמיע מדדים מ-HBase, צריך ליצור מקלט למדדים ש-HBase מייצר, ואז ליצור צינור למקלט החדש.

המקלט הזה לא תומך בשימוש בכמה מופעים בהגדרה, למשל כדי לעקוב אחרי כמה נקודות קצה. כל המקרים האלה נרשמים באותה סדרת זמן, ול-Cloud Monitoring אין דרך להבחין ביניהם.

כדי להגדיר נמען למדדים של hbase, צריך לציין את השדות הבאים:

שדה	ברירת מחדל	תיאור
collect_jvm_metrics	true	מגדירה את המקלט כך שיאסוף גם את מדדי ה-JVM הנתמכים.
collection_interval	60s	ערך של משך זמן, כמו 30s או 5m.
endpoint	localhost:10101	כתובת ה-URL של שירות JMX או המארח והיציאה שמשמשים ליצירת כתובת ה-URL של השירות. הערך צריך להיות בפורמט service:jmx:<protocol>:<sap> או host:port. הערכים בפורמט host:port משמשים ליצירת כתובת URL של שירות service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi.
password		הסיסמה שהוגדרה אם JMX מוגדר לדרוש אימות.
type		הערך חייב להיות hbase.
username		שם המשתמש שהוגדר אם JMX מוגדר לדרוש אימות.

מה נבדק

בטבלה הבאה מפורטים המדדים שנאספים על ידי סוכן תפעול ממופע HBase.

סוג המדד
סוג, סוג משאבים במעקב	תוויות
workload.googleapis.com/hbase.master.region_server.count
GAUGE, INT64 gce_instance	state
workload.googleapis.com/hbase.master.regions_in_transition.count
GAUGE, INT64 gce_instance
workload.googleapis.com/hbase.master.regions_in_transition.oldest_age
GAUGE, INT64 gce_instance
workload.googleapis.com/hbase.master.regions_in_transition.over_threshold
GAUGE, INT64 gce_instance
workload.googleapis.com/hbase.region_server.active_handler.count
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.authentication.count
GAUGE, INT64 gce_instance	region_server state
workload.googleapis.com/hbase.region_server.block_cache.operation.count
GAUGE, INT64 gce_instance	region_server state
workload.googleapis.com/hbase.region_server.blocked_update.time
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.disk.store_file.count
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.disk.store_file.size
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.files.local
GAUGE, DOUBLE gce_instance	region_server
workload.googleapis.com/hbase.region_server.gc.old_gen.time
CUMULATIVE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.gc.time
CUMULATIVE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.gc.young_gen.time
CUMULATIVE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.open_connection.count
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.append.latency.max
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.append.latency.mean
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.append.latency.median
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.append.latency.min
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.append.latency.p99
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.delete.latency.max
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.delete.latency.mean
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.delete.latency.median
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.delete.latency.min
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.delete.latency.p99
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.get.latency.max
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.get.latency.mean
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.get.latency.median
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.get.latency.min
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.get.latency.p99
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.increment.latency.max
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.increment.latency.mean
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.increment.latency.median
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.increment.latency.min
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.increment.latency.p99
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.put.latency.max
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.put.latency.mean
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.put.latency.median
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.put.latency.min
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.put.latency.p99
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.replay.latency.max
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.replay.latency.mean
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.replay.latency.median
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.replay.latency.min
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operation.replay.latency.p99
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.operations.slow
GAUGE, INT64 gce_instance	operation region_server
workload.googleapis.com/hbase.region_server.queue.length
GAUGE, INT64 gce_instance	region_server state
workload.googleapis.com/hbase.region_server.queue.request.count
GAUGE, INT64 gce_instance	region_server state
workload.googleapis.com/hbase.region_server.region.count
GAUGE, INT64 gce_instance	region_server
workload.googleapis.com/hbase.region_server.request.count
GAUGE, INT64 gce_instance	region_server state
workload.googleapis.com/hbase.region_server.write_ahead_log.count
GAUGE, INT64 gce_instance	region_server

אימות ההגדרה

בקטע הזה מוסבר איך לוודא שהגדרתם נכון את מקלט HBase. יכול להיות שיעברו דקה או שתיים עד שהסוכן של Ops יתחיל לאסוף נתוני טלמטריה.

כדי לוודא שיומני HBase נשלחים אל Cloud Logging, מבצעים את הפעולות הבאות:

1. במסוף Google Cloud , נכנסים לדף segment Logs Explorer:

   כניסה אל Logs Explorer

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

2. מזינים את השאילתה הבאה בעורך ולוחצים על Run query:
   

   resource.type="gce_instance"
   log_id("hbase_system")
   

כדי לוודא שמדדי HBase נשלחים אל Cloud Monitoring, מבצעים את הפעולות הבאות:

1. נכנסים לדף  Metrics explorer במסוף Google Cloud :

   כניסה אל Metrics Explorer

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

2. בסרגל הכלים של החלונית ליצירת שאילתות, לוחצים על הלחצן ששמו  PromQL.
3. מזינים את השאילתה הבאה בעורך ולוחצים על Run query:
   

   {"workload.googleapis.com/hbase.region_server.operation.append.latency.p99", monitored_resource="gce_instance"}
   

צפייה בלוח הבקרה

כדי לראות את המדדים של HBase, צריך להגדיר תרשים או לוח בקרה. שילוב HBase כולל לוח בקרה אחד או יותר. כל מרכזי הבקרה מותקנים אוטומטית אחרי שמגדירים את השילוב וסוכן Ops מתחיל לאסוף נתונים של מדדים.

אפשר גם לראות תצוגות מקדימות סטטיות של מרכזי בקרה בלי להתקין את השילוב.

כדי לראות מרכז בקרה שהותקן:

1. במסוף Google Cloud , עוברים לדף  Dashboards:

   עוברים אל מרכזי בקרה.

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

2. לוחצים על הכרטיסייה רשימת לוחות הבקרה ואז בוחרים בקטגוריה שילובים.
3. לוחצים על השם של מרכז הבקרה שרוצים להציג.

אם הגדרתם שילוב אבל לוח הבקרה לא הותקן, צריך לבדוק שסוכן תפעול פועל. אם אין נתוני מדדים לתרשים במרכז הבקרה, ההתקנה של מרכז הבקרה נכשלת. אחרי שסוכן התפעול מתחיל לאסוף מדדים, לוח הבקרה מותקן בשבילכם.

כדי לראות תצוגה מקדימה סטטית של מרכז הבקרה:

1. נכנסים לדף  Integrations במסוף Google Cloud :

   עוברים אל שילובים

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

2. לוחצים על המסנן Compute Engine של פלטפורמת הפריסה.
3. מאתרים את הרשומה של HBase ולוחצים על הצגת פרטים.
4. לוחצים על הכרטיסייה מרכזי בקרה כדי לראות תצוגה מקדימה סטטית. אם מרכז הבקרה מותקן, אפשר לעבור אליו בלחיצה על View dashboard (הצגת מרכז הבקרה).

מידע נוסף על לוחות בקרה ב-Cloud Monitoring זמין במאמר בנושא לוחות בקרה וטבלאות.

מידע נוסף על השימוש בדף Integrations (שילובים) זמין במאמר ניהול שילובים.

התקנה של כללי מדיניות התראות

מדיניות התראות מורה ל-Cloud Monitoring לשלוח לכם התראה כשמתרחשים תנאים מסוימים. השילוב של HBase כולל מדיניות התראות אחת או יותר שתוכלו להשתמש בהן. אפשר לראות ולהתקין את מדיניות ההתראות הזו בדף שילובים ב-Monitoring.

כדי לראות את התיאורים של כללי מדיניות ההתראות הזמינים ולהתקין אותם:

1. נכנסים לדף  Integrations במסוף Google Cloud :

   עוברים אל שילובים

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שבה הכותרת המשנית היא Monitoring.

2. מאתרים את הרשומה של HBase ולוחצים על הצגת פרטים.
3. לוחצים על הכרטיסייה התראות. בכרטיסייה הזו מופיעים תיאורים של מדיניות ההתראות הזמינה וממשק להתקנתן.
4. התקנה של כללי מדיניות התראות. כדי שמדיניות ההתראות תדע לאן לשלוח התראות על הפעלה של התראה, היא צריכה לקבל מכם מידע להתקנה. כדי להתקין מדיניות התראות:
   1. ברשימת מדיניות ההתראות הזמינה, בוחרים את אלה שרוצים להתקין.

   2. בקטע הגדרת התראות, בוחרים ערוץ התראות אחד או יותר. יש לכם אפשרות להשבית את השימוש בערוצי התראות, אבל אם תעשו את זה, מדיניות ההתראות שלכם תופעל בשקט. אפשר לבדוק את הסטטוס שלהם בדף 'מעקב', אבל לא תקבלו התראות.

      מידע נוסף על ערוצי התראות זמין במאמר בנושא ניהול ערוצי התראות.

   3. לוחצים על יצירת מדיניות.

למידע נוסף על מדיניות התראות ב-Cloud Monitoring, אפשר לעיין במאמר מבוא להתראות.

מידע נוסף על השימוש בדף Integrations (שילובים) זמין במאמר ניהול שילובים.

המאמרים הבאים

בסרטון Install the Ops Agent to troubleshoot third-party applications מוסבר איך להשתמש ב-Ansible כדי להתקין את סוכן תפעול, להגדיר אפליקציית צד שלישי ולהתקין לוח בקרה לדוגמה.