הגדרת Cloud Monitoring באמצעות סוכן עצמאי

Cloud Monitoring עוזר לכם לקבל תמונה ברורה של הביצועים, הזמינות והתקינות של האפליקציות והתשתית שלכם. אתם יכולים להשתמש ב-Cloud Monitoring ובחלקים אחרים של Google Cloud Observability כדי לנטר, לפתור בעיות ולהפעיל שירותי VMware Engine בהיקף גדול.

אתם מגדירים את ההעברה של מדדים בנפרד לכל ענן פרטי באמצעות סוכן עצמאי. לכל ענן פרטי נדרש סוכן נפרד, שמתארח במכונה וירטואלית של Compute Engine או במכונה וירטואלית של VMware.

אחרי שמפעילים בהצלחה את העברת המדדים, אפשר לראות את המדדים בכלי Metrics Explorer של Cloud Monitoring. סוגי משאבים ומדדים מ-VMware Engine מתחילים ב-external.googleapis.com/vmware/vcenter, ושם הדומיין שמוגדר במלואו (FQDN) של vCenter מתויג כחלק ממרחב השמות.

לפני שמתחילים

בשלבים שמתוארים במסמך הזה, אנחנו יוצאים מנקודת הנחה שקודם ביצעתם את הפעולות הבאות:

  1. הפעלת Cloud Monitoring API
  2. מזהים חשבון משתמש של הפתרון לשימוש עם הסוכן העצמאי, ומגדירים סיסמה חזקה לחשבון המשתמש של הפתרון.
  3. יוצרים מכונה וירטואלית ב-Compute Engine או מכונה וירטואלית ב-VMware כדי להשתמש בה כמארח לסוכן העצמאי. המכונות הווירטואליות ב-Compute Engine צריכות להיות ברשת של ענן וירטואלי פרטי (VPC) שמקושרת לרשת ה-VPC של הענן הפרטי שמכילה את המשאבים שרוצים לנטר.

    דוגמה ליצירת מכונה וירטואלית ב-Compute Engine מופיעה במדריך למתחילים של Compute Engine לשימוש במכונה וירטואלית של Linux. דוגמה ליצירת מכונה וירטואלית של VMware מופיעה במאמר יצירת מכונה וירטואלית של VMware.

אם אתם משתמשים במכונה וירטואלית ב-Compute Engine כדי לארח את הסוכן העצמאי, Google מנהלת את החלפת המפתחות של חשבון השירות שאליו אתם מתחברים. עם זאת, אם יש לכם קיבולת לא מנוצלת בענן הפרטי ואתם לא מתנגדים לנהל את רוטציית המפתחות בעצמכם, יכול להיות שיהיה לכם משתלם ליצור מכונה וירטואלית של VMware.

לא משנה איפה יוצרים את מכונת ה-VM של מארח הסוכן, היא צריכה לעמוד בדרישות הבאות:

דרישות

המכונה הווירטואלית של מארח הסוכן צריכה לעמוד בדרישות המערכת הבאות:

  • מערכות הפעלה נתמכות של Linux:
    • ‫Red Hat Enterprise Linux 9
    • SLES 15
    • ‫Ubuntu 20.04 LTS,‏ 22.04 LTS או 24.04 LTS
  • זיכרון RAM בנפח 4GB לפחות
  • שטח אחסון זמין של 300 MB להתקנה
  • ספריית ההתקנה שהוגדרה היא /opt/bpagent
  • curl כלי CLI מותקן

למכונת ה-VM שמארחת את הסוכן צריכה להיות גישה לכתובות הבאות כדי לאסוף ולשלוח מדדים ויומנים:

  • יציאה 443 ‏ (TCP) לחיבור HTTPS ל-vCenter Server‏ (ברירת מחדל)
  • monitoring.googleapis.com:443 (external access)
  • logging.googleapis.com:443 (external access)

הפעלת העברת מדדים

כדי לקבל קבצים בינאריים של סוכנים ושלבי התקנה, צריך לפנות אל Cloud Customer Care.

כדי להגדיר את מכונת ה-VM של מארח הסוכן ולהפעיל העברה של מדדים, צריך לבצע את השלבים הבאים:

  1. ציון חשבון שירות
  2. הגדרת סוכן לגישה לענן הפרטי שלכם לצורך איסוף מדדים
  3. הגדרת סוכן לגישה לחשבון השירות לצורך דיווח
  4. איסוף מדדים ויומנים
  5. הגדרת ענן פרטי להעברת syslog

ציון חשבון שירות

כדי להעביר נתונים מהסוכן אל Cloud Monitoring, צריך חשבון שירות מהפרויקט ב- Google Cloud . לחשבון השירות הזה צריכות להיות הרשאות אדמין של ניטור למדדים והרשאות כתיבה ביומנים ליומנים.

אם אין לכם חשבון שירות למעקב אחר אפליקציות ולרישום שלהן ביומן, אתם צריכים ליצור חשבון כזה:

  1. במסוף Google Cloud , עוברים אל IAM & Admin > Service Accounts.

    לדף Service accounts

  2. לוחצים על Select a project ואז בוחרים את הארגון, התיקייה או הפרויקט שבהם רוצים ליצור את חשבון השירות.

  3. לוחצים על יצירת חשבון שירות.

  4. מזינים שם, מזהה ותיאור לחשבון השירות. מומלץ לציין שהחשבון משמש לשילוב של הסוכן.

  5. לוחצים על Create and continue.

  6. בשדה תפקיד, בוחרים באפשרות אדמין לצורך מעקב.

  7. בשדה Role (תפקיד), בוחרים באפשרות Logs Writer (הרשאת כתיבה ביומנים).

  8. לוחצים על Continue.

  9. לוחצים על סיום.

אם יצרתם מכונה וירטואלית של VMware כמכונה וירטואלית של מארח הסוכן, אתם צריכים לאחזר את המפתח הפרטי של חשבון השירות כדי להשתמש בו להגדרת הסוכן:

  1. במסוף Google Cloud , עוברים אל IAM & Admin > Service Accounts.

    לדף Service accounts

  2. לוחצים על Select a project ואז בוחרים את הארגון, התיקייה או הפרויקט שבהם נמצא חשבון השירות.

  3. מחפשים את חשבון השירות ברשימת חשבונות השירות.

  4. בעמודה פעולות, לוחצים על התפריט פעולות בחשבון השירות ובוחרים באפשרות ניהול מפתחות.

  5. לוחצים על Add key ובוחרים באפשרות Create new key.

  6. בוחרים את סוג המפתח JSON ולוחצים על Create.

  7. פותחים את קובץ ה-JSON שנוצר ומעתיקים את כל התוכן שלו. גם איסוף מדדים וגם איסוף יומנים משתמשים באותו קובץ מפתח JSON.

  8. במכונה הווירטואלית של מארח הסוכן, מעתיקים את קובץ מפתח ה-JSON לספרייה /opt/bpagent/config/destinations/google_cloud.

הגדרת גישה של הסוכן לענן הפרטי לצורך איסוף מדדים

הסוכן העצמאי צריך גישה לענן הפרטי כדי לאסוף מדדים. ב-VM של מארח הסוכן, מגדירים גישה על ידי העתקה והגדרה של הקובץ vmware_vcenter.yaml:

  1. מעתיקים את vmware_vcenter.yaml לספרייה config/metrics/sources:

    cp /opt/bpagent/config/metrics/examples/vmware_vcenter.yaml /opt/bpagent/config/metrics/sources
    
  2. עורכים את vmware_vcenter.yaml כך שיתאים לפרטים בסביבת VMware Engine:

    collection_interval: 1m0s
    connection_info:
    connection_timeout: "30"
    enable_performance_counters: "true"
    host: VCSA_FQDN
    password: SOLUTION_USER_PASSWORD
    performance_counter_end_time: ""
    performance_counter_query_timeout: "15"
    performance_counter_start_time: ""
    port: "443"
    sdk_path: ""
    ssl_config: "No Verify"
    username: SOLUTION_USER_ACCOUNT

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫VCSA_FQDN: שם הדומיין שמוגדר במלואו (FQDN) של מכשיר vCenter Server ב-Private Cloud
    • ‫SOLUTION_USER_PASSWORD: הסיסמה שמתאימה לחשבון המשתמש בפתרון שבו נעשה שימוש
    • SOLUTION_USER_ACCOUNT: חשבון המשתמש בפתרון שבו הסוכן משתמש כדי לדווח על מידע

הגדרת הסוכן כך שתהיה לו גישה לחשבון השירות לצורך דיווח

לסוכן העצמאי נדרשת גישה ל-Google Cloud Observability כדי לשלוח מדדים ויומנים. מגדירים את הסוכן כך שיקבל גישה לפרויקט שמשמש ליצירת דוחות דרך חשבון השירות שיש לו הרשאות לניטור ולרישום ביומן.

ב-VM שמארח את הסוכן, מעתיקים ומגדירים את הקובץ log_agent.yaml:

  1. העתקה של log_agent.example.yaml אל log_agent.yaml לפני העריכה:

    cp /opt/bpagent/config/log_agent.example.yaml /opt/bpagent/config/log_agent.yaml
    
  2. בתחתית הקובץ log_agent.yaml, מזינים את שם הפרויקט ואת הנתיב המלא לקובץ מפתח ה-JSON. במכונות וירטואליות (VM) של מארחי סוכנים שנוצרו ב-Compute Engine, מסירים את השורה credentials_file או מוסיפים לה הערה.

    ...
    - id: my_project_destination
      project_id: PROJECT_ID
      type: google_cloud_output
      credentials_file: /opt/bpagent/config/destinations/google_cloud/JSON_KEY_FILE

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫PROJECT_ID: מזהה הפרויקט שבו רוצים להוציא את הפלט של היומנים
    • ‫JSON_KEY_FILE: השם של קובץ המפתח הפרטי של חשבון השירות. צריך להסיר את השורה הזו או להוסיף לה הערה כדי שהיא לא תפעל, במכונות וירטואליות (VM) של מארחי סוכנים שנוצרו ב-Compute Engine.

    אם רוצים לייצא הודעות syslog ממארחי ESXi אל Google Cloud Logging, צריך לעדכן את הקובץ /opt/bpagent/config/log_agent.yaml במכונה הווירטואלית של הסוכן העצמאי עם הפרטים הבאים:

    - id: vmware-esxi-logs
    # A syslog address of the form `:`
    listen_address: 0.0.0.0:514
    # Enable TLS for the TCP listener
    enable_tls: false
    # File path for the X509 TLS certificate chain, only relevant if enable_tls is true
    certificate_file: /opt/cert
    # File path for the X509 TLS private key, only relevant if enable_tls is true
    private_key_file: /opt/key
    # whether or not to start parsing logs from `end` of file or `beginning`
    start_at: end
    type: vmware_vcenter
    output: my_project_destination

איסוף מדדים ויומנים

כדי לאסוף מדדים או יומנים, הסוכן העצמאי צריך לפעול במכונה הווירטואלית של מארח הסוכן. מתחברים למכונה הווירטואלית של מארח הסוכן ומשתמשים בפקודות הבאות כדי להפעיל או להפסיק את הסוכן:

  • כדי להפעיל את הסוכן במכונה הווירטואלית המארחת, מריצים את הפקודה הבאה:

    systemctl start bpagent
    
  • כדי לעצור את הסוכן במכונה הווירטואלית של המארח, מריצים את הפקודה הבאה:

    systemctl stop bpagent
    

הגדרת ענן פרטי להעברת נתוני syslog

‫VMware Engine משולב עם Cloud Logging על ידי העברת הודעות syslog מ-vCenter ומ-NSX לסוכן העצמאי. הסוכן העצמאי מוגדר לניתוח של יומני vCenter ו-NSX כדי ש-Cloud Logging יוכל לקרוא אותם.

כדי להעביר הודעות syslog מ-VMware Engine:

  • כדי להעביר את הודעות ה-syslog של vCenter, פועלים לפי השלבים שמפורטים במאמר העברת הודעות ה-syslog של vCenter. בשדה Server, מזינים את כתובת ה-IP או את שם המארח של מכונת ה-VM של סוכן המארח. הסוכן העצמאי משתמש בפרוטוקול התקשורת TCP ומאזין ביציאה 5142. כדי שהחיבור של הגדרת ה-syslog יצליח, הסוכן העצמאי צריך לפעול.
  • כדי להעביר את נתוני ה-syslog של NSX, פועלים לפי השלבים שמפורטים במאמר העברת הודעות syslog של NSX. בשדה FQDN or IP Address (שם דומיין מלא או כתובת IP), מזינים את כתובת ה-IP או את שם המארח של המכונה הווירטואלית של סוכן ה-Cloud. הסוכן העצמאי משתמש בפרוטוקול התקשורת TCP ומאזין ביציאה 5142.

אם אתם מתכננים להעביר syslog ממארחי ESXi, תשנו את יציאת ברירת המחדל שבה סוכן היומן מאזין מ-5142 ל-514. במקרה כזה, צריך להשתמש באותו פורט (514) להעברת syslog מ-vCenter ומ-NSX.

לוחות בקרה של Cloud Monitoring

אחרי שמפעילים את העברת המדדים, אפשר להתקין מרכזי בקרה מוגדרים מראש עבור VMware Engine. בלוחות הבקרה הבאים מוצג מידע מצטבר מכל המקורות שציינתם:

  • לוח בקרה של סקירה כללית: תצוגה ברמה גבוהה שמפרטת משאבים מרכזיים כמו מרכזי נתונים, אשכולות ומכונות וירטואליות.
  • לוח בקרה של התחרות על משאבים: ניצול המשאבים של אחסון, מעבד, זיכרון ורשת, כדי לעזור לכם לאתר את המכונות הווירטואליות והמארחים המובילים לפי הביקוש למשאבים.
  • לוח בקרה של ביצועי מכונות וירטואליות: אינדיקטורים של ביצועי מכונות וירטואליות (VM) שאפשר לסנן לפי שם המכונה ולהשתמש בהם כדי להשוות את הביצועים של כמה מכונות וירטואליות זו לזו.

כדי לגשת למרכז בקרה של VMware Engine:

  1. במסוף Google Cloud , עוברים אל Monitoring > Dashboards (מעקב > לוחות בקרה).

    מעבר למרכזי השליטה

  2. בכרטיסייה Sample Library, בוחרים בקטגוריה VMware.

  3. בוחרים את לוח הבקרה הרצוי ולוחצים על ייבוא.

ההגדרות של לוחות הבקרה האלה שמורות גם ב-GitHub. במאמר התקנת לוחות בקרה לדוגמה מוסבר איך להתקין את ההגדרות או להציג אותן כלוחות בקרה בהתאמה אישית.

התראות ב-Cloud Monitoring

אתם יכולים להשתמש במדדים מהשילוב כדי להפעיל התראות והודעות על סמך ערכי סף מותאמים אישית ואירועים. לדוגמה, אתם יכולים להגדיר ש-Cloud Monitoring ישלח לכם התראה ב-SMS כשמישהו יוצר מכונה וירטואלית חדשה בענן הפרטי שלכם.

לפרטים נוספים, אפשר לעיין במאמר מבוא להתראות.

רשימת המדדים שנאספו

אחרי שמפעילים בהצלחה את העברת המדדים, אפשר לראות את המדדים בכלי Metrics Explorer של Cloud Monitoring. סוגי המשאבים וסוגי המדדים מ-VMware Engine מתחילים בקידומת external.googleapis.com/vmware/vcenter. בכלי Metrics Explorer.

זוהי הרשימה המלאה של המדדים שנאספים עבור VMware Engine, בלי הקידומת:

סוג המשאב והמדד תיאור
cluster.cpu.available המעבד הזמין באשכול, במגה-הרץ
cluster.memory.available הזיכרון שזמין באשכול, בבייטים
cluster.cpu.threads מספר ה-threads של המעבד באשכול
cluster.cpu.effective יחידת העיבוד המרכזית (CPU) האפקטיבית באשכול מכל המארחים הפועלים. מארחים שלא מגיבים או שנמצאים במצב תחזוקה לא נספרים.
cluster.effective_hosts מספר המארחים האפקטיביים באשכול. מארחים שלא מגיבים או שנמצאים במצב תחזוקה לא נספרים.
cluster.memory.effective הזיכרון האפקטיבי באשכול מכל המארחים הפועלים. מארחים שלא מגיבים או שנמצאים במצב תחזוקה לא נספרים.
cluster.hosts מספר המארחים באשכול
cluster.vsan.latency זמן האחזור של vSAN באשכול, במיקרו-שניות
cluster.vsan.throughput קצב העברת הנתונים לקריאה ולכתיבה של vSAN באשכול, בבייטים
cluster.vsan.iops ‫IOPS של vSAN באשכול
cluster.vsan.congestions ערך העומס של אשכול vSAN
cluster.vsan.oio vSAN outstanding I/O (oio) in a cluster
datacenter.cpu.average_host_utilization שיעור הניצול הממוצע של מארח במרכז נתונים, באחוזים
datacenter.clusters מספר האשכולות במרכז נתונים
datacenter.datastores מספר מאגרי הנתונים במרכז נתונים
datacenter.hosts מספר המארחים במרכז נתונים
datacenter.host_systems מספר מערכות המארח במרכז נתונים
datacenter.hosts/powered_on מספר המארחים שמופעלים במרכז נתונים
datacenter.hosts/powered_off מספר המארחים שמושבתים במרכז נתונים
datacenter.disk/space נפח הדיסק הכולל במרכז נתונים, בטרה-בייט
datastore.capacity_bytes הקיבולת של מאגר נתונים, בבייטים
datastore.capacity_utilization ניצול הקיבולת של מאגר נתונים, באחוזים
host_system.network.transmitted_packets מספר חבילות הרשת שמועברות על ידי מערכת המארח
host_system.network.received_packets מספר חבילות הרשת שהתקבלו במערכת המארחת
host_system.dropped_packets מספר חבילות הרשת שהמערכת המארחת השמיטה
host_system.network.adapters מספר מתאמי הרשת במערכת המארחת
host_system.memory.utilization ניצול הזיכרון של מערכת המארח, באחוזים
host_system.memory.utilization_ratio יחס ניצול הזיכרון של מערכת המארח
host_system.memory.used הזיכרון שבו נעשה שימוש במערכת המארחת, במגה-בייט
host_system.disk.read קריאה מדיסק של מערכת המארח, בקילובייט לשנייה
host_system.disk_latency זמן האחזור של הדיסק במערכת המארחת, באלפיות השנייה
host_system.cpu.usage השימוש במעבד של מערכת המארח, כאחוז
host_system.cpu.utilization_ratio יחס ניצול המעבד של מערכת המארח
host_system.cpu.capacity קיבולת המעבד של מערכת המארח, במגה-הרץ
host_system.cpu.reserved_capacity קיבולת CPU שמורה של מערכת המארח, במגה-הרץ
host_system.cpu.average_speed מהירות ממוצעת של המעבד במערכת המארחת, במגה-הרץ
host_system.cpu.used השימוש במעבד של מערכת המארח, במגה-הרץ
host_system.vsan.throughput התפוקה של קריאה וכתיבה ב-vSAN של מערכת המארח, בבייטים
host_system.vsan.iops ‫IOPS של vSAN במערכת המארחת
host_system.vsan.latency זמן האחזור של vSAN במערכת המארחת, במיקרו-שניות
host_system.vsan.client_cache_hits פגיעות במטמון של לקוח vSAN במערכת המארחת
host_system.vsan.client_cache_hit_rate שיעור הפגיעה במטמון של לקוח vSAN במערכת המארחת, באחוזים
host_system.vsan.congestions ערך העומס של מערכת המארח ב-vSAN
resource_pool.memory.swapped_bytes הזיכרון שהוחלף ב-vCenter, במגה-בייט
resource_pool.memory.shared_bytes זיכרון משותף של vCenter, במגה-בייט
resource_pool.memory.private_bytes זיכרון פרטי ב-vCenter, במגה-בייט
resource_pool.memory.shares מספר שיתופי הזיכרון של vCenter
resource_pool.memory.overhead_usage_bytes השימוש בתקורה של הזיכרון ב-vCenter, במגה-בייט
resource_pool.memory.host_usage_bytes שימוש בזיכרון של המארח ב-vCenter, במגה-בייט
resource_pool.memory.active_guest_usage_bytes השימוש הפעיל בזיכרון של האורח ב-vCenter, במגה-בייט
resource_pool.memory.balloon_size גודל הזיכרון של הבלון ב-vCenter, במגה-בייט
resource_pool.cpu.usage המעבד שבו נעשה שימוש על ידי vCenter, במגה-הרץ
resource_pool.cpu.shares מספר שיתופי המעבד במאגר המשאבים, במגה-בייט
vm.memory.ballooned גודל הזיכרון של הבלון במכונה הווירטואלית, במגה-בייט
vm.network.throughput_bytes התפוקה של הרשת של המכונה הווירטואלית, בקילובייט לשנייה
vm.memory.used_percent הזיכרון שבו נעשה שימוש במכונה הווירטואלית, כאחוז מהזיכרון הזמין
vm.memory.usage_bytes הזיכרון שבו נעשה שימוש במכונה הווירטואלית, במגה-בייט
vm.disk.throughput_bytes קצב העברת הנתונים של קריאה וכתיבה בדיסק של המכונה הווירטואלית, בקילובייט לשנייה
vm.disk.used_percent אחוז השימוש בדיסק של המכונה הווירטואלית מתוך נפח האחסון הזמין
vm.disk.usage_bytes ניצול הדיסק של המכונה הווירטואלית, בבייטים
vm.disk.free_bytes נפח הדיסק הזמין של המכונה הווירטואלית, בבייטים
vm.cpu.used_percent השימוש במעבד של המכונה הווירטואלית, כאחוז מהמעבד הזמין
vm.cpu.usage השימוש במעבד של המכונה הווירטואלית, במגה-הרץ
vm.cpu.ready_percent אחוז המעבד (CPU) של המכונה הווירטואלית שמוכנה אבל לא יכולה לפעול
vm.vsan.throughput קצב העברת הנתונים לקריאה ולכתיבה של המכונה הווירטואלית ב-vSAN, בבייטים
vm.vsan.iops ‫vSAN IOPS של ה-VM
vm.vsan.latency זמן האחזור של המכונה הווירטואלית ב-vSAN, במיקרו-שניות
vm.vsan.readCount מספר הקריאות של המכונה הווירטואלית ב-vSAN
vm.vsan.writeCount מספר הפעמים שהמכונה הווירטואלית כתבה ב-vSAN
vsphere.cpu.available מעבד זמין בכל האשכולות שמנוהלים על ידי vSphere, בגיגה-הרץ
vsphere.memory.available נפח הזיכרון שזמין באשכולות שמנוהלים על ידי vSphere, בגיגה-בייט
vsphere.clusters.total מספר האשכולות שמנוהלים על ידי vSphere
vsphere.clusters מספר האשכולות שמנוהלים על ידי vSphere עם קוד הצבע של סטטוס האשכול (כמו ירוק, אפור, אדום או צהוב)
vsphere.cpu.cpus המספר הכולל של ליבות המעבד במערכת המארחת שמנוהלות על ידי vSphere
vsphere.datacenters מספר מרכזי הנתונים שמנוהלים על ידי vSphere
vsphere.datastores.total מספר מאגרי הנתונים ב-vSphere
vsphere.datastores מספר מאגרי הנתונים שמנוהלים על ידי vSphere עם קוד הצבע של סטטוס מאגר הנתונים (כמו ירוק, אפור, אדום או צהוב)
vsphere.disk.space הנפח הכולל של הדיסקים המצורפים ב-vSphere, בטרה-בייט
vsphere.host_systems מספר מערכות המארח ב-vSphere
vsphere.hosts מספר המערכות המארחות שמנוהלות על ידי vSphere עם קוד הצבע של סטטוס המערכת המארחת (כמו ירוק, אפור, אדום או צהוב)
vsphere.network.adapters מספר מתאמי הרשת ב-vSphere
vsphere.hosts.powered_off מספר המארחים שמופעלים ב-vSphere
vsphere.hosts.powered_on מספר המארחים שמופעלים ב-vSphere
vsphere.virtual_machines.total מספר המכונות הווירטואליות בכל אשכולות vSphere
vsphere.virtual_machines מספר המכונות הווירטואליות שמנוהלות על ידי vSphere עם קוד הצבע של סטטוס המכונה הווירטואלית (למשל: ירוק, אפור, אדום או צהוב)