הגדרת Cloud Monitoring באמצעות סוכן עצמאי
Cloud Monitoring עוזר לכם לקבל תמונה ברורה של הביצועים, הזמינות והתקינות של האפליקציות והתשתית שלכם. אתם יכולים להשתמש ב-Cloud Monitoring ובחלקים אחרים של Google Cloud Observability כדי לנטר, לפתור בעיות ולהפעיל שירותי VMware Engine בהיקף גדול.
אתם מגדירים את ההעברה של מדדים בנפרד לכל ענן פרטי באמצעות סוכן עצמאי. לכל ענן פרטי נדרש סוכן נפרד, שמתארח במכונה וירטואלית של Compute Engine או במכונה וירטואלית של VMware.
אחרי שמפעילים בהצלחה את העברת המדדים, אפשר לראות את המדדים בכלי Metrics Explorer של Cloud Monitoring. סוגי משאבים ומדדים מ-VMware Engine מתחילים ב-external.googleapis.com/vmware/vcenter, ושם הדומיין שמוגדר במלואו (FQDN) של vCenter מתויג כחלק ממרחב השמות.
לפני שמתחילים
בשלבים שמתוארים במסמך הזה, אנחנו יוצאים מנקודת הנחה שקודם ביצעתם את הפעולות הבאות:
- הפעלת Cloud Monitoring API
- מזהים חשבון משתמש של הפתרון לשימוש עם הסוכן העצמאי, ומגדירים סיסמה חזקה לחשבון המשתמש של הפתרון.
יוצרים מכונה וירטואלית ב-Compute Engine או מכונה וירטואלית ב-VMware כדי להשתמש בה כמארח לסוכן העצמאי. המכונות הווירטואליות ב-Compute Engine צריכות להיות ברשת של ענן וירטואלי פרטי (VPC) שמקושרת לרשת ה-VPC של הענן הפרטי שמכילה את המשאבים שרוצים לנטר.
דוגמה ליצירת מכונה וירטואלית ב-Compute Engine מופיעה במדריך למתחילים של Compute Engine לשימוש במכונה וירטואלית של Linux. דוגמה ליצירת מכונה וירטואלית של VMware מופיעה במאמר יצירת מכונה וירטואלית של VMware.
אם אתם משתמשים במכונה וירטואלית ב-Compute Engine כדי לארח את הסוכן העצמאי, Google מנהלת את החלפת המפתחות של חשבון השירות שאליו אתם מתחברים. עם זאת, אם יש לכם קיבולת לא מנוצלת בענן הפרטי ואתם לא מתנגדים לנהל את רוטציית המפתחות בעצמכם, יכול להיות שיהיה לכם משתלם ליצור מכונה וירטואלית של VMware.
לא משנה איפה יוצרים את מכונת ה-VM של מארח הסוכן, היא צריכה לעמוד בדרישות הבאות:
דרישות
המכונה הווירטואלית של מארח הסוכן צריכה לעמוד בדרישות המערכת הבאות:
- מערכות הפעלה נתמכות של Linux:
- Red Hat Enterprise Linux 9
- SLES 15
- Ubuntu 20.04 LTS, 22.04 LTS או 24.04 LTS
- זיכרון RAM בנפח 4GB לפחות
- שטח אחסון זמין של 300 MB להתקנה
- ספריית ההתקנה שהוגדרה היא
/opt/bpagent curlכלי CLI מותקן
למכונת ה-VM שמארחת את הסוכן צריכה להיות גישה לכתובות הבאות כדי לאסוף ולשלוח מדדים ויומנים:
- יציאה 443 (TCP) לחיבור HTTPS ל-vCenter Server (ברירת מחדל)
monitoring.googleapis.com:443 (external access)logging.googleapis.com:443 (external access)
הפעלת העברת מדדים
כדי לקבל קבצים בינאריים של סוכנים ושלבי התקנה, צריך לפנות אל Cloud Customer Care.
כדי להגדיר את מכונת ה-VM של מארח הסוכן ולהפעיל העברה של מדדים, צריך לבצע את השלבים הבאים:
- ציון חשבון שירות
- הגדרת סוכן לגישה לענן הפרטי שלכם לצורך איסוף מדדים
- הגדרת סוכן לגישה לחשבון השירות לצורך דיווח
- איסוף מדדים ויומנים
- הגדרת ענן פרטי להעברת syslog
ציון חשבון שירות
כדי להעביר נתונים מהסוכן אל Cloud Monitoring, צריך חשבון שירות מהפרויקט ב- Google Cloud . לחשבון השירות הזה צריכות להיות הרשאות אדמין של ניטור למדדים והרשאות כתיבה ביומנים ליומנים.
אם אין לכם חשבון שירות למעקב אחר אפליקציות ולרישום שלהן ביומן, אתם צריכים ליצור חשבון כזה:
במסוף Google Cloud , עוברים אל IAM & Admin > Service Accounts.
לוחצים על Select a project ואז בוחרים את הארגון, התיקייה או הפרויקט שבהם רוצים ליצור את חשבון השירות.
לוחצים על יצירת חשבון שירות.
מזינים שם, מזהה ותיאור לחשבון השירות. מומלץ לציין שהחשבון משמש לשילוב של הסוכן.
לוחצים על Create and continue.
בשדה תפקיד, בוחרים באפשרות אדמין לצורך מעקב.
בשדה Role (תפקיד), בוחרים באפשרות Logs Writer (הרשאת כתיבה ביומנים).
לוחצים על Continue.
לוחצים על סיום.
אם יצרתם מכונה וירטואלית של VMware כמכונה וירטואלית של מארח הסוכן, אתם צריכים לאחזר את המפתח הפרטי של חשבון השירות כדי להשתמש בו להגדרת הסוכן:
במסוף Google Cloud , עוברים אל IAM & Admin > Service Accounts.
לוחצים על Select a project ואז בוחרים את הארגון, התיקייה או הפרויקט שבהם נמצא חשבון השירות.
מחפשים את חשבון השירות ברשימת חשבונות השירות.
בעמודה פעולות, לוחצים על התפריט פעולות בחשבון השירות ובוחרים באפשרות ניהול מפתחות.
לוחצים על Add key ובוחרים באפשרות Create new key.
בוחרים את סוג המפתח JSON ולוחצים על Create.
פותחים את קובץ ה-JSON שנוצר ומעתיקים את כל התוכן שלו. גם איסוף מדדים וגם איסוף יומנים משתמשים באותו קובץ מפתח JSON.
במכונה הווירטואלית של מארח הסוכן, מעתיקים את קובץ מפתח ה-JSON לספרייה
/opt/bpagent/config/destinations/google_cloud.
הגדרת גישה של הסוכן לענן הפרטי לצורך איסוף מדדים
הסוכן העצמאי צריך גישה לענן הפרטי כדי לאסוף מדדים. ב-VM של מארח הסוכן, מגדירים גישה על ידי העתקה והגדרה של הקובץ vmware_vcenter.yaml:
מעתיקים את
vmware_vcenter.yamlלספרייהconfig/metrics/sources:cp /opt/bpagent/config/metrics/examples/vmware_vcenter.yaml /opt/bpagent/config/metrics/sourcesעורכים את
vmware_vcenter.yamlכך שיתאים לפרטים בסביבת VMware Engine:collection_interval: 1m0s connection_info: connection_timeout: "30" enable_performance_counters: "true" host: VCSA_FQDN password: SOLUTION_USER_PASSWORD performance_counter_end_time: "" performance_counter_query_timeout: "15" performance_counter_start_time: "" port: "443" sdk_path: "" ssl_config: "No Verify" username: SOLUTION_USER_ACCOUNT
מחליפים את מה שכתוב בשדות הבאים:
-
VCSA_FQDN: שם הדומיין שמוגדר במלואו (FQDN) של מכשיר vCenter Server ב-Private Cloud -
SOLUTION_USER_PASSWORD: הסיסמה שמתאימה לחשבון המשתמש בפתרון שבו נעשה שימוש SOLUTION_USER_ACCOUNT: חשבון המשתמש בפתרון שבו הסוכן משתמש כדי לדווח על מידע
-
הגדרת הסוכן כך שתהיה לו גישה לחשבון השירות לצורך דיווח
לסוכן העצמאי נדרשת גישה ל-Google Cloud Observability כדי לשלוח מדדים ויומנים. מגדירים את הסוכן כך שיקבל גישה לפרויקט שמשמש ליצירת דוחות דרך חשבון השירות שיש לו הרשאות לניטור ולרישום ביומן.
ב-VM שמארח את הסוכן, מעתיקים ומגדירים את הקובץ log_agent.yaml:
העתקה של
log_agent.example.yamlאלlog_agent.yamlלפני העריכה:cp /opt/bpagent/config/log_agent.example.yaml /opt/bpagent/config/log_agent.yamlבתחתית הקובץ
log_agent.yaml, מזינים את שם הפרויקט ואת הנתיב המלא לקובץ מפתח ה-JSON. במכונות וירטואליות (VM) של מארחי סוכנים שנוצרו ב-Compute Engine, מסירים את השורהcredentials_fileאו מוסיפים לה הערה.... - id: my_project_destination project_id:
PROJECT_IDtype: google_cloud_output credentials_file: /opt/bpagent/config/destinations/google_cloud/JSON_KEY_FILEמחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט שבו רוצים להוציא את הפלט של היומנים -
JSON_KEY_FILE: השם של קובץ המפתח הפרטי של חשבון השירות. צריך להסיר את השורה הזו או להוסיף לה הערה כדי שהיא לא תפעל, במכונות וירטואליות (VM) של מארחי סוכנים שנוצרו ב-Compute Engine.
אם רוצים לייצא הודעות syslog ממארחי ESXi אל Google Cloud Logging, צריך לעדכן את הקובץ
/opt/bpagent/config/log_agent.yamlבמכונה הווירטואלית של הסוכן העצמאי עם הפרטים הבאים:- id: vmware-esxi-logs # A syslog address of the form `
: listen_address: 0.0.0.0:514 # Enable TLS for the TCP listener enable_tls: false # File path for the X509 TLS certificate chain, only relevant if enable_tls is true certificate_file: /opt/cert # File path for the X509 TLS private key, only relevant if enable_tls is true private_key_file: /opt/key # whether or not to start parsing logs from `end` of file or `beginning` start_at: end type: vmware_vcenter output: my_project_destination` -
איסוף מדדים ויומנים
כדי לאסוף מדדים או יומנים, הסוכן העצמאי צריך לפעול במכונה הווירטואלית של מארח הסוכן. מתחברים למכונה הווירטואלית של מארח הסוכן ומשתמשים בפקודות הבאות כדי להפעיל או להפסיק את הסוכן:
כדי להפעיל את הסוכן במכונה הווירטואלית המארחת, מריצים את הפקודה הבאה:
systemctl start bpagentכדי לעצור את הסוכן במכונה הווירטואלית של המארח, מריצים את הפקודה הבאה:
systemctl stop bpagent
הגדרת ענן פרטי להעברת נתוני syslog
VMware Engine משולב עם Cloud Logging על ידי העברת הודעות syslog מ-vCenter ומ-NSX לסוכן העצמאי. הסוכן העצמאי מוגדר לניתוח של יומני vCenter ו-NSX כדי ש-Cloud Logging יוכל לקרוא אותם.
כדי להעביר הודעות syslog מ-VMware Engine:
- כדי להעביר את הודעות ה-syslog של vCenter, פועלים לפי השלבים שמפורטים במאמר העברת הודעות ה-syslog של vCenter.
בשדה Server, מזינים את כתובת ה-IP או את שם המארח של מכונת ה-VM של סוכן המארח. הסוכן העצמאי משתמש בפרוטוקול התקשורת TCP ומאזין ביציאה
5142. כדי שהחיבור של הגדרת ה-syslog יצליח, הסוכן העצמאי צריך לפעול. - כדי להעביר את נתוני ה-syslog של NSX, פועלים לפי השלבים שמפורטים במאמר העברת הודעות syslog של NSX.
בשדה FQDN or IP Address (שם דומיין מלא או כתובת IP), מזינים את כתובת ה-IP או את שם המארח של המכונה הווירטואלית של סוכן ה-Cloud. הסוכן העצמאי משתמש בפרוטוקול התקשורת TCP ומאזין ביציאה
5142.
אם אתם מתכננים להעביר syslog ממארחי ESXi, תשנו את יציאת ברירת המחדל שבה סוכן היומן מאזין מ-5142 ל-514. במקרה כזה, צריך להשתמש באותו פורט (514) להעברת syslog מ-vCenter ומ-NSX.
לוחות בקרה של Cloud Monitoring
אחרי שמפעילים את העברת המדדים, אפשר להתקין מרכזי בקרה מוגדרים מראש עבור VMware Engine. בלוחות הבקרה הבאים מוצג מידע מצטבר מכל המקורות שציינתם:
- לוח בקרה של סקירה כללית: תצוגה ברמה גבוהה שמפרטת משאבים מרכזיים כמו מרכזי נתונים, אשכולות ומכונות וירטואליות.
- לוח בקרה של התחרות על משאבים: ניצול המשאבים של אחסון, מעבד, זיכרון ורשת, כדי לעזור לכם לאתר את המכונות הווירטואליות והמארחים המובילים לפי הביקוש למשאבים.
- לוח בקרה של ביצועי מכונות וירטואליות: אינדיקטורים של ביצועי מכונות וירטואליות (VM) שאפשר לסנן לפי שם המכונה ולהשתמש בהם כדי להשוות את הביצועים של כמה מכונות וירטואליות זו לזו.
כדי לגשת למרכז בקרה של VMware Engine:
במסוף Google Cloud , עוברים אל Monitoring > Dashboards (מעקב > לוחות בקרה).
בכרטיסייה Sample Library, בוחרים בקטגוריה VMware.
בוחרים את לוח הבקרה הרצוי ולוחצים על file_downloadייבוא.
ההגדרות של לוחות הבקרה האלה שמורות גם ב-GitHub. במאמר התקנת לוחות בקרה לדוגמה מוסבר איך להתקין את ההגדרות או להציג אותן כלוחות בקרה בהתאמה אישית.
התראות ב-Cloud Monitoring
אתם יכולים להשתמש במדדים מהשילוב כדי להפעיל התראות והודעות על סמך ערכי סף מותאמים אישית ואירועים. לדוגמה, אתם יכולים להגדיר ש-Cloud Monitoring ישלח לכם התראה ב-SMS כשמישהו יוצר מכונה וירטואלית חדשה בענן הפרטי שלכם.
לפרטים נוספים, אפשר לעיין במאמר מבוא להתראות.
רשימת המדדים שנאספו
אחרי שמפעילים בהצלחה את העברת המדדים, אפשר לראות את המדדים בכלי Metrics Explorer של Cloud Monitoring. סוגי המשאבים וסוגי המדדים מ-VMware Engine מתחילים בקידומת external.googleapis.com/vmware/vcenter. בכלי Metrics Explorer.
זוהי הרשימה המלאה של המדדים שנאספים עבור VMware Engine, בלי הקידומת:
| סוג המשאב והמדד | תיאור |
|---|---|
cluster.cpu.available |
המעבד הזמין באשכול, במגה-הרץ |
cluster.memory.available |
הזיכרון שזמין באשכול, בבייטים |
cluster.cpu.threads |
מספר ה-threads של המעבד באשכול |
cluster.cpu.effective |
יחידת העיבוד המרכזית (CPU) האפקטיבית באשכול מכל המארחים הפועלים. מארחים שלא מגיבים או שנמצאים במצב תחזוקה לא נספרים. |
cluster.effective_hosts |
מספר המארחים האפקטיביים באשכול. מארחים שלא מגיבים או שנמצאים במצב תחזוקה לא נספרים. |
cluster.memory.effective |
הזיכרון האפקטיבי באשכול מכל המארחים הפועלים. מארחים שלא מגיבים או שנמצאים במצב תחזוקה לא נספרים. |
cluster.hosts |
מספר המארחים באשכול |
cluster.vsan.latency |
זמן האחזור של vSAN באשכול, במיקרו-שניות |
cluster.vsan.throughput |
קצב העברת הנתונים לקריאה ולכתיבה של vSAN באשכול, בבייטים |
cluster.vsan.iops |
IOPS של vSAN באשכול |
cluster.vsan.congestions |
ערך העומס של אשכול vSAN |
cluster.vsan.oio |
vSAN outstanding I/O (oio) in a cluster |
datacenter.cpu.average_host_utilization |
שיעור הניצול הממוצע של מארח במרכז נתונים, באחוזים |
datacenter.clusters |
מספר האשכולות במרכז נתונים |
datacenter.datastores |
מספר מאגרי הנתונים במרכז נתונים |
datacenter.hosts |
מספר המארחים במרכז נתונים |
datacenter.host_systems |
מספר מערכות המארח במרכז נתונים |
datacenter.hosts/powered_on |
מספר המארחים שמופעלים במרכז נתונים |
datacenter.hosts/powered_off |
מספר המארחים שמושבתים במרכז נתונים |
datacenter.disk/space |
נפח הדיסק הכולל במרכז נתונים, בטרה-בייט |
datastore.capacity_bytes |
הקיבולת של מאגר נתונים, בבייטים |
datastore.capacity_utilization |
ניצול הקיבולת של מאגר נתונים, באחוזים |
host_system.network.transmitted_packets |
מספר חבילות הרשת שמועברות על ידי מערכת המארח |
host_system.network.received_packets |
מספר חבילות הרשת שהתקבלו במערכת המארחת |
host_system.dropped_packets |
מספר חבילות הרשת שהמערכת המארחת השמיטה |
host_system.network.adapters |
מספר מתאמי הרשת במערכת המארחת |
host_system.memory.utilization |
ניצול הזיכרון של מערכת המארח, באחוזים |
host_system.memory.utilization_ratio |
יחס ניצול הזיכרון של מערכת המארח |
host_system.memory.used |
הזיכרון שבו נעשה שימוש במערכת המארחת, במגה-בייט |
host_system.disk.read |
קריאה מדיסק של מערכת המארח, בקילובייט לשנייה |
host_system.disk_latency |
זמן האחזור של הדיסק במערכת המארחת, באלפיות השנייה |
host_system.cpu.usage |
השימוש במעבד של מערכת המארח, כאחוז |
host_system.cpu.utilization_ratio |
יחס ניצול המעבד של מערכת המארח |
host_system.cpu.capacity |
קיבולת המעבד של מערכת המארח, במגה-הרץ |
host_system.cpu.reserved_capacity |
קיבולת CPU שמורה של מערכת המארח, במגה-הרץ |
host_system.cpu.average_speed |
מהירות ממוצעת של המעבד במערכת המארחת, במגה-הרץ |
host_system.cpu.used |
השימוש במעבד של מערכת המארח, במגה-הרץ |
host_system.vsan.throughput |
התפוקה של קריאה וכתיבה ב-vSAN של מערכת המארח, בבייטים |
host_system.vsan.iops |
IOPS של vSAN במערכת המארחת |
host_system.vsan.latency |
זמן האחזור של vSAN במערכת המארחת, במיקרו-שניות |
host_system.vsan.client_cache_hits |
פגיעות במטמון של לקוח vSAN במערכת המארחת |
host_system.vsan.client_cache_hit_rate |
שיעור הפגיעה במטמון של לקוח vSAN במערכת המארחת, באחוזים |
host_system.vsan.congestions |
ערך העומס של מערכת המארח ב-vSAN |
resource_pool.memory.swapped_bytes |
הזיכרון שהוחלף ב-vCenter, במגה-בייט |
resource_pool.memory.shared_bytes |
זיכרון משותף של vCenter, במגה-בייט |
resource_pool.memory.private_bytes |
זיכרון פרטי ב-vCenter, במגה-בייט |
resource_pool.memory.shares |
מספר שיתופי הזיכרון של vCenter |
resource_pool.memory.overhead_usage_bytes |
השימוש בתקורה של הזיכרון ב-vCenter, במגה-בייט |
resource_pool.memory.host_usage_bytes |
שימוש בזיכרון של המארח ב-vCenter, במגה-בייט |
resource_pool.memory.active_guest_usage_bytes |
השימוש הפעיל בזיכרון של האורח ב-vCenter, במגה-בייט |
resource_pool.memory.balloon_size |
גודל הזיכרון של הבלון ב-vCenter, במגה-בייט |
resource_pool.cpu.usage |
המעבד שבו נעשה שימוש על ידי vCenter, במגה-הרץ |
resource_pool.cpu.shares |
מספר שיתופי המעבד במאגר המשאבים, במגה-בייט |
vm.memory.ballooned |
גודל הזיכרון של הבלון במכונה הווירטואלית, במגה-בייט |
vm.network.throughput_bytes |
התפוקה של הרשת של המכונה הווירטואלית, בקילובייט לשנייה |
vm.memory.used_percent |
הזיכרון שבו נעשה שימוש במכונה הווירטואלית, כאחוז מהזיכרון הזמין |
vm.memory.usage_bytes |
הזיכרון שבו נעשה שימוש במכונה הווירטואלית, במגה-בייט |
vm.disk.throughput_bytes |
קצב העברת הנתונים של קריאה וכתיבה בדיסק של המכונה הווירטואלית, בקילובייט לשנייה |
vm.disk.used_percent |
אחוז השימוש בדיסק של המכונה הווירטואלית מתוך נפח האחסון הזמין |
vm.disk.usage_bytes |
ניצול הדיסק של המכונה הווירטואלית, בבייטים |
vm.disk.free_bytes |
נפח הדיסק הזמין של המכונה הווירטואלית, בבייטים |
vm.cpu.used_percent |
השימוש במעבד של המכונה הווירטואלית, כאחוז מהמעבד הזמין |
vm.cpu.usage |
השימוש במעבד של המכונה הווירטואלית, במגה-הרץ |
vm.cpu.ready_percent |
אחוז המעבד (CPU) של המכונה הווירטואלית שמוכנה אבל לא יכולה לפעול |
vm.vsan.throughput |
קצב העברת הנתונים לקריאה ולכתיבה של המכונה הווירטואלית ב-vSAN, בבייטים |
vm.vsan.iops |
vSAN IOPS של ה-VM |
vm.vsan.latency |
זמן האחזור של המכונה הווירטואלית ב-vSAN, במיקרו-שניות |
vm.vsan.readCount |
מספר הקריאות של המכונה הווירטואלית ב-vSAN |
vm.vsan.writeCount |
מספר הפעמים שהמכונה הווירטואלית כתבה ב-vSAN |
vsphere.cpu.available |
מעבד זמין בכל האשכולות שמנוהלים על ידי vSphere, בגיגה-הרץ |
vsphere.memory.available |
נפח הזיכרון שזמין באשכולות שמנוהלים על ידי vSphere, בגיגה-בייט |
vsphere.clusters.total |
מספר האשכולות שמנוהלים על ידי vSphere |
vsphere.clusters |
מספר האשכולות שמנוהלים על ידי vSphere עם קוד הצבע של סטטוס האשכול (כמו ירוק, אפור, אדום או צהוב) |
vsphere.cpu.cpus |
המספר הכולל של ליבות המעבד במערכת המארחת שמנוהלות על ידי vSphere |
vsphere.datacenters |
מספר מרכזי הנתונים שמנוהלים על ידי vSphere |
vsphere.datastores.total |
מספר מאגרי הנתונים ב-vSphere |
vsphere.datastores |
מספר מאגרי הנתונים שמנוהלים על ידי vSphere עם קוד הצבע של סטטוס מאגר הנתונים (כמו ירוק, אפור, אדום או צהוב) |
vsphere.disk.space |
הנפח הכולל של הדיסקים המצורפים ב-vSphere, בטרה-בייט |
vsphere.host_systems |
מספר מערכות המארח ב-vSphere |
vsphere.hosts |
מספר המערכות המארחות שמנוהלות על ידי vSphere עם קוד הצבע של סטטוס המערכת המארחת (כמו ירוק, אפור, אדום או צהוב) |
vsphere.network.adapters |
מספר מתאמי הרשת ב-vSphere |
vsphere.hosts.powered_off |
מספר המארחים שמופעלים ב-vSphere |
vsphere.hosts.powered_on |
מספר המארחים שמופעלים ב-vSphere |
vsphere.virtual_machines.total |
מספר המכונות הווירטואליות בכל אשכולות vSphere |
vsphere.virtual_machines |
מספר המכונות הווירטואליות שמנוהלות על ידי vSphere עם קוד הצבע של סטטוס המכונה הווירטואלית (למשל: ירוק, אפור, אדום או צהוב) |