מדדים של Cloud Storage FUSE

במאמר הזה מוסבר על המדדים של Cloud Storage FUSE ואיך לאסוף, לייצא ולנתח נתונים של מדדים.

‫Cloud Storage מספק מדדים מפורטים ל-Cloud Storage FUSE כשמשתמשים ב-Cloud Storage FUSE כדי לטעון את הקטגוריות ל-Cloud Storage כמערכות קבצים. המדדים יכולים לעזור לכם לעקוב באופן רציף אחרי הביצועים, לזהות צווארי בקבוק פוטנציאליים שיכולים להשפיע על קצב העברת הנתונים ועל זמן האחזור, ולטפל בבעיות במהירות כשהן מתרחשות.

למטרות אבחון, אפשר לאסוף מדדים ברקע כשמשתמשים ב-Cloud Storage FUSE. ב-Cloud Storage יש שתי דרכים לאיסוף, לייצוא ולניתוח מדדים:

  • ‫Cloud Monitoring exporter: המדדים נאספים ומיוצאים ישירות מ-Cloud Storage FUSE אל Cloud Monitoring. אחרי הייצוא, אפשר לראות את המדדים במסוף Google Cloud .

  • יציאת Prometheus: המדדים מיוצאים בפורמט טקסט של מדדי Prometheus ביציאת Prometheus שצוינה, כמו http://Host:prometheus-port/metrics, באמצעות ערכת הכלים של Prometheus לניטור ולהתראות בקוד פתוח. אחר כך אפשר לראות את המדדים כפלט באמצעות כתובת URL של לקוח, כמו curl http://Host:prometheus-port/metrics

תמחור

החיוב על מדדים של Cloud Storage FUSE מבוסס על השימוש שלכם. למידע נוסף על תמחור, אפשר לעיין במאמר תמחור של Google Cloud Observability.

שימוש ב-Cloud Monitoring exporter

כדי להשתמש ב-Cloud Monitoring exporter לייצוא, לאיסוף ולניתוח של מדדים מ-Cloud Storage FUSE ל-Cloud Monitoring, צריך לבצע את השלבים שמפורטים בקטעים הבאים.

קבלת התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות לשימוש בכלי לייצוא נתונים של Cloud Monitoring, צריך לבקש מהאדמין להקצות לכם את תפקיד ה-IAM‏ Monitoring Metric Writer (roles/monitoring.metricWriter) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

לפני שמתחילים

  1. מפעילים את Cloud Monitoring API.

  2. מפעילים את Cloud Storage API.

    כניסה ל-Cloud Storage API

הגדרת כלי הייצוא של Cloud Monitoring

כדי להגדיר את כלי הייצוא של Cloud Monitoring לאיסוף, לייצוא ולניתוח של מדדי Cloud Storage FUSE, צריך לציין ערך של מספר שלם בשניות בשדה metrics:cloud-metrics-export-interval-secs באמצעות קובץ הגדרות של Cloud Storage FUSE או האפשרות --cloud-metrics-export-interval-secs באמצעות Cloud Storage FUSE CLI.

הצגת מדדים באמצעות מסוף Google Cloud

כדי להציג את מדדי Cloud Storage FUSE באמצעות מסוף Google Cloud , פועלים לפי ההוראות הבאות:

  1. נכנסים לדף Metrics explorer במסוף Google Cloud .

    כניסה ל-Metrics Explorer

  2. בוחרים את הפרויקט שרוצים לראות את המדדים שלו.

  3. בתפריט הנפתח מדד, לוחצים על בחירת מדד.

  4. בוחרים את סוג המשאב:

    • למכונות וירטואליות של Compute Engine, בוחרים באפשרות VM Instance > Custom metrics.
    • ל-pods של GKE, בוחרים באפשרות Kubernetes Pod‏ > Gcsfusecsi.

    מזינים את שם המדד שרוצים לראות.

    כדי לראות אילו מדדים Cloud Storage מציע ל-Cloud Storage FUSE, אפשר לעיין במאמר בנושא מדדים זמינים.

שימוש ב-Prometheus לייצוא, לאיסוף ולניתוח של מדדים

בקטעים הבאים מוסבר איך להגדיר את Prometheus כדי לייצא, לאסוף ולנתח מדדים של Cloud Storage FUSE.

הגדרת Prometheus

כדי להגדיר את Prometheus, פועלים לפי ההוראות במאמר בנושא הגדרת Prometheus לסוכן תפעול.

שימוש ב-Prometheus

  1. מציינים את יציאת ה-HTTP שאליה רוצים לייצא את המדדים באמצעות השדה prometheus-port בקובץ ההגדרות של Cloud Storage FUSE או האפשרות --prometheus-port gcsfuse באמצעות CLI של gcsfuse.

  2. כדי לאמת את נקודת הקצה של מדדי Prometheus, משתמשים בפקודה הבאה:

     curl https://localhost:8080/metrics

    אם הפקודה מסתיימת ללא שגיאות, היא מחזירה פלט שדומה לטקסט הבא:

    # HELP file_cache_read_bytes_count The cumulative number of bytes read from file cache along with read type - Sequential/Random
# TYPE file_cache_read_bytes_count counter
file_cache_read_bytes_count{read_type="Random"} 0
file_cache_read_bytes_count{read_type="Sequential"} 80
# HELP file_cache_read_count Specifies the number of read requests made via file cache along with type - Sequential/Random and cache hit - true/false
# TYPE file_cache_read_count counter
file_cache_read_count{cache_hit="false",read_type="Random"} 215
file_cache_read_count{cache_hit="false",read_type="Sequential"} 5
# HELP file_cache_read_latencies The cumulative distribution of the file cache read latencies along with cache hit - true/false
# TYPE file_cache_read_latencies histogram
file_cache_read_latencies_bucket{cache_hit="false",le="1"} 215
file_cache_read_latencies_bucket{cache_hit="false",le="2"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="3"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="4"} 216
file_cache_read_latencies_bucket{cache_hit="false",le="5"} 216
...
file_cache_read_latencies_sum{cache_hit="false"} 483.62783500000023
file_cache_read_latencies_count{cache_hit="false"} 220
# HELP fs_ops_count The cumulative number of ops processed by the file system.
# TYPE fs_ops_count counter
fs_ops_count{fs_op="FlushFile"} 9
fs_ops_count{fs_op="GetInodeAttributes"} 91
fs_ops_count{fs_op="LookUpInode"} 584
fs_ops_count{fs_op="OpenDir"} 122
fs_ops_count{fs_op="OpenFile"} 9
fs_ops_count{fs_op="ReadDir"} 184
fs_ops_count{fs_op="ReadFile"} 220
fs_ops_count{fs_op="ReleaseDirHandle"} 122
fs_ops_count{fs_op="ReleaseFileHandle"} 9
fs_ops_count{fs_op="StatFS"} 10
# HELP fs_ops_error_count The cumulative number of errors generated by file system operations
# TYPE fs_ops_error_count counter
fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="GetXattr"} 1
fs_ops_error_count{fs_error_category="NOT_IMPLEMENTED",fs_op="ListXattr"} 1
fs_ops_error_count{fs_error_category="INTERRUPT_ERROR",fs_op="LookUpInode"} 58
fs_ops_error_count{fs_error_category="NO_FILE_OR_DIR",fs_op="LookUpInode"} 6
# HELP fs_ops_latency The cumulative distribution of file system operation latencies
# TYPE fs_ops_latency histogram
fs_ops_latency_bucket{fs_op="FlushFile",le="1"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="2"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="3"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="4"} 9
fs_ops_latency_bucket{fs_op="FlushFile",le="5"} 9
...
fs_ops_latency_sum{fs_op="FlushFile"} 0.28800000000000003
fs_ops_latency_count{fs_op="FlushFile"} 9
# HELP gcs_download_bytes_count The cumulative number of bytes downloaded from Cloud Storage along with type - Sequential/Random
# TYPE gcs_download_bytes_count counter
gcs_download_bytes_count{read_type="Sequential"} 2.0971528e+08
# HELP gcs_read_count Specifies the number of Cloud Storage reads made along with type - Sequential/Random
# TYPE gcs_read_count counter
gcs_read_count{read_type="Sequential"} 5

מדדים זמינים

‫Cloud Storage FUSE מספק את המדדים הבאים.

מדדים של מערכת קבצים

מדדים של מערכת קבצים מספקים תובנות לגבי הפעולות שבוצעו בקטגוריה המצורפת, כמו זמן אחזור ושיעורי שגיאות.

שם המדד תיאור המדד
fs/ops_count מספר הפעולות שעובדו על ידי מערכת הקבצים. המדד הזה מאפשר קיבוץ לפי op_type כדי לקבל ספירות של פעולות בודדות.
fs/ops_error_count מספר השגיאות שנוצרו על ידי פעולות במערכת הקבצים. אפשר לקבץ את המדד הזה לפי op_type ו-error_category. כל שגיאה ממופה ל-error_category בקשר של רבים לאחד.
fs/ops_latency ההתפלגות המצטברת של השהיות בפעולות של מערכת הקבצים. אפשר לקבץ את המדד הזה לפי op_type.

מדדים של Cloud Storage

מדדי Cloud Storage מספקים תובנות לגבי האינטראקציות בין Cloud Storage FUSE לבין Cloud Storage.

שם המדד תיאור המדד
gcs/download_bytes_count מספר הבייטים שהורדו מ-Cloud Storage, יחד עם סוג הקריאה. סוג הקריאה מציין קריאות עוקבות, אקראיות או מקבילות.
gcs/read_bytes_count מספר הבייטים שנקראו מאובייקטים ב-Cloud Storage, ששונה מdownload_bytes_count. לדוגמה, יותר נתונים נשלפים מ-Cloud Storage ממה שהאפליקציה משתמשת בפועל.
gcs/read_count מספר הקריאות מ-Cloud Storage וסוג הקריאה: עוקבת, אקראית או מקבילה.
gcs/reader_count מספר הקוראים של אובייקטים ב-Cloud Storage שנפתחו או נסגרו. הנתונים של המדד הזה מקובצים לפי סוג השיטה של הקלט/פלט (I/O), כמו opened או closed.
gcs/request_count מספר הבקשות ל-Cloud Storage שעברו עיבוד.
gcs/request_latencies ההתפלגות הכוללת של השהיות של בקשות ל-Cloud Storage.
gcs/retry_count מספר הבקשות לניסיון חוזר שנשלחו ל-Cloud Storage. אפשר לקבץ את המדד הזה לפי retry_error_category שמציין את קטגוריית השגיאה שהפעילה ניסיון חוזר.

מדדים של מטמון קבצים

מדדים של מטמון קבצים מספקים תובנות לגבי הביצועים וההתנהגות של פעולות שמירת קבצים במטמון ב-Cloud Storage FUSE.

שם המדד תיאור המדד
file_cache/read_bytes_count מספר הבייטים שנקראו ממטמון הקבצים וסוג הקריאה, רציפה או אקראית.
file_cache/read_latencies ההתפלגות הכוללת של זמני האחזור של קריאת מטמון הקבצים והפגיעה במטמון, true או false.
file_cache/read_count מספר בקשות הקריאה שבוצעו באמצעות מטמון הקבצים, סוג הבקשה (למשל, רציפה או אקראית) והאם הבקשה נמצאה במטמון (true או false).

המאמרים הבאים