מידע על הכלי לייעוץ בנושא Storage Intelligence

בדף הזה מוסבר איך כלי הייעוץ של Storage Intelligence מאפשר לכם לעקוב אחרי סביבת Cloud Storage ולנהל אותה בקנה מידה גדול בארגונים, בתיקיות ובפרויקטים.

הכלי Storage Intelligence Advisor מציג מגמות וחריגות בדפוסי השימוש שלכם בנפח האחסון, ומספק המלצות מובנות לאופטימיזציה של השימוש ולפתרון צווארי בקבוק בביצועים.

כדי לראות את הכלי לייעוץ של Storage Intelligence, אפשר לעיין במאמר הצגת הכלי לייעוץ של Storage Intelligence.

המבנה והחלקים של הכלי Storage Intelligence Advisor

כדי לעזור לכם לנהל את סביבת האחסון, הכלי Storage Intelligence Advisor מציג תובנות באמצעות היררכיה מובנית של מדדים, ממצאים ושלבים הבאים:

  • מדדים: נקודות נתונים שנאספות מסביבת Cloud Storage, כמו נפח האחסון, מספר האובייקטים ושיעורי הפעולות.
  • ממצאים: אנומליות שזוהו במדדים שלכם ודורשות התייחסות, כמו עלייה חדה במספר השגיאות או שימוש לא יעיל בנפח האחסון.
  • השלבים הבאים: המלצות שמופיעות לצד כל ממצא כדי לעזור לכם לפתור את הבעיה שזוהתה.

כדי לעזור לכם לנתח את נתוני האחסון, הכלי Storage Intelligence Advisor כולל את הקטעים הבאים.

בקצרה

בקטע במבט חטוף מוצגת תמונת מצב יומית של סביבת האחסון. התווית של הקטע משתנה בהתאם למשאב שנבחר: Project at a glance (סקירה מהירה של הפרויקט), Folder at a glance (סקירה מהירה של התיקייה) או Organization at a glance (סקירה מהירה של הארגון). מוצגים בו מדדים מרכזיים כמו גודל האחסון הכולל, מספר הדליים ומספר האובייקטים, וגודל האובייקט הממוצע. בטבלה הבאה מוסבר איך להשתמש במדדים האלה כדי לנתח את ניצול נפח האחסון:

מדד תיאור
גודל האחסון הכולל הגודל הכולל של האחסון שלכם בסוגי אחסון (storage class) במספר אזורים ובאזור אחד.
סך כל הקטגוריות עם אובייקטים מספר הקטגוריות שמכילות לפחות אובייקט אחד.
סך האובייקטים המספר הכולל של האובייקטים בהיקף המשאבים שנבחר.
גודל אובייקט ממוצע הגודל הממוצע של האובייקטים בפרויקט, בתיקייה או בארגון, שמציין את יעילות האחסון.

הממצאים המובילים

בקטע ממצאים עיקריים מוצגים שינויים בהתנהגות האחסון שדורשים התייחסות. בהתאם להיקף המשאב שנבחר, הממצאים מספקים תובנות מצטברות או מפורטות:

  • היקף הארגון והתיקייה: בכל כרטיס של ממצא מוצגות אנומליות שמצטברות בפרויקטים הכלולים, ומוצג מספר הפרויקטים שהושפעו. כדי לראות חלונית עם רשימה של כל הפרויקטים שהושפעו, לוחצים על הצגת פרטים. אחר כך תוכלו לפתוח את פרטי הממצאים של כל פרויקט בכרטיסייה חדשה.
  • היקף הפרויקט: כרטיסי הממצאים מאפשרים לכם להתעמק בפרטים ברמת הקטגוריה וברמת האובייקט של הפרויקט.

כל ממצא משויך לאחת מהקטגוריות הבאות כדי לציין את ההשפעה שלו:

  • אופטימיזציה של השימוש: ממצאים שמשפיעים על נפח אחסון נדרש ועל היעילות של העלויות.

  • ביצועים: ממצאים שמשפיעים על המהירות, זמן האחזור והתקינות התפעולית.

בטבלה הבאה מתוארים הממצאים שזמינים בכלי Storage Intelligence Advisor:

ממצא קטגוריה תיאור
עלייה חדה בפעולות ברמה A או B בנתוני Coldline או Archive אופטימיזציה של השימוש

מציין פעולות תכופות על נתונים ב-Coldline Storage וב-Archive Storage. לדוגמה, יכול להיות שתראו את הממצא הזה אם עבודת ניתוח נתונים ניגשת מדי יום לדוחות חודשיים שמאוחסנים ב-Archive Storage, וכך יוצרת קצב גבוה של פעולות על נתונים שמתאימים יותר לאחסון Standard Storage. כדי לפתור את הבעיה הזו, צריך להעביר את הנתונים לסוג אחסון שמתאים לגישה תכופה, או לשנות את הגדרות ניתוח הנתונים כך שישתמשו בנתונים שנשמרו במטמון.

מידע נוסף זמין במאמר אופטימיזציה של השימוש בנתונים ב-Coldline וב-Archive Storage.
עלייה חדה בשגיאות 429 שמציינות בקשות שחלות עליהן מגבלות קצב ביצועים

מציין ש-Cloud Storage מגביל את קצב הבקשות שלכם, מה שגורם לזמן אחזור ולפסק זמן. לדוגמה, יכול להיות שתראו את הממצא הזה אם עבודת עיבוד באצווה קוראת או כותבת במהירות הרבה אובייקטים באותה קטגוריה, חורגת ממגבלות הבקשות וגורמת לשגיאות 429 Too Many Requests. כדי לעזור בפתרון הממצא הזה, הטמיעו השהיה מעריכית לפני ניסיון חוזר (exponential backoff) באפליקציה שלכם או הרחיבו אנכית (scale up) את תפוקת הבקשות בהדרגה.

מידע נוסף זמין במאמר בנושא שיפור הביצועים על ידי צמצום שגיאות שנובעות מהגבלת קצב הבקשות.
עלייה חדה בתעבורת נתונים יוצאת (egress) בין אזורים אופטימיזציה של השימוש

מציין עלייה בהעברת נתונים בין קטגוריות של Cloud Storage באזור אחד לבין שירותים אחרים של Google Cloud באזור אחר. הפעילות הזו עלולה להוביל לעלויות תעבורת נתונים יוצאת (egress) לא צפויות. לדוגמה, יכול להיות שתראו את הממצא הזה אם מכונה של Compute Engine ב-us-central1 ניגשת לעיתים קרובות לקטגוריה ב-us-east1. כדי לפתור את הממצא הזה, מקם את משאבי ה Google Cloud והאחסון שלך באותו אזור באמצעות העברת קטגוריות למיקום גיאוגרפי אחר.

מידע נוסף מופיע במאמר בנושא ניהול תעבורת נתונים יוצאת בין אזורים.
המספר הכולל של בייטים שנשמרו גדל מעל המגמה ב-30 הימים האחרונים אופטימיזציה של השימוש

המשמעות היא שהשימוש בנפח האחסון גדל מעבר למגמות ההיסטוריות ב-30 הימים האחרונים. לדוגמה, יכול להיות שתראו את הממצא הזה אם בקטגוריה שלכם נשמרות גרסאות לא עדכניות של אובייקטים ללא הגבלת זמן אחרי שמעלים גרסאות חדשות. שמירה ללא הגבלה עלולה להוביל לעלויות אחסון מיותרות. כדי לפתור את הממצא הזה, אפשר להשתמש בניהול מחזור חיים של אובייקטים כדי למחוק גרסאות לא עדכניות או להעביר אותן לאחסון נתונים בשימוש נדיר (cold storage), או להפעיל סיווג אוטומטי כדי לנהל באופן אוטומטי את סוגי אחסון (storage class) על סמך דפוסי הגישה.

מידע נוסף על זיהוי צריכת אחסון מעל המגמה

תרשימים עיקריים

בקטע תרשימים מרכזיים יש תרשימים של סדרות זמן שעוזרים לכם לראות את מגמות השינוי בנפח האחסון:

  • מספר מצטבר של אובייקטים: מעקב אחרי המספר הכולל של אובייקטים בפרויקט, בתיקייה או בארגון שבחרתם, בכל המיקומים ובכל סוגי האחסון.
  • נפח האחסון לאורך זמן: מעקב אחרי גודל האחסון במיקומים ובסוגי אחסון שונים.

תרחישים לדוגמה

היועץ של Storage Intelligence תומך בתרחישי השימוש הבאים.

מזעור של דוחות בהתאמה אישית

אפשר לעקוב אחרי מדדים בסביבת Cloud Storage בלי לתחזק צינורות לעיבוד נתונים בהתאמה אישית, סקריפטים של BigQuery או כלי ויזואליזציה חיצוניים.

ריכוז הפיקוח

הערכת תקינות של כל סביבת Cloud Storage מממשק יחיד בפרויקטים, בתיקיות או בארגונים, בלי להריץ שאילתות ידניות ביומנים או במשאבים שונים.

כדי להתחיל, אפשר לעיין במאמר הצגת המלצות מ-Storage Intelligence.

אופטימיזציה של השימוש בנפח האחסון

בחינת הזדמנויות לאופטימיזציה של נפח האחסון הנדרש על ידי התאמת הנתונים לסוג האחסון המתאים. לדוגמה, ממצא Spike in Class A or B operations on Coldline or Archive data מציין שניגשים לעיתים קרובות לנתונים ב-Coldline Storage או ב-Archive Storage. יכול להיות שהנתונים האלה מתאימים יותר לסוג אחסון שמיועד לגישה תכופה, כמו Standard Storage או Nearline Storage.

מידע נוסף זמין במאמר אופטימיזציה של השימוש בנתונים ב-Coldline וב-Archive Storage.

פתרון צווארי בקבוק בביצועים

זיהוי בעיות בביצועים, כמו ויסות נתונים (throttle) של בקשות או עליות חדות לא צפויות בפעולות. ממצאים כמו Spike in 429 errors עוזרים לכם לבצע אופטימיזציה של דפוסי קלט/פלט כדי לשפר את מהימנות האפליקציה.

מידע נוסף זמין במאמר בנושא שיפור הביצועים על ידי צמצום שגיאות של בקשות שחורגות ממגבלת הקצב.

תמיכה ב-VPC Service Controls

הכלי Storage Intelligence Advisor תומך ב-VPC Service Controls, שעוזר לצמצם את הסיכונים לזליגת נתונים משירותי Google Cloud . כשמפעילים את הכלי Storage Intelligence advisor בפרויקט בתוך גבולות גזרה לשירות, VPC Service Controls עוזר להגן על Storage Intelligence advisor API.

שירות VPC Service Controls לא תומך בהוספת משאבים ברמת התיקייה או ברמת הארגון לגבולות גזרה של שירותים. לכן, למרות שאפשר להפעיל את הכלי לייעוץ בנושא Storage Intelligence ברמת התיקייה, הארגון או הפרויקט, VPC Service Controls עוזר להגן רק על משאבים ברמת הפרויקט. כדי לנהל את הכלי Storage Intelligence Advisor ברמת התיקייה או הארגון, צריך להשתמש בניהול זהויות והרשאות גישה (IAM).

המאמרים הבאים