ייצוא נתוני החיוב ב-Cloud ל-BigQuery

בעזרת כלי החיוב ב-Cloud, במהלך היום אתם יכולים לייצא אוטומטית ל-BigQuery נתונים מפורטים על החיוב ב- Google Cloud (למשל, נתוני שימוש, תמחור ואומדן עלויות), ולבחור את מערך הנתונים ב-BigQuery שבו הנתונים יישמרו. אחרי הייצוא אפשר להשתמש ב-BigQuery כדי לקבל ניתוח מפורט של נתוני החיוב ב-Cloud. אפשר להשתמש בשיטת הייצוא הזאת גם כדי לייצא נתונים לקובץ JSON.

חשוב לקבל את כל הנתונים המדויקים בזמן. כדי שיהיו לכם נתונים מקיפים יותר על החיוב ב-Google Cloud , מומלץ להפעיל את הייצוא ל-BigQuery בכל אחד מהחשבונות לחיוב ב-Cloud כבר בשלב יצירת החשבון.

חשוב להכיר את המגבלות שעשויות להשפיע על ייצוא נתוני החיוב ל-BigQuery.

השלבים הבאים

ניהול טוב של העלויות ודיווח מדויק על החיובים הם חלק חשוב בתכנון הפיננסי, לא משנה אם אתם מנהלים תקציב עסקי במיליארדי דולרים או תקציב קטן של משק הבית. אבל כדי לקבל החלטות על סמך נתוני השימוש והעלויות ב-Google Cloud , קודם כל צריך לאסוף את הנתונים.

ריכזנו בחלק הזה מידע שיעזור לכם לבצע את המשימות הבאות:

הגדרת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery

כדי להתחיל את איסוף נתוני החיוב ב-Cloud, צריך להפעיל את ייצוא נתוני החיוב ב-Cloud ל-BigQuery.

במדריך ההגדרה מוצגות שיטות מומלצות והוראות מפורטות להפעלה של ייצוא נתוני החיוב ב-Cloud ל-BigQuery. אלה הסוגים של נתוני החיוב ב-Cloud שאפשר להפעיל כדי לייצא אותם:

  • נתוני עלות סטנדרטיים של שימוש – כוללים פרטים על נתוני עלות של שימוש רגיל בחשבון לחיוב ב-Cloud, כמו מספר חשבון, תאריך חשבונית, שירותים, מק"טים, פרויקטים, תוויות, מיקומים, עלות, שימוש, זיכויים, התאמות ומטבע.

    בחרו באפשרות Standard usage export כדי לנתח מגמות רחבות בנתוני העלות.

  • נתונים מפורטים של עלויות השימוש – פירוט רחב יותר בקשר לעלויות של השימוש בחשבון לחיוב ב-Cloud, כולל כל נתוני העלות הסטנדרטיים של השימוש יחד עם נתוני עלות ברמת המשאב, כמו מכונה וירטואלית או כונן SSD, שמייצרים שימוש בשירות.

    בחרו באפשרות Detailed usage export כדי לנתח עלויות ברמת המשאב ולזהות משאבים מסוימים שמייקרים את העלויות. הייצוא המפורט כולל מידע ברמת המשאב למוצרים הבאים:

    • Compute Engine
    • Google Kubernetes Engine (GKE)
    • פונקציות Cloud Run
    • Cloud Run

    כדי להציג מידע על GKE, צריך להפעיל את הקצאת העלויות בפעולות ייצוא מפורטות.

    מומלץ לקרוא את ההמלצות והמגבלות הנוספות שמפורטות בסכימת הנתונים המפורטים של עלויות השימוש.

  • ‫(למפיצים בלבד) ייצוא נתונים לחיוב חוזר – סוג הייצוא הזה כולל נתונים מפורטים על עלויות השימוש בחשבון לחיוב ב-Cloud לכל החשבונות לחיוב של המפיץ, עם הערות לגבי מאפיינים ספציפיים לשותפים.

    מומלץ להשתמש בייצוא הנתונים לחיוב חוזר כדי לנהל את פעולות החיוב של הלקוחות ב-Google Cloud . כאן יש עוד מידע על הגדרת תמחור חוזר כדי ליצור את נתוני העלויות של לקוחות הקצה.

  • נתוני תמחור – פרטים על התמחור בחשבון לחיוב ב-Cloud, כמו מספר חשבון, שירותים, מק"טים, מוצרים, מטא-נתונים גיאוגרפיים, יחידות תמחור, מטבע, צבירה ושכבות.

    אפשר לקבל את נתוני התמחור של החשבון לחיוב ב-Cloud גם בדרכים הבאות:

  • מטא-נתונים של הנחות תמורת התחייבות לשימוש (CUD) (גרסת טרום-השקה (Preview)) – לקוחות שרוכשים הנחות CUD מקבלים ייצוא יומי של מטא-נתונים של CUD לטבלה ב-BigQuery, שאפשר לצרף לייצוא אחר של נתוני חיוב כדי לשפר את הניהול של הנחות ה-CUD ואת הדיווח עליהן. המטא-נתונים של ה-CUD כוללים פרטים כמו מזהה חשבון לחיוב, מזהה מוצר, מזהה מודל הצריכה, יחידות וערכים של סכום ההתחייבות לשימוש ועוד.

השימוש ב-BigQuery לאחסון נתוני חיוב ב-Cloud ולהרצת שאילתות על הנתונים הוא בתשלום של עמלות מינימליות. מידע נוסף מפורט בקטע עלות השימוש.

חשוב להכיר את המגבלות שעשויות להשפיע על ייצוא נתוני החיוב ל-BigQuery.

הסבר על טבלאות נתוני החיוב ב-Cloud

אחרי הפעלת הייצוא של החיוב ב-Cloud ל-BigQuery, הטבלאות של נתוני החיוב ב-Cloud נוצרות באופן אוטומטי במערך הנתונים ב-BigQuery.

כדי להבין את סכימת הנתונים של התוכן שייצאתם, תוכלו לראות את פירוט נתוני החיוב ב-Cloud שמיוצאים לכל טבלה במערך הנתונים ב-BigQuery.

איך מחפשים שאילתות לדוגמה בנושא נתוני חיוב ב-Cloud

לקבלת טיפים והנחיות בנושא שימוש ב-SQL כדי להריץ שאילתות על נתוני החיוב ב-Cloud, ראו שאילתות לדוגמה.

בדף השאילתות לדוגמה מופיעות דוגמאות שונות ל-SQL, כולל:

עלויות השימוש ב-BigQuery

השימוש ב-BigQuery לאחסון ולניתוח של נתוני השימוש שמחויב ונתוני העלויות כרוך בחיובים על השימוש ב-BigQuery. העלויות העיקריות ב-BigQuery הן על אחסון נתונים ב-BigQuery ועל מחשוב שמשמש לעיבוד שאילתות.

העלויות ב-BigQuery תלויות בכמות הנתונים שאתם מאחסנים ובכמות הנתונים שאתם שולחים בשאילתה. בדרך כלל, עלויות האחסון נמוכות יותר מעלויות השאילתות.

מידע נוסף על העלויות ב-BigQuery זמין במאמר הערכה וניהול של עלויות ב-BigQuery.

עלויות אחסון

עלויות האחסון כוללות את העלות של אחסון הנתונים שאתם טוענים ל-BigQuery, והן תלויות במודל החיוב של האחסון.

  • טעינת הנתונים למערך הנתונים הייעודי לא כרוכה בתשלום, כך שתוכלו להשתמש במאגר המשאבים המשותפים של BigQuery כדי לטעון נתונים באצוות.
  • פעולות רבות בטבלה המחולקת למחיצות (Partitions) הן בחינם, כולל טעינת נתונים למחיצות, העתקת מחיצות וייצוא נתונים ממחיצות. על אף שהן בחינם, הפעולות האלו כפופות למכסות ולמגבלות של BigQuery.

מידע נוסף על שיטות מומלצות לייעול העלות של אחסון ב-BigQuery זמין במאמר ניהול עלויות האחסון. אפשר גם לבצע אופטימיזציה של האחסון לביצועי שאילתות.

עלויות של שאילתות

כשמנתחים את הנתונים, מחויבים על כל הנתונים שנקראים בכל פעם שהשאילתה מופעלת. הפעלת שאילתות עלולה לגרום לעלייה חדה בעלויות.

מידע נוסף על שיטות מומלצות לייעול העלויות כשמריצים שאילתות ב-BigQuery זמין במאמר אופטימיזציה של חישוב שאילתות.

למחירים מפורטים, ראו תמחור ב-BigQuery

מגבלות

הייצוא של נתוני חיוב ב-Cloud ל-BigQuery כפוף למגבלות הבאות:

  • סכימת הטבלה בכל ייצוא של נתוני החיוב ב-Cloud יכולה להשתנות

    כשסכימת הטבלה משתנה, למשל כשנוספים שדות חדשים לסכימת טבלה ב-BigQuery לייצוא של נתוני חיוב ב-Cloud, יכולות להיות שגיאות בשאילתות שמפנות ישירות לעמודות שמיוצאות. כדי לפתור את זה, צרו תצוגות (Views) של BigQuery שמריצות שאילתות לטבלאות שמיוצאות ומראות את המידע במבנה שאתם רוצים.

    אחר כך תוכלו לשנות את השאילתות שמהן נוצרים הדוחות ומרכזי הבקרה, כך שיחזירו מידע מהתצוגות במקום מהטבלאות שמיוצאות. בעזרת התצוגות אתם יכולים לקבוע סטנדרט אחיד למבנה הנתונים בשאילתות ובמרכזי הבקרה.

    כדי שהטבלאות לא ישתנו אם הסכימה תשתנה, התצוגות שיצרתם אמורות לנרמל את הנתונים, כך שכל הטבלאות הרלוונטיות יהיו באותה הסכימה. אם סכימת הנתונים תשתנה, תוכלו לשנות את השאילתה הבסיסית שיוצרת את התצוגה.

  • באילו מיקומים של מערכי נתונים ב-BigQuery אפשר להשתמש לנתוני החיוב ב-Cloud

    צריך להגדיר את מערכי הנתונים ב-BigQuery למיקום. המיקום יכול להיות במספר אזורים (באיחוד האירופי או בארה"ב) או באזור אחד. המיקום של מערך הנתונים נקבע כשיוצרים אותו. אחרי שיוצרים את מערך הנתונים, אי אפשר לשנות את המיקום שלו.

    כשמייצאים את נתוני החיוב ב-Cloud, אפשר להשתמש בכל המיקומים במספר אזורים (באיחוד האירופי או בארה"ב), אבל רק בחלק מהמיקומים באזור אחד. כשאתם מגדירים את הייצוא של נתוני החיוב ב-Cloud, אם תיצרו או תבחרו מערך נתונים שמוגדר למיקום באזור שלא נתמך, כשתנסו לשמור את הגדרות הייצוא תופיע הודעת שגיאה לגבי האזור של מערך הנתונים.

    בטבלה הבאה מופיעים המיקומים במספר אזורים והמיקומים באזור אחד שנתמכים, לצורך שימוש במערכי נתונים ב-BigQuery שמכילים נתוני חיוב ב-Cloud.

    אמריקה אסיה ואזור האוקיינוס השקט אירופה המזרח התיכון

    במספר אזורים: ארה"ב

    אזורים:

    • ‫northamerica-northeast1 (מונטריאול)
    • ‫southamerica-east1 (סאו פאולו)
    • ‫us-central1 (איווה)
    • ‫us-east1 (קרוליינה הדרומית)
    • ‫us-east4 (וירג'יניה הצפונית)
    • ‫us-west1 (אורגון)
    • ‫us-west2 (לוס אנג'לס)
    • ‫us-west3 (סולט לייק סיטי)
    • ‫us-west4 (לאס וגאס)

    אזורים:

    • ‫asia-east1 (טייוואן)
    • ‫asia-east2 (הונג קונג)
    • ‫asia-northeast1 (טוקיו)
    • ‫asia-northeast2 (אוסקה)
    • ‫asia-northeast3 (סיאול)
    • ‫asia-south1 (מומבאי)
    • ‫asia-southeast1 (סינגפור)
    • ‫asia-southeast2 (ג'קרטה)
    • ‫australia-southeast1 (סידני)

    במספר אזורים: האיחוד האירופי

    אזורים:

    • ‫europe-central2 (ורשה)
    • ‫europe-north1 (פינלנד)
    • ‫europe-west1 (בלגיה)
    • ‫europe-west2 (לונדון)
    • ‫europe-west3 (פרנקפורט)
    • ‫europe-west4 (הולנד)
    • ‫europe-west6 (ציריך)

    אזורים:

    • me-central1 (דוחה)
    • me-central2 (Dammam)
    • me-west1 (תל אביב)

  • אם תשנו בהגדרות הייצוא את הפרויקט או את מערך הנתונים שבו נשמרים נתוני החיוב, הנתונים שכבר יוצאו לא יועברו אוטומטית למערך הנתונים החדש. כדי שמערך הנתונים יכלול את נתוני החיוב שכבר יוצאו, אתם צריכים לאחד ידנית בין שני מערכי הנתונים – הישן והחדש. איך מאחדים בין מערכי נתונים?

  • ‫במערכי נתונים ב-BigQuery שכוללים נתונים סטנדרטיים או מפורטים של עלויות השימוש, סוג המיקום שמגדירים במערך הנתונים משפיע על מועד הייצוא של נתוני החיוב מ- Google Cloud למערך הנתונים:

    • אם תגדירו שמערך הנתונים יתבסס על מיקום במספר אזורים (באיחוד האירופי או בארה"ב), נתוני החיוב ב- Google Cloud שיופיעו יהיו מתחילת החודש שלפני הפעם שבה הפעלתם לראשונה את הייצוא, אלא אם הפעלתם אותו מחדש. כלומר, נתוני החיוב מ-Google Cloud יתווספו רטרואקטיבית לחודש הנוכחי ולחודש הקודם. במילוי החוסרים הראשוני, הייצוא של נתוני החיוב הרטרואקטיביים ב-Cloud יסתיים תוך עד חמישה ימים ורק אז תתחילו לראות את נתוני השימוש הנוכחיים.

    • אם תגדירו שמערך הנתונים יתבסס על מיקום באזור אחד, הנתונים הסטנדרטיים והמפורטים של עלויות השימוש ב- Google Cloud יכללו רק את העלויות שצברתם החל מהתאריך שבו הפעלתם את הייצוא של נתוני החיוב ב-Cloud. כלומר, נתוני החיוב מ-Google Cloud לא יתווספו רטרואקטיבית למערכי נתונים שהמיקום שלהם הוא לא במספר אזורים, כך שלא תראו את נתוני החיוב ב-Cloud שצברתם לפני שהפעלתם את הייצוא.

    • מידע נוסף מופיע בקטע זמינות הנתונים.

  • מערכי הנתונים ב-BigQuery שכוללים נתוני תמחור אוספים רק את נתוני החיוב ב- Google Cloud לעלויות שצברתם החל מהתאריך שבו הגדרתם את הייצוא של נתוני החיוב מ-Cloud. כלומר, Google Cloud נתוני התמחור לא נוספים רטרואקטיבית, ולא תראו את נתוני החיוב ב-Cloud של עלויות שצברתם לפני שהפעלתם את הייצוא. מידע נוסף מופיע בקטע זמינות הנתונים.

  • כשמייצאים נתונים מפורטים של עלויות השימוש, הייצוא כולל אוטומטית פרטים ברמת המשאב לגבי Compute Engine. כדי לראות את פירוט העלויות של אשכולות Google Kubernetes Engine ‏(GKE) כשמייצאים נתונים מפורטים, צריך גם להפעיל הקצאת עלויות ב-GKE.

  • הצפנה של מערך נתונים

    מערכי נתונים ב-BigQuery מוגדרים לשימוש בהצפנה במנוחה על ידי הגדרת אפשרות של מפתח הצפנה כשיוצרים את מערך הנתונים – או Google-owned and Google-managed encryption key, או מפתח הצפנה בניהול הלקוח (CMEK). אפשר להגדיר את אפשרות ההצפנה של מערך הנתונים רק בזמן היצירה. אחרי שיוצרים מערך נתונים, אי אפשר לשנות את הגדרת ההצפנה שלו.

    אם כבר הפעלתם את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery, ומערך הנתונים שלכם מוגדר לשימוש ב-Google-managed encryption key, אתם יכולים להשתמש בכלי שורת הפקודה bq כדי להפעיל את CMEK בכל טבלה במערך הנתונים. מערכת BigQuery תשתמש אוטומטית במפתח ברירת המחדל של מערך הנתונים כדי להגן על טבלאות הייצוא, אלא אם תגדירו אחרת.

    מידע נוסף על הפעלת CMEK בטבלאות BigQuery

  • אם אתם רוצים להשתמש באבטחה ברמת השורה ב-BigQuery בטבלה עם הנתונים שייצאתם, חשבון השירות שממנו ייצאתם את נתוני החיוב ב-Cloud‏ (‎ (billing-export-bigquery@system.gserviceaccount.com), צריך הרשאת גישה מלאה לטבלה. כדי לעשות את זה צריך להשתמש במסנן TRUE של BigQuery. הפקודה הבאה מאפשרת גישה לחשבון השירות של החיוב ב-Cloud:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • תגים ברמת המשאב יתעדכנו תוך שעה בייצוא ל-BigQuery. אם הוספתם או הסרתם תג במהלך אותה שעה, או אם המשאב היה קיים במשך פחות משעה, יכול להיות שהוא לא יופיע בנתונים שתייצאו.

    אפשר להשתמש בתגים ברמת המשאב למשאבים הבאים:

    • מכונות Compute Engine
    • מכונות Spanner
    • שירותי Cloud Run
    • מאגרי Artifact Registry
הבא
הגדרת הייצוא של נתוני חיוב ל-BigQuery