ייצוא של טביעת הרגל הפחמנית

אתם יכולים לייצא את נתוני טביעת הרגל הפחמנית ל-BigQuery כדי לבצע ניתוח נתונים, או כדי ליצור דוחות ומרכזי בקרה בהתאמה אישית.

בייצוא של טביעת הרגל הפחמנית נכללים נתוני פליטות משוערים של גזי חממה שמשויכים לשימוש בשירותים Google Cloud שנכללים בחשבון לחיוב שנבחר.

אחרי שמגדירים ייצוא, מחויבים על משאבי BigQuery שמשמשים לאחסון הנתונים המיוצאים ולהרצת שאילתות עליהם.

לפני שמתחילים

כדי ליצור ייצוא של טביעת רגל פחמנית, מומלץ להקצות את תפקידי ה-IAM הבאים:

• Project Owner או עריכה בפרויקט בפרויקט שאליו רוצים לייצא את הנתונים ב- Google Cloud .
• צפייה בטביעת רגל פחמנית או Billing Account Viewer בחשבון לחיוב שממנו ייצאו נתוני הפחמן.

למעשה, אתם צריכים את הרשאות ה-IAM הבאות בפרויקט Google Cloud :

• resourcemanager.projects.update
• serviceusage.services.enable
• bigquery.transfers.update

וגם את הרשאת ה-IAM הבאה בחשבון לחיוב:

• billing.accounts.getCarbonInformation

אם משתמשים ב-VPC Service Controls

אם הארגון שלכם משתמש ב-VPC Service Controls, צריך להגדיר כלל לתעבורת נתונים נכנסת (ingress) עבור BigQuery API ושירות העברת נתונים ל-BigQuery API.

לכלל מדיניות ה-Ingress:

• בקטע 'מאת', מגדירים את המקור ל 'אפליקציות ממקורות שונים'.
• נותנים הרשאה לזהות [e-mail].

הגדרת ייצוא של טביעת רגל פחמנית ל-BigQuery

נתוני טביעת רגל פחמנית מיוצאים באמצעות שירות העברת הנתונים ל-BigQuery. העברת הנתונים יוצרת טבלה עם חלוקה למחיצות לפי חודש בשם carbon_footprint במערך הנתונים שתבחרו ב-BigQuery.

ייצוא של טביעת רגל פחמנית כולל את הנתונים של כל חודש ב-15 בחודש שאחריו. לדוגמה, נתוני פחמן של ספטמבר 2022 ייצאו ב-15 באוקטובר 2022.

אחרי שיוצרים הגדרת העברה של טביעת רגל פחמנית, המערכת מייצאת אוטומטית דוחות עתידיים על פליטת פחמן ב-15 בכל חודש. תוכלו גם להפעיל מילוי חוסרים כדי לבקש נתונים היסטוריים עד ינואר 2021.

המסוף

כדי להתחיל את הייצוא, פועלים לפי השלבים הבאים:

1. מעבר אל 'טביעת רגל פחמנית'
2. בתפריט חשבון לחיוב, בוחרים את החשבון לחיוב ב-Cloud שרוצים לייצא.
3. לוחצים על ייצוא נתונים כדי לפתוח את חלונית הצד להגדרת הייצוא.
4. בוחרים פרויקט לייצוא של נתוני טביעת רגל פחמנית ולוחצים על יצירת ייצוא.
5. בדף שירות העברת נתונים ל-BigQuery:
   1. מוודאים שהאפשרות מקור מוגדרת לערךGoogle Cloud Carbon Footprint Exports.
   2. בשדה Transfer config name (שם הגדרת ההעברה), מזינים שם לתצוגה.
   3. בקטע Destination settings (הגדרות יעד), לוחצים על השדה Dataset ID (מזהה מערך נתונים) ואז בוחרים באפשרות Create new dataset (יצירת מערך נתונים חדש) אם רוצים ליצור מערך נתונים חדש ב-BigQuery לאירוח הטבלה המיוצאת. לחלופין, בוחרים מערך נתונים קיים ב-BigQuery.
   4. בקטע פרטים של מקור הנתונים, מאשרים את המזהה של החשבון לחיוב ב-Cloud לייצוא. אופציונלי: מוסיפים עוד מספרי חשבונות כרשימה מופרדת בפסיקים. כל מספרי החשבונות לחיוב צריכים להיות בפורמט XXXXXX-XXXXXX-XXXXXX.
6. לוחצים על Save.
7. בחלון בקשת הגישה, לוחצים על אישור.

BQ

משתמשים בפקודה bq mk --transfer_config כדי להתחיל את הייצוא:

bq mk \
--transfer_config \
--target_dataset=DATASET \
--display_name=NAME \
--params='{"billing_accounts":"BILLING_ACCOUNT_IDS"}' \
--data_source='61cede5a-0000-2440-ad42-883d24f8f7b8'

כאשר:

• ‫DATASET הוא מערך נתוני היעד להגדרת ההעברה.
• ‫NAME הוא השם המוצג של הגדרת ההעברה. לדוגמה: 'דוח פליטת פחמן של החברה'.
• ‫BILLING_ACCOUNT_IDS הוא המזהה של החשבון לחיוב או רשימה מופרדת בפסיקים של מזהי חשבונות לחיוב. לדוגמה: XXXXXX-XXXXXX-XXXXXX,XXXXXX-XXXXXX-XXXXXX

Terraform

משתמשים במשאב Terraform‏ bigquery_data_transfer_config כדי ליצור ייצוא:

resource "google_bigquery_data_transfer_config" "RESOURCE_NAME" {
  display_name           = "NAME"
  data_source_id         = "61cede5a-0000-2440-ad42-883d24f8f7b8"
  destination_dataset_id = google_bigquery_dataset.DATASET.dataset_id
  params = {
    billing_accounts     = "BILLING_ACCOUNT_IDS"
  }
}

כאשר:

• ‫RESOURCE_NAME הוא השם של משאב Terraform. לדוגמה: carbon_export.
• ‫NAME הוא השם המוצג של הגדרת ההעברה. לדוגמה: 'דוח פליטת פחמן של החברה'.

• ‫DATASET הוא השם של משאב google_bigquery_dataset Terraform שבו ייעשה שימוש כמערך נתוני היעד לייצוא.

• ‫BILLING_ACCOUNT_IDS הוא המזהה של החשבון לחיוב או רשימה מופרדת בפסיקים של מזהי חשבונות לחיוב. לדוגמה: XXXXXX-XXXXXX-XXXXXX,XXXXXX-XXXXXX-XXXXXX

הגדרת ההעברה נוצרה ועכשיו הנתונים ייוצאו ב-15 בכל חודש עתידי.

הערה: אם אתם משתמשים בשיטה אחרת לייצוא הנתונים ולא במסוף, מקור הנתונים לא יירשם אוטומטית בפרויקט. לכן, לפני שמריצים את פעולת הייצוא, צריך להשתמש ב- Enroll Data Sources API כדי לרשום את מקור הנתונים בפרויקט.

הגדרת ההעברה לא מייצאת נתונים היסטוריים באופן אוטומטי. כדי לבקש נתונים היסטוריים החל מינואר 2021, צריך לתזמן השלמת חוסר בנתונים באמצעות השלבים הבאים.

המסוף

כדי לתזמן את השלמת חוסר בנתונים (data backfill), פועלים לפי השלבים הבאים:

1. עוברים אל פרטי ההעברה שיצרתם.
2. לוחצים על תזמון מילוי חוסרים.
3. בוחרים באפשרות הפעלה לטווח תאריכים.
4. בוחרים ב-15 בפברואר 2021 כתאריך ההתחלה ובתאריך של היום כתאריך הסיום. שימו לב שהייצוא מ-15 בפברואר 2021 מכיל את הנתונים מינואר 2021, ולכן זה החודש הכי מוקדם שאפשר לבקש.
5. לוחצים על אישור כדי לבקש השלמת חוסר בנתונים.

המערכת תיצור השלמות חוסרים של נתונים עבור הטווח שנבחר, ותייצא נתונים היסטוריים חודשיים למערך הנתונים של היעד.

BQ

משתמשים בפקודה bq mk --transfer_run כדי ליצור מילוי חוסרים:

bq mk \
--transfer_run \
--start_time=START_TIME \
--end_time=END_TIME \
CONFIG

כאשר:

• ‫START_TIME הוא חותמת זמן שמציינת את שעת ההתחלה של הטווח למילוי החסר. לדוגמה: 2021-02-15T00:00:00Z. שימו לב: התאריך המוקדם ביותר שאפשר לציין כאן הוא 15 בפברואר 2021, כי הוא כולל את הנתונים של ינואר 2021.
• ‫END_TIME הוא חותמת זמן שמציינת את שעת הסיום של הטווח למילוי החסר. לדוגמה: 2022-09-15T00:00:00Z. אפשר להשתמש בתאריך הנוכחי.
• ‫TRANSFER_CONFIG הוא המזהה של ההעברה שנוצרה בשלב הקודם. לדוגמה: projects/0000000000000/locations/us/transferConfigs/00000000-0000-0000-0000-000000000000.

אחרי ייצוא הנתונים, אפשר להשתמש ב-BigQuery כדי לצפות בנתונים ולשלוח שאילתות לגביהם. מידע נוסף על סכימת הנתונים

אתם יכולים לשתף את הנתונים המיוצאים עם משתמשים אחרים בארגון שלכם על ידי הענקת תפקיד IAM של משתמש BigQuery בפרויקט שנבחר קודם. לחלופין, אפשר להעניק גישה מדויקת ברמת מערך הנתונים או הטבלה באמצעות תפקיד ה-IAM‏ BigQuery Data Viewer.

ניהול של יצוא נתונים בנושא טביעת רגל פחמנית

כדי לראות את כל הייצוא הקיים של טביעת רגל פחמנית, לוחצים על ייצוא נתונים ופותחים את החלונית הצדדית.

אחר כך תוכלו לנהל כל ייצוא של טביעת רגל פחמנית. לשם כך, לוחצים על שם ההעברה כדי לעבור אל שירות העברת הנתונים ל-BigQuery, או על שם מערך הנתונים כדי לראות את מערך הנתונים של היעד. מידע נוסף על עבודה עם העברות

הערה: במקרים מסוימים, רשימת הייצוא עשויה להיות לא מלאה מהסיבות הבאות:

• הרשאות: הייצוא הוגדר בפרויקט שאין לכם הרשאה לצפות בו.
• אופטימיזציה של הביצועים: כדי לשפר את הביצועים ולמנוע השהיה כשאתם ניגשים למספר גדול מאוד של פרויקטים, יכול להיות שהחיפוש לא יציג ייצוא בכל הפרויקטים.

ייצוא ל-Google Sheets או ל-CSV

אחרי שמגדירים ייצוא של טביעת רגל פחמנית ל-BigQuery והייצוא המתוזמן מסתיים, אפשר לייצא את הנתונים האלה מ-BigQuery ל-Google Sheets או ל-CSV.

1. כניסה ל-BigQuery
2. בחלונית Explorer מרחיבים את הפרויקט ואת מערך הנתונים, ואז בוחרים את הטבלה שמכילה את נתוני טביעת הרגל הפחמנית שיוצאו.
3. לוחצים על שאילתה.
4. מזינים שאילתה כדי להחזיר את הנתונים שרוצים לייצא. לדוגמה:
5. אחרי שהשאילתה מופעלת, בקטע תוצאות השאילתה לוחצים על שמירת התוצאות.
6. בוחרים את הפורמט הרצוי ולוחצים על שמירה.

השאילתה הבאה מאפשרת לשמור את כל התוכן של הטבלה המיוצאת:

SELECT
  usage_month,
  billing_account_id,
  project.number AS project_number,
  project.id AS project_id,
  service.id AS service_id,
  service.description AS service_description,
  location.location AS location,
  location.region AS region,
  carbon_model_version,
  carbon_footprint_kgCO2e.scope1 AS carbon_footprint_scope1,
  carbon_footprint_kgCO2e.scope2.location_based AS carbon_footprint_scope2_location_based,
  carbon_footprint_kgCO2e.scope3 AS carbon_footprint_scope3,
  carbon_footprint_total_kgCO2e.location_based AS carbon_footprint_total_location_based
FROM
  `PROJECT.DATASET.carbon_footprint`
ORDER BY
  usage_month DESC,
  carbon_footprint_total_location_based DESC

מה השלב הבא?

• מידע על סכימת הנתונים שמשמשת לייצוא
• עיון בטביעת הרגל הפחמנית הכוללת במסוף Google Cloud
• יצירת מרכזי בקרה בהתאמה אישית עם הנתונים המיוצאים.
• הסבר על המתודולוגיה שמאחורי טביעת הרגל הפחמנית