שימוש בניתוח נתונים גיאו-מרחביים כדי לשרטט את המסלול של הוריקן

במדריך הזה נסביר על ניתוח נתונים גיאו-מרחביים. ניתוח נתונים גיאו-מרחביים מאפשר לכם לנתח נתונים גיאו-מרחביים ולהציג אותם ב-BigQuery בקלות.

מטרות

במדריך הזה תלמדו:

• שימוש בפונקציה של ניתוח נתונים גיאו-מרחביים כדי להמיר עמודות של קווי אורך ורוחב לנקודות גיאוגרפיות
• הרצת שאילתה שמשרטטת את הנתיב של הוריקן
• הדמיה של התוצאות ב-BigQuery
• המחשה חזותית של התוצאות ב-BigQuery Geo Viz

עלויות

‫BigQuery הוא מוצר בתשלום, ובמהלך ההדרכה הזו תשתמשו ב-BigQuery. ‫BigQuery מציע משאבים מסוימים ללא תשלום עד למגבלה מסוימת. מידע נוסף זמין במאמר פעולות בחינם ורמת שימוש בחינם ב-BigQuery.

לפני שמתחילים

לפני שמתחילים את המדריך הזה, צריך להשתמש במסוף Google Cloud כדי ליצור פרויקט או לבחור פרויקט.

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

1. ‫BigQuery מופעל באופן אוטומטי בפרויקטים חדשים. כדי להפעיל את BigQuery בפרויקט קיים, עוברים אל

   מפעילים את BigQuery API.

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

   להפעלת ה-API

2. אופציונלי: מפעילים חיוב בפרויקט. גם אם אתם לא רוצים להפעיל חיוב או לספק כרטיס אשראי, השלבים שבמסמך הזה עדיין רלוונטיים. ‫BigQuery מספק לכם ארגז חול לביצוע השלבים. מידע נוסף זמין במאמר בנושא הפעלת ארגז החול של BigQuery.
   הערה: אם לפרויקט שלכם יש חשבון לחיוב ואתם רוצים להשתמש ב-Sandbox של BigQuery, אתם צריכים להשבית את החיוב בפרויקט.

עיון בנתונים לדוגמה

במדריך הזה נעשה שימוש במערך נתונים שזמין דרך Google Cloud תוכנית מערכי הנתונים הציבוריים. מערך נתונים ציבורי הוא כל מערך נתונים שמאוחסן ב-BigQuery וזמין לציבור הרחב. מערכי הנתונים הציבוריים הם מערכי נתונים שמארחים ב-BigQuery כדי שתוכלו לגשת אליהם ולשלב אותם באפליקציות שלכם. ‫Google משלמת על האחסון של מערכי הנתונים האלה ומספקת גישה ציבורית לנתונים באמצעות פרויקט. משלמים רק על השאילתות שמבצעים על הנתונים (ה-1TB הראשון בכל חודש הוא בחינם, בכפוף לפרטי התמחור של השאילתות).

מערך הנתונים Global Hurricane Tracks (IBTrACS)

קבוצת הנתונים של מסלולי הוריקנים גלובליים (IBTrACS)

המיקומים והעוצמות ההיסטוריים לאורך המסלולים של ציקלונים טרופיים (TC) ברחבי העולם מסופקים על ידי International Best Track Archive for Climate Stewardship (ארכיון המסלולים הטובים ביותר לניהול אקלים, IBTrACS) של NOAA. סופות ציקלון טרופיות נקראות הוריקנים באגני האוקיינוס האטלנטי הצפוני והאוקיינוס השקט הצפון-מזרחי, טייפונים באגן האוקיינוס השקט הצפון-מערבי, ציקלונים באגני האוקיינוס ההודי הצפוני והדרומי וסופות ציקלון טרופיות באגן האוקיינוס השקט הדרום-מערבי.

ב-IBTrACS נאספים נתונים על סופות טרופיות שדווחו על ידי מרכזי מעקב בינלאומיים שאחראים על חיזוי סופות טרופיות ודיווח עליהן (המאגר כולל גם כמה מערכי נתונים היסטוריים חשובים). המאגר IBTrACS כולל נתונים מ-9 מדינות שונות. בעבר, הנתונים שמתארים את המערכות האלה כללו אומדנים מדויקים ככל האפשר של המסלול והעוצמה שלהן (ומכאן המונח, המסלול הטוב ביותר).

כדי להתחיל לבדוק את הנתונים האלה במסוף Google Cloud , אפשר להציג את הפרטים של טבלת hurricanes:

מעבר לסכימת הנתונים של הוריקנים

שאילתה לגבי הנתיב של הוריקן מריה בשנת 2017

בקטע הזה של המדריך, תריצו שאילתת GoogleSQL שמחפשת את הנתיב של הוריקן מריה בעונת 2017. כדי לשרטט את הנתיב של ההוריקן, צריך לשלוח שאילתה לגבי המיקום של ההוריקן בנקודות זמן שונות.

פרטי שאילתה

השאילתה הבאה ב-GoogleSQL משמשת לאיתור הנתיב של הוריקן מריה.

SELECT
  ST_GeogPoint(longitude, latitude) AS point,
  name,
  iso_time,
  dist2land,
  usa_wind,
  usa_pressure,
  usa_sshs,
  (usa_r34_ne + usa_r34_nw + usa_r34_se + usa_r34_sw)/4 AS radius_34kt,
  (usa_r50_ne + usa_r50_nw + usa_r50_se + usa_r50_sw)/4 AS radius_50kt
FROM
  `bigquery-public-data.noaa_hurricanes.hurricanes`
WHERE
  name LIKE '%MARIA%'
  AND season = '2017'
  AND ST_DWithin(ST_GeogFromText('POLYGON((-179 26, -179 48, -10 48, -10 26, -100 -10.1, -179 26))'),
    ST_GeogPoint(longitude, latitude), 10)
ORDER BY
  iso_time ASC

סעיפי השאילתה מבצעים את הפעולות הבאות:

• SELECT ST_GeogPoint(longitude, latitude) AS point, name, iso_time, dist2land, usa_wind, usa_pressure, usa_sshs, (usa_r34_ne + usa_r34_nw + usa_r34_se + usa_r34_sw)/4 AS radius_34kt, (usa_r50_ne + usa_r50_nw + usa_r50_se + usa_r50_sw)/4 AS radius_50kt

  ‫

  The SELECT clause selects all the storm's weather data and uses the ST_GeogPoint function to convert the values in the latitude and longitude columns to GEOGRAPHY types (points).

• FROM bigquery-public-data.noaa_hurricanes.hurricanes

  ‫

  The FROM clause specifies the table being queried: hurricanes.

• WHERE name LIKE '%MARIA%' AND season = '2017' AND ST_DWithin(ST_GeogFromText('POLYGON((-179 26, -179 48, -10 48, -10 26, -100 -10.1, -179 26))'), ST_GeogPoint(longitude, latitude), 10)

  ‫

  clause WHERE מסנן את הנתונים כך שיוצגו רק הנקודות באוקיינוס האטלנטי שמתאימות להוריקן מריה בעונת ההוריקנים של 2017.

• ORDER BY iso_time ASC

  ‫

  The ORDER BY clause orders the points to form a chronological storm path.

הרצה של שאילתה

כדי להריץ את השאילתה באמצעות מסוף Google Cloud :

1. נכנסים לדף BigQuery במסוף Google Cloud .

   לדף BigQuery

2. מזינים את שאילתת GoogleSQL הבאה באזור הטקסט של עורך השאילתות.

   SELECT
     ST_GeogPoint(longitude, latitude) AS point,
     name,
     iso_time,
     dist2land,
     usa_wind,
     usa_pressure,
     usa_sshs,
     (usa_r34_ne + usa_r34_nw + usa_r34_se + usa_r34_sw)/4 AS radius_34kt,
     (usa_r50_ne + usa_r50_nw + usa_r50_se + usa_r50_sw)/4 AS radius_50kt
   FROM
     `bigquery-public-data.noaa_hurricanes.hurricanes`
   WHERE
     name LIKE '%MARIA%'
     AND season = '2017'
     AND ST_DWithin(ST_GeogFromText('POLYGON((-179 26, -179 48, -10 48, -10 26, -100 -10.1, -179 26))'),
       ST_GeogPoint(longitude, latitude), 10)
   ORDER BY
     iso_time ASC

3. לוחצים על Run.

   השלמת השאילתה נמשכת כמה רגעים. אחרי שהשאילתה מופעלת, התוצאות מופיעות בחלונית Query results.

   

הדמיה של תוצאות השאילתה ב-BigQuery

כדי להציג את התוצאות ב-BigQuery, פועלים לפי השלבים הבאים:

1. כדי להציג את התוצאות ב-BigQuery, בחלונית Query results (תוצאות השאילתה), לוחצים על Visualization (הצגה חזותית).

2. בעמודה נתונים, בוחרים באפשרות usa_wind.

   תוצג מפה עם נקודות שמייצגות את מיקום ההוריקן לאורך זמן, עם סגנון של טווח צבעים למהירות הרוח.

3. אופציונלי: כדי לשנות את הנראות של הנקודות, מגדירים את הערך המינימלי ל-0 ובוחרים שיפוע צבע אחר מהרשימה צבע.

המחשה חזותית של תוצאות השאילתה ב-Geo Viz

אפשר גם להציג את התוצאות באופן חזותי באמצעות BigQuery Geo Viz – כלי אינטרנטי להצגה חזותית של נתונים גיאו-מרחביים ב-BigQuery באמצעות Google Maps APIs.

הפעלת Geo Viz ואימות

לפני שמשתמשים ב-Geo Viz, צריך לאמת את הגישה לנתונים ב-BigQuery.

כדי להגדיר את Geo Viz:

1. פותחים את כלי האינטרנט Geo Viz.

   פתיחת הכלי האינטרנטי Geo Viz

2. בשלב הראשון, בחירת נתונים, לוחצים על הרשאה.

   

3. בתיבת הדו-שיח בחירת חשבון, לוחצים על חשבון Google.

   

4. בתיבת הדו-שיח של הגישה, לוחצים על אישור כדי לתת ל-Geo Viz גישה לנתוני BigQuery.

   

הרצת השאילתה ב-Geo Viz

אחרי שתאמתו את עצמכם ותעניקו גישה, השלב הבא הוא להריץ את השאילתה ב-Geo Viz.

כדי להריץ את השאילתה:

1. בשלב הראשון, Select data (בחירת נתונים), מזינים את מזהה הפרויקט בשדה Project ID.

2. בחלון השאילתה, מזינים את שאילתת GoogleSQL הבאה.

   SELECT
     ST_GeogPoint(longitude, latitude) AS point,
     name,
     iso_time,
     dist2land,
     usa_wind,
     usa_pressure,
     usa_sshs,
     (usa_r34_ne + usa_r34_nw + usa_r34_se + usa_r34_sw)/4 AS radius_34kt,
     (usa_r50_ne + usa_r50_nw + usa_r50_se + usa_r50_sw)/4 AS radius_50kt
   FROM
     `bigquery-public-data.noaa_hurricanes.hurricanes`
   WHERE
     name LIKE '%MARIA%'
     AND season = '2017'
     AND ST_DWithin(ST_GeogFromText('POLYGON((-179 26, -179 48, -10 48, -10 26, -100 -10.1, -179 26))'),
       ST_GeogPoint(longitude, latitude), 10)
   ORDER BY
     iso_time ASC

3. לוחצים על Run.

4. כשהשאילתה מסתיימת, לוחצים על הצגת תוצאות. אפשר גם ללחוץ על שלב שני נתונים.

5. תועברו לשלב השני. בשלב השני, בעמודה Geometry column, בוחרים באפשרות point. הפקודה הזו משרטטת את הנקודות שמתאימות לנתיב של הוריקן מריה.

   

עיצוב ההמחשה ב-Geo Viz

בקטע סגנון מופיעה רשימה של סגנונות חזותיים שאפשר להתאים אישית. מידע נוסף על מאפייני סגנון וערכים זמין במאמר עיצוב הוויזואליזציה.

כדי לעצב את המפה:

1. לוחצים על הוספת סגנונות בשלב השני או לוחצים על שלב 3 סגנון.

2. לשנות את הצבע של הנקודות. לוחצים על fillColor.

3. בחלונית fillColor:

   1. לוחצים על מבוסס נתונים.
   2. בקטע פונקציה, בוחרים באפשרות לינארית.
   3. בשדה Field (שדה), בוחרים באפשרות usa_wind.
   4. בקטע דומיין, מזינים 0 בתיבה הראשונה ו-150 בתיבה השנייה.

   5. בקטע טווח, לוחצים על התיבה הראשונה ומזינים #0006ff בתיבה הקסדצימלי. לוחצים על התיבה השנייה ומזינים #ff0000. הפעולה הזו משנה את הצבע של הנקודה בהתאם למהירות הרוח. כחול לרוחות חלשות יותר ואדום לרוחות חזקות יותר.

      

4. בודקים את המפה. אם מעבירים את מצביע העכבר מעל אחת מהנקודות, מוצגים נתוני מזג האוויר של הנקודה.

   

5. לוחצים על fillOpacity.

6. בשדה ערך, מזינים 0.5.

   

7. בודקים את המפה. צבע המילוי של הנקודות שקוף למחצה.

8. שינוי הגודל של הנקודות בהתאם לרדיוס של ההוריקן. לוחצים על circleRadius.

9. בחלונית circleRadius:

   1. לוחצים על מבוסס נתונים.
   2. בקטע פונקציה, בוחרים באפשרות לינארית.
   3. בשדה Field (שדה), בוחרים באפשרות radius_50kt.
   4. בקטע דומיין, מזינים 0 בתיבה הראשונה ו-135 בתיבה השנייה.

   5. בשדה Range, מזינים 5 בתיבה הראשונה ו-135000 בתיבה השנייה.

      

10. בודקים את המפה. הרדיוס של כל נקודה תואם עכשיו לרדיוס של ההוריקן.

    

11. סוגרים את Geo Viz.

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים, או להשאיר את הפרויקט ולמחוק את המשאבים בנפרד.

• אתם יכולים למחוק את הפרויקט שיצרתם.
• אפשר גם לשמור את הפרויקט לשימוש עתידי.

כדי למחוק את הפרויקט:

זהירות: כשמוחקים פרויקט:

• התוכן של הפרויקט נמחק כולו. אם השתמשתם בפרויקט קיים כדי לתרגל את המשימות במדריך הזה, כשתמחקו אותו תימחק גם כל העבודה שביצעתם באותו פרויקט.
• מאבדים את מזהה הפרויקט בהתאמה אישית. כשיצרתם את הפרויקט, יכולתם לבחור לו מזהה פרויקט בהתאמה אישית כדי להשתמש בו בעתיד. כדי לשמור על כתובות ה-URL שמשתמשות במזהה הפרויקט, כמו appspot.com, צריך למחוק את המשאבים שנבחרו בפרויקט אבל לא את הפרויקט כולו.

אם אתם מתכננים להיעזר בכמה ארכיטקטורות, מדריכים או מדריכים למתחילים, מומלץ להשתמש שוב באותו פרויקט כדי לא לחרוג ממכסות הפרויקטים.

1. במסוף Google Cloud , נכנסים לדף Manage resources.

   כניסה לדף Manage resources

2. ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
3. כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.

המאמרים הבאים

• מידע נוסף על המחשת אפשרויות לניתוח נתונים גיאו-מרחביים זמין במאמר המחשת נתונים גיאו-מרחביים.
• מידע נוסף על עבודה עם נתונים גיאומרחביים זמין במאמר עבודה עם נתונים גיאומרחביים.
• מידע נוסף על פונקציות גיאוגרפיות שאפשר להשתמש בהן בניתוח נתונים גיאו-מרחביים זמין במאמר פונקציות גיאוגרפיות ב-GoogleSQL.