טעינה של נתונים והרצת שאילתות

טעינה של נתונים והרצת שאילתות

כדי להתחיל לעבוד עם BigQuery, צריך ליצור מערך נתונים, לטעון נתונים לטבלה ולהריץ שאילתה על הטבלה.

---

לחצו על תראו לי איך כדי לקרוא הסבר מפורט על המשימה ישירות במסוף Google Cloud :

תראו לי איך

---

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

1. מפעילים את BigQuery API.

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

   להפעלת ה-API

   בפרויקטים חדשים, BigQuery API מופעל באופן אוטומטי.

2. אופציונלי: מפעילים חיוב בפרויקט. גם אם אתם לא רוצים להפעיל חיוב או לספק כרטיס אשראי, השלבים שבמסמך הזה עדיין רלוונטיים. ‫BigQuery מספק לכם ארגז חול לביצוע השלבים. מידע נוסף זמין במאמר בנושא הפעלת ארגז החול של BigQuery.
   הערה: אם לפרויקט שלכם יש חשבון לחיוב ואתם רוצים להשתמש ב-Sandbox של BigQuery, אתם צריכים להשבית את החיוב בפרויקט.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות ליצירת מערך נתונים, ליצירת טבלה, לטעינת נתונים ולשאילתת נתונים, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

• הפעלת משימות טעינה ומשימות שאילתה: BigQuery Job User (roles/bigquery.jobUser)
• יצירת מערך נתונים, יצירת טבלה, טעינת נתונים לטבלה והרצת שאילתה בטבלה: כלי עריכת הנתונים של BigQuery (roles/bigquery.dataEditor)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

יצירת מערך נתונים ב-BigQuery

משתמשים במסוף Google Cloud כדי ליצור מערך נתונים לאחסון הנתונים. יוצרים את מערך הנתונים במיקום רב-אזורי בארה"ב. מידע על אזורים ומספר אזורים ב-BigQuery זמין במאמר מיקומים.

1. במסוף Google Cloud , פותחים את הדף BigQuery.
כניסה לדף BigQuery
2. בחלונית הימנית, לוחצים על כלי הניתוחים.
3. בחלונית Explorer, לוחצים על שם הפרויקט.
4. לוחצים על הצגת פעולות.
5. לוחצים על יצירת מערך נתונים.
6. בדף Create dataset, מבצעים את הפעולות הבאות:
1. בשדה Dataset ID (מזהה מערך הנתונים), מזינים babynames.
2. בקטע Location type, בוחרים באפשרות Multi-region ואז בוחרים באפשרות US (multiple regions in United States). מערכי הנתונים הציבוריים מאוחסנים במיקום us עם מספר אזורים. כדי לפשט את התהליך, כדאי לאחסן את מערך הנתונים באותו מיקום.
3. משאירים את שאר הגדרות ברירת המחדל כמו שהן ולוחצים על יצירת מערך נתונים.

הורדת הקובץ שמכיל את נתוני המקור

הקובץ שאתם מורידים מכיל כ-7 MB של נתונים על שמות פופולריים לתינוקות. הוא ניתן על ידי מינהל הביטוח הלאומי בארה"ב.

מידע נוסף על הנתונים זמין במאמר Background information for popular names (מידע כללי על שמות פופולריים) באתר של Social Security Administration (המינהל לביטוח לאומי).

1. כדי להוריד את הנתונים של רשות הביטוח הלאומי בארה"ב, פותחים את כתובת ה-URL הבאה בכרטיסייה חדשה בדפדפן:

   https://www.ssa.gov/OACT/babynames/names.zip
   

2. מחזירים את הקובץ למקומו.

   מידע נוסף על סכימת מערך הנתונים זמין בקובץ NationalReadMe.pdf שבקובץ ה-ZIP.

3. כדי לראות איך הנתונים נראים, פותחים את הקובץ yob2024.txt. הקובץ הזה מכיל ערכים מופרדים בפסיקים של שם, מין שנקבע בלידה ומספר הילדים עם השם הזה. בקובץ אין שורת כותרת.

4. חשוב לשים לב למיקום של קובץ yob2024.txt כדי שתוכלו למצוא אותו מאוחר יותר.

טעינת נתונים לטבלה

לאחר מכן, טוענים את הנתונים לטבלה חדשה.

1. בחלונית הימנית, לוחצים על כלי הניתוחים.
2. בחלונית Explorer, מרחיבים את שם הפרויקט.
3. לוחצים על Datasets (מערכי נתונים), ואז לצד מערך הנתונים babynames לוחצים על View actions (הצגת פעולות) ובוחרים באפשרות Open (פתיחה).
4. לוחצים על יצירת טבלה.

   אלא אם צוין אחרת, צריך להשתמש בערכי ברירת המחדל לכל ההגדרות.

5. בדף Create table, מבצעים את הפעולות הבאות:
1. בקטע מקור, באפשרות יצירת טבלה מ, בוחרים באפשרות העלאה מהרשימה.
2. בשדה בחירת קובץ, לוחצים על עיון.
3. עוברים אל קובץ yob2024.txt המקומי ופותחים אותו, ואז לוחצים על פתיחה.
4. מהרשימה File format, בוחרים באפשרות CSV.
5. בקטע יעד, בשדה טבלה, מזינים names_2024.
6. בקטע Schema, לוחצים על המתג Edit as text ומדביקים את הגדרת הסכימה הבאה בשדה הטקסט:

name:string,assigned_sex_at_birth:string,count:integer

7. לוחצים על יצירת טבלה.

   מחכים עד ש-BigQuery ייצור את הטבלה ויטען את הנתונים.

תצוגה מקדימה של נתוני הטבלה

כדי לראות תצוגה מקדימה של נתוני הטבלה:

1. בחלונית הימנית, לוחצים על כלי הניתוחים.
2. בחלונית Explorer, מרחיבים את הפרויקט ולוחצים על Datasets (מערכי נתונים).
3. לוחצים על מערך הנתונים babynames ובוחרים את הטבלה names_2024.
4. לוחצים על הכרטיסייה תצוגה מקדימה. ב-BigQuery מוצגות כמה שורות ראשונות מהטבלה.

הכרטיסייה Preview לא זמינה לכל סוגי הטבלאות. לדוגמה, הכרטיסייה תצוגה מקדימה לא מוצגת לטבלאות או לתצוגות מפורטות חיצוניות.

שאילתות על נתונים בטבלה

לאחר מכן, מריצים שאילתה על הטבלה.

1. לצד הכרטיסייה names_2024, לוחצים על האפשרות SQL query (שאילתת SQL). תיפתח כרטיסייה חדשה של כלי העריכה.
2. בעורך השאילתות, מדביקים את השאילתה הבאה. השאילתה הזו מאחזרת את חמשת השמות הפופולריים ביותר לתינוקות שנולדו בארה"ב ב-2024, שהוגדרו כזכרים בלידה.
   

   
     SELECT
       name,
       count
     FROM
       `babynames.names_2024`
     WHERE
       assigned_sex_at_birth = 'M'
     ORDER BY
       count DESC
     LIMIT
       5;
     

3. לוחצים על הפעלה. התוצאות מוצגות בקטע Query results.
   

הצלחתם להריץ שאילתה על טבלה במערך נתונים ציבורי ואז לטעון את נתוני הדוגמה ל-BigQuery באמצעות Google Cloud המסוף.

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

1. נכנסים לדף BigQuery במסוף Google Cloud .
כניסה לדף BigQuery
2. בחלונית הימנית, לוחצים על כלי הניתוחים.
3. בחלונית Explorer, לוחצים על Datasets ואז על מערך הנתונים babynames שיצרתם.
4. מרחיבים את האפשרות View actions (הצגת פעולות) ולוחצים על Delete (מחיקה).
5. בתיבת הדו-שיח מחיקת מערך נתונים, מאשרים את פקודת המחיקה: מקלידים את המילה delete ולוחצים על מחיקה.

המאמרים הבאים

• מידע נוסף על טעינת נתונים ל-BigQuery זמין במאמר מבוא לטעינת נתונים.
• מידע נוסף על שאילתות נתונים זמין במאמר סקירה כללית על ניתוח הנתונים ב-BigQuery.
• במאמר טעינת נתוני JSON מקוננים וחוזרים מוסבר איך לטעון קובץ JSON עם נתונים מקוננים וחוזרים.
• מידע נוסף על גישה ל-BigQuery באופן פרוגרמטי זמין במאמר בנושא API בארכיטקטורת REST או בדף בנושא ספריות לקוח של BigQuery.