שימוש בתבנית של Bigtable לשינוי הסטרימינג ל-BigQuery

שימוש בתבנית של Bigtable לשינוי הסטרימינג ל-BigQuery

במדריך הזה לומדים איך להגדיר טבלת Bigtable עם הפעלה של זרם שינויים, להריץ צינור של זרם שינויים, לבצע שינויים בטבלה ואז לראות את השינויים בזרם.

לפני שמתחילים

1. בדף לבחירת הפרויקט במסוף Google Cloud , בוחרים פרויקט ב- Google Cloud או יוצרים אותו.

   תפקידים שנדרשים כדי לבחור או ליצור פרויקט

   • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
   • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

   כניסה לדף לבחירת הפרויקט

2. מוודאים שהחיוב מופעל בפרויקט Google Cloud .

3. אם אחד מממשקי ה-API הבאים לא מופעל, צריך להפעיל אותו: Dataflow,‏ Cloud Bigtable API,‏ Cloud Bigtable Admin API ו-BigQuery API.

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

   הפעלת ממשקי ה-API

4. במסוף Google Cloud , מפעילים את Cloud Shell.

   הפעלת Cloud Shell

יצירת מערך נתונים ב-BigQuery

משתמשים במסוף Google Cloud כדי ליצור מערך נתונים שבו יאוחסנו הנתונים.

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית Explorer, לוחצים על שם הפרויקט.

3. מרחיבים את האפשרות Actions (פעולות) ולוחצים על Create dataset (יצירת מערך נתונים).

4. בדף Create dataset, מבצעים את הפעולות הבאות:

   1. בשדה Dataset ID (מזהה קבוצת נתונים), מזינים bigtable_bigquery_quickstart.
   2. משאירים את שאר הגדרות ברירת המחדל כמו שהן ולוחצים על Create dataset (יצירת מערך נתונים).

יצירת טבלה עם הפעלה של זרם שינויים

1. נכנסים לדף Instances של Bigtable במסוף Google Cloud .

   כניסה לדף Instances

2. לוחצים על המזהה של המופע שבו משתמשים במדריך למתחילים הזה.

   אם אין לכם מכונה זמינה, אתם יכולים ליצור מכונה עם הגדרות ברירת המחדל באזור שקרוב אליכם.

3. בחלונית הניווט שמשמאל, לוחצים על Tables (טבלאות).

4. לוחצים על יצירת טבלה.

5. נותנים לטבלה את השם bigquery-changestream-quickstart.

6. מוסיפים קבוצת עמודות בשם cf.

7. בוחרים באפשרות הפעלת מקור נתונים לשינויים.

8. לוחצים על יצירה.

9. בדף Tables (טבלאות) של Bigtable, מוצאים את הטבלה bigquery-changestream-quickstart.

10. בעמודה Change stream (הזנת שינויים), לוחצים על Connect (חיבור).

11. בתיבת הדו-שיח, בוחרים באפשרות BigQuery.

12. לוחצים על יצירת משימת Dataflow.

13. בשדות הפרמטרים שמופיעים, מזינים את ערכי הפרמטרים. אין צורך לספק פרמטרים אופציונליים.

    1. מגדירים את מזהה פרופיל האפליקציה של Bigtable ל-default.
    2. מגדירים את מערך הנתונים ב-BigQuery לערך bigtable_bigquery_quickstart.

14. לוחצים על הפעלת העבודה.

15. מחכים עד שסטטוס העבודה יהיה Starting או Running לפני שממשיכים. התהליך יימשך כ-5 דקות אחרי שהעבודה תתווסף לתור.

16. משאירים את העבודה פתוחה בכרטיסייה כדי שאפשר יהיה להפסיק אותה כשמנקים את המשאבים.

כתיבת נתונים ל-Bigtable

1. ב-Cloud Shell, כותבים כמה שורות ל-Bigtable כדי שיומן השינויים יוכל לכתוב נתונים ל-BigQuery. השינויים יופיעו כל עוד תכתבו את הנתונים אחרי שהמשימה נוצרה. לא צריך לחכות עד שהסטטוס של המשרה יהיה running.

   הערה: אם לא התקנתם את cbt CLI, תוכלו לעשות זאת לפי ההוראות במאמר התקנת cbt CLI.

   cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
       set bigquery-changestream-quickstart user123 cf:col1=abc
   cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
       set bigquery-changestream-quickstart user546 cf:col1=def
   cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
       set bigquery-changestream-quickstart user789 cf:col1=ghi
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט שבו אתם משתמשים
   • ‫BIGTABLE_INSTANCE_ID: המזהה של המכונה שמכילה את הטבלה bigquery-changestream-quickstart

הצגת יומני השינויים ב-BigQuery

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית Explorer, מרחיבים את הפרויקט ואת מערך הנתונים bigtable_bigquery_quickstart.

3. לוחצים על הטבלה bigquery-changestream-quickstart_changelog.

4. כדי לראות את יומן השינויים, לוחצים על תצוגה מקדימה.

   

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה:

1. משביתים את זרם השינויים בטבלה:

   gcloud bigtable instances tables update bigquery-changestream-quickstart \
   --project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \
   --clear-change-stream-retention-period
   

2. מחיקת הטבלה bigquery-changestream-quickstart:

   cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstart
   

3. עוצרים את צינור עיבוד הנתונים של שינוי השידור:

   1. נכנסים לדף Jobs של Dataflow במסוף Google Cloud .

      מעבר לדף Jobs

   2. בוחרים את משימת הסטרימינג מרשימת המשימות.

   3. בסרגל הניווט, לוחצים על עצירה.

   4. בתיבת הדו-שיח Stop job (הפסקת העבודה), בוחרים באפשרות Cancel (ביטול) ואז לוחצים על Stop job (הפסקת העבודה).

4. מחיקת מערך הנתונים ב-BigQuery:

   1. במסוף Google Cloud , עוברים לדף BigQuery.

      כניסה ל-BigQuery

   2. בחלונית Explorer, מוצאים את מערך הנתונים bigtable_bigquery_quickstart ולוחצים עליו.

   3. לוחצים על מחיקה, מקלידים delete ולוחצים על מחיקה כדי לאשר.

5. אופציונלי: אם יצרתם מופע חדש בשביל המדריך הזה למתחילים, אתם יכולים למחוק אותו:

   cbt deleteinstance BIGTABLE_INSTANCE_ID
   

המאמרים הבאים

• איך כותבים שאילתות ליומן השינויים
• מידע נוסף זמין בדף ההפניה לתבנית Bigtable change stream to BigQuery