שימוש בתבנית של Bigtable לשינוי סטרימינג ל-BigQuery

שימוש בתבנית של Bigtable לשינוי סטרימינג ל-BigQuery

במדריך הזה לומדים איך להגדיר טבלת Bigtable עם הפעלה של זרם שינויים, להריץ צינור של זרם שינויים, לבצע שינויים בטבלה ואז לראות את השינויים בזרם.

לפני שמתחילים

1. בדף לבחירת הפרויקט במסוף Google Cloud , בוחרים פרויקט ב- Google Cloud או יוצרים אותו.

   תפקידים שנדרשים כדי לבחור או ליצור פרויקט

   • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
   • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

   כניסה לדף לבחירת הפרויקט

2. מוודאים שהחיוב מופעל בפרויקט Google Cloud .

3. מפעילים את ממשקי ה-API של Dataflow,‏ Cloud Bigtable,‏ Cloud Bigtable Admin ו-BigQuery.

   תפקידים שנדרשים להפעלת ממשקי API

   כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק 'שימוש בשירות'' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

   הפעלת ממשקי ה-API

4. במסוף Google Cloud , מפעילים את Cloud Shell.

   הפעלת Cloud Shell

יצירת מערך נתונים ב-BigQuery

משתמשים במסוף Google Cloud כדי ליצור מערך נתונים שבו יאוחסנו הנתונים.

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית Explorer, לוחצים על שם הפרויקט.

3. מרחיבים את האפשרות פעולות ולוחצים על יצירת מערך נתונים.

4. בדף Create dataset, מבצעים את הפעולות הבאות:

   1. בשדה Dataset ID (מזהה מערך הנתונים), מזינים bigtable_bigquery_quickstart.
   2. משאירים את הגדרות ברירת המחדל שנותרו כמו שהן ולוחצים על Create dataset (יצירת מערך נתונים).

יצירת טבלה עם הפעלה של שינוי נתונים

1. נכנסים לדף Instances של Bigtable במסוף Google Cloud .

   כניסה לדף Instances

2. לוחצים על המזהה של המופע שבו משתמשים במדריך למתחילים הזה.

   אם אין לכם מכונה זמינה, אתם יכולים ליצור מכונה עם הגדרות ברירת המחדל באזור שקרוב אליכם.

3. בחלונית הניווט הימנית, לוחצים על טבלאות.

4. לוחצים על יצירת טבלה.

5. נותנים לטבלה את השם bigquery-changestream-quickstart.

6. מוסיפים קבוצת עמודות בשם cf.

7. בוחרים באפשרות הפעלת מקור נתונים לשינויים.

8. לוחצים על יצירה.

9. בדף Tables (טבלאות) של Bigtable, מוצאים את הטבלה bigquery-changestream-quickstart.

10. בעמודה Change stream, לוחצים על Connect (חיבור).

11. בתיבת הדו-שיח, בוחרים באפשרות BigQuery.

12. לוחצים על יצירת משימת Dataflow.

13. בשדות הפרמטרים שמופיעים, מזינים את ערכי הפרמטרים. אין צורך לציין פרמטרים אופציונליים.

    1. מגדירים את מזהה פרופיל האפליקציה של Bigtable ל-default.
    2. מגדירים את מערך הנתונים ב-BigQuery לbigtable_bigquery_quickstart.

14. לוחצים על הפעלת העבודה.

15. צריך לחכות עד שהסטטוס של העבודה יהיה Starting (מתחילה) או Running (פועלת) לפני שממשיכים. התהליך יימשך כ-5 דקות אחרי שהעבודה תתווסף לתור.

16. משאירים את העבודה פתוחה בכרטיסייה כדי שאפשר יהיה לעצור אותה כשמנקים את המשאבים.

כתיבת נתונים ל-Bigtable

1. ב-Cloud Shell, כותבים כמה שורות ל-Bigtable כדי שיומן השינויים יוכל לכתוב נתונים ל-BigQuery. כל עוד כותבים את הנתונים אחרי יצירת המשימה, השינויים יופיעו. לא צריך לחכות עד שהסטטוס של העבודה יהיה running.

   הערה: אם לא התקנתם את cbt CLI, תוכלו לעשות זאת לפי ההוראות במאמר התקנת cbt CLI.

   cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
       set bigquery-changestream-quickstart user123 cf:col1=abc
   cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
       set bigquery-changestream-quickstart user546 cf:col1=def
   cbt -instance=BIGTABLE_INSTANCE_ID -project=PROJECT_ID \
       set bigquery-changestream-quickstart user789 cf:col1=ghi
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט שבו אתם משתמשים
   • ‫BIGTABLE_INSTANCE_ID: המזהה של המכונה שמכילה את הטבלה bigquery-changestream-quickstart

צפייה ביומני השינויים ב-BigQuery

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בחלונית Explorer, מרחיבים את הפרויקט ואת מערך הנתונים bigtable_bigquery_quickstart.

3. לוחצים על הטבלה bigquery-changestream-quickstart_changelog.

4. כדי לראות את יומן השינויים, לוחצים על תצוגה מקדימה.

   

הסרת המשאבים

כדי לא לצבור חיובים לחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, פועלים לפי השלבים הבאים:

1. משביתים את עדכוני התוכן בטבלה:

   gcloud bigtable instances tables update bigquery-changestream-quickstart \
   --project=PROJECT_ID --instance=BIGTABLE_INSTANCE_ID \
   --clear-change-stream-retention-period
   

2. מחיקת הטבלה bigquery-changestream-quickstart:

   cbt --instance=BIGTABLE_INSTANCE_ID --project=PROJECT_ID deletetable bigquery-changestream-quickstart
   

3. עוצרים את צינור עיבוד הנתונים של שינוי הנתונים:

   1. נכנסים לדף Jobs של Dataflow במסוף Google Cloud .

      מעבר לדף Jobs

   2. בוחרים את משימת הסטרימינג מרשימת המשימות.

   3. בניווט, לוחצים על הפסקה.

   4. בתיבת הדו-שיח Stop job (עצירת העבודה), בוחרים באפשרות Cancel (ביטול) ואז לוחצים על Stop job (עצירת העבודה).

4. מחיקת מערך הנתונים ב-BigQuery:

   1. במסוף Google Cloud , עוברים לדף BigQuery.

      כניסה ל-BigQuery

   2. בחלונית Explorer, מאתרים את מערך הנתונים bigtable_bigquery_quickstart ולוחצים עליו.

   3. לוחצים על מחיקה, מקלידים delete ואז לוחצים על מחיקה כדי לאשר.

5. אופציונלי: אם יצרתם מופע חדש לצורך המדריך הזה למתחילים, אתם יכולים למחוק אותו:

   cbt deleteinstance BIGTABLE_INSTANCE_ID
   

המאמרים הבאים

• איך כותבים שאילתות ליומן השינויים
• אפשר לעיין בדף ההפניה לתבנית Bigtable change stream to BigQuery.