יצירה ועדכון של מוניטורים ב-Bigtable

יצירה ועדכון של מוניטורים ב-Bigtable

איך יוצרים ועדכנים מוני נתונים ב-Bigtable באמצעות צבירות, תאים בטבלה שמצבירים ערכים בזמן הכתיבה. במדריך למתחילים הזה משתמשים במסוףGoogle Cloud , ב-Google Cloud CLI או ב-cbt CLI כדי ליצור את המונים הבאים:

• מונה שמציג סכום מצטבר
• מונה שעוקב אחרי הערך המינימלי מכל הערכים שנוספו
• מונה שעוקב אחרי הערך המקסימלי מכל הערכים שנוספו

לפני שמתחילים

נכנסים לחשבון Google.

אם עדיין אין חשבון, יוצרים חשבון חדש.

התקינו את ה-CLI של Google Cloud.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

אחרי שתאתחלו את ה-CLI של gcloud, עדכנו אותו והתקינו את הרכיבים הנדרשים:

gcloud components update
gcloud components install cbt

יוצרים או בוחרים Google Cloud פרויקט.

תפקידים שנדרשים כדי לבחור או ליצור פרויקט

• Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
• יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

• יוצרים Google Cloud פרויקט:

  gcloud projects create PROJECT_ID

  מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

• בוחרים את הפרויקט שיצרתם: Google Cloud

  gcloud config set project PROJECT_ID

  מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

מוודאים שהחיוב מופעל בפרויקט Google Cloud .

מפעילים את Cloud Bigtable API ואת Cloud Bigtable Admin API, אם הם עדיין לא מופעלים:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

gcloud services enable bigtable.googleapis.com bigtableadmin.googleapis.com

התקינו את ה-CLI של Google Cloud.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

אחרי שתאתחלו את ה-CLI של gcloud, עדכנו אותו והתקינו את הרכיבים הנדרשים:

gcloud components update
gcloud components install cbt

יוצרים או בוחרים Google Cloud פרויקט.

תפקידים שנדרשים כדי לבחור או ליצור פרויקט

• Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
• יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

• יוצרים Google Cloud פרויקט:

  gcloud projects create PROJECT_ID

  מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

• בוחרים את הפרויקט שיצרתם: Google Cloud

  gcloud config set project PROJECT_ID

  מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

מוודאים שהחיוב מופעל בפרויקט Google Cloud .

מפעילים את Cloud Bigtable API ואת Cloud Bigtable Admin API, אם הם עדיין לא מופעלים:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

gcloud services enable bigtable.googleapis.com bigtableadmin.googleapis.com

1. מריצים את הפקודות הבאות כדי לוודא ש-CLI של gcloud מעודכן וכולל את cbt CLI:

   gcloud components update

   gcloud components install cbt

יצירת מכונה של Bigtable

המסוף

1. נכנסים לדף Create instance במסוף Google Cloud .

   כניסה לדף Create instance

2. בשדה Instance name (שם המופע), מזינים את הערך Counters quickstart instance.

3. בשדה Instance ID (מזהה המופע), מזינים את הערך counters-quickstart-instance.

4. לוחצים על Continue.

5. בקטע בחירת מהדורה, בוחרים באפשרות Enterprise.

6. לוחצים על Continue.

7. בקטע Storage type, בוחרים באפשרות SSD.

8. לוחצים על Continue.

9. בשדה Cluster ID (מזהה האשכול), מזינים counters-quickstart-cluster.

10. ברשימה Region בוחרים באפשרות us-east1 (South Carolina).

11. ברשימה Zone בוחרים באפשרות us-east1-c.

12. בקטע 'שינוי גודל הצומת', בוחרים באפשרות שינוי גודל אוטומטי ומבצעים את הפעולות הבאות:

    1. במספר המינימלי של הצמתים, מזינים 1.
    2. בשדה 'מספר הצמתים המקסימלי', מזינים 3.

13. לוחצים על יצירה כדי ליצור את המופע.

gcloud

1. משתמשים בפקודה bigtable instances create כדי ליצור מכונה.

   gcloud bigtable instances create counters-quickstart-instance \
       --display-name="Counters quickstart instance" \
       --edition=ENTERPRISE \
       --cluster-config=id="counters-quickstart-cluster",zone="us-east1-c"
   

התחברות למכונה

1. כדי להגדיר את cbt CLI כך שישתמש בפרויקט ובמופע שלכם, צריך ליצור קובץ .cbtrc.

   echo project = PROJECT_ID >> ~/.cbtrc && echo instance = counters-quickstart-instance >> ~/.cbtrc
   

   מחליפים את PROJECT_ID במזהה הפרויקט שבו אתם משתמשים.

2. מוודאים שהגדרתם את הקובץ .cbtrc בצורה נכונה.

   cat ~/.cbtrc
   

   במסוף מוצג התוכן של הקובץ .cbtrc, שנראה כך:

   project = PROJECT_ID
   instance = counters-quickstart-instance

   עכשיו אפשר להשתמש ב-cbt CLI עם המופע.

יצירת טבלה עם משפחות עמודות מצטברות

המסוף

1. בחלונית הניווט הימנית של Google Cloud המסוף, לוחצים על Tables (טבלאות).

2. לוחצים על יצירת טבלה.

3. בשדה Table ID (מזהה הטבלה), מזינים את הערך counters_quickstart_table.

4. בקטע Column families (משפחות עמודות), לכל משפחת עמודות שרוצים להוסיף, לוחצים על Add a column family (הוספת משפחת עמודות) ומזינים את ההגדרות הבאות:

   • sum_family:

     1. בשדה Column family name (שם קבוצת העמודות), מזינים sum_family.
     2. בקטע סוג קבוצת העמודות, בוחרים באפשרות צבירה.
     3. ברשימה Aggregator, בוחרים באפשרות Sum.
     4. בקטע Set garbage collection policy בוחרים באפשרות Never collect garbage.
     5. לוחצים על סיום.

   • min_family:

     1. בשדה Column family name (שם קבוצת העמודות), מזינים min_family.
     2. בקטע סוג קבוצת העמודות, בוחרים באפשרות צבירה.
     3. ברשימה Aggregator, בוחרים באפשרות Min.
     4. בקטע Set garbage collection policy בוחרים באפשרות Never collect garbage.
     5. לוחצים על סיום.

   • max_family:

     1. בשדה Column family name (שם קבוצת העמודות), מזינים max_family.
     2. בקטע סוג קבוצת העמודות, בוחרים באפשרות צבירה.
     3. ברשימה Aggregator בוחרים באפשרות Max.
     4. בקטע Set garbage collection policy בוחרים באפשרות Never collect garbage.
     5. לוחצים על סיום.

5. לוחצים על יצירה.

6. כדי לראות את משפחות העמודות החדשות ואת הגדרות הצבירה שלהן:

   1. בתפריט הניווט, לוחצים על Bigtable Studio.
   2. בעץ Object Explorer בצד ימין, מרחיבים את Tables, ואז מרחיבים את counters_quickstart_table ואת Column Families.
      הערה: לעמודות צבירה יש סמל של פונקציית functions וסוג צבירה, כמו Sum. כדי לראות את הפרטים של קבוצת עמודות מצטברת, מעבירים את העכבר מעל השם שלה.

cbt

1. משתמשים בפקודה cbt createtable כדי ליצור טבלה בשם counters_quickstart_table עם שלוש משפחות של עמודות מצטברות. מגדירים לכל קבוצת עמודות סוג צבירה שונה:

   • קבוצת העמודות max_family היא מסוג Max עם סוג קלט של Int64.
   • קבוצת העמודות min_family היא מסוג Min עם סוג קלט של Int64.
   • סוג הנתונים של קבוצת העמודות sum_family הוא Sum, וסוג הקלט הוא Int64.

   cbt createtable counters_quickstart_table families=sum_family:never:intsum,min_family:never:intmin,max_family:never:intmax
   

2. מריצים את הפקודה cbt ls כדי להציג את רשימת העמודות.

   cbt ls counters_quickstart_table
   

   הפלט שמוצג במעטפת אמור להיראות כך:

   Family Name     GC Policy
   -----------     ---------
   max_family      <never>
   min_family      <never>
   sum_family      <never>
   

יצירת מונה בטבלה

1. משתמשים בפקודה cbt addtocell כדי לכתוב ערך ראשוני של 5 בעמודה חדשה בכל אחת משלוש משפחות העמודות, באמצעות מפתח שורה של row-key1 וחותמת זמן של 0. הפעולה הזו יוצרת תאים מצטברים, שמשמשים כדלפקים.

   cbt addtocell counters_quickstart_table row-key1 sum_family:sum_column=5@0
   cbt addtocell counters_quickstart_table row-key1 min_family:min_column=5@0
   cbt addtocell counters_quickstart_table row-key1 max_family:max_column=5@0
   

קריאת הנתונים

אפשר לקרוא את הנתונים מהטבלה על ידי שליחת שאילתה באמצעות SQL במסוף Google Cloud או באמצעות cbt CLI.

שליחת שאילתה לטבלה במסוף Google Cloud באמצעות SQL

1. במסוף Google Cloud , פותחים את הדף Bigtable instances.

   כניסה לרשימת המקרים

2. בוחרים באפשרות counters-quickstart-instance מהרשימה.

3. בתפריט הניווט, לוחצים על Bigtable Studio.

4. לוחצים על הכרטיסייה עורך.

5. מדביקים את השאילתה הזו בעורך:

   SELECT * FROM `counters_quickstart_table`
   

6. לוחצים על Run. תוצאות השאילתה מופיעות בטבלה Results ונראות כך:

   _key	max_family	min_family	sum_family
   row-key1	{ "max_column": 5 }	{ "min_column": 5 }	{ "sum_column": 5 }

קריאה באמצעות ‫cbt CLI

1. כדי להציג את ערכי המונה כמספרים שלמים ולא כבייטים, צריך להגדיר קובץ YAML שבו ה-CLI של cbt יכול להשתמש כדי לעצב את הפלט. מריצים את הפקודה הבאה:

   echo "families:" > ~/cbtformat.yaml
   echo "  max_family:" >> ~/cbtformat.yaml
   echo "    default_encoding: BigEndian" >> ~/cbtformat.yaml
   echo "    default_type: INT64" >> ~/cbtformat.yaml
   echo "  min_family:" >> ~/cbtformat.yaml
   echo "    default_encoding: BigEndian" >> ~/cbtformat.yaml
   echo "    default_type: INT64" >> ~/cbtformat.yaml
   echo "  sum_family:" >> ~/cbtformat.yaml
   echo "    default_encoding: BigEndian" >> ~/cbtformat.yaml
   echo "    default_type: INT64" >> ~/cbtformat.yaml
   

2. מוודאים שהגדרתם את הקובץ cbtformat.yaml בצורה נכונה.

   cat ~/cbtformat.yaml
   

   במסוף מוצג התוכן של הקובץ cbtformat.yaml, שנראה בערך כך:

   families:
     max_family:
       default_encoding: BigEndian
       default_type: INT64
     min_family:
       default_encoding: BigEndian
       default_type: INT64
     sum_family:
       default_encoding: BigEndian
       default_type: INT64
   

3. משתמשים בפקודה cbt read כדי להעביר את קובץ ה-YAML ולקרוא את הנתונים שהוספתם לטבלה. עכשיו בטבלה יש שלוש עמודות, ולכל אחת מהן יש סוג צבירה שונה.

   cbt read counters_quickstart_table format-file=$HOME/cbtformat.yaml
   

   הפלט שמוצג ב-Shell אמור להיראות כך: הערכים מפורמטים כמספרים שלמים, וחותמות הזמן הן בפורמט UTC.

   row-key1
     max_family:max_column                    @ 1970/01/01-00:00:00.000000
       5
     min_family:min_column                    @ 1970/01/01-00:00:00.000000
       5
     sum_family:sum_column                    @ 1970/01/01-00:00:00.000000
       5
   

עדכון המונים

1. מוסיפים ערך של 3 לכל עמודה בטבלה, באמצעות אותן חותמות זמן שבהן השתמשתם כשייצרתם את התאים. בכל עמודה, ערך התא ממוזג עם הערך הקיים על סמך סוג הצבירה של התא.

   cbt addtocell counters_quickstart_table row-key1 sum_family:sum_column=3@0
   cbt addtocell counters_quickstart_table row-key1 min_family:min_column=3@0
   cbt addtocell counters_quickstart_table row-key1 max_family:max_column=3@0
   

2. משתמשים שוב בפקודה cbt read כדי לקרוא את הנתונים בטבלה. כל תא מכיל עכשיו ערך מצטבר.

   cbt read counters_quickstart_table format-file=$HOME/cbtformat.yaml
   

   התא sum_column מכיל את הסכום של 5 ו-3 (8), התא min_column מכיל את הערך המינימלי מבין שני הערכים שנכתבו בו (3), והתא max_column מכיל את הערך המקסימלי מבין שני הערכים שנכתבו בו (5).

   row-key1
     max_family:max_column                    @ 1970/01/01-00:00:00.000000
       5
     min_family:min_column                    @ 1970/01/01-00:00:00.000000
       3
     sum_family:sum_column                    @ 1970/01/01-00:00:00.000000
       8
   

הסרת המשאבים

כדי לא לצבור חיובים בחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, אתם צריכים למחוק את הפרויקט Google Cloud יחד עם המשאבים.

המסוף

1. מוחקים את הטבלה counters_quickstart_table:

   1. נכנסים לדף Bigtable instances במסוף Google Cloud .

      כניסה לרשימת המקרים

   2. ברשימת המכונות, לוחצים על Counters quickstart instance.

   3. בחלונית הניווט הימנית, לוחצים על טבלאות.

   4. לוחצים על ליד counters_quickstart_table ואז על מחיקה.

   5. מזינים counters_quickstart_table כדי לאשר, ואז לוחצים על מחיקה.

2. מוחקים את המכונה:

   1. נכנסים לדף Bigtable instances במסוף Google Cloud .

      כניסה לרשימת המקרים

   2. לוחצים על Counters quickstart instance (מופע של מדריך למתחילים בנושא מוניטורים).

   3. לוחצים על מחיקת המופע.

   4. מזינים counters-quickstart-instance כדי לאשר, ואז לוחצים על מחיקה.

3. בטרמינל, מוחקים את קובצי ההגדרות ואת פרטי הכניסה האופציונליים:

   1. מוחקים את הקובץ .cbtrc:

      rm ~/.cbtrc
      

   2. מחיקת קובץ העיצוב:

      rm ~/cbtformat.yaml
      

   3. אם רוצים, מבטלים את פרטי הכניסה של ה-CLI של gcloud:

      gcloud auth revoke
      

cbt

1. במסוף, מוחקים את הטבלה counters_quickstart_table:

   cbt deletetable counters_quickstart_table
   

2. מוחקים את המכונה:

   cbt deleteinstance counters-quickstart-instance
   

3. מוחקים את הקובץ .cbtrc:

   rm ~/.cbtrc
   

4. מחיקת קובץ העיצוב:

   rm ~/cbtformat.yaml
   

5. אם רוצים, מבטלים את פרטי הכניסה של ה-CLI של gcloud:

   gcloud auth revoke
   

המאמרים הבאים

• מידע נוסף על נתונים מצטברים
• שימוש ב-SQL להרצת שאילתות על נתונים ב-Bigtable.
• עבודה עם מדריך למתחילים באמצעות cbt CLI .
• דוגמאות קוד נוספות