יצירה ועדכון של מוניטורים ב-Bigtable

יצירה ועדכון של מוניטורים ב-Bigtable

במאמר הזה מוסבר איך ליצור ולעדכן מונים ב-Bigtable באמצעות aggregates, תאים בטבלה שמצטברים בהם ערכים בזמן הכתיבה. במדריך למתחילים הזה משתמשים במסוףGoogle Cloud , ב-Google Cloud CLI או ב-cbt CLI כדי ליצור את המונים הבאים:

• מונה שמציג סכום מצטבר
• מונה שעוקב אחרי הערך המינימלי מבין כל הערכים שנוספו
• מונה שעוקב אחרי הערך המקסימלי מכל הערכים שנוספו

לפני שמתחילים

נכנסים לחשבון Google.

אם עדיין אין חשבון, יוצרים חשבון חדש.

התקינו את ה-CLI של Google Cloud.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

אחרי שתאתחלו את ה-CLI של gcloud, עדכנו אותו והתקינו את הרכיבים הנדרשים:

gcloud components update
gcloud components install cbt

יוצרים או בוחרים Google Cloud פרויקט.

תפקידים שנדרשים כדי לבחור או ליצור פרויקט

• Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
• יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

• יוצרים Google Cloud פרויקט:

  gcloud projects create PROJECT_ID

  מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

• בוחרים את הפרויקט שיצרתם: Google Cloud

  gcloud config set project PROJECT_ID

  מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

מוודאים שהחיוב מופעל בפרויקט Google Cloud .

מפעילים את Cloud Bigtable API ואת Cloud Bigtable Admin API:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

gcloud services enable bigtable.googleapis.com bigtableadmin.googleapis.com

התקינו את ה-CLI של Google Cloud.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

אחרי שתאתחלו את ה-CLI של gcloud, עדכנו אותו והתקינו את הרכיבים הנדרשים:

gcloud components update
gcloud components install cbt

יוצרים או בוחרים Google Cloud פרויקט.

תפקידים שנדרשים כדי לבחור או ליצור פרויקט

• Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
• יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

• יוצרים Google Cloud פרויקט:

  gcloud projects create PROJECT_ID

  מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

• בוחרים את הפרויקט שיצרתם: Google Cloud

  gcloud config set project PROJECT_ID

  מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

מוודאים שהחיוב מופעל בפרויקט Google Cloud .

מפעילים את Cloud Bigtable API ואת Cloud Bigtable Admin API:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

gcloud services enable bigtable.googleapis.com bigtableadmin.googleapis.com

1. מריצים את הפקודות הבאות כדי לוודא ש-CLI של gcloud מעודכן וכולל את cbt CLI:

   gcloud components update

   gcloud components install cbt

יצירת מכונה של Bigtable

המסוף

1. נכנסים לדף Create instance במסוף Google Cloud .

   כניסה לדף Create instance

2. בשדה Instance name, מזינים Counters quickstart instance.

3. בשדה Instance ID (מזהה המופע), מזינים את הערך counters-quickstart-instance.

4. לוחצים על Continue.

5. בקטע בחירת מהדורה, בוחרים באפשרות Enterprise.

6. לוחצים על Continue.

7. בקטע Storage type בוחרים באפשרות SSD.

8. לוחצים על Continue.

9. בשדה Cluster ID (מזהה האשכול), מזינים counters-quickstart-cluster.

10. ברשימה Region בוחרים באפשרות us-east1 (South Carolina).

11. ברשימה Zone בוחרים באפשרות us-east1-c.

12. בקטע 'שינוי גודל הצומת', בוחרים באפשרות שינוי גודל אוטומטי ומבצעים את הפעולות הבאות:

    1. במספר המינימלי של הצמתים, מזינים 1.
    2. כדי להזין את המספר המקסימלי של צמתים, מזינים 3.

13. לוחצים על יצירה כדי ליצור את המופע.

gcloud

1. משתמשים בפקודה bigtable instances create כדי ליצור מכונה.

   gcloud bigtable instances create counters-quickstart-instance \
       --display-name="Counters quickstart instance" \
       --edition=ENTERPRISE \
       --cluster-config=id="counters-quickstart-cluster",zone="us-east1-c"
   

התחברות למכונה

1. כדי להגדיר את ה-CLI של cbt כך שישתמש בפרויקט ובמופע שלכם, צריך ליצור קובץ .cbtrc.

   echo project = PROJECT_ID >> ~/.cbtrc && echo instance = counters-quickstart-instance >> ~/.cbtrc
   

   מחליפים את PROJECT_ID במזהה הפרויקט שבו אתם משתמשים.

2. מוודאים שהגדרתם את הקובץ .cbtrc בצורה נכונה.

   cat ~/.cbtrc
   

   במסוף מוצג התוכן של הקובץ .cbtrc, שנראה כך:

   project = PROJECT_ID
   instance = counters-quickstart-instance

   עכשיו אפשר להשתמש ב-cbt CLI עם המופע.

יצירת טבלה עם משפחות עמודות מצטברות

המסוף

1. בחלונית הניווט הימנית של Google Cloud המסוף, לוחצים על Tables (טבלאות).

2. לוחצים על יצירת טבלה.

3. בשדה Table ID (מזהה הטבלה), מזינים את הערך counters_quickstart_table.

4. בקטע Column families (משפחות עמודות), לוחצים על Add a column family (הוספת משפחת עמודות) עבור כל משפחת עמודות שרוצים להוסיף ומזינים את ההגדרות הבאות:

   • sum_family:

     1. בשדה Column family name (שם קבוצת העמודות), מזינים sum_family.
     2. בקטע Column family type (סוג של קבוצת עמודות), בוחרים באפשרות Aggregate (מצטבר).
     3. ברשימה Aggregator, בוחרים באפשרות Sum.
     4. במקטע הגדר מדיניות איסוף אשפה , בחר לעולם אל תאסוף אשפה .
     5. לוחצים על סיום.

   • min_family:

     1. בשדה Column family name (שם קבוצת העמודות), מזינים min_family.
     2. בקטע Column family type (סוג של קבוצת עמודות), בוחרים באפשרות Aggregate (מצטבר).
     3. ברשימה Aggregator, בוחרים באפשרות Min.
     4. במקטע הגדר מדיניות איסוף אשפה , בחר לעולם אל תאסוף אשפה .
     5. לוחצים על סיום.

   • max_family:

     1. בשדה Column family name (שם קבוצת העמודות), מזינים max_family.
     2. בקטע Column family type (סוג של קבוצת עמודות), בוחרים באפשרות Aggregate (מצטבר).
     3. ברשימה Aggregator בוחרים באפשרות Max.
     4. במקטע הגדר מדיניות איסוף אשפה , בחר לעולם אל תאסוף אשפה .
     5. לוחצים על סיום.

5. לוחצים על יצירה.

6. כדי לראות את משפחות העמודות החדשות ואת התצורות המצטברות שלהן:

   1. בתפריט הניווט, לוחצים על Bigtable Studio.
   2. בעץ Object Explorer בצד ימין, מרחיבים את Tables, ואז מרחיבים את counters_quickstart_table ואת Column Families.
      הערה: לעמודות צבירה יש סמל של פונקציית functions וסוג צבירה, כמו Sum. כדי לראות את הפרטים של קבוצת עמודות מצטברת, מעבירים את העכבר מעל השם שלה.

cbt

1. משתמשים בפקודה cbt createtable כדי ליצור טבלה בשם counters_quickstart_table עם שלוש משפחות של עמודות מצטברות. מגדירים לכל קבוצת עמודות סוג צבירה שונה:

   • קבוצת עמודות max_family היא מסוג Max עם סוג קלט של Int64.
   • קבוצת עמודות min_family היא מסוג Min עם סוג קלט של Int64.
   • קבוצת עמודות sum_family היא מסוג Sum עם סוג קלט של Int64.

   cbt createtable counters_quickstart_table families=sum_family:never:intsum,min_family:never:intmin,max_family:never:intmax
   

2. מריצים את הפקודה cbt ls כדי לראות את רשימת העמודות.

   cbt ls counters_quickstart_table
   

   הפלט שמוצג במעטפת אמור להיראות כך:

   Family Name     GC Policy
   -----------     ---------
   max_family      <never>
   min_family      <never>
   sum_family      <never>
   

יצירת מוני נתונים בטבלה

1. משתמשים בפקודה cbt addtocell כדי לכתוב ערך ראשוני של 5 בעמודה חדשה בכל אחת משלוש משפחות העמודות, באמצעות מפתח שורה של row-key1 וחותמת זמן של 0. הפעולה הזו יוצרת תאים מצטברים, שמשמשים כדלפקים.

   cbt addtocell counters_quickstart_table row-key1 sum_family:sum_column=5@0
   cbt addtocell counters_quickstart_table row-key1 min_family:min_column=5@0
   cbt addtocell counters_quickstart_table row-key1 max_family:max_column=5@0
   

קריאת הנתונים

אפשר לקרוא את הנתונים מהטבלה על ידי שליחת שאילתה באמצעות SQL במסוף Google Cloud או באמצעות cbt CLI.

הפעלת שאילתה בטבלה במסוף Google Cloud באמצעות SQL

1. במסוף Google Cloud , פותחים את הדף Bigtable instances.

   כניסה לרשימת המקרים

2. בוחרים באפשרות counters-quickstart-instance מהרשימה.

3. בתפריט הניווט, לוחצים על Bigtable Studio.

4. לוחצים על הכרטיסייה עורך.

5. מדביקים את השאילתה הזו בעורך:

   SELECT * FROM `counters_quickstart_table`
   

6. לוחצים על Run. תוצאות השאילתה מופיעות בטבלה Results ונראות כך:

   _key	max_family	min_family	sum_family
   row-key1	{ "max_column": 5 }	{ "min_column": 5 }	{ "sum_column": 5 }

קריאה באמצעות ‫cbt CLI

1. כדי להציג את ערכי המונה כמספרים שלמים ולא כבייטים, צריך להגדיר קובץ YAML שבו אפשר להשתמש בפקודה cbt ב-CLI כדי לעצב את הפלט. מריצים את הפקודה הבאה:

   echo "families:" > ~/cbtformat.yaml
   echo "  max_family:" >> ~/cbtformat.yaml
   echo "    default_encoding: BigEndian" >> ~/cbtformat.yaml
   echo "    default_type: INT64" >> ~/cbtformat.yaml
   echo "  min_family:" >> ~/cbtformat.yaml
   echo "    default_encoding: BigEndian" >> ~/cbtformat.yaml
   echo "    default_type: INT64" >> ~/cbtformat.yaml
   echo "  sum_family:" >> ~/cbtformat.yaml
   echo "    default_encoding: BigEndian" >> ~/cbtformat.yaml
   echo "    default_type: INT64" >> ~/cbtformat.yaml
   

2. מוודאים שהגדרתם את הקובץ cbtformat.yaml בצורה נכונה.

   cat ~/cbtformat.yaml
   

   במסוף מוצג התוכן של הקובץ cbtformat.yaml, שנראה בערך כך:

   families:
     max_family:
       default_encoding: BigEndian
       default_type: INT64
     min_family:
       default_encoding: BigEndian
       default_type: INT64
     sum_family:
       default_encoding: BigEndian
       default_type: INT64
   

3. כדי להעביר את קובץ ה-YAML ולקרוא את הנתונים שהוספתם לטבלה, משתמשים בפקודה cbt read. עכשיו בטבלה יש שלוש עמודות, ולכל אחת מהן יש סוג צבירה שונה.

   cbt read counters_quickstart_table format-file=$HOME/cbtformat.yaml
   

   הפלט שמוצג ב-Shell אמור להיראות כך: הערכים מפורמטים כמספרים שלמים, וחותמות הזמן הן בפורמט UTC.

   row-key1
     max_family:max_column                    @ 1970/01/01-00:00:00.000000
       5
     min_family:min_column                    @ 1970/01/01-00:00:00.000000
       5
     sum_family:sum_column                    @ 1970/01/01-00:00:00.000000
       5
   

עדכון המונים

1. מוסיפים ערך של 3 לכל עמודה בטבלה, באמצעות אותן חותמות זמן שהשתמשתם בהן כשנוצרו התאים. בכל עמודה, ערך התא ממוזג עם הערך הקיים על סמך סוג הצבירה של התא.

   cbt addtocell counters_quickstart_table row-key1 sum_family:sum_column=3@0
   cbt addtocell counters_quickstart_table row-key1 min_family:min_column=3@0
   cbt addtocell counters_quickstart_table row-key1 max_family:max_column=3@0
   

2. משתמשים שוב בפקודה cbt read כדי לקרוא את הנתונים בטבלה. כל תא מכיל עכשיו ערך מצטבר.

   cbt read counters_quickstart_table format-file=$HOME/cbtformat.yaml
   

   התא sum_column מכיל את הסכום של 5 ו-3 (8), התא min_column מכיל את הערך המינימלי מבין שני הערכים שנכתבו בו (3), והתא max_column מכיל את הערך המקסימלי מבין שני הערכים שנכתבו בו (5).

   row-key1
     max_family:max_column                    @ 1970/01/01-00:00:00.000000
       5
     min_family:min_column                    @ 1970/01/01-00:00:00.000000
       3
     sum_family:sum_column                    @ 1970/01/01-00:00:00.000000
       8
   

הסרת המשאבים

כדי לא לצבור חיובים בחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, אתם צריכים למחוק את הפרויקט Google Cloud יחד עם המשאבים.

המסוף

1. מוחקים את הטבלה counters_quickstart_table:

   1. נכנסים לדף Bigtable instances במסוף Google Cloud .

      כניסה לרשימת המקרים

   2. ברשימת המכונות, לוחצים על Counters quickstart instance.

   3. בחלונית הניווט הימנית, לוחצים על טבלאות.

   4. לוחצים על לצד counters_quickstart_table ואז על מחיקה.

   5. מזינים counters_quickstart_table כדי לאשר, ואז לוחצים על מחיקה.

2. מוחקים את המכונה:

   1. נכנסים לדף Bigtable instances במסוף Google Cloud .

      כניסה לרשימת המקרים

   2. לוחצים על Counters quickstart instance (מופע של מדדים להפעלה מהירה).

   3. לוחצים על מחיקת מופע.

   4. מזינים counters-quickstart-instance כדי לאשר, ואז לוחצים על מחיקה.

3. בטרמינל, מוחקים את קובצי ההגדרות ואת פרטי הכניסה האופציונליים:

   1. מוחקים את הקובץ .cbtrc:

      rm ~/.cbtrc
      

   2. מחיקת קובץ העיצוב:

      rm ~/cbtformat.yaml
      

   3. אם רוצים, מבטלים את פרטי הכניסה של ה-CLI של gcloud:

      gcloud auth revoke
      

cbt

1. בטרמינל, מוחקים את הטבלה counters_quickstart_table:

   cbt deletetable counters_quickstart_table
   

2. מוחקים את המכונה:

   cbt deleteinstance counters-quickstart-instance
   

3. מוחקים את הקובץ .cbtrc:

   rm ~/.cbtrc
   

4. מחיקת קובץ העיצוב:

   rm ~/cbtformat.yaml
   

5. אם רוצים, מבטלים את פרטי הכניסה של ה-CLI של gcloud:

   gcloud auth revoke
   

המאמרים הבאים

• מידע נוסף על נתונים מצטברים
• שימוש ב-SQL להרצת שאילתות על נתונים ב-Bigtable.
• עבודה עם מדריך למתחילים באמצעות cbt CLI .
• דוגמאות קוד נוספות