יצירת מערך נתונים מקושר ב-BigQuery בדלי של יומנים

כדי לנתח נתוני יומנים באמצעות שירותי BigQuery, כמו BigQuery Studio או Data Studio, צריך ליצור מערך נתונים מקושר של BigQuery בקטגוריה ביומן. קבוצת הנתונים הזו מאפשרת לכם לצרף את נתוני היומן לקבוצות נתונים אחרות. אפשר גם ליצור מדיניות התראות שעוקבת אחרי התוצאות של שאילתת SQL.

מערך נתונים מקושר ב-BigQuery הוא מצביע לקריאה בלבד על קטגוריה ביומן. הוא מאפשר לכם להשתמש בשירותי BigQuery כדי להריץ שאילתות על נתוני היומן בלי לשכפל את הנתונים או לשלם על אחסון נפרד ב-BigQuery.

אי אפשר ליצור מערך נתונים מקושר ב-BigQuery עבור תצוגת ניתוח נתונים.

אם אתם לא מכירים את Observability Analytics, כדאי לעיין בסקירה הכללית של Observability Analytics.

מתי צריך מערך נתונים מקושר ב-BigQuery

לא צריך מערך נתונים מקושר ב-BigQuery כשרוצים להריץ שאילתות על נתוני היומן או על נתוני היומן והמעקב. בתרחישים האלה, אפשר להשתמש בדף Observability Analytics. אפשר גם לשמור ולשתף את השאילתות, ולשמור את השאילתה במרכז בקרה מותאם אישית. מידע על שליחת שאילתות לגבי נתוני מעקב זמין במאמר שליחת שאילתות וניתוח של נתוני מעקב.

אתם צריכים מערך נתונים מקושר ב-BigQuery אם אתם רוצים לבצע את הפעולות הבאות:

• לצרף נתונים של רשומות ביומן למערכי נתונים אחרים ב-BigQuery.
• להריץ שאילתות על נתוני היומן משירות אחר כמו BigQuery Studio או Data Studio.
• יוצרים מדיניות התראות שעוקבת אחרי התוצאה של שאילתת SQL. מידע נוסף מופיע במאמר בנושא מעקב אחרי תוצאות של שאילתות SQL באמצעות מדיניות התראות.

מערך נתונים מקושר ב-BigQuery עבור מאגר יומנים מאפשר ל-BigQuery לקרוא את הנתונים במאגר היומנים.

איך קטגוריות ביומן ותצוגות יומן ממופות לאובייקטים ב-BigQuery

כשיוצרים מערך נתונים מקושר ב-BigQuery עבור קטגוריה ביומן, מערך נתונים חדש הופך לזמין ב-BigQuery. במהלך תהליך הקישור, מציינים את השם של מערך הנתונים המקושר ב-BigQuery. כל התצוגות של יומנים ב<פלטפורמה>קטגוריה ביומן</פלטפורמה> ממופות אוטומטית לתצוגות וירטואליות במערך הנתונים. השם של תצוגה וירטואלית זהה לשם של תצוגת היומן התואמת.

לדוגמה, נניח שלפרויקט my_project יש קטגוריית יומנים בשם example, ולקטגוריית היומנים הזו יש תצוגת יומנים בשם _AllLogs. אם יוצרים מערך נתונים מקושר ב-BigQuery עבור קטגוריה ביומן זו עם השם my_dataset, אז בדף Explorer ב-BigQuery מוצגת רשומה של my_project. רשומה צאצא של הרשומה my_project היא מערך נתונים בשם my_dataset, ובמערך הנתונים הזה מופיע תצוגה וירטואלית בשם _AllLogs.

השלכות של בקרת גישה כשמשתמשים בקבוצות נתונים מקושרות של BigQuery

כשמשתמש ראשי מריץ שאילתה בתצוגה של מערך נתונים מקושר ב-BigQuery, השאילתה הזו מופעלת דרך שכבת ההרשאות של BigQuery, ולא דרך שכבת ההרשאות של Cloud Logging. לכן, התפקידים וההרשאות ב-BigQuery שניתנו לגורם הראשי במערך הנתונים המקושר של BigQuery קובעים אם הוא יכול לשלוח שאילתות למערך הנתונים.

אי אפשר להגביל את הגישה של ישות לתצוגה וירטואלית ספציפית בתוך מערך נתונים מקושר. כשניתנת לישות גישה למערך הנתונים המקושר ב-BigQuery, היא יכולה להריץ שאילתות על כל התצוגות במערך הנתונים הזה.

פעולות מערכת שמתרחשות כשיוצרים מערך נתונים מקושר

כשיוצרים קישור למערך נתונים של יכולת תצפית, קורה הדבר הבא:

• יכול להיות ש-Google Cloud Observability ייצור את חשבונות השירות הבאים או ישנה את ההרשאות שלהם בתפקידי IAM:

  • חשבון שירות לניטור: נדרש כדי ליצור קישור למערך נתונים מקושר ב-BigQuery. כדי ש-Google Cloud Observability יוכל ליצור את חשבון השירות הזה, צריך להפעיל את Cloud Monitoring API.

  • חשבון שירות של Cloud Observability: נדרש כדי ליצור קישור במערך נתונים של ניראות.

  • חשבון השירות של Cloud Logging: נדרש כדי ליצור קישור בקטגוריה ביומן.

• ביומני הביקורת מתועדת הבקשה ליצירת קישור והבקשה מאדמין של סוכן שירות להעניק לחשבון השירות של Monitoring את תפקיד ה-IAM‏ Monitoring Service Agent. ביומנים האלה מתועד גם השלמת הפעולה הממושכת.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. כדי לקבל את ההרשאות שנדרשות ליצירת מערך נתונים מקושר, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד Logs Configuration Writer (roles/logging.configWriter) בפרויקט. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

   יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

2. מוודאים שקטגוריה ביומן שודרגה לשימוש ב-Observability Analytics:

   1. נכנסים לדף Logs Storage במסוף Google Cloud :

      כניסה אל Logs Storage

      אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

   2. אם שדרוג מופיע בקטגוריה ביומן, לוחצים על שדרוג וממלאים את תיבת הדו-שיח.

יצירת מערך נתונים מקושר ב-BigQuery

אם רוצים להשתמש ביכולות של BigQuery כדי לנתח את נתוני היומנים, צריך לשדרג את קטגוריית היומן לשימוש ב-Observability Analytics, ואז ליצור מערך נתונים מקושר. בהגדרה הזו, שירות Logging שומר את נתוני היומן, אבל ל-BigQuery יש גישה לקריאת נתוני היומן.

הערה: אפשר לקשר קטגוריה ביומן למערך נתונים אחד לכל היותר ב-BigQuery.

מסוף Google Cloud

כדי ליצור קישור למערך נתונים ב-BigQuery עבור קטגוריה ביומן קיימת:

1. נכנסים לדף Logs Storage במסוף Google Cloud :

   כניסה אל Logs Storage

   אם משתמשים בסרגל החיפוש כדי למצוא את הדף הזה, בוחרים בתוצאה שכותרת המשנה שלה היא Logging.

2. מאתרים את קטגוריית היומנים ומוודאים שבעמודה Observability Analytics available מופיע הערך Open.

   אם בעמודה הזו מופיע הכיתוב שדרוג, סימן שלא שדרגתם את קטגוריית היומן לשימוש ב-Observability Analytics. הגדרת ניתוח נתונים של ניראות (observability):

   1. לוחצים על שדרוג.
   2. לוחצים על אישור בתיבת הדו-שיח.

   אחרי שהשדרוג מסתיים, ממשיכים לשלב הבא.

3. בקטגוריה ביומן, לוחצים על סמל האפשרויות הנוספות ואז על עריכת קטגוריה.

   תיבת הדו-שיח עריכת קטגוריה ביומן נפתחת.

4. בוחרים באפשרות יצירת מערך נתונים חדש ב-BigQuery שמקושר למאגר הזה ומזינים את השם של מערך הנתונים החדש.

   שם מערך הנתונים חייב להיות ייחודי לכל Google Cloud פרויקט. אם מזינים שם של מערך נתונים קיים, מוצגת השגיאה הבאה: Dataset name must be unique in the selected region.

5. לוחצים על Done ואז על Update bucket.

   אחרי ששם מערך הנתונים המקושר מוצג ב-Logging בדף Logs Storage, יכול להיות שיעברו כמה דקות עד שמערך הנתונים יזוהה ב-BigQuery.

gcloud

כדי ליצור מערך נתונים מקושר עבור קטגוריית יומנים ששודרגה לשימוש ב-Observability Analytics, מריצים את הפקודה gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

הערך LINK_ID שאתם מספקים משמש כשם של מערך הנתונים ב-BigQuery, והערך של השדה הזה צריך להיות ייחודי לפרויקט Google Cloud שלכם.

הפקודה links create היא אסינכרונית. הערך שמוחזר משיטה אסינכרונית הוא אובייקט Operation, והוא מכיל מידע על התקדמות השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל את הסטטוס. מידע נוסף זמין במאמר שיטות אסינכרוניות של API.

הפקודה links create תימשך כמה דקות.

לדוגמה, הפקודה הבאה יוצרת מערך נתונים מקושר בשם mylink עבור קטגוריית היומנים בשם my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

שם מערך הנתונים חייב להיות ייחודי לכל Google Cloud פרויקט. אם מנסים ליצור מערך נתונים עם שם זהה לשם של מערך נתונים קיים, מוצגת השגיאה הבאה:

BigQuery dataset with name "LINK_ID" already exists.

אם תנסו ליצור קבוצת נתונים מקושרת עבור קטגוריה ביומן שלא שודרג לשימוש ב-Observability Analytics, תופיע השגיאה הבאה:

A link can only be created for an analytics-enabled bucket.

REST

כדי ליצור מערך נתונים מקושר ב-BigQuery עבור קטגוריה ביומן קיימת ששודרגה לשימוש ב-Observability Analytics, צריך לקרוא לשיטה האסינכרונית projects.locations.buckets.links.create של Cloud Logging API.

מכינים את הארגומנטים של השיטה באופן הבא:

1. יוצרים את גוף הבקשה לפקודה create. גוף הבקשה הוא אובייקט Link.
2. בפרמטר השאילתה של הפקודה, משתמשים ב-linkId=LINK_ID. הערך LINK_ID שאתם מספקים משמש כשם של מערך הנתונים ב-BigQuery, והערך של השדה הזה צריך להיות ייחודי עבור הפרויקט שלכם ב- Google Cloud .

התגובה לשיטות האסינכרוניות היא אובייקט Operation. האובייקט הזה מכיל מידע על ההתקדמות של השיטה. כשהשיטה מסתיימת, האובייקט Operation מכיל את הסטטוס. מידע נוסף זמין במאמר שיטות אסינכרוניות של API.

השיטה links.create נמשכת כמה דקות.

שם מערך הנתונים חייב להיות ייחודי לכל Google Cloud פרויקט. אם מנסים ליצור מערך נתונים עם שם זהה לשם של מערך נתונים קיים, מוצגת השגיאה הבאה:

BigQuery dataset with name "LINK_ID" already exists.

אם תנסו ליצור קבוצת נתונים מקושרת עבור קטגוריה ביומן שלא שודרג לשימוש ב-Observability Analytics, תופיע השגיאה הבאה:

A link can only be created for an analytics-enabled bucket.

המאמרים הבאים

• הרצת שאילתות על נתוני יומן באמצעות BigQuery Studio
• הרצת שאילתות ביומן במנוע BigQuery