יצירת תצוגות לוגיות

תצוגות לוגיות מאפשרות לשמור שאילתת SQL כטבלה וירטואלית, וכך להשתמש שוב בלוגיקה של השאילתה ולפשט את הגישה לנתונים. במאמר הזה מוסבר איך ליצור תצוגות לוגיות, כולל כללים ומגבלות למתן שמות לתצוגות.

הצגת ההגבלות

תצוגות ב-BigQuery כפופות למגבלות הבאות:

• התצוגות מוגדרות לקריאה בלבד. לדוגמה, אי אפשר להריץ שאילתות שמוסיפות, מעדכנות או מוחקות נתונים.
• אם התצוגה מפנה לטבלאות ממיקומים מרוחקים, צריך להפעיל שאילתות עם אחזור נתונים גלובלי לפני שיוצרים את התצוגה.
• הפניה בתוך תצוגה חייבת להיות מוגדרת באמצעות מערך נתונים. קבוצת הנתונים שמוגדרת כברירת מחדל לא משפיעה על גוף התצוגה.
• אי אפשר להשתמש ב-method‏ TableDataList של ה-API בפורמט JSON כדי לאחזר נתונים מתצוגה. למידע נוסף, קראו את המאמר Tabledata: list.
• אי אפשר לשלב שאילתות GoogleSQL ושאילתות SQL מדור קודם כשמשתמשים בתצוגות. שאילתת GoogleSQL לא יכולה להפנות לתצוגה שהוגדרה באמצעות תחביר SQL מדור קודם.
• אי אפשר להפנות לפרמטרים של שאילתות בתצוגות.
• הסכימות של הטבלאות הבסיסיות נשמרות עם התצוגה כשהתצוגה נוצרת. אם מוסיפים, מוחקים או משנים עמודות אחרי שיוצרים את התצוגה, היא לא מתעדכנת באופן אוטומטי והסכימה המדווחת תישאר לא מדויקת עד שמשנים את הגדרת ה-SQL של התצוגה או יוצרים אותה מחדש. למרות שהסכימה המדווחת עשויה להיות לא מדויקת, כל השאילתות שנשלחות מניבות תוצאות מדויקות.
• אי אפשר לעדכן באופן אוטומטי תצוגה של SQL מדור קודם לתחביר של GoogleSQL. כדי לשנות את השאילתה שמשמשת להגדרת תצוגה, אפשר להשתמש באפשרויות הבאות:
  • האפשרות Edit query במסוף Google Cloud
  • הפקודה bq update --view בכלי שורת הפקודה של BigQuery
  • ספריות הלקוח של BigQuery
  • השיטות update או patch ב-API.
• אי אפשר לכלול פונקציה זמנית בהגדרת המשתמש או טבלה זמנית בשאילתת ה-SQL שמגדירה תצוגה.
• אי אפשר להפנות לתצוגה בשאילתה של טבלת תווים כלליים לחיפוש.
• תצוגות לוגיות לא יכולות לרשת או להגדיר באופן מפורש סוגי נתונים עם פרמטרים, כמו STRING(n), כי סוגי נתונים עם פרמטרים נתמכים רק בעמודות של מסד נתונים טבלאי ובמשתני סקריפטים.

למידע על המכסות והמגבלות שחלות על תצוגות, קראו את המאמר מגבלות על תצוגות.

לפני שמתחילים

להקצות תפקידים של ניהול זהויות והרשאות גישה (IAM) שנותנים למשתמשים את ההרשאות הנדרשות כדי לבצע כל משימה שמופיעה במסמך הזה.

ההרשאות הנדרשות

תצוגות נחשבות למשאבי טבלה ב-BigQuery, ולכן כדי ליצור תצוגה נדרשות אותן הרשאות כמו ליצירת טבלה. בנוסף, צריכות להיות לכם הרשאות לשלוח שאילתות לכל הטבלאות שמוזכרות בשאילתת ה-SQL של התצוגה.

• כדי ליצור קבוצת נתונים, צריך הרשאת IAM מסוג bigquery.datasets.create בפרויקט.
• כדי ליצור תצוגה, צריך הרשאת IAM מסוג bigquery.tables.create במערך הנתונים. התפקיד המוגדר מראש roles/bigquery.dataEditor ב-IAM כולל את ההרשאות שנדרשות כדי ליצור תצוגה.
• כדי ליצור תצוגה ששולחת שאילתה לטבלה שאין לכם גישה אליה, אתם צריכים לקבל את ההרשאה bigquery.tables.getData בטבלה שהתצוגה שולחת אליה שאילתה.

למידע נוסף על תפקידים והרשאות של IAM ב-BigQuery, קראו את המאמר תפקידים והרשאות מוגדרים מראש.

הערה: כדי ליצור או לעדכן תצוגה מורשית או תצוגה במערך נתונים מורשה, נדרשות הרשאות נוספות. למידע נוסף, קראו את המאמרים ההרשאות הנדרשות לתצוגות מורשות וההרשאות הנדרשות לתצוגות במערכי נתונים מורשים.

מתן שמות לתצוגות

כשיוצרים תצוגה ב-BigQuery, השם של התצוגה צריך להיות ייחודי לכל מערך נתונים. שם התצוגה יכול:

• להכיל תווים באורך כולל של עד 1,024 בייטים בקידוד UTF-8.
• להכיל תווי Unicode בקטגוריות הבאות: L (אות), M (סימון), N (מספר), Pc (סימן חיבור, כולל קו תחתון), Pd (קו מפריד), Zs (רווח). מידע נוסף זמין במאמר קטגוריה כללית.

השמות הבאים הם דוגמאות לשמות תקינים של תצוגות: view 01, ‏ ग्राहक, ‏ 00_お客様, ‏ étudiant-01.

נקודות שצריך לשים לב אליהן:

• כברירת מחדל, שמות של טבלאות הם תלויי אותיות רישיות. ‫mytable ו-MyTable יכולים להתקיים יחד באותה קבוצת נתונים, אלא אם הם חלק מקבוצת נתונים שבה מושבתת האפשרות "תלוי אותיות רישיות".
• חלק מהשמות והתחיליות של השמות של התצוגות שמורים לשימוש המערכת. אם מופיעה הודעת שגיאה שלפיה שם התצוגה או הקידומת שמורים, צריך לבחור שם אחר ולנסות שוב.

• אם תכללו כמה אופרטורים של נקודה (.) ברצף, האופרטורים הכפולים יוסרו באופן משתמע.

  לדוגמה: project_name....dataset_name..table_name

  הופך לזה: project_name.dataset_name.table_name

יצירת תצוגה

אפשר ליצור תצוגה על ידי כתיבת שאילתת SQL המשמשת להגדרת הנתונים הנגישים לתצוגה. שאילתת ה-SQL חייבת לכלול הצהרת SELECT. סוגים אחרים של הצהרות (כמו הצהרות DML) ושאילתות עם כמה הצהרות לא מותרים בשאילתות של תצוגות, חוץ ממשתנה המערכת @@session_id.

כדי ליצור תצוגה:

המסוף

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. לוחצים על שאילתת SQL.

3. בעורך השאילתות, מזינים שאילתת SQL תקינה.

   אפשר גם לפתוח שאילתה שמורה.

4. לוחצים על Save > Save view.

   

5. בתיבת הדו-שיח Save view:

   • בתפריט Project, בוחרים את הפרויקט שבו רוצים לשמור את התצוגה.
   • בתפריט Dataset, בוחרים מערך נתונים או יוצרים מערך נתונים חדש כדי לאחסן את התצוגה. מערך הנתונים של היעד לתצוגה השמורה חייב להיות באותו אזור של המקור.
   • בשדה Table, מזינים את שם התצוגה.
   • לוחצים על Save.

הערה: כשיוצרים תצוגה באמצעות מסוף Google Cloud , אי אפשר להוסיף תווית, תיאור או זמן תפוגה. אפשר להוסיף את המאפיינים האופציונליים האלה כשיוצרים תצוגה באמצעות ה-API או כלי שורת הפקודה של BigQuery. אחרי שיוצרים תצוגה באמצעות מסוף Google Cloud , אפשר להוסיף לה תאריך תפוגה, תיאור ותוויות. למידע נוסף, קראו את המאמר עדכון תצוגות.

SQL

משתמשים בהצהרה CREATE VIEW. בדוגמה הבאה נוצרת תצוגה בשם usa_male_names ממערך הנתונים הציבורי USA names:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בעורך השאילתות, מזינים את ההצהרה הבאה:

   CREATE VIEW mydataset.usa_male_names(name, number) AS (
     SELECT
       name,
       number
     FROM
       `bigquery-public-data.usa_names.usa_1910_current`
     WHERE
       gender = 'M'
     ORDER BY
       number DESC
   );

3. לוחצים על הפעלה.

מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.

BQ

משתמשים בפקודה bq mk עם הדגל --view. בשאילתות GoogleSQL, מוסיפים את הדגל --use_legacy_sql ומגדירים אותו ל-false. חלק מהפרמטרים האופציונליים כוללים את --add_tags,‏ --expiration,‏ --description ו---label. רשימה מלאה של הפרמטרים מופיעה בחומרי העזר של הפקודה bq mk.

אם השאילתה מפנה למשאבים חיצוניים של פונקציות בהגדרת המשתמש (UDF) שמאוחסנים ב-Cloud Storage או בקבצים מקומיים, צריך להשתמש בדגל --view_udf_resource כדי לציין את המשאבים האלה. הדגל --view_udf_resource לא מודגם כאן. מידע נוסף על השימוש בפונקציות UDF זמין במאמר פונקציות UDF.

אם אתם יוצרים תצוגה בפרויקט שהוא לא פרויקט ברירת המחדל, ציינו את מזהה הפרויקט באמצעות הדגל --project_id.

הערה: מערך הנתונים שמכיל את התצוגה ומערך הנתונים שמכיל את הטבלאות שהתצוגה מפנה אליהן צריכים להיות באותו מיקום.

bq mk \
--use_legacy_sql=false \
--view_udf_resource=PATH_TO_FILE \
--expiration=INTEGER \
--description="DESCRIPTION" \
--label=KEY_1:VALUE_1 \
--add_tags=KEY_2:VALUE_2[,...] \
--view='QUERY' \
--project_id=PROJECT_ID \
DATASET.VIEW

מחליפים את מה שכתוב בשדות הבאים:

• ‫PATH_TO_FILE הוא ה-URI או הנתיב של מערכת הקבצים המקומית לקובץ קוד שצריך לטעון ולהעריך מיד כמשאב UDF שמשמש את התצוגה. חוזרים על הדגל כדי לציין כמה קבצים.
• INTEGER מגדיר את משך החיים (בשניות) של התצוגה. אם הערך של INTEGER הוא 0, התצוגה לא תפוג. אם לא כוללים את הדגל --expiration, ‏BigQuery יוצר את התצוגה עם משך החיים שמוגדר כברירת מחדל לטבלה של מערך הנתונים.
• ‫DESCRIPTION הוא תיאור של התצוגה במירכאות.
• ‫KEY_1:VALUE_1 הוא צמד מפתח/ערך שמייצג תווית. חוזרים על הדגל --label כדי לציין כמה תוויות.
• ‫KEY_2:VALUE_2 הוא צמד מפתח/ערך שמייצג תג. אפשר להוסיף כמה תגים באותו דגל, עם פסיקים בין צמדי מפתח:ערך.
• ‫QUERY היא שאילתה תקינה.
• ‫PROJECT_ID הוא מזהה הפרויקט (אם לא הגדרתם פרויקט כברירת מחדל).
• ‫DATASET הוא מערך נתונים בפרויקט.
• ‫VIEW הוא שם התצוגה שרוצים ליצור.

דוגמאות:

מזינים את הפקודה הבאה כדי ליצור תצוגה בשם myview ב-mydataset בפרויקט שמוגדר כברירת מחדל. זמן התפוגה מוגדר ל-3,600 שניות (שעה), התיאור מוגדר ל-This is my view והתווית מוגדרת ל-organization:development. השאילתה שמשמשת ליצירת התצוגה שולפת נתונים ממערך הנתונים הציבורי USA Name Data.

bq mk \
--use_legacy_sql=false \
--expiration 3600 \
--description "This is my view" \
--label organization:development \
--view \
'SELECT
  name,
  number
FROM
  `bigquery-public-data.usa_names.usa_1910_current`
WHERE
  gender = "M"
ORDER BY
  number DESC' \
mydataset.myview

מזינים את הפקודה הבאה כדי ליצור תצוגה בשם myview ב-mydataset ב-myotherproject. התיאור מוגדר כ-This is my view, התווית מוגדרת כ-organization:development ותאריך התפוגה של התצוגה מוגדר כתאריך התפוגה של טבלת ברירת המחדל של מערך הנתונים. השאילתה שמשמשת ליצירת התצוגה שולפת נתונים ממערך הנתונים הציבורי USA Name Data.

bq mk \
--use_legacy_sql=false \
--description "This is my view" \
--label organization:development \
--project_id myotherproject \
--view \
'SELECT
  name,
  number
FROM
  `bigquery-public-data.usa_names.usa_1910_current`
WHERE
  gender = "M"
ORDER BY
  number DESC' \
mydataset.myview

אחרי שיוצרים את התצוגה, אפשר לעדכן את תאריך התפוגה, התיאור והתוויות שלה. מידע נוסף זמין במאמר עדכון תצוגות.

Terraform

משתמשים במשאב google_bigquery_table.

הערה: כדי ליצור אובייקטים של BigQuery באמצעות Terraform, צריך להפעיל את Cloud Resource Manager API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

בדוגמה הבאה נוצרת תצוגה בשם myview:

resource "google_bigquery_dataset" "default" {
  dataset_id                      = "mydataset"
  default_partition_expiration_ms = 2592000000  # 30 days
  default_table_expiration_ms     = 31536000000 # 365 days
  description                     = "dataset description"
  location                        = "US"
  max_time_travel_hours           = 96 # 4 days

  labels = {
    billing_group = "accounting",
    pii           = "sensitive"
  }
}

resource "google_bigquery_table" "default" {
  dataset_id = google_bigquery_dataset.default.dataset_id
  table_id   = "myview"

  view {
    query          = "SELECT global_id, faa_identifier, name, latitude, longitude FROM `bigquery-public-data.faa.us_airports`"
    use_legacy_sql = false
  }

}

כך מחילים את ההגדרות של Terraform בפרויקט ב- Google Cloud :

הכנת Cloud Shell

1. מפעילים את Cloud Shell.

2. מגדירים את פרויקט ברירת המחדל ב- Google Cloud שבו רוצים להחיל את ההגדרות של Terraform.

   תצטרכו להריץ את הפקודה הזו רק פעם אחת לכל פרויקט, ותוכלו לעשות זאת בכל ספרייה.

   export GOOGLE_CLOUD_PROJECT=PROJECT_ID

   אם תגדירו ערכים ספציפיים בקובץ התצורה של Terraform, הם יבטלו את ערכי ברירת המחדל של משתני הסביבה.

הכנת הספרייה

לכל קובץ תצורה של Terraform צריכה להיות ספרייה משלו (שנקראת גם מודול ברמה הבסיסית).

1. יוצרים ספרייה חדשה ב-Cloud Shell ובה יוצרים קובץ חדש. שם הקובץ חייב לכלול את הסיומת .tf, למשל main.tf. במדריך הזה, הקובץ נקרא main.tf.

   mkdir DIRECTORY && cd DIRECTORY && touch main.tf

2. אם אתם עוקבים אחרי המדריך, תוכלו להעתיק את הקוד לדוגמה בכל קטע או שלב.

   מעתיקים את הקוד לדוגמה בקובץ main.tf החדש שיצרתם.

   לחלופין, אפשר גם להעתיק את הקוד מ-GitHub. כדאי לעשות את זה כשקטע הקוד של Terraform הוא חלק מפתרון מקצה לקצה.

3. בודקים את הפרמטרים לדוגמה ומשנים אותם בהתאם לסביבה שלכם.
4. שומרים את השינויים.
5. מפעילים את Terraform. צריך לעשות זאת רק פעם אחת לכל ספרייה.

   terraform init

   אופציונלי: תוכלו לכלול את האפשרות -upgrade, כדי להשתמש בגרסה העדכנית ביותר של הספק של Google:

   terraform init -upgrade

החלה של השינויים

1. בודקים את ההגדרות ומוודאים שהמשאבים שמערכת Terraform תיצור או תעדכן תואמים לציפיות שלכם:

   terraform plan

   מתקנים את ההגדרות לפי הצורך.

2. מריצים את הפקודה הבאה ומזינים yes בהודעה שמופיעה, כדי להחיל את הגדרות Terraform:

   terraform apply

   ממתינים עד שב-Terraform תוצג ההודעה "Apply complete!‎".

3. פותחים את הפרויקט ב- Google Cloud כדי להציג את התוצאות. במסוף Google Cloud , נכנסים למשאבים בממשק המשתמש כדי לוודא שהם נוצרו או עודכנו ב-Terraform.

הערה: בדרך כלל הנחת העבודה בדוגמאות של Terraform היא שממשקי ה-API הנדרשים מופעלים בפרויקט ב- Google Cloud .

API

מפעילים את ה-method‏ tables.insert עם משאב טבלה שמכיל מאפיין view.

המשך

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Go במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Go API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// createView demonstrates creation of a BigQuery logical view.
func createView(projectID, datasetID, tableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydatasetid"
	// tableID := "mytableid"
	ctx := context.Background()

	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	meta := &bigquery.TableMetadata{
		// This example shows how to create a view of the shakespeare sample dataset, which
		// provides word frequency information.  This view restricts the results to only contain
		// results for works that contain the "king" in the title, e.g. King Lear, King Henry V, etc.
		ViewQuery: "SELECT word, word_count, corpus, corpus_date FROM `bigquery-public-data.samples.shakespeare` WHERE corpus LIKE '%king%'",
	}
	if err := client.Dataset(datasetID).Table(tableID).Create(ctx, meta); err != nil {
		return err
	}
	return nil
}

Java

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Java API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.TableId;
import com.google.cloud.bigquery.TableInfo;
import com.google.cloud.bigquery.ViewDefinition;

// Sample to create a view
public class CreateView {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    String viewName = "MY_VIEW_NAME";
    String query =
        String.format(
            "SELECT TimestampField, StringField, BooleanField FROM %s.%s", datasetName, tableName);
    createView(datasetName, viewName, query);
  }

  public static void createView(String datasetName, String viewName, String query) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      TableId tableId = TableId.of(datasetName, viewName);

      ViewDefinition viewDefinition =
          ViewDefinition.newBuilder(query).setUseLegacySql(false).build();

      bigquery.create(TableInfo.of(tableId, viewDefinition));
      System.out.println("View created successfully");
    } catch (BigQueryException e) {
      System.out.println("View was not created. \n" + e.toString());
    }
  }
}

Node.js

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Node.js במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Node.js API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

// Import the Google Cloud client library and create a client
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function createView() {
  // Creates a new view named "my_shared_view" in "my_dataset".

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const myDatasetId = "my_table"
  // const myTableId = "my_table"
  // const projectId = "bigquery-public-data";
  // const sourceDatasetId = "usa_names"
  // const sourceTableId = "usa_1910_current";
  const myDataset = await bigquery.dataset(myDatasetId);

  // For all options, see https://cloud.google.com/bigquery/docs/reference/v2/tables#resource
  const options = {
    view: `SELECT name 
    FROM \`${projectId}.${sourceDatasetId}.${sourceTableId}\`
    LIMIT 10`,
  };

  // Create a new view in the dataset
  const [view] = await myDataset.createTable(myTableId, options);

  console.log(`View ${view.id} created.`);
}

Python

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Python API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

from google.cloud import bigquery

client = bigquery.Client()

view_id = "my-project.my_dataset.my_view"
source_id = "my-project.my_dataset.my_table"
view = bigquery.Table(view_id)

# The source table in this example is created from a CSV file in Google
# Cloud Storage located at
# `gs://cloud-samples-data/bigquery/us-states/us-states.csv`. It contains
# 50 US states, while the view returns only those states with names
# starting with the letter 'W'.
view.view_query = f"SELECT name, post_abbr FROM `{source_id}` WHERE name LIKE 'W%'"

# Make an API request to create the view.
view = client.create_table(view)
print(f"Created {view.table_type}: {str(view.reference)}")

אחרי שיוצרים את התצוגה, אפשר לשלוח אליה שאילתות כמו ששולחים שאילתות לטבלה.

הצגת האבטחה

כדי לשלוט בגישה לתצוגות ב-BigQuery, קראו את המאמר תצוגות מורשות.

המאמרים הבאים

• במאמר יצירת תצוגות מורשות מוסבר איך יוצרים תצוגה מורשית.
• במאמר קבלת מידע על תצוגות מוסבר איך מקבלים מטא-נתונים של תצוגות.
• מידע נוסף על ניהול תצוגות מפורטות זמין במאמר ניהול תצוגות מפורטות.