טעינת נתונים באמצעות פעולות של BigQuery Omni

באמצעות BigQuery Omni אתם יכולים לטעון נתונים חוצי-עננים מקטגוריות של Amazon Simple Storage Service (Amazon S3) ושל Azure Blob Storage לטבלאות ב-BigQuery.

אתם יכולים להעביר נתונים חיצוניים ל-BigQuery, או לשכפל אותם באופן מקומי באמצעות עותקים משוכפלים של תצוגות מהותיות, כדי לאחד מערכי נתונים באזורים שונים ב- Google Cloudולהשתמש ב-BigQuery ML. כדי להעביר קבצים גדולים מ-Amazon S3 או מ-Blob Storage באופן קבוע, השתמשו בשירות העברת הנתונים ל-BigQuery.

אמצעי העברה נתמכים

אפשר להעביר נתונים ל-BigQuery בדרכים הבאות:

• העברת נתונים מקבצים ב-Amazon S3 וב-Azure Blob Storage לטבלאות ב-BigQuery, באמצעות ההצהרה LOAD DATA.

• לסנן נתונים מקבצים ב-Amazon S3 או ב-Blob Storage לפני שמעבירים את התוצאות לטבלאות ב-BigQuery, באמצעות ההצהרה CREATE TABLE AS SELECT. כדי להוסיף נתונים לטבלת היעד, משתמשים בהצהרת INSERT INTO SELECT. מניפולציית הנתונים מיושמת על הטבלאות החיצוניות שמפנות לנתונים מ-Amazon S3 או מ-Blob Storage.

• ליצור רפליקות של תצוגות מהותיות של נתונים חיצוניים מ-Amazon S3, מ-Apache Iceberg או מ-Salesforce Data 360 במערך נתונים ב-BigQuery, כדי שהנתונים יהיו זמינים באופן מקומי ב-BigQuery.

הערה: אם אתם רוצים להעביר קבצים גדולים מקטגוריה של Amazon Simple Storage Service (Amazon S3) או מ-Azure Blob Storage לטבלאות ב-BigQuery על בסיס מתוזמן, השתמשו בשירות העברת הנתונים ל-BigQuery. אם רוצים לקרוא ולעבד נתונים לפני שמעבירים אותם לטבלאות ב-BigQuery, משתמשים בהצהרה CREATE TABLE AS SELECT.

מכסות ומגבלות

למידע על מכסות ומגבלות, ראו מכסות ומגבלות של משימות שאילתה.

לפני שמתחילים

כדי לתת ל- Google Cloud גישת קריאה שנדרשת לטעינה או לסינון של נתונים בעננים אחרים, צריך לבקש מהאדמין ליצור חיבור ולשתף אותו איתכם. במאמרים התחברות ל-Amazon S3 ו-Blob Storage מוסבר איך יוצרים חיבורים.

התפקיד הנדרש

כדי לקבל את ההרשאות שדרושות לטעינת נתונים באמצעות העברות ב-BigQuery Omni, בקשו מהאדמין להקצות לכם את התפקיד עריכת נתונים ב-BigQuery (roles/bigquery.dataEditor) ב-IAM במערך הנתונים. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות כדי לטעון נתונים באמצעות העברות ב-BigQuery Omni. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לטעון נתונים באמצעות העברות ב-BigQuery Omni, נדרשות ההרשאות הבאות:

• bigquery.tables.create
• bigquery.tables.get
• bigquery.tables.updateData
• bigquery.tables.update
• bigquery.jobs.create
• bigquery.connections.use

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

במאמר תפקידים והרשאות של IAM ב-BigQuery יש מידע נוסף על תפקידי IAM ב-BigQuery.

תמחור

החיוב הוא על הבייטים שמועברים בין עננים באמצעות ההצהרה LOAD. למידע על תמחור, קראו את הקטע העברת נתונים ב-Omni במאמר תמחור ב-BigQuery Omni.

החיוב מתבצע על הבייטים שמועברים בין העננים באמצעות ההצהרה CREATE TABLE AS SELECT או ההצהרה INSERT INTO SELECT, ועל קיבולת המחשוב.

כדי לסרוק קבצים ב-Amazon S3 וב-Blob Storage ולטעון אותם, צריך להקצות משבצות באזורי BigQuery Omni גם להצהרות LOAD וגם להצהרות CREATE TABLE AS SELECT. מידע נוסף על התמחור ב-BigQuery Omni

בעותקים של תצוגות מהותיות של מקורות נתונים חיצוניים, העלויות יכולות לכלול גם את התמחור של תצוגות מהותיות.

שיטות מומלצות לאפשרויות טעינה וסינון

• אל תטענו כמה קבצים שגודלם קטן מ-5MB. במקום זאת, צרו טבלה חיצונית לקובץ וייצאו את תוצאת השאילתה אל Amazon S3 או אל Blob Storage כדי ליצור קובץ גדול יותר. השיטה הזו עוזרת לשפר את זמן ההעברה של הנתונים.
למידע על הגודל המקסימלי של תוצאות השאילתה, קראו את המאמר הגודל המקסימלי של תוצאות השאילתה ב-BigQuery Omni.
• אם נתוני המקור נמצאים בקובץ דחוס ב-gzip, בזמן יצירת הטבלאות החיצוניות צריך להגדיר את האפשרות external_table_options.compression ל-GZIP.

טעינת נתונים

אפשר לטעון נתונים ל-BigQuery באמצעות ההצהרה LOAD DATA [INTO|OVERWRITE].

מגבלות

• החיבור ומערך הנתונים של היעד צריכים להיות שייכים לאותו פרויקט. אי אפשר לטעון נתונים בין פרויקטים.
• אפשר להשתמש ב-LOAD DATA רק כשמעבירים נתונים מ-Amazon Simple Storage Service (Amazon S3) או מ-Azure Blob Storage לאזור BigQuery שנמצא באותו מיקום. מידע נוסף זמין במאמר מיקומים.
  • אפשר להעביר נתונים מכל אזור של US למספר אזורים של US. אפשר גם להעביר מכל אזור של EU למספר אזורים של EU.

דוגמה

דוגמה 1

בדוגמה הבאה נטען קובץ Parquet בשם sample.parquet מקטגוריה של Amazon S3 לטבלה test_parquet עם סכימה לזיהוי אוטומטי:

LOAD DATA INTO mydataset.testparquet
  FROM FILES (
    uris = ['s3://test-bucket/sample.parquet'],
    format = 'PARQUET'
  )
  WITH CONNECTION `aws-us-east-1.test-connection`

דוגמה 2

בדוגמה הבאה נטען קובץ CSV עם הקידומת sampled* מ-Blob Storage לטבלה test_csv, עם חלוקה מוגדרת מראש של עמודות לפי זמן:

LOAD DATA INTO mydataset.test_csv (Number INT64, Name STRING, Time DATE)
  PARTITION BY Time
  FROM FILES (
    format = 'CSV', uris = ['azure://test.blob.core.windows.net/container/sampled*'],
    skip_leading_rows=1
  )
  WITH CONNECTION `azure-eastus2.test-connection`

דוגמה 3

בדוגמה הבאה, הטבלה הקיימת test_parquet מוחלפת בנתונים מקובץ בשם sample.parquet עם סכימה שזוהתה באופן אוטומטי:

LOAD DATA OVERWRITE mydataset.testparquet
  FROM FILES (
    uris = ['s3://test-bucket/sample.parquet'],
    format = 'PARQUET'
  )
  WITH CONNECTION `aws-us-east-1.test-connection`

סינון נתונים

כדי לסנן נתונים לפני שמעבירים אותם ל-BigQuery, אפשר להשתמש בהצהרה CREATE TABLE AS SELECT ובהצהרה INSERT INTO SELECT.

מגבלות

• אם התוצאה של השאילתה SELECT חורגת מ-‎60GiB בבייטים לוגיים, השאילתה נכשלת. הטבלה לא נוצרת והנתונים לא מועברים. כדי ללמוד איך להקטין את נפח הנתונים שנסרקים, ראו הפחתת עיבוד נתונים בשאילתות.

• אין תמיכה בטבלאות זמניות.

• אין תמיכה בהעברת פורמט הנתונים הגיאו-מרחביים Well-known binary (WKB).

• הצהרת INSERT INTO SELECT לא תומכת בהעברת נתונים לטבלה מסודרת באשכולות.

• בהצהרת INSERT INTO SELECT, אם טבלת היעד זהה לטבלת המקור בשאילתת SELECT, הצהרת INSERT INTO SELECT לא משנה אף שורה בטבלת היעד. טבלת היעד לא משתנה כי BigQuery לא יכול לקרוא נתונים מאזורים שונים.

• אפשר להשתמש ב-CREATE TABLE AS SELECT וב-INSERT INTO SELECT רק כשמעבירים נתונים מ-Amazon S3 או מ-Blob Storage לאזור BigQuery שנמצא באותו מיקום. מידע נוסף זמין במאמר מיקומים.

  • אפשר להעביר נתונים מכל אזור של US למספר אזורים של US. אפשר גם להעביר מכל אזור של EU למספר אזורים של EU.

דוגמה

דוגמה 1

נניח שיש לכם טבלת BigLake בשם myawsdataset.orders שמפנה לנתונים מ-Amazon S3. אתם רוצים להעביר נתונים מהטבלה הזו לטבלה myotherdataset.shipments ב-BigQuery, שנמצאת במספר אזורים בארה"ב.

קודם כל, מציגים מידע על הטבלה myawsdataset.orders:

    bq show myawsdataset.orders;

הפלט אמור להיראות כך:

  Last modified             Schema              Type     Total URIs   Expiration
----------------- -------------------------- ---------- ------------ -----------
  31 Oct 17:40:28   |- l_orderkey: integer     EXTERNAL   1
                    |- l_partkey: integer
                    |- l_suppkey: integer
                    |- l_linenumber: integer
                    |- l_returnflag: string
                    |- l_linestatus: string
                    |- l_commitdate: date

עכשיו נציג מידע על הטבלה myotherdataset.shipments:

  bq show myotherdataset.shipments

הפלט אמור להיראות כך: חלק מהעמודות הושמטו כדי לפשט את הפלט.

  Last modified             Schema             Total Rows   Total Bytes   Expiration   Time Partitioning   Clustered Fields   Total Logical
 ----------------- --------------------------- ------------ ------------- ------------ ------------------- ------------------ ---------------
  31 Oct 17:34:31   |- l_orderkey: integer      3086653      210767042                                                         210767042
                    |- l_partkey: integer
                    |- l_suppkey: integer
                    |- l_commitdate: date
                    |- l_shipdate: date
                    |- l_receiptdate: date
                    |- l_shipinstruct: string
                    |- l_shipmode: string

עכשיו, באמצעות ההצהרה CREATE TABLE AS SELECT, אתם יכולים לטעון נתונים באופן סלקטיבי לטבלה myotherdataset.orders במספר אזורים בארה"ב:

CREATE OR REPLACE TABLE
  myotherdataset.orders
  PARTITION BY DATE_TRUNC(l_commitdate, YEAR) AS
SELECT
  *
FROM
  myawsdataset.orders
WHERE
  EXTRACT(YEAR FROM l_commitdate) = 1992;

הערה: אם מופיעה השגיאה ResourceExhausted, נסו שוב אחרי זמן מה. אם הבעיה נמשכת, אפשר לפנות לתמיכה.

לאחר מכן תוכלו לבצע פעולת צירוף עם הטבלה החדשה שנוצרה:

SELECT
  orders.l_orderkey,
  orders.l_orderkey,
  orders.l_suppkey,
  orders.l_commitdate,
  orders.l_returnflag,
  shipments.l_shipmode,
  shipments.l_shipinstruct
FROM
  myotherdataset.shipments
JOIN
  `myotherdataset.orders` as orders
ON
  orders.l_orderkey = shipments.l_orderkey
AND orders.l_partkey = shipments.l_partkey
AND orders.l_suppkey = shipments.l_suppkey
WHERE orders.l_returnflag = 'R'; -- 'R' means refunded.

כשיש נתונים חדשים, מוסיפים את הנתונים של שנת 1993 לטבלת היעד באמצעות ההצהרה INSERT INTO SELECT:

INSERT INTO
   myotherdataset.orders
 SELECT
   *
 FROM
   myawsdataset.orders
 WHERE
   EXTRACT(YEAR FROM l_commitdate) = 1993;

דוגמה 2

בדוגמה הבאה מוכנסים נתונים לטבלה שמחולקת למחיצות לפי זמני כתיבת הנתונים:

CREATE TABLE
 mydataset.orders(id String, numeric_id INT64)
PARTITION BY _PARTITIONDATE;

אחרי שיוצרים טבלה מחולקת למחיצות, אפשר להוסיף נתונים לטבלה שמחולקת למחיצות לפי זמני הטעינה:

INSERT INTO
 mydataset.orders(
   _PARTITIONTIME,
   id,
   numeric_id)
SELECT
 TIMESTAMP("2023-01-01"),
 id,
 numeric_id,
FROM
 mydataset.ordersof23
WHERE
 numeric_id > 4000000;

רפליקות של תצוגות מהותיות

רפליקה של תצוגה מהותית היא שכפול של נתונים חיצוניים מ-Amazon Simple Storage Service (Amazon S3), מ-Apache Iceberg או מ-Salesforce Data 360 במערך נתונים של BigQuery, כך שהנתונים זמינים באופן מקומי ב-BigQuery. כך תוכלו להימנע מעלויות של תעבורת נתונים יוצאת ולשפר את ביצועי השאילתות. ב-BigQuery אפשר ליצור תצוגות מהותיות בטבלאות שמופעל בהן מטמון המטא-נתונים של BigLake, על נתונים מ-Amazon Simple Storage Service (Amazon S3), מ-Apache Iceberg או מ-Salesforce Data 360.

רפליקה של תצוגה מהותית מאפשרת לכם להשתמש בנתוני התצוגה המהותית של Amazon S3,‏ Iceberg או Data 360 בשאילתות, בלי לשלם עלויות של תעבורת נתונים יוצאת (egress) ועם ביצועי שאילתות משופרים. כדי לעשות את זה, הרפליקה של התצוגה המהותית משכפלת את הנתונים מ-Amazon S3, מ-Iceberg או מ-Data 360 למערך נתונים באזור נתמך ב-BigQuery, כך שהנתונים זמינים באופן מקומי ב-BigQuery.

לפני שמתחילים

נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. חשוב לוודא שיש לכם את ההרשאות הנדרשות לניהול זהויות והרשאות גישה (IAM) כדי לבצע את המשימות שמפורטות בקטע הזה.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לביצוע המשימות שמפורטות בקטע הזה, בקשו מהאדמין להקצות לכם את התפקיד אדמין ב-BigQuery (roles/bigquery.admin) ב-IAM. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות לביצוע המשימות שבקטע הזה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לבצע את המשימות שבקטע הזה, נדרשות ההרשאות הבאות:

• bigquery.tables.create
• bigquery.tables.get
• bigquery.tables.getData
• bigquery.tables.replicateData
• bigquery.jobs.create

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

במאמר תפקידים והרשאות של IAM ב-BigQuery יש מידע נוסף על IAM ב-BigQuery.

הכנת מערך נתונים לרפליקות של תצוגות מהותיות

לפני שיוצרים רפליקה של תצוגה מהותית, צריך להשלים את המשימות הבאות:

1. יוצרים מערך נתונים באזור שתומך ב-Amazon S3.
2. יוצרים טבלת מקור במערך הנתונים שיצרתם בשלב הקודם. טבלת המקור יכולה להיות כל אחד מסוגי הטבלאות הבאים:
   • טבלת Amazon S3 BigLake ששמירת המטא-נתונים במטמון מופעלת בה, והיא לא משתמשת בפורמט קובץ Iceberg.
   • טבלה חיצונית של Apache Iceberg.
   • טבלת Data 360.

יצירת רפליקות של תצוגות מהותיות

בוחרים באחת מהאפשרויות הבאות:

המסוף

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

   אם החלונית הימנית לא מוצגת, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

3. בחלונית Explorer, עוברים לפרויקט ולמערך הנתונים שבהם רוצים ליצור את הרפליקה של התצוגה המהותית, ולוחצים על Actions > Create table.

4. בקטע Source בתיבת הדו-שיח Create table:

   1. בקטע Create table from, בוחרים באפשרות Existing table/view.
   2. בשדה Project, מזינים את הפרויקט שבו נמצאת טבלת המקור או התצוגה.
   3. בשדה Dataset, מזינים את מערך הנתונים שבו נמצאים טבלת המקור או התצוגה.
   4. בשדה View, מזינים את טבלת המקור או את התצוגה שמשכפלים. אם בוחרים תצוגה, היא חייבת להיות תצוגה מורשית. אם לא, כל הטבלאות שמשמשות ליצירת התצוגה הזו חייבות להיות בקבוצת הנתונים של התצוגה.

5. אופציונלי: בשדה Local materialized view max staleness, מזינים ערך max_staleness לתצוגה המהותית המקומית.

6. בקטע Destination בתיבת הדו-שיח Create table:

   1. בשדה Project, מזינים את הפרויקט שבו רוצים ליצור את הרפליקה של התצוגה המהותית.
   2. בשדה Dataset, מזינים את קבוצת הנתונים שבה רוצים ליצור את הרפליקה של התצוגה המהותית.
   3. בשדה Replica materialized view name, מזינים שם לרפליקה.

7. אופציונלי: מציינים תגים ואפשרויות מתקדמות לעותק הזהה של התצוגה המהותית. אם לא תציינו מערך נתונים בשדה Local Materialized View Dataset, המערכת תיצור באופן אוטומטי מערך נתונים באותו פרויקט ובאותו אזור של נתוני המקור, ותקרא לו bq_auto_generated_local_mv_dataset. אם לא תציינו שם בשדה Local Materialized View Name, המערכת תיצור שם באופן אוטומטי באותו פרויקט ובאותו אזור של נתוני המקור, עם הקידומת bq_auto_generated_local_mv_.

8. לוחצים על Create table.

נוצרת תצוגה מהותית מקומית חדשה (אם היא לא צוינה) והיא מורשית במערך הנתונים של המקור. לאחר מכן, הרפליקה של התצוגה המהותית נוצרת במערך הנתונים של היעד.

SQL

1. יוצרים תצוגה מהותית מעל מסד הנתונים הטבלאי במערך הנתונים שיצרתם. אפשר גם ליצור את התצוגה המהותית במערך נתונים אחר שנמצא באזור של Amazon S3.
2. נותנים הרשאה לתצוגה המהותית בקבוצות הנתונים שמכילות את טבלאות המקור ששימשו בשאילתה שיצרה את התצוגה המהותית.
3. אם הגדרתם רענון ידני של המטמון של המטא-נתונים בטבלת המקור, הפעילו את הפרוצדורה המערכתית BQ.REFRESH_EXTERNAL_METADATA_CACHE כדי לרענן את המטמון של המטא-נתונים.
4. מריצים את הפרוצדורה המערכתית BQ.REFRESH_MATERIALIZED_VIEW כדי לרענן את התצוגה המהותית.

5. יוצרים עותקים של תצוגות מהותיות באמצעות ההצהרה CREATE MATERIALIZED VIEW AS REPLICA OF:

   CREATE MATERIALIZED VIEW PROJECT_ID.BQ_DATASET.REPLICA_NAME
   OPTIONS(replication_interval_seconds=REPLICATION_INTERVAL)
   AS REPLICA OF PROJECT_ID.S3_DATASET.MATERIALIZED_VIEW_NAME;

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: שם הפרויקט שבו רוצים ליצור את הרפליקה של התצוגה המהותית, לדוגמה myproject.
   • ‫BQ_DATASET: השם של מערך הנתונים ב-BigQuery שבו רוצים ליצור את הרפליקה של התצוגה המהותית, לדוגמה bq_dataset. מערך הנתונים חייב להיות באזור ב-BigQuery שממופה לאזור של התצוגה המהותית המקורית.
   • REPLICA_NAME: השם של הרפליקה של התצוגה המהותית שרוצים ליצור, לדוגמה my_mv_replica.
   • ‫REPLICATION_INTERVAL: מציין את התדירות שבה הנתונים משוכפלים מהתצוגה המהותית של המקור לרפליקה, בשניות. הערך חייב להיות בין 60 ל-3,600, כולל. ברירת המחדל היא 300 (5 דקות).
   • ‫S3_DATASET: השם של קבוצת הנתונים שמכילה את התצוגה המהותית של המקור, לדוגמה s3_dataset.
   • ‫MATERIALIZED_VIEW_NAME: השם של התצוגה המהותית שרוצים לשכפל, לדוגמה my_mv.

   בדוגמה הבאה נוצרת רפליקה של תצוגה מהותית בשם mv_replica ב-bq_dataset:

   CREATE MATERIALIZED VIEW `myproject.bq_dataset.mv_replica`
   OPTIONS(
   replication_interval_seconds=600
   )
   AS REPLICA OF `myproject.s3_dataset.my_s3_mv`

אחרי שיוצרים את הרפליקה של התצוגה המהותית, תהליך השכפול דוגם את התצוגה המהותית של המקור כדי לזהות שינויים ומשכפל את הנתונים לרפליקה של התצוגה המהותית. הנתונים מתרעננים במרווח הזמן שציינתם באפשרות replication_interval_seconds או max_staleness. אם תשלחו שאילתה לרפליקה לפני שהמילוי החוזר הראשון יסתיים, תקבלו את השגיאה backfill in progress. אפשר לשלוח שאילתות על הנתונים ברפליקה של התצוגה המהותית אחרי שהרפליקציה הראשונה מסתיימת.

עדכניות הנתונים

אחרי שיוצרים את הרפליקה של התצוגה המהותית, תהליך השכפול דוגם את התצוגה המהותית של המקור כדי לזהות שינויים ומשכפל את הנתונים לרפליקה של התצוגה המהותית. הנתונים משוכפלים במרווח הזמן שציינתם באפשרות replication_interval_seconds של ההצהרה CREATE MATERIALIZED VIEW AS REPLICA OF.

בנוסף למרווח הזמן של השכפול, העדכניות של נתוני הרפליקה של התצוגה המהותית מושפעת גם מהתדירות שבה התצוגה המהותית של המקור מתרעננת, ומהתדירות שבה מתרענן מטמון המטא-נתונים של טבלת Amazon S3,‏ Iceberg או Data 360 שבה משתמשת התצוגה המהותית.

אתם יכולים לבדוק את עדכניות הנתונים של הרפליקה של התצוגה המהותית ושל המשאבים שעליהם היא מבוססת באמצעות מסוף Google Cloud :

• כדי לבדוק את העדכניות של עותק של תצוגה מהותית, בודקים את השדה Last modified בחלונית Details של העותק של התצוגה המהותית.
• כדי לבדוק את עדכניות התצוגה המהותית של המקור, בודקים את השדה Last modified בחלונית Details של התצוגה המהותית.
• כדי לבדוק את עדכניות המטמון של המטא-נתונים של טבלאות Amazon S3,‏ Iceberg או Data 360, עיינו בשדה Max staleness בחלונית Details של התצוגה המהותית.

אזורים נתמכים של רפליקות של תצוגות מהותיות

כשיוצרים עותקים של תצוגות מהותיות, צריך להשתמש במיפוי המיקומים שבטבלה הבאה:

המיקום של תצוגת המקור המהותית	המיקום של הרפליקה של התצוגה המהותית
aws-us-east-1	US במספר אזורים, או בכל אחד מהאזורים הבאים: northamerica-northeast1 northamerica-northeast2 us-central1 us-east1 us-east4 us-east5 us-south1 us-west1 us-west2 us-west3 us-west4
aws-us-west-2	US במספר אזורים, או בכל אחד מהאזורים הבאים: northamerica-northeast1 northamerica-northeast2 us-central1 us-east1 us-east4 us-east5 us-south1 us-west1 us-west2 us-west3 us-west4
aws-eu-west-1	EU במספר אזורים, או בכל אחד מהאזורים הבאים: europe-central2 europe-north1 europe-southwest1 europe-west1 europe-west2 europe-west3 europe-west4 europe-west6 europe-west8 europe-west9 europe-west10
aws-ap-northeast-2	אחד מהאזורים הבאים: asia-east1 asia-east2 asia-northeast1 asia-northeast2 asia-northeast3 asia-south1 asia-south2 asia-southeast1
aws-ap-southeast-2	אחד מהאזורים הבאים: australia-southeast1 australia-southeast2

המגבלות של רפליקות של תצוגות מהותיות

• אי אפשר ליצור עותקים של תצוגות מהותיות שמבוססות על טבלאות שמשתמשות באבטחה ברמת השורה או באבטחה ברמת העמודה.
• אי אפשר להשתמש במפתחות הצפנה בניהול הלקוח (CMEK) עם התצוגה המהותית של המקור או עם הרפליקה של התצוגה המהותית.
• אפשר ליצור עותקים של תצוגות מהותיות רק לתצוגות מהותיות שמבוססות על טבלאות שמשתמשות בשמירת מטא-נתונים במטמון.
• אפשר ליצור רק רפליקה אחת של תצוגה מהותית לכל תצוגה מהותית נתונה במקור.
• אפשר ליצור עותקים של תצוגות מהותיות רק לתצוגות מהותיות מורשות.

המחיר של רפליקות של תצוגות מהותיות

השימוש בעותקים של תצוגות מהותיות כרוך בעלויות של עיבוד, העברת נתונים יוצאים ואחסון.

המאמרים הבאים

• מידע על BigQuery ML
• מידע על BigQuery Omni
• איך מריצים שאילתות
• איך מגדירים את VPC Service Controls ל-BigQuery Omni
• איך מתזמנים ומנהלים משימות טעינה חוזרות מ-Amazon S3 ל-BigQuery ומ-Blob Storage ל-BigQuery.