ניהול טבלאות

אתם יכולים לנהל את הטבלאות ב-BigQuery כדי לשלוט במחזור החיים שלהן, לייעל את עלויות האחסון ולהבטיח את משילות המידע (data governance). ניהול טבלאות כולל משימות כמו עדכון מאפיינים, שינוי שם, העתקה ומחיקה של טבלאות. כשמעדכנים את מאפייני הטבלה ב-BigQuery, אפשר לשנות את זמן התפוגה, התיאור, הגדרת הסכימה, התוויות ומצב העיגול שמוגדר כברירת מחדל.

כדי לשחזר טבלה שנמחקה, אפשר לעיין במאמר בנושא שחזור טבלאות שנמחקו. למידע נוסף על יצירה ושימוש בטבלאות, כולל קבלת מידע על טבלאות, הצגת רשימה של טבלאות ובקרה על הגישה לנתוני הטבלאות, אפשר לעיין במאמר יצירה ושימוש בטבלאות.

לפני שמתחילים

הקצאת תפקידים של ניהול זהויות והרשאות גישה (IAM) שנותנים למשתמשים את ההרשאות הנדרשות לביצוע כל משימה שמופיעה במאמר הזה. ההרשאות שנדרשות לביצוע משימה (אם יש כאלה) מפורטות בקטע "ההרשאות הנדרשות" של המשימה.

עדכון מאפייני הטבלה

אפשר לעדכן את הרכיבים הבאים בטבלה:

• תיאור
• שעת התפוגה
• הגדרת סכימה
• תוויות
• שם הטבלה
• תגים

ההרשאות הנדרשות

כדי לקבל את ההרשאות שנדרשות לעדכון מאפייני הטבלה, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד עריכת נתונים (roles/bigquery.dataEditor) בטבלה. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה מכיל את ההרשאות שנדרשות לעדכון מאפייני הטבלה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי לעדכן את מאפייני הטבלה, נדרשות ההרשאות הבאות:

• bigquery.tables.update
• bigquery.tables.get

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

בנוסף, אם יש לכם הרשאה bigquery.datasets.create, אתם יכולים לעדכן את המאפיינים של הטבלאות במערכי הנתונים שאתם יוצרים.

עדכון תיאור של טבלה

אפשר לעדכן תיאור של טבלה בדרכים הבאות:

• באמצעות מסוף Google Cloud .
• שימוש בהצהרה של שפת הגדרת נתונים (DDL) מסוג ALTER TABLE.
• שימוש בפקודה bq update של כלי שורת הפקודה bq.
• שליחת קריאה ל-method ‏tables.patch של ה-API.
• שימוש בספריות הלקוח.
• יצירת תיאור באמצעות Gemini ב-BigQuery.

כדי לעדכן את התיאור של טבלה:

המסוף

אי אפשר להוסיף תיאור כשיוצרים טבלה באמצעות מסוףGoogle Cloud . אחרי שיוצרים את הטבלה, אפשר להוסיף תיאור בדף פרטים.

1. בחלונית השמאלית, לוחצים על Explorer:

   

   אם לא רואים את החלונית הימנית, לוחצים על הרחבת החלונית הימנית כדי לפתוח אותה.

2. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Datasets ובוחרים קבוצת נתונים.

3. לוחצים על סקירה כללית > טבלאות ובוחרים טבלה.

4. לוחצים על הכרטיסייה פרטים ואז על עריכת הפרטים.

5. בקטע Description, מוסיפים תיאור חדש או עורכים תיאור קיים.

6. לוחצים על Save.

SQL

משתמשים בהנחיה ALTER TABLE SET OPTIONS. בדוגמה הבאה מעדכנים את התיאור של טבלה בשם mytable:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בעורך השאילתות, מזינים את ההצהרה הבאה:

   ALTER TABLE mydataset.mytable
     SET OPTIONS (
       description = 'Description of mytable');

3. לוחצים על הפעלה.

מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.

BQ

1. במסוף Google Cloud , מפעילים את Cloud Shell.

   הפעלת Cloud Shell

   בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

2. מריצים את הפקודה bq update עם הדגל --description. אם אתם מעדכנים טבלה בפרויקט שאינו פרויקט ברירת המחדל שלכם, צריך להוסיף את מזהה הפרויקט לשם מערך הנתונים בפורמט הבא: project_id:dataset.

   bq update \
   --description "description" \
   project_id:dataset.table

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫description: הטקסט שמתאר את הטבלה, במירכאות
   • ‫project_id: מזהה הפרויקט
   • ‫dataset: שם קבוצת הנתונים שמכילה את הטבלה שמעדכנים
   • ‫table: שם הטבלה שמעדכנים

   דוגמאות:

   כדי לשנות את התיאור של הטבלה mytable במערך הנתונים mydataset ל-"Description of mytable", מזינים את הפקודה הבאה. מערך הנתונים mydataset נמצא בפרויקט ברירת המחדל.

   bq update --description "Description of mytable" mydataset.mytable
   

   כדי לשנות את התיאור של הטבלה mytable במערך הנתונים mydataset ל-"Description of mytable", מזינים את הפקודה הבאה. מערך הנתונים mydataset נמצא בפרויקט myotherproject, ולא בפרויקט ברירת המחדל.

   bq update \
   --description "Description of mytable" \
   myotherproject:mydataset.mytable
   

API

קוראים ל-method ‏tables.patch ומשתמשים במאפיין description במשאב הטבלה כדי לעדכן את תיאור הטבלה. עדיף להשתמש ב-method‏ tables.patch כי ה-method‏ tables.update מחליפה את כל משאב הטבלה.

המשך

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Go במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Go API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// updateTableDescription demonstrates how to fetch a table's metadata and updates the Description metadata.
func updateTableDescription(projectID, datasetID, tableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// tableID := "mytable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	tableRef := client.Dataset(datasetID).Table(tableID)
	meta, err := tableRef.Metadata(ctx)
	if err != nil {
		return err
	}
	update := bigquery.TableMetadataToUpdate{
		Description: "Updated description.",
	}
	if _, err = tableRef.Update(ctx, update, meta.ETag); err != nil {
		return err
	}
	return nil
}

Java

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Java API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Table;

public class UpdateTableDescription {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    String newDescription = "this is the new table description";
    updateTableDescription(datasetName, tableName, newDescription);
  }

  public static void updateTableDescription(
      String datasetName, String tableName, String newDescription) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Table table = bigquery.getTable(datasetName, tableName);
      bigquery.update(table.toBuilder().setDescription(newDescription).build());
      System.out.println("Table description updated successfully to " + newDescription);
    } catch (BigQueryException e) {
      System.out.println("Table description was not updated \n" + e.toString());
    }
  }
}

Python

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Python API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

מגדירים את המאפיין Table.description וקוראים ל-Client.update_table() כדי לשלוח את העדכון ל-API.

# from google.cloud import bigquery
# client = bigquery.Client()
# project = client.project
# dataset_ref = bigquery.DatasetReference(project, dataset_id)
# table_ref = dataset_ref.table('my_table')
# table = client.get_table(table_ref)  # API request

assert table.description == "Original description."
table.description = "Updated description."

table = client.update_table(table, ["description"])  # API request

assert table.description == "Updated description."

Gemini

אתם יכולים ליצור תיאור של טבלה באמצעות Gemini ב-BigQuery, על סמך תובנות מנתונים. תובנות מנתונים הן דרך אוטומטית לחקור, להבין ולנהל את הנתונים.

במאמר יצירת תובנות מנתונים ב-BigQuery מוסבר בהרחבה על תובנות מנתונים, כולל שלבי ההגדרה, תפקידי IAM הנדרשים ושיטות מומלצות לשיפור הדיוק של התובנות שנוצרו על ידי AI.

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בחלונית השמאלית, לוחצים על Explorer:

   

3. בחלונית Explorer, מרחיבים את הפרויקט ואת מערך הנתונים ובוחרים את הטבלה.

4. בחלונית הפרטים, לוחצים על הכרטיסייה Schema.

5. לוחצים על יצירה.

   הערה: אם הלחצן יצירה לא מופיע, לוחצים על תיאור הנתונים. יכול להיות שתצטרכו לגלול כדי לראות את הכפתור הזה.

   ‫Gemini ייצור תיאור של הטבלה ותובנות לגביה. המידע יופיע תוך כמה דקות. אפשר לראות את התובנות שנוצרו על ידי AI בכרטיסייה תובנות של הטבלה.

6. כדי לערוך ולשמור את תיאור הטבלה שנוצר:

   1. לוחצים על הצגת תיאורים של עמודות.

      מוצגים תיאור הטבלה הנוכחי והתיאור שנוצר.

   2. בקטע Table description, לוחצים על Save to details.

   3. כדי להחליף את התיאור הנוכחי בתיאור שנוצר, לוחצים על העתקת התיאור שהוצע.

   4. עורכים את תיאור הטבלה לפי הצורך ולוחצים על Save to details.

      תיאור הטבלה מתעדכן באופן מיידי.

   5. כדי לסגור את החלונית תצוגה מקדימה של תיאורים, לוחצים על סגירה.

עדכון מועד התפוגה של טבלה

אפשר להגדיר זמן תפוגה של טבלה כברירת מחדל ברמת מערך הנתונים, או להגדיר את זמן התפוגה של הטבלה בזמן יצירתה. זמן התפוגה של טבלה נקרא לעיתים קרובות "זמן חיים" או TTL.

כשתוקף הטבלה פג, היא נמחקת יחד עם כל הנתונים שהיא מכילה. במקרה הצורך, אפשר לבטל את המחיקה של הטבלה שפג תוקפה בחלון הזמן של המסע בזמן שצוין למערך הנתונים. מידע נוסף זמין במאמר שחזור טבלאות שנמחקו.

אם מגדירים את תאריך התפוגה בזמן יצירת הטבלה, המערכת מתעלמת מתאריך התפוגה שמוגדר כברירת מחדל לטבלאות במערך הנתונים. אם לא מגדירים תאריך תפוגה לטבלה ברמת מערך הנתונים, ולא מגדירים תאריך תפוגה כשיוצרים את הטבלה, התוקף של הטבלה לא יפוג לעולם ותצטרכו למחוק אותה באופן ידני.

אחרי שיוצרים את הטבלה, אפשר לעדכן את זמן התפוגה שלה בכל שלב בדרכים הבאות:

• באמצעות מסוף Google Cloud .
• באמצעות הצהרה של שפת הגדרת נתונים (DDL) ALTER TABLE.
• באמצעות הפקודה bq update של כלי שורת הפקודה של BigQuery.
• שליחת קריאה ל-method ‏tables.patch של ה-API.
• שימוש בספריות הלקוח.

הערה: אם מגדירים זמן תפוגה שכבר עבר, הטבלה נמחקת מיד.

כדי לעדכן את זמן התפוגה של טבלה:

המסוף

אי אפשר להוסיף זמן תפוגה כשיוצרים טבלה באמצעות מסוףGoogle Cloud . אחרי שיוצרים טבלה, אפשר להוסיף או לעדכן את תאריך התפוגה שלה בדף פרטי הטבלה.

1. בחלונית השמאלית, לוחצים על Explorer:

   

2. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Datasets ובוחרים קבוצת נתונים.

3. לוחצים על סקירה כללית > טבלאות ובוחרים טבלה.

4. לוחצים על הכרטיסייה פרטים ואז על עריכת הפרטים.

5. בקטע תאריך תפוגה, בוחרים באפשרות ציון תאריך. אחר כך בוחרים את תאריך התפוגה באמצעות הווידג'ט של היומן.

6. לוחצים על Save. זמן התפוגה המעודכן מופיע בקטע פרטי הטבלה.

SQL

משתמשים בהנחיה ALTER TABLE SET OPTIONS. בדוגמה הבאה מעדכנים את זמן התפוגה של טבלה בשם mytable:

1. במסוף Google Cloud , עוברים לדף BigQuery.

   כניסה ל-BigQuery

2. בעורך השאילתות, מזינים את ההצהרה הבאה:

   ALTER TABLE mydataset.mytable
     SET OPTIONS (
       -- Sets table expiration to timestamp 2025-02-03 12:34:56
       expiration_timestamp = TIMESTAMP '2025-02-03 12:34:56');

3. לוחצים על הפעלה.

מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.

BQ

1. מפעילים את Cloud Shell במסוף Google Cloud .

   הפעלת Cloud Shell

   בחלק התחתון של מסוף Google Cloud יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

2. מריצים את הפקודה bq update עם הדגל --expiration. אם אתם מעדכנים טבלה בפרויקט שאינו פרויקט ברירת המחדל שלכם, צריך להוסיף את מזהה הפרויקט לשם מערך הנתונים בפורמט הבא: project_id:dataset.

   bq update \
   --expiration integer \
   project_id:dataset.table

   מחליפים את מה שכתוב בשדות הבאים:

   • integer: משך החיים שמוגדר כברירת מחדל (בשניות) לטבלה. הערך המינימלי הוא 3,600 שניות (שעה אחת). זמן התפוגה מחושב לפי השעה הנוכחית בתוספת הערך של המספר השלם. אם מציינים את הערך 0, תאריך התפוגה של הטבלה מוסר והיא לא תפוג אף פעם. טבלאות ללא תאריך תפוגה צריך למחוק באופן ידני.
   • project_id: מזהה הפרויקט.
   • ‫dataset: שם מערך הנתונים שמכיל את הטבלה שמעדכנים.
   • ‫table: שם הטבלה שרוצים לעדכן.

   דוגמאות:

   כדי לעדכן את זמן התפוגה של הטבלה mytable במערך הנתונים mydataset ל-5 ימים (432,000 שניות), מזינים את הפקודה הבאה. מערך הנתונים mydataset נמצא בפרויקט שמוגדר כברירת מחדל.

   bq update --expiration 432000 mydataset.mytable
   

   כדי לעדכן את זמן התפוגה של הטבלה mytable במערך הנתונים mydataset ל-5 ימים (432,000 שניות), מזינים את הפקודה הבאה. מערך הנתונים mydataset נמצא בפרויקט myotherproject ולא בפרויקט ברירת המחדל.

   bq update --expiration 432000 myotherproject:mydataset.mytable
   

API

מפעילים את ה-method‏ tables.patch ומשתמשים במאפיין expirationTime במשאב הטבלה כדי לעדכן את תפוגת הטבלה באלפיות השנייה. השיטה tables.update מחליפה את כל משאב הטבלה, ולכן עדיף להשתמש בשיטה tables.patch.

המשך

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Go במדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Go API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import (
	"context"
	"fmt"
	"time"

	"cloud.google.com/go/bigquery"
)

// updateTableExpiration demonstrates setting the table expiration of a table to a specific point in time
// in the future, at which time it will be deleted.
func updateTableExpiration(projectID, datasetID, tableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// tableID := "mytable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	tableRef := client.Dataset(datasetID).Table(tableID)
	meta, err := tableRef.Metadata(ctx)
	if err != nil {
		return err
	}
	update := bigquery.TableMetadataToUpdate{
		ExpirationTime: time.Now().Add(time.Duration(5*24) * time.Hour), // table expiration in 5 days.
	}
	if _, err = tableRef.Update(ctx, update, meta.ETag); err != nil {
		return err
	}
	return nil
}

Java

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Java API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Table;
import java.util.concurrent.TimeUnit;

public class UpdateTableExpiration {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    // Update table expiration to one day.
    Long newExpiration =
        TimeUnit.MILLISECONDS.convert(1, TimeUnit.DAYS) + System.currentTimeMillis();
    updateTableExpiration(datasetName, tableName, newExpiration);
  }

  public static void updateTableExpiration(
      String datasetName, String tableName, Long newExpiration) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Table table = bigquery.getTable(datasetName, tableName);
      bigquery.update(table.toBuilder().setExpirationTime(newExpiration).build());

      System.out.println("Table expiration updated successfully to " + newExpiration);
    } catch (BigQueryException e) {
      System.out.println("Table expiration was not updated \n" + e.toString());
    }
  }
}

Node.js

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Node.jsהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Node.js API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function updateTableExpiration() {
  // Updates a table's expiration.

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = 'my_dataset', // Existing dataset
  // const tableId = 'my_table', // Existing table
  // const expirationTime = Date.now() + 1000 * 60 * 60 * 24 * 5 // 5 days from current time in ms

  // Retreive current table metadata
  const table = bigquery.dataset(datasetId).table(tableId);
  const [metadata] = await table.getMetadata();

  // Set new table expiration to 5 days from current time
  metadata.expirationTime = expirationTime.toString();
  const [apiResponse] = await table.setMetadata(metadata);

  const newExpirationTime = apiResponse.expirationTime;
  console.log(`${tableId} expiration: ${newExpirationTime}`);
}

Python

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Python API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

מגדירים את המאפיין Table.expires ומפעילים את Client.update_table() כדי לשלוח את העדכון ל-API.

# Copyright 2022 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

import datetime


def update_table_expiration(table_id, expiration):
    orig_table_id = table_id
    orig_expiration = expiration

    from google.cloud import bigquery

    client = bigquery.Client()

    # TODO(dev): Change table_id to the full name of the table you want to update.
    table_id = "your-project.your_dataset.your_table_name"

    # TODO(dev): Set table to expire for desired days days from now.
    expiration = datetime.datetime.now(datetime.timezone.utc) + datetime.timedelta(
        days=5
    )

    table_id = orig_table_id
    expiration = orig_expiration

    table = client.get_table(table_id)  # Make an API request.
    table.expires = expiration
    table = client.update_table(table, ["expires"])  # API request

    print(f"Updated {table_id}, expires {table.expires}.")

כדי לעדכן את זמן התפוגה של מחיצת מערך הנתונים שמוגדר כברירת מחדל:

Java

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Java API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.Dataset;
import java.util.concurrent.TimeUnit;

// Sample to update partition expiration on a dataset.
public class UpdateDatasetPartitionExpiration {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    // Set the default partition expiration (applies to new tables, only) in
    // milliseconds. This example sets the default expiration to 90 days.
    Long newExpiration = TimeUnit.MILLISECONDS.convert(90, TimeUnit.DAYS);
    updateDatasetPartitionExpiration(datasetName, newExpiration);
  }

  public static void updateDatasetPartitionExpiration(String datasetName, Long newExpiration) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      Dataset dataset = bigquery.getDataset(datasetName);
      bigquery.update(dataset.toBuilder().setDefaultPartitionExpirationMs(newExpiration).build());
      System.out.println(
          "Dataset default partition expiration updated successfully to " + newExpiration);
    } catch (BigQueryException e) {
      System.out.println("Dataset partition expiration was not updated \n" + e.toString());
    }
  }
}

Python

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Python API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

# Copyright 2019 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.


def update_dataset_default_partition_expiration(dataset_id: str) -> None:

    from google.cloud import bigquery

    # Construct a BigQuery client object.
    client = bigquery.Client()

    # TODO(developer): Set dataset_id to the ID of the dataset to fetch.
    # dataset_id = 'your-project.your_dataset'

    dataset = client.get_dataset(dataset_id)  # Make an API request.

    # Set the default partition expiration (applies to new tables, only) in
    # milliseconds. This example sets the default expiration to 90 days.
    dataset.default_partition_expiration_ms = 90 * 24 * 60 * 60 * 1000

    dataset = client.update_dataset(
        dataset, ["default_partition_expiration_ms"]
    )  # Make an API request.

    print(
        "Updated dataset {}.{} with new default partition expiration {}".format(
            dataset.project, dataset.dataset_id, dataset.default_partition_expiration_ms
        )
    )

עדכון מצב העיגול של טבלה

אפשר לעדכן את מצב העיגול שמוגדר כברירת מחדל בטבלה באמצעות הצהרת ה-DDL‏ ALTER TABLE SET OPTIONS. בדוגמה הבאה, מצב העיגול שמוגדר כברירת מחדל ב-mytable מתעדכן ל-ROUND_HALF_EVEN:

ALTER TABLE mydataset.mytable
SET OPTIONS (
  default_rounding_mode = "ROUND_HALF_EVEN");

כשמוסיפים שדה NUMERIC או BIGNUMERIC לטבלה ולא מציינים מצב עיגול, מצב העיגול מוגדר אוטומטית למצב העיגול שמוגדר כברירת מחדל בטבלה. שינוי מצב העיגול שמוגדר כברירת מחדל בטבלה לא משנה את מצב העיגול של השדות הקיימים.

עדכון הגדרת הסכימה של טבלה

מידע נוסף על עדכון הגדרת הסכימה של טבלה זמין במאמר בנושא שינוי סכימות של טבלאות.

שינוי שם של טבלה

אחרי שיוצרים טבלה, אפשר לשנות את השם שלה באמצעות ההצהרה ALTER TABLE RENAME TO. בדוגמה הבאה, השם של mytable משתנה ל-mynewtable:

ALTER TABLE mydataset.mytable
RENAME TO mynewtable;

ההצהרה ALTER TABLE RENAME TO יוצרת מחדש את הטבלה בקבוצת הנתונים של היעד עם חותמת הזמן של יצירת הטבלה המקורית. אם הגדרתם תפוגת תוקף של טבלה ברמת מערך הנתונים, יכול להיות שהטבלה ששיניתם את השם שלה תימחק מיד אם חותמת הזמן המקורית של היצירה שלה לא נמצאת בחלון התפוגה.

מגבלות על שינוי השם של טבלאות

• אם רוצים לשנות שם של טבלה שמוזרמים אליה נתונים, צריך לעצור את ההזרמה, לאשר את כל ההזרמות בהמתנה ולהמתין עד ש-BigQuery יציין שההזרמה לא בשימוש.
• בדרך כלל אפשר לשנות את השם של טבלה 5 שעות אחרי פעולת הסטרימינג האחרונה, אבל לפעמים זה לוקח יותר זמן. במקרים מסוימים, זמן ההמתנה יכול להיות עד 8 ימים.
• רשימות ה-ACL הקיימות של הטבלה וכללי מדיניות הגישה לשורות נשמרים, אבל עדכונים של רשימות ה-ACL של הטבלה ושל כללי מדיניות הגישה לשורות שבוצעו במהלך שינוי השם של הטבלה לא נשמרים.
• אי אפשר לשנות שם של טבלה ולהריץ פקודת DML על אותה טבלה בו-זמנית.
• שינוי השם של טבלה יגרום להסרה של כל ההיבטים של Knowledge Catalog בטבלה.
• כל אינדקס חיפוש או אינדקס וקטורי שנוצר בטבלה נמחק כשמשנים את שם הטבלה.
• אי אפשר לשנות את השם של טבלאות חיצוניות.

העתקת טבלה

בקטע הזה מוסבר איך ליצור עותק מלא של טבלה. למידע על סוגים אחרים של עותקי טבלאות, ראו שיבוטי טבלאות ותמונות מצב של טבלאות.

אפשר להעתיק טבלה בדרכים הבאות:

• משתמשים במסוף Google Cloud .
• משתמשים בפקודה bq cp.
• שימוש בהצהרה של שפת הגדרת נתונים (DDL) CREATE TABLE COPY.
• מבצעים קריאה לשיטת API‏ jobs.insert ומגדירים משימת copy.
• משתמשים בספריות הלקוח.

מגבלות על העתקת טבלאות

ההגבלות הבאות חלות על משימות של העתקת טבלאות:

• אי אפשר לעצור פעולת העתקה של טבלה אחרי שהיא מתחילה. פעולת העתקה של טבלה מתבצעת באופן אסינכרוני ולא מפסיקה גם כשמבטלים את העבודה. בנוסף, תחויבו על העברת נתונים של העתקת טבלה בין אזורים ועל אחסון באזור היעד.
• כשמעתיקים טבלה, השם של טבלת היעד צריך להיות בהתאם לאותם כללי מתן שמות כמו כשיוצרים טבלה.
• עותקי הטבלאות כפופים למגבלות של BigQuery על משימות העתקה.
• במסוף Google Cloud אפשר להעתיק רק טבלה אחת בכל פעם. אי אפשר להחליף טבלה קיימת במערך נתוני היעד. לכל טבלה צריך להיות שם ייחודי במערך הנתונים של היעד.
• אי אפשר להעתיק כמה טבלאות מקור לטבלת יעד באמצעות מסוף Google Cloud .

• כשמעתיקים כמה טבלאות מקור לטבלת יעד באמצעות ה-API, כלי שורת הפקודה של BigQuery או ספריות הלקוח, לכל טבלאות המקור צריכות להיות סכימות זהות, כולל חלוקה למחיצות או סידור באשכולות.

  עדכונים מסוימים בסכימה של הטבלה, כמו הסרה או שינוי שם של עמודות, יכולים לגרום לכך שלטבלאות יהיו סכימות זהות לכאורה אבל ייצוגים פנימיים שונים. זה עלול לגרום לכך שמשימת העתקת טבלה תיכשל עם השגיאה Maximum limit on diverging physical schemas reached. במקרה כזה, אפשר להשתמש בהצהרה CREATE TABLE LIKE כדי לוודא שהסכימה של טבלת המקור תואמת בדיוק לסכימה של טבלת היעד.

• הזמן שנדרש ל-BigQuery כדי להעתיק טבלאות עשוי להשתנות באופן משמעותי בין הרצות שונות, כי האחסון הבסיסי מנוהל באופן דינמי.

• אי אפשר להעתיק טבלת מקור ולהוסיף אותה לטבלת יעד שיש בה יותר עמודות מאשר בטבלת המקור, ולעמודות הנוספות יש ערכי ברירת מחדל. במקום זאת, אפשר להריץ את הפקודה INSERT destination_table SELECT * FROM source_table כדי להעתיק את הנתונים.

• אם פעולת ההעתקה מחליפה טבלה קיימת, הרשאות הגישה ברמת הטבלה של הטבלה הקיימת נשמרות. תגים מטבלת המקור לא מועתקים לטבלה שהוחלפה, אבל התגים בטבלה הקיימת נשמרים. עם זאת, כשמעתיקים טבלאות בין אזורים, התגים בטבלה הקיימת מוסרים.

• אם פעולת ההעתקה יוצרת טבלה חדשה, הגישה ברמת הטבלה לטבלה החדשה נקבעת לפי מדיניות הגישה של מערך הנתונים שבו נוצרה הטבלה החדשה. בנוסף, תגים מועתקים מטבלת המקור לטבלה החדשה.

• כשמעתיקים כמה טבלאות מקור לטבלת יעד, לכל טבלאות המקור צריכים להיות תגים זהים.

התפקידים הנדרשים

כדי לבצע את המשימות שמתוארות במאמר הזה, נדרשות ההרשאות הבאות.

תפקידים להעתקת טבלאות ומחיצות

כדי לקבל את ההרשאות שנדרשות להעתקת טבלאות ומחיצות, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד עריכת נתונים (roles/bigquery.dataEditor) במערכי הנתונים של המקור והיעד. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות להעתקת טבלאות ומחיצות. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי להעתיק טבלאות ומחיצות, נדרשות ההרשאות הבאות:

• ‫bigquery.tables.getData במערכי הנתונים של המקור והיעד
• ‫bigquery.tables.get בקבוצות הנתונים של המקור והיעד
• bigquery.tables.create במערך נתוני היעד
• bigquery.tables.update במערך נתוני היעד

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

הרשאה להפעלת משימת העתקה

כדי לקבל את ההרשאות שנדרשות להפעלת משימת העתקה, צריך לבקש מהאדמין להקצות לכם את התפקיד משתמש במשימות (roles/bigquery.jobUser) ב-IAM בקבוצות הנתונים של המקור והיעד. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התפקיד המוגדר מראש הזה כולל את ההרשאה bigquery.jobs.create, שנדרשת כדי להריץ משימת העתקה.

יכול להיות שתוכלו לקבל את ההרשאה הזו גם בתפקידים בהתאמה אישית או בתפקידים מוגדרים מראש.

העתקה של טבלת מקור אחת

אפשר להעתיק טבלה בדרכים הבאות:

• באמצעות מסוף Google Cloud .
• שימוש בפקודה bq cp של כלי שורת הפקודה bq.
• שימוש בהצהרה של שפת הגדרת נתונים (DDL) מסוג CREATE TABLE COPY.
• שליחת קריאה ל-method של ה-API‏ jobs.insert, הגדרת משימה ב-copy וציון המאפיין sourceTable.
• שימוש בספריות הלקוח.

מסוף Google Cloud וההצהרה CREATE TABLE COPY תומכים רק בטבלת מקור אחת ובטבלת יעד אחת במשימת העתקה. כדי להעתיק כמה קובצי מקור לטבלת יעד, צריך להשתמש בכלי שורת הפקודה של BigQuery או ב-API.

כדי להעתיק טבלת מקור אחת:

המסוף

1. בחלונית השמאלית, לוחצים על Explorer:

   

2. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Datasets ובוחרים קבוצת נתונים.

3. לוחצים על סקירה כללית > טבלאות ובוחרים טבלה.

4. בחלונית הפרטים, לוחצים על העתקה.

5. בתיבת הדו-שיח Copy table (העתקת טבלה), בקטע Destination (יעד):

   • בשדה Project, בוחרים את הפרויקט שבו תישמר הטבלה שהועתקה.
   • בשדה Dataset, בוחרים את מערך הנתונים שבו רוצים לאחסן את הטבלה שהועתקה. מערכי הנתונים של המקור והיעד צריכים להיות באותו מיקום.
   • בקטע טבלה, מזינים שם לטבלה החדשה. השם חייב להיות ייחודי במערך הנתונים של היעד. אי אפשר להחליף טבלה קיימת במערך הנתונים של היעד באמצעות מסוף Google Cloud . מידע נוסף על הדרישות לשמות של טבלאות זמין במאמר בנושא שמות של טבלאות.

6. לוחצים על העתקה כדי להתחיל את משימת ההעתקה.

SQL

משתמשים בהצהרה CREATE TABLE COPY כדי להעתיק טבלה בשם table1 לטבלה חדשה בשם table1copy:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בעורך השאילתות, מזינים את ההצהרה הבאה:

   CREATE TABLE myproject.mydataset.table1copy
   COPY myproject.mydataset.table1;

3. לוחצים על הפעלה.

מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.

BQ

1. במסוף Google Cloud , מפעילים את Cloud Shell.

   הפעלת Cloud Shell

   בחלק התחתון של מסוף Google Cloud יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

2. מריצים את הפקודה bq cp. אפשר להשתמש בדגלים אופציונליים כדי לשלוט בנטיית הכתיבה של טבלת היעד:

   • ‫-a או --append_table מוסיפים את הנתונים מהטבלה של המקור לטבלה קיימת במערך נתוני היעד.
   • ‫-f או --force מחליפים טבלה קיימת במערך הנתונים של היעד, בלי לבקש אישור.
   • אם הטבלה קיימת בקבוצת הנתונים של היעד, הפקודה -n או --no_clobber מחזירה את הודעת השגיאה הבאה: Table 'project_id:dataset.table' already exists, skipping. אם לא מציינים את -n, פעולת ברירת המחדל היא לבקש מכם לבחור אם להחליף את טבלת היעד.
   • ‫--destination_kms_key הוא מפתח Cloud KMS בניהול הלקוח שמשמש להצפנת טבלת היעד.

   האפשרות --destination_kms_key לא מוצגת כאן. מידע נוסף זמין במאמר הגנה על נתונים באמצעות מפתחות של Cloud Key Management Service.

   אם מערך הנתונים של המקור או היעד נמצא בפרויקט שאינו פרויקט ברירת המחדל, צריך להוסיף את מזהה הפרויקט לשמות של מערכי הנתונים בפורמט הבא: project_id:dataset.

   (אופציונלי) מציינים את הדגל --location ומגדירים את הערך למיקום שלכם.

   bq --location=location cp \
   -a -f -n \
   project_id:dataset.source_table \
   project_id:dataset.destination_table

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫location: שם המיקום. הדגל --location הוא אופציונלי. לדוגמה, אם אתם משתמשים ב-BigQuery באזור טוקיו, אתם יכולים להגדיר את הערך של הדגל ל-asia-northeast1. אפשר להגדיר ערך ברירת מחדל למיקום באמצעות הקובץ .bigqueryrc.
   • project_id: מזהה הפרויקט.
   • ‫dataset: השם של מערך הנתונים של המקור או היעד.
   • ‫source_table: הטבלה שמעתיקים.
   • ‫destination_table: שם הטבלה במערך הנתונים של היעד.

   דוגמאות:

   כדי להעתיק את הטבלה mydataset.mytable לטבלה mydataset2.mytable2, מזינים את הפקודה הבאה. שני מערכי הנתונים נמצאים בפרויקט ברירת המחדל שלכם.

   bq cp mydataset.mytable mydataset2.mytable2
   

   כדי להעתיק את הטבלה mydataset.mytable ולהחליף טבלת יעד עם אותו שם, מזינים את הפקודה הבאה. מערך הנתונים של המקור נמצא בפרויקט ברירת המחדל. מערך הנתונים של היעד נמצא בפרויקט myotherproject. קיצור הדרך -f משמש להחלפת טבלת היעד בלי בקשה.

   bq cp -f \
   mydataset.mytable \
   myotherproject:myotherdataset.mytable

   כדי להעתיק את הטבלה mydataset.mytable ולהחזיר שגיאה אם קבוצת היעד מכילה טבלה עם אותו שם, מזינים את הפקודה הבאה. מערך הנתונים של המקור נמצא בפרויקט ברירת המחדל. מערך נתוני היעד נמצא בפרויקט myotherproject. מקש הקיצור -n משמש כדי למנוע החלפה של טבלה עם אותו שם.

   bq cp -n \
   mydataset.mytable \
   myotherproject:myotherdataset.mytable

   כדי להעתיק את הטבלה mydataset.mytable ולהוסיף את הנתונים לטבלת יעד עם אותו שם, מזינים את הפקודה הבאה. מערך הנתונים של המקור נמצא בפרויקט שמוגדר כברירת מחדל. מערך הנתונים של היעד נמצא בפרויקט myotherproject. מקש הקיצור - a משמש להוספה לטבלת היעד.

   bq cp -a mydataset.mytable myotherproject:myotherdataset.mytable
   

API

אפשר להעתיק טבלה קיימת דרך ה-API באמצעות קריאה לשיטה bigquery.jobs.insert והגדרת עבודת copy. מציינים את המיקום במאפיין location בקטע jobReference של משאב המשימה.

צריך לציין את הערכים הבאים בהגדרות האישיות של המשימה:

"copy": {
      "sourceTable": {       // Required
        "projectId": string, // Required
        "datasetId": string, // Required
        "tableId": string    // Required
      },
      "destinationTable": {  // Required
        "projectId": string, // Required
        "datasetId": string, // Required
        "tableId": string    // Required
      },
      "createDisposition": string,  // Optional
      "writeDisposition": string,   // Optional
    },

כאשר sourceTable מספק מידע על הטבלה שצריך להעתיק, destinationTable מספק מידע על הטבלה החדשה, createDisposition מציין אם ליצור את הטבלה אם היא לא קיימת, ו-writeDisposition מציין אם להחליף טבלה קיימת או להוסיף לה.

C#‎

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של C# במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery C# API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

using Google.Apis.Bigquery.v2.Data;
using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryCopyTable
{
    public void CopyTable(
        string projectId = "your-project-id",
        string destinationDatasetId = "your_dataset_id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        TableReference sourceTableRef = new TableReference()
        {
            TableId = "shakespeare",
            DatasetId = "samples",
            ProjectId = "bigquery-public-data"
        };
        TableReference destinationTableRef = client.GetTableReference(
            destinationDatasetId, "destination_table");
        BigQueryJob job = client.CreateCopyJob(
            sourceTableRef, destinationTableRef)
            .PollUntilCompleted() // Wait for the job to complete.
            .ThrowOnAnyError();

        // Retrieve destination table
        BigQueryTable destinationTable = client.GetTable(destinationTableRef);
        Console.WriteLine(
            $"Copied {destinationTable.Resource.NumRows} rows from table "
            + $"{sourceTableRef.DatasetId}.{sourceTableRef.TableId} "
            + $"to {destinationTable.FullyQualifiedId}."
        );
    }
}

המשך

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Goהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Go API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// copyTable demonstrates copying a table from a source to a destination, and
// allowing the copy to overwrite existing data by using truncation.
func copyTable(projectID, datasetID, srcID, dstID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// srcID := "sourcetable"
	// dstID := "destinationtable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	dataset := client.Dataset(datasetID)
	copier := dataset.Table(dstID).CopierFrom(dataset.Table(srcID))
	copier.WriteDisposition = bigquery.WriteTruncate
	job, err := copier.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}
	if err := status.Err(); err != nil {
		return err
	}
	return nil
}

Java

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Java API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.CopyJobConfiguration;
import com.google.cloud.bigquery.Job;
import com.google.cloud.bigquery.JobInfo;
import com.google.cloud.bigquery.TableId;

public class CopyTable {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String destinationDatasetName = "MY_DESTINATION_DATASET_NAME";
    String destinationTableId = "MY_DESTINATION_TABLE_NAME";
    String sourceDatasetName = "MY_SOURCE_DATASET_NAME";
    String sourceTableId = "MY_SOURCE_TABLE_NAME";

    copyTable(sourceDatasetName, sourceTableId, destinationDatasetName, destinationTableId);
  }

  public static void copyTable(
      String sourceDatasetName,
      String sourceTableId,
      String destinationDatasetName,
      String destinationTableId) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      TableId sourceTable = TableId.of(sourceDatasetName, sourceTableId);
      TableId destinationTable = TableId.of(destinationDatasetName, destinationTableId);

      // For more information on CopyJobConfiguration see:
      // https://googleapis.dev/java/google-cloud-clients/latest/com/google/cloud/bigquery/JobConfiguration.html
      CopyJobConfiguration configuration =
          CopyJobConfiguration.newBuilder(destinationTable, sourceTable).build();

      // For more information on Job see:
      // https://googleapis.dev/java/google-cloud-clients/latest/index.html?com/google/cloud/bigquery/package-summary.html
      Job job = bigquery.create(JobInfo.of(configuration));

      // Blocks until this job completes its execution, either failing or succeeding.
      Job completedJob = job.waitFor();
      if (completedJob == null) {
        System.out.println("Job not executed since it no longer exists.");
        return;
      } else if (completedJob.getStatus().getError() != null) {
        System.out.println(
            "BigQuery was unable to copy table due to an error: \n" + job.getStatus().getError());
        return;
      }
      System.out.println("Table copied successfully.");
    } catch (BigQueryException | InterruptedException e) {
      System.out.println("Table copying job was interrupted. \n" + e.toString());
    }
  }
}

Node.js

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Node.js במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Node.js API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

// Import the Google Cloud client library and create a client
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function copyTable() {
  // Copies src_dataset:src_table to dest_dataset:dest_table.

  /**
   * TODO(developer): Uncomment the following lines before running the sample
   */
  // const srcDatasetId = "my_src_dataset";
  // const srcTableId = "my_src_table";
  // const destDatasetId = "my_dest_dataset";
  // const destTableId = "my_dest_table";

  // Copy the table contents into another table
  const [job] = await bigquery
    .dataset(srcDatasetId)
    .table(srcTableId)
    .copy(bigquery.dataset(destDatasetId).table(destTableId));

  console.log(`Job ${job.id} completed.`);

  // Check the job's status for errors
  const errors = job.status.errors;
  if (errors && errors.length > 0) {
    throw errors;
  }
}

PHP

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של PHP במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery PHP API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

use Google\Cloud\BigQuery\BigQueryClient;
use Google\Cloud\Core\ExponentialBackoff;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $datasetId = 'The BigQuery dataset ID';
// $sourceTableId   = 'The BigQuery table ID to copy from';
// $destinationTableId = 'The BigQuery table ID to copy to';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->dataset($datasetId);
$sourceTable = $dataset->table($sourceTableId);
$destinationTable = $dataset->table($destinationTableId);
$copyConfig = $sourceTable->copy($destinationTable);
$job = $sourceTable->runJob($copyConfig);

// poll the job until it is complete
$backoff = new ExponentialBackoff(10);
$backoff->execute(function () use ($job) {
    print('Waiting for job to complete' . PHP_EOL);
    $job->reload();
    if (!$job->isComplete()) {
        throw new Exception('Job has not yet completed', 500);
    }
});
// check if the job has errors
if (isset($job->info()['status']['errorResult'])) {
    $error = $job->info()['status']['errorResult']['message'];
    printf('Error running job: %s' . PHP_EOL, $error);
} else {
    print('Table copied successfully' . PHP_EOL);
}

Python

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Python API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set source_table_id to the ID of the original table.
# source_table_id = "your-project.source_dataset.source_table"

# TODO(developer): Set destination_table_id to the ID of the destination table.
# destination_table_id = "your-project.destination_dataset.destination_table"

job = client.copy_table(source_table_id, destination_table_id)
job.result()  # Wait for the job to complete.

print("A copy of the table created.")

העתקה של כמה טבלאות מקור

אפשר להעתיק כמה טבלאות מקור לטבלת יעד בדרכים הבאות:

• שימוש בפקודה bq cp של כלי שורת הפקודה bq.
• קריאה לשיטה jobs.insert, הגדרת משימת copy וציון הנכס sourceTables.
• שימוש בספריות הלקוח.

לכל טבלאות המקור צריכים להיות סכימות ותגים זהים, ואפשר להשתמש רק בטבלת יעד אחת.

צריך לציין את טבלאות המקור כרשימה מופרדת בפסיקים. אי אפשר להשתמש בתווים כלליים לחיפוש כשמעתיקים כמה טבלאות מקור.

כדי להעתיק כמה טבלאות מקור, בוחרים אחת מהאפשרויות הבאות:

BQ

1. מפעילים את Cloud Shell במסוף Google Cloud .

   הפעלת Cloud Shell

   בחלק התחתון של מסוף Google Cloud יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

2. מריצים את הפקודה bq cp וכוללים כמה טבלאות מקור בתור רשימה שמופרדת בפסיקים. אפשר להשתמש בדגלים אופציונליים כדי לשלוט בהגדרת הכתיבה של טבלת היעד:

   • ‫-a או --append_table מוסיפים את הנתונים מטבלאות המקור לטבלה קיימת במערך הנתונים של היעד.
   • ‫-f או --force מחליפים טבלת יעד קיימת במערך הנתונים של היעד, בלי לבקש אישור.
   • הפקודות -n או --no_clobber מחזירות את הודעת השגיאה הבאה אם הטבלה קיימת במערך הנתונים של היעד: Table 'project_id:dataset.table' already exists, skipping. אם לא מציינים את -n, התנהגות ברירת המחדל היא הצגת הנחיה לבחירה אם להחליף את טבלת היעד.
   • ‫--destination_kms_key הוא המפתח של Cloud Key Management Service בניהול הלקוח, שמשמש להצפנת טבלת היעד.

   --destination_kms_key לא מוסבר כאן. מידע נוסף זמין במאמר הגנה על נתונים באמצעות מפתחות של Cloud Key Management Service.

   אם מערך הנתונים של המקור או היעד נמצא בפרויקט שאינו פרויקט ברירת המחדל, צריך להוסיף את מזהה הפרויקט לשמות של מערכי הנתונים בפורמט הבא: project_id:dataset.

   (אופציונלי) מציינים את הדגל --location ומגדירים את הערך למיקום.

   bq --location=location cp \
   -a -f -n \
   project_id:dataset.source_table,project_id:dataset.source_table \
   project_id:dataset.destination_table

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫location: שם המיקום. הדגל --location הוא אופציונלי. לדוגמה, אם אתם משתמשים ב-BigQuery באזור טוקיו, אתם יכולים להגדיר את הערך של הדגל ל-asia-northeast1. אפשר להגדיר ערך ברירת מחדל למיקום באמצעות הקובץ .bigqueryrc.
   • project_id: מזהה הפרויקט.
   • ‫dataset: השם של מערך הנתונים של המקור או היעד.
   • ‫source_table: הטבלה שמעתיקים.
   • ‫destination_table: שם הטבלה במערך הנתונים של היעד.

   דוגמאות:

   כדי להעתיק את הטבלה mydataset.mytable ואת הטבלה mydataset.mytable2 לטבלה mydataset2.tablecopy, מזינים את הפקודה הבאה . כל מערכי הנתונים נמצאים בפרויקט שמוגדר כברירת מחדל.

   bq cp \
   mydataset.mytable,mydataset.mytable2 \
   mydataset2.tablecopy

   כדי להעתיק את הטבלה mydataset.mytable ואת הטבלה mydataset.mytable2 לטבלה myotherdataset.mytable ולדרוס טבלת יעד עם אותו שם, מזינים את הפקודה הבאה. מערך הנתונים של היעד נמצא בפרויקט myotherproject ולא בפרויקט ברירת המחדל שלכם. מקש הקיצור -f משמש להחלפת טבלת היעד בלי להציג הנחיה.

   bq cp -f \
   mydataset.mytable,mydataset.mytable2 \
   myotherproject:myotherdataset.mytable

   כדי להעתיק את הטבלה myproject:mydataset.mytable ואת הטבלה myproject:mydataset.mytable2, ולהחזיר שגיאה אם קבוצת הנתונים של היעד מכילה טבלה עם אותו שם, מזינים את הפקודה הבאה. מערך הנתונים של היעד נמצא בפרויקט myotherproject. קיצור הדרך -n משמש למניעת החלפה של טבלה עם אותו שם.

   bq cp -n \
   myproject:mydataset.mytable,myproject:mydataset.mytable2 \
   myotherproject:myotherdataset.mytable

   כדי להעתיק את הטבלה mydataset.mytable ואת הטבלה mydataset.mytable2 ולהוסיף את הנתונים לטבלת יעד עם אותו שם, מזינים את הפקודה הבאה. מערך הנתונים של המקור נמצא בפרויקט ברירת המחדל. מערך הנתונים של היעד נמצא בפרויקט myotherproject. קיצור הדרך -a משמש להוספה לטבלת היעד.

   bq cp -a \
   mydataset.mytable,mydataset.mytable2 \
   myotherproject:myotherdataset.mytable

API

כדי להעתיק כמה טבלאות באמצעות ה-API, מפעילים את ה-method‏ jobs.insert, מגדירים משימת copy של טבלה ומציינים את המאפיין sourceTables.

מציינים את האזור במאפיין location בקטע jobReference של משאב המשרה.

המשך

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Go במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Go API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// copyMultiTable demonstrates using a copy job to copy multiple source tables into a single destination table.
func copyMultiTable(projectID, srcDatasetID string, srcTableIDs []string, dstDatasetID, dstTableID string) error {
	// projectID := "my-project-id"
	// srcDatasetID := "sourcedataset"
	// srcTableIDs := []string{"table1","table2"}
	// dstDatasetID = "destinationdataset"
	// dstTableID = "destinationtable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	srcDataset := client.Dataset(srcDatasetID)
	dstDataset := client.Dataset(dstDatasetID)
	var tableRefs []*bigquery.Table
	for _, v := range srcTableIDs {
		tableRefs = append(tableRefs, srcDataset.Table(v))
	}
	copier := dstDataset.Table(dstTableID).CopierFrom(tableRefs...)
	copier.WriteDisposition = bigquery.WriteTruncate
	job, err := copier.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}
	if err := status.Err(); err != nil {
		return err
	}
	return nil
}

Java

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Java API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.CopyJobConfiguration;
import com.google.cloud.bigquery.Job;
import com.google.cloud.bigquery.JobInfo;
import com.google.cloud.bigquery.TableId;
import java.util.Arrays;

public class CopyMultipleTables {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String destinationDatasetName = "MY_DATASET_NAME";
    String destinationTableId = "MY_TABLE_NAME";
    String sourceTable1Id = "MY_SOURCE_TABLE_1";
    String sourceTable2Id = "MY_SOURCE_TABLE_2";
    copyMultipleTables(destinationDatasetName, destinationTableId, sourceTable1Id, sourceTable2Id);
  }

  public static void copyMultipleTables(
      String destinationDatasetName,
      String destinationTableId,
      String sourceTable1Id,
      String sourceTable2Id) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      TableId destinationTable = TableId.of(destinationDatasetName, destinationTableId);
      TableId sourceTable1 = TableId.of(destinationDatasetName, sourceTable1Id);
      TableId sourceTable2 = TableId.of(destinationDatasetName, sourceTable2Id);

      // For more information on CopyJobConfiguration see:
      // https://googleapis.dev/java/google-cloud-clients/latest/com/google/cloud/bigquery/JobConfiguration.html
      CopyJobConfiguration configuration =
          CopyJobConfiguration.newBuilder(
                  destinationTable, Arrays.asList(sourceTable1, sourceTable2))
              .build();

      // For more information on Job see:
      // https://googleapis.dev/java/google-cloud-clients/latest/index.html?com/google/cloud/bigquery/package-summary.html
      Job job = bigquery.create(JobInfo.of(configuration));

      // Blocks until this job completes its execution, either failing or succeeding.
      Job completedJob = job.waitFor();
      if (completedJob == null) {
        System.out.println("Job not executed since it no longer exists.");
        return;
      } else if (completedJob.getStatus().getError() != null) {
        System.out.println(
            "BigQuery was unable to copy tables due to an error: \n" + job.getStatus().getError());
        return;
      }
      System.out.println("Table copied successfully.");
    } catch (BigQueryException | InterruptedException e) {
      System.out.println("Table copying job was interrupted. \n" + e.toString());
    }
  }
}

Node.js

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Node.jsהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Node.js API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function copyTableMultipleSource() {
  // Copy multiple source tables to a given destination.

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = "my_dataset";
  // sourceTable = 'my_table';
  // destinationTable = 'testing';

  // Create a client
  const dataset = bigquery.dataset(datasetId);

  const metadata = {
    createDisposition: 'CREATE_NEVER',
    writeDisposition: 'WRITE_TRUNCATE',
  };

  // Create table references
  const table = dataset.table(sourceTable);
  const yourTable = dataset.table(destinationTable);

  // Copy table
  const [apiResponse] = await table.copy(yourTable, metadata);
  console.log(apiResponse.configuration.copy);
}

Python

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Pythonהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Python API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set dest_table_id to the ID of the destination table.
# dest_table_id = "your-project.your_dataset.your_table_name"

# TODO(developer): Set table_ids to the list of the IDs of the original tables.
# table_ids = ["your-project.your_dataset.your_table_name", ...]

job = client.copy_table(table_ids, dest_table_id)  # Make an API request.
job.result()  # Wait for the job to complete.

print("The tables {} have been appended to {}".format(table_ids, dest_table_id))

העתקת טבלאות בין אזורים

אתם יכולים להעתיק טבלה, תמונת מצב של טבלה או שכפול של טבלה מאזור אחד או ממספר אזורים ב-BigQuery לאזור אחר. זה כולל טבלאות שמופעל בהן Cloud KMS בניהול הלקוח (CMEK).

העתקת טבלה בין אזורים כרוכה בחיובים נוספים על העברת נתונים, בהתאם לתמחור של BigQuery. חיובים נוספים יחולו גם אם תבטלו את העתקת הטבלה בין האזורים לפני שהיא תושלם.

כדי להעתיק טבלה בין אזורים, בוחרים באחת מהאפשרויות הבאות:

BQ

1. במסוף Google Cloud , מפעילים את Cloud Shell.

   הפעלת Cloud Shell

   בחלק התחתון של מסוף Google Cloud יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

2. מריצים את הפקודה bq cp:

   bq cp \
   -f -n \
   SOURCE_PROJECT:SOURCE_DATASET.SOURCE_TABLE \
   DESTINATION_PROJECT:DESTINATION_DATASET.DESTINATION_TABLE
   

מחליפים את מה שכתוב בשדות הבאים:

• ‫SOURCE_PROJECT: מזהה הפרויקט של המקור. אם מערך הנתונים של המקור נמצא בפרויקט שאינו פרויקט ברירת המחדל, צריך להוסיף את מזהה הפרויקט לשם של מערך הנתונים של המקור.

• ‫DESTINATION_PROJECT: מזהה פרויקט היעד. אם מערך נתוני היעד נמצא בפרויקט שאינו פרויקט ברירת המחדל, צריך להוסיף את מזהה הפרויקט לשם של מערך נתוני היעד.

• ‫SOURCE_DATASET: השם של מערך הנתונים המקורי.

• ‫DESTINATION_DATASET: השם של מערך הנתונים של היעד.

• ‫SOURCE_TABLE: הטבלה שרוצים להעתיק.

• ‫DESTINATION_TABLE: שם הטבלה במערך הנתונים של היעד.

הפקודה הבאה היא דוגמה להעתקת הטבלה mydataset_us.mytable ממיקום במספר אזורים us לטבלה mydataset_eu.mytable2 במיקום במספר אזורים eu. שני מערכי הנתונים נמצאים בפרויקט ברירת המחדל.

bq cp --sync=false mydataset_us.mytable mydataset_eu.mytable2

כדי להעתיק טבלה בין אזורים למערך נתונים של יעד שמופעל בו CMEK, צריך להפעיל CMEK בטבלה באמצעות מפתח מהאזור של הטבלה. מפתח ה-CMEK בטבלה לא חייב להיות אותו מפתח CMEK שמשמש את מערך הנתונים של היעד. בדוגמה הבאה מועתקת טבלה עם CMEK למערך נתונים של יעד באמצעות הפקודה bq cp.

bq cp source-project-id:source-dataset-id.source-table-id destination-project-id:destination-dataset-id.destination-table-id

לעומת זאת, כדי להעתיק טבלה עם CMEK בין אזורים למערך נתונים של יעד, אתם יכולים להפעיל CMEK במערך נתוני היעד באמצעות מפתח מאזור מערך נתוני היעד. אפשר גם להשתמש בדגל destination_kms_keys בפקודה bq cp, כמו בדוגמה הבאה:

bq cp --destination_kms_key=projects/project_id/locations/eu/keyRings/eu_key/cryptoKeys/eu_region mydataset_us.mytable mydataset_eu.mytable2

API

כדי להעתיק טבלה בין אזורים באמצעות ה-API, מפעילים את method‏ jobs.insert ומגדירים עבודת copy של טבלה.

מציינים את האזור במאפיין location בקטע jobReference של משאב המשימה.

C#‎

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של C# במדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery C# API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

using Google.Apis.Bigquery.v2.Data;
using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryCopyTable
{
    public void CopyTable(
        string projectId = "your-project-id",
        string destinationDatasetId = "your_dataset_id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        TableReference sourceTableRef = new TableReference()
        {
            TableId = "shakespeare",
            DatasetId = "samples",
            ProjectId = "bigquery-public-data"
        };
        TableReference destinationTableRef = client.GetTableReference(
            destinationDatasetId, "destination_table");
        BigQueryJob job = client.CreateCopyJob(
            sourceTableRef, destinationTableRef)
            .PollUntilCompleted() // Wait for the job to complete.
            .ThrowOnAnyError();

        // Retrieve destination table
        BigQueryTable destinationTable = client.GetTable(destinationTableRef);
        Console.WriteLine(
            $"Copied {destinationTable.Resource.NumRows} rows from table "
            + $"{sourceTableRef.DatasetId}.{sourceTableRef.TableId} "
            + $"to {destinationTable.FullyQualifiedId}."
        );
    }
}

המשך

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Goהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Go API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// copyTable demonstrates copying a table from a source to a destination, and
// allowing the copy to overwrite existing data by using truncation.
func copyTable(projectID, datasetID, srcID, dstID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// srcID := "sourcetable"
	// dstID := "destinationtable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	dataset := client.Dataset(datasetID)
	copier := dataset.Table(dstID).CopierFrom(dataset.Table(srcID))
	copier.WriteDisposition = bigquery.WriteTruncate
	job, err := copier.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}
	if err := status.Err(); err != nil {
		return err
	}
	return nil
}

Java

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Java API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.CopyJobConfiguration;
import com.google.cloud.bigquery.Job;
import com.google.cloud.bigquery.JobInfo;
import com.google.cloud.bigquery.TableId;

public class CopyTable {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String destinationDatasetName = "MY_DESTINATION_DATASET_NAME";
    String destinationTableId = "MY_DESTINATION_TABLE_NAME";
    String sourceDatasetName = "MY_SOURCE_DATASET_NAME";
    String sourceTableId = "MY_SOURCE_TABLE_NAME";

    copyTable(sourceDatasetName, sourceTableId, destinationDatasetName, destinationTableId);
  }

  public static void copyTable(
      String sourceDatasetName,
      String sourceTableId,
      String destinationDatasetName,
      String destinationTableId) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();

      TableId sourceTable = TableId.of(sourceDatasetName, sourceTableId);
      TableId destinationTable = TableId.of(destinationDatasetName, destinationTableId);

      // For more information on CopyJobConfiguration see:
      // https://googleapis.dev/java/google-cloud-clients/latest/com/google/cloud/bigquery/JobConfiguration.html
      CopyJobConfiguration configuration =
          CopyJobConfiguration.newBuilder(destinationTable, sourceTable).build();

      // For more information on Job see:
      // https://googleapis.dev/java/google-cloud-clients/latest/index.html?com/google/cloud/bigquery/package-summary.html
      Job job = bigquery.create(JobInfo.of(configuration));

      // Blocks until this job completes its execution, either failing or succeeding.
      Job completedJob = job.waitFor();
      if (completedJob == null) {
        System.out.println("Job not executed since it no longer exists.");
        return;
      } else if (completedJob.getStatus().getError() != null) {
        System.out.println(
            "BigQuery was unable to copy table due to an error: \n" + job.getStatus().getError());
        return;
      }
      System.out.println("Table copied successfully.");
    } catch (BigQueryException | InterruptedException e) {
      System.out.println("Table copying job was interrupted. \n" + e.toString());
    }
  }
}

Node.js

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Node.js במדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Node.js API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

// Import the Google Cloud client library and create a client
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function copyTable() {
  // Copies src_dataset:src_table to dest_dataset:dest_table.

  /**
   * TODO(developer): Uncomment the following lines before running the sample
   */
  // const srcDatasetId = "my_src_dataset";
  // const srcTableId = "my_src_table";
  // const destDatasetId = "my_dest_dataset";
  // const destTableId = "my_dest_table";

  // Copy the table contents into another table
  const [job] = await bigquery
    .dataset(srcDatasetId)
    .table(srcTableId)
    .copy(bigquery.dataset(destDatasetId).table(destTableId));

  console.log(`Job ${job.id} completed.`);

  // Check the job's status for errors
  const errors = job.status.errors;
  if (errors && errors.length > 0) {
    throw errors;
  }
}

PHP

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של PHP במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery PHP API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

use Google\Cloud\BigQuery\BigQueryClient;
use Google\Cloud\Core\ExponentialBackoff;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $datasetId = 'The BigQuery dataset ID';
// $sourceTableId   = 'The BigQuery table ID to copy from';
// $destinationTableId = 'The BigQuery table ID to copy to';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->dataset($datasetId);
$sourceTable = $dataset->table($sourceTableId);
$destinationTable = $dataset->table($destinationTableId);
$copyConfig = $sourceTable->copy($destinationTable);
$job = $sourceTable->runJob($copyConfig);

// poll the job until it is complete
$backoff = new ExponentialBackoff(10);
$backoff->execute(function () use ($job) {
    print('Waiting for job to complete' . PHP_EOL);
    $job->reload();
    if (!$job->isComplete()) {
        throw new Exception('Job has not yet completed', 500);
    }
});
// check if the job has errors
if (isset($job->info()['status']['errorResult'])) {
    $error = $job->info()['status']['errorResult']['message'];
    printf('Error running job: %s' . PHP_EOL, $error);
} else {
    print('Table copied successfully' . PHP_EOL);
}

Python

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Python API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set source_table_id to the ID of the original table.
# source_table_id = "your-project.source_dataset.source_table"

# TODO(developer): Set destination_table_id to the ID of the destination table.
# destination_table_id = "your-project.destination_dataset.destination_table"

job = client.copy_table(source_table_id, destination_table_id)
job.result()  # Wait for the job to complete.

print("A copy of the table created.")

מגבלות

העתקת טבלה בין אזורים כפופה למגבלות הבאות:

• אי אפשר להעתיק טבלה באמצעות מסוף Google Cloud או הצהרת TABLE COPY DDL.
• אי אפשר להעתיק טבלה אם יש תגי מדיניות בטבלת המקור.
• אי אפשר להעתיק מדיניות IAM שמשויכת לטבלאות. אחרי שההעתקה תסתיים, תוכלו להחיל את אותם כללי מדיניות על היעד.
• אי אפשר להעתיק טבלה אם יש בה תגי טבלה.
• אם פעולת ההעתקה מחליפה טבלה קיימת, התגים בטבלה הקיימת מוסרים.
• אי אפשר להעתיק כמה טבלאות מקור לטבלת יעד אחת.
• אי אפשר להעתיק טבלאות במצב הוספה. אם משתמשים במצב write_empty, טבלת היעד לא יכולה להיות קיימת.
• מידע על Time travel לא מועתק לאזור היעד.
• כשמעתיקים שכפול או קובץ snapshot של טבלה לאזור חדש, נוצר עותק מלא של הטבלה. הפעולה הזו כרוכה בעלויות אחסון נוספות.
• רוחב הפס של הרפליקציה הוא 2 פיזיים GiBps לכל אזור לכל פרויקט.
• זמן התפוגה מטבלת המקור מועתק לטבלת היעד.

צפייה בשימוש הנוכחי במכסה

כדי לראות את השימוש הנוכחי במשימות של שאילתות, טעינה, חילוץ או העתקה, אפשר להריץ שאילתת INFORMATION_SCHEMA כדי לראות מטא-נתונים על המשימות שהופעלו בתקופה מסוימת. אתם יכולים להשוות את השימוש הנוכחי שלכם למגבלת המכסה כדי לדעת מהו השימוש במכסה עבור סוג מסוים של עבודה. בשאילתה לדוגמה הבאה, משתמשים בתצוגה INFORMATION_SCHEMA.JOBS כדי להציג את מספר המשימות של שאילתות, טעינות, חילוצים והעתקות לפי פרויקט:

SELECT
  sum(case  when job_type="QUERY" then 1 else 0 end) as QRY_CNT,
  sum(case  when job_type="LOAD" then 1 else 0 end) as LOAD_CNT,
  sum(case  when job_type="EXTRACT" then 1 else 0 end) as EXT_CNT,
  sum(case  when job_type="COPY" then 1 else 0 end) as CPY_CNT
FROM `region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE date(creation_time)= CURRENT_DATE()

הערה: בתצוגה INFORMATION_SCHEMA לא מוצגות משימות העתקה בין אזורים.

שגיאות במכסה של המספר המקסימלי של משימות העתקה ליום בכל פרויקט

השגיאה הזו מופיעה ב-BigQuery כשמספר משימות ההעתקה שפועלות בפרויקט חורג מהמגבלה היומית. מידע נוסף על המגבלה של עבודות העתקה ביום זמין במאמר עבודות העתקה.

הודעת שגיאה

Your project exceeded quota for copies per project

אבחון

כדי לאסוף נתונים נוספים על המקור של עבודות ההעתקה, אפשר לנסות את הפעולות הבאות:

• אם עבודות ההעתקה שלכם ממוקמות באזור אחד או רק בכמה אזורים, אתם יכולים לנסות לשלוח שאילתה לטבלה INFORMATION_SCHEMA.JOBS לאזורים ספציפיים. לדוגמה:

  SELECT
  creation_time, job_id, user_email, destination_table.project_id, destination_table.dataset_id, destination_table.table_id
  FROM `PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.JOBS
  WHERE
  creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 2 DAY) AND CURRENT_TIMESTAMP()
  AND job_type = "COPY"
  order by creation_time DESC

  אפשר גם לשנות את מרווח הזמן בהתאם לטווח הזמן שמעניין אתכם.

• כדי לראות את כל עבודות ההעתקה בכל האזורים, אפשר להשתמש במסנן הבא ב-Cloud Logging:

  resource.type="bigquery_resource"
  protoPayload.methodName="jobservice.insert"
  protoPayload.serviceData.jobInsertRequest.resource.jobConfiguration.tableCopy:*
  

רזולוציה

• אם המטרה של פעולות ההעתקה התכופות היא ליצור תמונת מצב של הנתונים, מומלץ להשתמש במקום זאת בתמונות מצב של טבלאות. תמונות מצב של טבלאות הן חלופה זולה ומהירה יותר להעתקת טבלאות מלאות.
• כדי לבקש להגדיל את המכסה, אתם יכולים לפנות לתמיכה או למכירות. יכול להיות שיחלפו כמה ימים עד שנבדוק את הבקשה ונטפל בה. מומלץ לציין בבקשה את העדיפות, את תרחיש השימוש ואת מזהה הפרויקט.

מחיקת טבלאות

אפשר למחוק טבלה בדרכים הבאות:

• באמצעות מסוף Google Cloud .
• באמצעות הצהרה של שפת הגדרת נתונים (DDL) DROP TABLE.
• שימוש בפקודה bq rm של כלי שורת הפקודה של BigQuery.
• קריאה ל-method של ה-API ‏tables.delete.
• שימוש בספריות הלקוח.

כדי למחוק את כל הטבלאות במערך הנתונים, צריך למחוק את מערך הנתונים.

כשמוחקים טבלה, כל הנתונים שבה נמחקים גם כן. כדי למחוק טבלאות באופן אוטומטי אחרי פרק זמן מסוים, מגדירים את תאריך התפוגה שמוגדר כברירת מחדל לטבלה במערך הנתונים, או מגדירים את תאריך התפוגה כשיוצרים את הטבלה.

כשמוחקים טבלה, נמחקות גם ההרשאות שמשויכות לטבלה הזו. כשיוצרים מחדש טבלה שנמחקה, צריך גם להגדיר מחדש באופן ידני את כל הרשאות הגישה ששויכו אליה בעבר.

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות למחיקת טבלה, צריך לבקש מהאדמין להקצות לכם ב-IAM את התפקיד עורך נתונים (roles/bigquery.dataEditor) במערך הנתונים. כדי לקרוא הסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

זהו תפקיד שמוגדר מראש וכולל את ההרשאות שנדרשות למחיקת טבלה. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:

ההרשאות הנדרשות

כדי למחוק טבלה, צריך את ההרשאות הבאות:

• bigquery.tables.delete
• bigquery.tables.get

יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

מחיקת טבלה

כדי למחוק טבלה:

המסוף

1. בחלונית השמאלית, לוחצים על Explorer:

   

2. בחלונית Explorer, מרחיבים את הפרויקט, לוחצים על Datasets ובוחרים קבוצת נתונים.

3. לוחצים על סקירה כללית > טבלאות ובוחרים טבלה.

4. בחלונית הפרטים, לוחצים על מחיקה.

5. מקלידים "delete" בתיבת הדו-שיח ולוחצים על Delete כדי לאשר.

SQL

משתמשים בהצהרה DROP TABLE. בדוגמה הבאה נמחקת טבלה בשם mytable:

1. נכנסים לדף BigQuery במסוף Google Cloud .

   כניסה ל-BigQuery

2. בעורך השאילתות, מזינים את ההצהרה הבאה:

   DROP TABLE mydataset.mytable;

3. לוחצים על הפעלה.

מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.

BQ

1. מפעילים את Cloud Shell במסוף Google Cloud .

   הפעלת Cloud Shell

   בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

2. כדי למחוק טבלה, משתמשים בפקודה bq rm עם הדגל --table (או קיצור הדרך -t). כשמשתמשים בכלי שורת הפקודה של BigQuery כדי להסיר טבלה, צריך לאשר את הפעולה. אפשר להשתמש בדגל --force (או בקיצור הדרך -f) כדי לדלג על האישור.

   אם הטבלה נמצאת במערך נתונים בפרויקט שאינו פרויקט ברירת המחדל, הוסיפו את מזהה הפרויקט לשם של מערך הנתונים בפורמט הבא: project_id:dataset.

   bq rm \
   -f \
   -t \
   project_id:dataset.table

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫project_id: מזהה הפרויקט
   • ‫dataset: השם של מערך הנתונים שמכיל את הטבלה
   • ‫table: שם הטבלה שרוצים למחוק

   דוגמאות:

   כדי למחוק את הטבלה mytable ממערך הנתונים mydataset, מזינים את הפקודה הבאה. מערך הנתונים mydataset נמצא בפרויקט ברירת המחדל שלכם.

   bq rm -t mydataset.mytable
   

   כדי למחוק את הטבלה mytable מקבוצת הנתונים mydataset, מזינים את הפקודה הבאה. מערך הנתונים mydataset נמצא בפרויקט myotherproject, ולא בפרויקט ברירת המחדל.

   bq rm -t myotherproject:mydataset.mytable
   

   כדי למחוק את הטבלה mytable ממערך הנתונים mydataset, מזינים את הפקודה הבאה. מערך הנתונים mydataset נמצא בפרויקט ברירת המחדל שלכם. הפקודה משתמשת בקיצור הדרך -f כדי לדלג על האישור.

   bq rm -f -t mydataset.mytable
   

   הערה: כדי לוודא שהטבלה הוסרה מקבוצת הנתונים, אפשר להזין את הפקודה bq ls dataset בכלי שורת הפקודה של BigQuery.

API

קוראים ל-method של API‏ tables.delete ומציינים את הטבלה למחיקה באמצעות הפרמטר tableId.

C#‎

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של C# במדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery C# API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

using Google.Cloud.BigQuery.V2;
using System;

public class BigQueryDeleteTable
{
    public void DeleteTable(
        string projectId = "your-project-id",
        string datasetId = "your_dataset_id",
        string tableId = "your_table_id"
    )
    {
        BigQueryClient client = BigQueryClient.Create(projectId);
        client.DeleteTable(datasetId, tableId);
        Console.WriteLine($"Table {tableId} deleted.");
    }
}

המשך

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Go במדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Go API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import (
	"context"
	"fmt"

	"cloud.google.com/go/bigquery"
)

// deleteTable demonstrates deletion of a BigQuery table.
func deleteTable(projectID, datasetID, tableID string) error {
	// projectID := "my-project-id"
	// datasetID := "mydataset"
	// tableID := "mytable"
	ctx := context.Background()
	client, err := bigquery.NewClient(ctx, projectID)
	if err != nil {
		return fmt.Errorf("bigquery.NewClient: %v", err)
	}
	defer client.Close()

	table := client.Dataset(datasetID).Table(tableID)
	if err := table.Delete(ctx); err != nil {
		return err
	}
	return nil
}

Java

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Java במדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Java API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

import com.google.cloud.bigquery.BigQuery;
import com.google.cloud.bigquery.BigQueryException;
import com.google.cloud.bigquery.BigQueryOptions;
import com.google.cloud.bigquery.TableId;

public class DeleteTable {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String datasetName = "MY_DATASET_NAME";
    String tableName = "MY_TABLE_NAME";
    deleteTable(datasetName, tableName);
  }

  public static void deleteTable(String datasetName, String tableName) {
    try {
      // Initialize client that will be used to send requests. This client only needs to be created
      // once, and can be reused for multiple requests.
      BigQuery bigquery = BigQueryOptions.getDefaultInstance().getService();
      boolean success = bigquery.delete(TableId.of(datasetName, tableName));
      if (success) {
        System.out.println("Table deleted successfully");
      } else {
        System.out.println("Table was not found");
      }
    } catch (BigQueryException e) {
      System.out.println("Table was not deleted. \n" + e.toString());
    }
  }
}

Node.js

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Node.jsהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Node.js API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

// Import the Google Cloud client library
const {BigQuery} = require('@google-cloud/bigquery');
const bigquery = new BigQuery();

async function deleteTable() {
  // Deletes "my_table" from "my_dataset".

  /**
   * TODO(developer): Uncomment the following lines before running the sample.
   */
  // const datasetId = "my_dataset";
  // const tableId = "my_table";

  // Delete the table
  await bigquery
    .dataset(datasetId)
    .table(tableId)
    .delete();

  console.log(`Table ${tableId} deleted.`);
}

PHP

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי PHPהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery PHP API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

use Google\Cloud\BigQuery\BigQueryClient;

/** Uncomment and populate these variables in your code */
// $projectId = 'The Google project ID';
// $datasetId = 'The BigQuery dataset ID';
// $tableId = 'The BigQuery table ID';

$bigQuery = new BigQueryClient([
    'projectId' => $projectId,
]);
$dataset = $bigQuery->dataset($datasetId);
$table = $dataset->table($tableId);
$table->delete();
printf('Deleted table %s.%s' . PHP_EOL, $datasetId, $tableId);

Python

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי הוראות ההגדרה של Python במדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Python API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

from google.cloud import bigquery

# Construct a BigQuery client object.
client = bigquery.Client()

# TODO(developer): Set table_id to the ID of the table to fetch.
# table_id = 'your-project.your_dataset.your_table'

# If the table does not exist, delete_table raises
# google.api_core.exceptions.NotFound unless not_found_ok is True.
client.delete_table(table_id, not_found_ok=True)  # Make an API request.
print("Deleted table '{}'.".format(table_id))

Ruby

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Rubyהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. למידע נוסף, קראו את מאמרי העזרה של BigQuery Ruby API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח.

require "google/cloud/bigquery"

def delete_table dataset_id = "my_dataset_id", table_id = "my_table_id"
  bigquery = Google::Cloud::Bigquery.new
  dataset  = bigquery.dataset dataset_id
  table    = dataset.table table_id

  table.delete

  puts "Table #{table_id} deleted."
end

פתרון בעיות שקשורות לטבלאות שנמחקו

יש שלוש סיבות עיקריות למחיקת טבלה: מחיקה ידנית של הטבלה, תפוגה ומחיקה של מערך הנתונים.

מחיקת טבלה

בודקים ביומני הביקורת של Cloud אם יש אירוע google.cloud.bigquery.v2.TableService.DeleteTable. כדי לראות טבלאות שנמחקו, בוחרים באחת מהאפשרויות הבאות:

המסוף

1. נכנסים לדף Logs Explorer במסוף Google Cloud .

   כניסה לדף Logs Explorer

2. בקטע Filter, משתמשים במסנן הבא של Cloud Logging ולוחצים על Run Query:

   resource.type="bigquery_dataset"
   protoPayload.methodName="google.cloud.bigquery.v2.TableService.DeleteTable"
   protoPayload.resourceName="projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID"
   

BQ

1. מפעילים את Cloud Shell במסוף Google Cloud .

   הפעלת Cloud Shell

   בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

2. משתמשים בפקודה gcloud logging read עם המסננים הבאים:

   gcloud logging read '
   resource.type="bigquery_dataset"
   protoPayload.methodName="google.cloud.bigquery.v2.TableService.DeleteTable"
   protoPayload.resourceName=~"projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID"
   '
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט
   • ‫DATASET_ID: השם של מערך הנתונים שמכיל את הטבלה
   • ‫TABLE_ID: שם הטבלה שנמחקה

תפוגת תוקף של טבלה

אפשר ליצור טבלאות עם זמן תפוגה. אחרי פרק הזמן הזה, המערכת של BigQuery מוחקת את הטבלה באופן אוטומטי. כדי לראות טבלאות שנמחקו, בוחרים באחת מהאפשרויות הבאות:

המסוף

1. נכנסים לדף Logs Explorer במסוף Google Cloud .

   כניסה לדף Logs Explorer

2. בקטע Filter, משתמשים במסנן הבא של Cloud Logging ולוחצים על Run Query.

   protoPayload.methodName="InternalTableExpired"
     protoPayload.resourceName="projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID"
   

BQ

1. במסוף Google Cloud , מפעילים את Cloud Shell.

   הפעלת Cloud Shell

   בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

2. משתמשים בפקודה gcloud logging read עם המסננים הבאים:

   gcloud logging read '
       protoPayload.methodName="InternalTableExpired"
       protoPayload.resourceName=~"projects/PROJECT_ID/datasets/DATASET_ID/tables/TABLE_ID"
       '
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט
   • ‫DATASET_ID: השם של מערך הנתונים שמכיל את הטבלה
   • ‫TABLE_ID: שם הטבלה שנמחקה

אפשר לשלוח שאילתה לתצוגה INFORMATION_SCHEMA.TABLE_OPTIONS כדי לבדוק אם יש טבלאות בעמודה expiration_timestamp.

מחיקת מערך נתונים

אם מערך הנתונים שמכיל את הטבלה נמחק, גם הטבלה תימחק. כדי לראות טבלאות שנמחקו, בוחרים באחת מהאפשרויות הבאות:

המסוף

1. נכנסים לדף Logs Explorer במסוף Google Cloud .

   כניסה לדף Logs Explorer

2. בקטע Filter, משתמשים במסנן Cloud Logging הבא ולוחצים על Run Query.

   resource.type="bigquery_dataset"
   protoPayload.methodName="google.cloud.bigquery.v2.DatasetService.DeleteDataset"
   protoPayload.resourceName="projects/PROJECT_ID/datasets/DATASET_ID"
   

BQ

1. במסוף Google Cloud , מפעילים את Cloud Shell.

   הפעלת Cloud Shell

   בחלק התחתון של Google Cloud המסוף יתחיל סשן של Cloud Shell ותופיע הודעה של שורת הפקודה. Cloud Shell היא סביבת מעטפת שבה ה-CLI של Google Cloud מותקן ומוגדרים ערכים לפרויקט הקיים. הסשן יופעל תוך כמה שניות.

2. משתמשים בפקודה gcloud logging read עם המסננים הבאים:

   gcloud logging read '
   resource.type="bigquery_dataset"
   protoPayload.methodName="google.cloud.bigquery.v2.DatasetService.DeleteDataset"
   protoPayload.resourceName=~"projects/PROJECT_ID/datasets/DATASET_ID"
   '
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט
   • ‫DATASET_ID: השם של מערך הנתונים שמכיל את הטבלה

שחזור טבלאות שנמחקו

במאמר שחזור טבלאות שנמחקו מוסבר איך לשחזר טבלאות שנמחקו או לבטל את המחיקה שלהן.

אבטחת טבלאות

כדי לשלוט בגישה לטבלאות ב-BigQuery, אפשר לעיין במאמר בנושא שליטה בגישה למשאבים באמצעות IAM.

המאמרים הבאים

• מידע נוסף על יצירה ושימוש בטבלאות זמין במאמר יצירה ושימוש בטבלאות.
• מידע נוסף על טיפול בנתונים זמין במאמר עבודה עם נתוני טבלה.
• מידע נוסף על הגדרת סכימות של טבלאות זמין במאמר הגדרת סכימה.
• מידע נוסף על שינוי סכימות של טבלאות זמין במאמר שינוי סכימות של טבלאות.
• מידע נוסף על קבוצות נתונים זמין במאמר מבוא לקבוצות נתונים.
• מידע נוסף על תצוגות זמין במאמר מבוא לתצוגות.