הגדרת מערך נתונים ב-BigQuery

‫BigQuery הוא מחסן נתונים לצורכי ניתוח מנוהל בקנה מידה של פטה-בייט וחסכוני, שמאפשר להריץ ניתוח על כמויות אדירות של נתונים כמעט בזמן אמת. מידע נוסף זמין במאמר מבוא ל-BigQuery.

במאמר הזה מתוארים הרכיבים והפרמטרים שאפשר להגדיר כשמשתמשים ב-App Design Center כדי ליצור מערך נתונים ב-BigQuery. פרמטרי ההגדרה מבוססים על מודול Terraform‏ terraform-google-bigquery.

חיבורי רכיבים

בטבלה הבאה מפורטים הרכיבים שאפשר לקשר למערך נתונים ב-BigQuery, והעדכונים שמתקבלים באפליקציה ובקוד Terraform שנוצר.

רכיב מחובר	עדכונים לאפליקציות	נתוני רקע
תבנית של הגדרות מכונה ב-Compute Engine	למכונות של Compute Engine יש הרשאות קריאה וכתיבה של נתונים במערך הנתונים של BigQuery. המטא-נתונים של משאב BigQuery מתווספים לתבנית של הגדרות מכונה של Compute Engine. התפקיד roles/bigquery.dataEditor נוסף לחשבון השירות של תבנית של הגדרות מכונה של Compute Engine.	תבניות של מכונות
חשבון שירות	שירותים כמו Cloud Run יכולים להשתמש בחשבון השירות כדי לקרוא ולשנות נתונים במערך הנתונים ב-BigQuery. התפקיד roles/bigquery.dataEditor ב-BigQuery נוסף לחשבון השירות.	תפקידים והרשאות של IAM ב-BigQuery
Cloud Run	שירות Cloud Run יכול ליצור אינטראקציה עם מערך הנתונים ב-BigQuery. המטא-נתונים של משאב BigQuery מתווספים למשתני הסביבה של Cloud Run. התפקיד roles/bigquery.dataEditor ב-BigQuery נוסף לחשבון השירות של Cloud Run.	מה זה Cloud Run
Pub/Sub	מינוי Pub/Sub יכול לכתוב הודעות למערך הנתונים ב-BigQuery. פרטי מערך הנתונים ב-BigQuery מתווספים לשדות המינוי ב-BigQuery.	מינויים ל-BigQuery

פרמטרים נדרשים להגדרה

אם התבנית כוללת רכיב BigQuery, צריך להגדיר את הפרמטרים הבאים לפני הפריסה.

שם הפרמטר	תיאור ומגבלות	נתוני רקע
מזהה מערך נתונים	id	מבוא למערכי נתונים
מזהה הפרויקט	הפרויקט שבו רוצים לפרוס את מערך הנתונים והטבלה ב-BigQuery.	הגדרת רכיבים

פרמטרים אופציונליים להגדרה

הפרמטרים הבאים הם אופציונליים. כדי להציג פרמטרים מתקדמים, באזור הגדרה, בוחרים באפשרות הצגת שדות מתקדמים.

תכונה	תכונת משנה	שם הפרמטר	תיאור ומידע על אילוצים	נתוני רקע
Tables		מזהה הטבלה	id	מבוא לטבלאות
		תיאור	description	מבוא לטבלאות
		שם הטבלה	friendlyName	מתן שמות לטבלאות
		סכימה	סכימה	ציון סכימה
		Clustering	clustering	מבוא לטבלאות מקובצות
		דרישה של מסנן מחיצות	requirePartitionFilter	הגדרת דרישות למסנן מחיצה
	חלוקה למחיצות לפי זמן	תוקף הרישיון (אלפיות השנייה)	expirationMs	הגדרת תפוגה של מחיצה
		שדה	field	יצירת טבלה עם מחיצות לפי עמודה של יחידת זמן
		סוג	type	יצירת טבלה עם מחיצות לפי עמודה של יחידת זמן
	חלוקת טווחים למחיצות	שדה	field	הגדרת דרישות למסנן מחיצה
		התחלת הטווח	range.start	חלוקה למחיצות של טווח מספרים שלמים
		סוף הטווח	range.end	חלוקה למחיצות של טווח מספרים שלמים
		אינטרוול טווח	range.interval	חלוקה למחיצות של טווח מספרים שלמים
		מועד התפוגה	expirationTime	עדכון של זמן התפוגה של טבלה
		הגנה מפני מחיקה	מסמנים את תיבת הסימון כדי למנוע את המחיקה של הטבלה הזו על ידי Terraform. אם לא בוחרים באפשרות הזו, המערכת משתמשת בהגדרת ההגנה מפני מחיקה ברמת הרכיב.	deletion_protection
	תוויות	Key	labels	הוספת תוויות לטבלאות ולתצוגות
		ערך	labels	הוספת תוויות לטבלאות ולתצוגות
		שם מערך הנתונים	friendlyName	מתן שם למערכי נתונים
		תיאור	description	עדכון תיאור של מערך נתונים
		אזור	מיקום	מיקומים ב-BigQuery
		מחיקת התוכן בכיבוי סופי	בוחרים למחוק את כל הטבלאות במערך הנתונים כשמשמידים את המשאב. אם לא בוחרים באפשרות הזו, השמדת המשאב נכשלת אם יש טבלאות.	delete_contents_on_destroy
		הגנה מפני מחיקה	אם האפשרות הזו מסומנת, הפקודות terraform apply או terraform destroy שמוחקות טבלאות ייכשלו. אם לא בוחרים באפשרות הזו, אפשר למחוק טבלאות. אפשר לשנות את ההגדרה הזו באמצעות הגדרת ההגנה מפני מחיקה לכל טבלה.	deletion_protection
		ברירת מחדל של תפוגת הטבלה (באלפיות השנייה)	defaultTableExpirationMs	עדכון ברירת המחדל של זמני התפוגה של הטבלאות
		Default Partition Expiration MS	defaultPartitionExpirationMs	עדכון ברירת המחדל של זמני התפוגה של המחיצות
		Max Time Travel Hours	maxTimeTravelHours	עדכון חלונות של נסיעה בזמן
		מודל החיוב על נפח האחסון	StorageBillingModel	מודלים לחיוב על אחסון
		מפתח הצפנה	kmsKeyName	הצפנה במנוחה
תוויות של קבוצות נתונים		Key	labels	הוספת תוויות למערכי נתונים
		ערך	ערך	הוספת תוויות למערכי נתונים
תגי משאבים		Key	resourceTags	הגדרות ומזהי תגים
		ערך	resourceTags	הגדרות ומזהי תגים
תצוגות		מזהה תצוגה	id	הצגת השמות
		תיאור	description	מבוא לתצוגות מפורטות
		שאילתה	שאילתה	עדכון שאילתת SQL של תצוגה
		שימוש ב-SQL מדור קודם	useLegacySql	העברה ל-GoogleSQL
	תוויות	Key	labels	הוספת תוויות לטבלאות ולתצוגות
		ערך	labels	הוספת תוויות לטבלאות ולתצוגות
תצוגות מהותיות		מזהה תצוגה	id	הצגת השמות
		תיאור	description	מבוא לתצוגות מהותיות
		שאילתה	שאילתה	תמיכה בשאילתות של תצוגות מהותיות
		הפעלת רענון	enableRefresh	רענון של תצוגות מהותיות
		מרווח הזמן לרענון (אלפיות השנייה)	refreshIntervalMs	הגדרה של מכסת תדירות לרענון
		Clustering	fields[]‎	תצוגות מהותיות של אשכולות
	חלוקה למחיצות לפי זמן	תוקף הרישיון (אלפיות השנייה)	expirationMs	הגדרת תפוגה של מחיצה
		שדה	field	יצירת טבלה עם מחיצות לפי עמודה של יחידת זמן
		סוג	type	יצירת טבלה עם מחיצות לפי עמודה של יחידת זמן
		דרישה של מסנן מחיצות	requirePartitionFilter	הגדרת דרישות למסנן מחיצה
	חלוקת טווחים למחיצות	שדה	field	תצוגות מהותיות עם חלוקה למחיצות
		התחלת הטווח	range.start	חלוקה למחיצות של טווח מספרים שלמים
		סוף הטווח	range.end	חלוקה למחיצות של טווח מספרים שלמים
		אינטרוול טווח	range.interval	חלוקה למחיצות של טווח מספרים שלמים
		מועד התפוגה	expirationTime	עדכון של זמן התפוגה של תצוגה
		Max Staleness	maxStaleness	שימוש בתצוגות חומריות עם האפשרות max_staleness
	תוויות	Key	labels	הוספת תוויות לטבלאות ולתצוגות
		ערך	labels	הוספת תוויות לטבלאות ולתצוגות
טבלאות חיצוניות		מזהה הטבלה	id	מבוא לטבלאות חיצוניות
		תיאור	תיאור של הטבלה החיצונית.	description
		זיהוי אוטומטי	autodetect	שימוש בדגל של זיהוי אוטומטי
		דחיסה	compression	טעינת נתונים דחוסים ולא דחוסים
		התעלמות מערכים לא ידועים	ignoreUnknownValues	יצירת קובץ הגדרת טבלה למקור נתונים חיצוני
		מספר מקסימלי של רשומות לא תקינות	maxBadRecords	יצירת קובץ הגדרת טבלה למקור נתונים חיצוני
		סכימה	סכימה	יצירת קובץ הגדרת טבלה למקור נתונים חיצוני
		פורמט המקור	sourceFormat	יצירת קובץ הגדרת טבלה למקור נתונים חיצוני
		מזהי URI של מקורות	sourceUris	יצירת קובץ הגדרת טבלה למקור נתונים חיצוני
	אפשרויות CSV	ציטוט	quote	טעינת נתוני CSV מ-Cloud Storage
		מתן הרשאה לשורות לא אחידות	allowJaggedRows	טעינת נתוני CSV מ-Cloud Storage
		התרת מעברי שורה במירכאות	allowQuotedNewlines	טעינת נתוני CSV מ-Cloud Storage
		קידוד	קידוד	קידוד
		תו מפריד בין שדות	FieldDelimiter	תווי הפרדה בין שדות
		דילוג על שורות מובילות	skipLeadingRows	אפשרויות של קובץ CSV
	אפשרויות ב-Google Sheets	טווח	range	יצירת טבלאות חיצוניות ב-Google Drive
		דילוג על שורות מובילות	skipLeadingRows	יצירת טבלאות חיצוניות ב-Google Drive
	אפשרויות של חלוקה למחיצות ב-Hive	מצב	mode	מצבי זיהוי
		קידומת של URI במקור	sourceUriPrefix	שימוש בנתונים שחולקו למחיצות באופן חיצוני
		מועד התפוגה	expirationTime	עדכון של זמן התפוגה של טבלה
		Max Staleness	maxStaleness	ניהול של נתונים לא עדכניים בטבלה
		הגנה מפני מחיקה	מסמנים את תיבת הסימון כדי למנוע את המחיקה של הטבלה הזו על ידי Terraform. אם לא בוחרים באפשרות הזו, המערכת משתמשת בהגדרת ההגנה מפני מחיקה ברמת הרכיב.	deletion_protection
	תוויות	Key	labels	הוספת תוויות לטבלאות ולתצוגות
		ערך	labels	הוספת תוויות לטבלאות ולתצוגות
תרחישים		מזהה תרחיש	routineId	ניהול תרחישים
		סוג התרחיש	routineType	RoutineType
		שפה	language	שפה
		Definition Body	definitionBody	איך רואים את הפעולות בשגרה
		סוג ההחזרה	returnType	StandardSqlDataType
		תיאור	תיאור של התרחיש.	description
	ארגומנטים	שם	שם הארגומנט.	name
		סוג הנתונים	dataType	StandardSqlDataType
		סוג הארגומנט	argumentKind	ArgumentKind
		מצב	mode	מצב