התכונות הבאות נתמכות ב-BigQuery באמצעות קלט/פלט מנוהל:
- יצירת טבלאות דינמיות
- יעדים דינמיים
- לפעולות קריאה, המחבר משתמש ב-BigQuery Storage Read API.
לפעולות כתיבה, המחבר משתמש בשיטות הבאות של BigQuery:
- אם המקור הוא בלתי מוגבל ו-Dataflow משתמש בעיבוד נתונים בזמן אמת בדיוק פעם אחת, המחבר מבצע כתיבה ל-BigQuery באמצעות BigQuery Storage Write API עם סמנטיקה של מסירה בדיוק פעם אחת.
- אם המקור לא מוגבל ו-Dataflow משתמש בעיבוד נתונים בזמן אמת עם סמנטיקה של מסירה לפחות פעם אחת, המחבר מבצע כתיבה ל-BigQuery באמצעות BigQuery Storage Write API עם סמנטיקה של מסירה לפחות פעם אחת.
- אם המקור מוגבל, המחבר משתמש בטעינות של קבצים ב-BigQuery.
דרישות
ערכות ה-SDK הבאות תומכות ב-I/O מנוהל ל-BigQuery:
- Apache Beam SDK for Java בגרסה 2.61.0 ואילך
- Apache Beam SDK for Python בגרסה 2.61.0 ואילך
הגדרות אישיות
התכונה 'ניהול קלט/פלט' ב-BigQuery תומכת בפרמטרים הבאים של הגדרות:
BIGQUERY קריאה
| הגדרות אישיות | סוג | תיאור |
|---|---|---|
| kms_key |
str
|
שימוש במפתח הזה של Cloud KMS להצפנת הנתונים |
| שאילתה |
str
|
שאילתת ה-SQL שתופעל כדי לקרוא מהטבלה ב-BigQuery. |
| row_restriction |
str
|
קרא רק שורות שתואמות למסנן הזה, שחייב להיות תואם ל-SQL סטנדרטי של Google. האפשרות הזו לא נתמכת כשקוראים באמצעות שאילתה. |
| שדות |
list[str]
|
קריאה רק של השדות (העמודות) שצוינו מטבלת BigQuery. יכול להיות שהשדות לא יוחזרו בסדר שצוין. אם לא מציינים ערך, כל השדות מוחזרים. דוגמה: "col1, col2, col3" |
| טבלה |
str
|
השם המלא של הטבלה ב-BigQuery שממנה ייקראו הנתונים. פורמט: [${PROJECT}:]${DATASET}.${TABLE} |
BIGQUERY כתיבה
| הגדרות אישיות | סוג | תיאור |
|---|---|---|
| table |
str
|
טבלת BigQuery שאליה רוצים לכתוב. פורמט: [${PROJECT}:]${DATASET}.${TABLE} |
| העברה |
list[str]
|
רשימה של שמות שדות שיוסרו מרשומת הקלט לפני הכתיבה. הערך הזה לא יכול להיות ביחד עם הערכים keep ו-only. |
| keep |
list[str]
|
רשימה של שמות שדות שרוצים לשמור ברשומת הקלט. כל שאר השדות מושמטים לפני הכתיבה. הערך הזה לא יכול להיות משולב עם הערכים drop ו-only. |
| kms_key |
str
|
שימוש במפתח הזה של Cloud KMS להצפנת הנתונים |
| רק |
str
|
השם של שדה רשומה יחיד שצריך לכתוב. הערך הזה לא יכול להיות זהה לערכים 'שמירה' ו 'הסרה'. |
| triggering_frequency_seconds |
int64
|
ההגדרה הזו קובעת באיזו תדירות מתבצעת 'שמירה' של ההתקדמות ב-BigQuery. ברירת המחדל היא כל 5 שניות. |
המאמרים הבאים
מידע נוסף ודוגמאות קוד זמינים בנושאים הבאים: