קלט/פלט מנוהל של Dataflow למסדי נתונים
קל לארגן דפים בעזרת אוספים
אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.
Dataflow תומך בקריאה ממסדי נתונים ובכתיבה למסדי נתונים באמצעות Java Database Connectivity (JDBC). Dataflow משתמש במחבר Apache Beam
JdbcIO כדי להתחבר למקורות וליעדים של נתוני JDBC. התכונה 'ניהול קלט/פלט למסדי נתונים' תומכת במנהלי התקנים סטנדרטיים של JDBC למסדי נתונים שונים, כולל PostgreSQL, MySQL ו-Microsoft SQL Server.
דרישות
ערכות ה-SDK הבאות תומכות בקלט/פלט מנוהל למסדי נתונים:
Apache Beam SDK for Java בגרסה 2.69.0 ואילך
Apache Beam SDK ל-Python בגרסה 2.69.0 ואילך
הגדרות אישיות
התכונה 'ניהול קלט/פלט למסדי נתונים' תומכת בפרמטרים הבאים של הגדרות:
POSTGRES קריאה
הגדרות אישיות
סוג
תיאור
jdbc_url
str
כתובת ה-URL של החיבור למקור JDBC.
connection_properties
str
הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (לדוגמה, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות key1=value1;key2=value2;.
fetch_size
int32
השיטה הזו משמשת לשינוי הגודל של הנתונים שאותם המערכת תאחזר ותטען בזיכרון לכל קריאה למסד הנתונים. צריך להשתמש בו רק אם ערך ברירת המחדל גורם לשגיאות זיכרון.
location
str
שם הטבלה שממנה ייקראו הנתונים.
num_partitions
int32
מספר המחיצות
output_parallelization
boolean
האם לשנות את הסדר של ה-PCollection שמתקבל כדי שהתוצאות יחולקו לכל העובדים.
partition_column
str
השם של עמודה מסוג מספרי שתשמש לחלוקה למחיצות.
סיסמה
str
הסיסמה למקור JDBC. אפשר לציין אותו כסיסמה רגילה, או כמפרט סוד בפורמט JSON אם משתמשים בו עם מנהל סודות.
read_query
str
שאילתת SQL שמשמשת לשאילתת מקור JDBC.
secret_manager
str
Secret Manager שמשמש לאחזור ערכים סודיים. האפשרויות הזמינות: GoogleCloudSecretManager, GoogleCloudHsmGeneratedSecretManager. אם לא מגדירים את המדיניות, לא נעשה שימוש במנהל סודות והסיסמה נחשבת לסיסמה רגילה.
שם משתמש
str
שם המשתמש למקור JDBC.
POSTGRES כתיבה
הגדרות אישיות
סוג
תיאור
jdbc_url
str
כתובת ה-URL של החיבור ליעד JDBC.
חלוקת נתונים אוטומטית
boolean
אם הערך הוא True, אפשר להשתמש במספר דינמי של רסיסים לכתיבה.
batch_size
int64
לא רלוונטי
connection_properties
str
הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (לדוגמה, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות key1=value1;key2=value2;.
location
str
שם הטבלה שאליה ייכתבו הנתונים.
סיסמה
str
הסיסמה למקור JDBC. אפשר לציין אותו כסיסמה רגילה, או כמפרט סוד בפורמט JSON אם משתמשים בו עם מנהל סודות.
secret_manager
str
Secret Manager שמשמש לאחזור ערכים סודיים. האפשרויות הזמינות: GoogleCloudSecretManager, GoogleCloudHsmGeneratedSecretManager. אם לא מגדירים את המדיניות, לא נעשה שימוש במנהל סודות והסיסמה נחשבת לסיסמה רגילה.
שם משתמש
str
שם המשתמש למקור JDBC.
write_statement
str
שאילתת SQL שמשמשת להוספת רשומות ליעד JDBC.
MYSQL קריאה
הגדרות אישיות
סוג
תיאור
jdbc_url
str
כתובת ה-URL של החיבור למקור JDBC.
connection_init_sql
list[str]
הגדרת הצהרות SQL לאתחול החיבור שמשמשות את ה-Driver. רק MySQL ו-MariaDB תומכים בזה.
connection_properties
str
הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (לדוגמה, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות key1=value1;key2=value2;.
disable_auto_commit
boolean
האם להשבית את השמירה האוטומטית בקריאה. אם לא מציינים ערך, ברירת המחדל היא true. הצורך בהגדרה הזו משתנה בהתאם לפלטפורמת מסד הנתונים. ב-Informix צריך להגדיר את הערך false, וב-Postgres צריך להגדיר את הערך true.
fetch_size
int32
השיטה הזו משמשת לשינוי הגודל של הנתונים שאותם המערכת תאחזר ותטען בזיכרון לכל קריאה למסד הנתונים. צריך להשתמש בו רק אם ערך ברירת המחדל גורם לשגיאות זיכרון.
location
str
שם הטבלה שממנה ייקראו הנתונים.
num_partitions
int32
מספר המחיצות
output_parallelization
boolean
האם לשנות את הסדר של ה-PCollection שמתקבל כדי שהתוצאות יחולקו לכל העובדים.
partition_column
str
השם של עמודה מסוג מספרי שתשמש לחלוקה למחיצות.
סיסמה
str
הסיסמה למקור JDBC. אפשר לציין אותו כסיסמה רגילה, או כמפרט סוד בפורמט JSON אם משתמשים בו עם מנהל סודות.
read_query
str
שאילתת SQL שמשמשת לשאילתת מקור JDBC.
secret_manager
str
Secret Manager שמשמש לאחזור ערכים סודיים. האפשרויות הזמינות: GoogleCloudSecretManager, GoogleCloudHsmGeneratedSecretManager. אם לא מגדירים את המדיניות, לא נעשה שימוש במנהל סודות והסיסמה נחשבת לסיסמה רגילה.
שם משתמש
str
שם המשתמש למקור JDBC.
MYSQL כתיבה
הגדרות אישיות
סוג
תיאור
jdbc_url
str
כתובת ה-URL של החיבור ליעד JDBC.
חלוקת נתונים אוטומטית
boolean
אם הערך הוא True, אפשר להשתמש במספר דינמי של רסיסים לכתיבה.
batch_size
int64
לא רלוונטי
connection_init_sql
list[str]
הגדרת הצהרות SQL לאתחול החיבור שמשמשות את ה-Driver. רק MySQL ו-MariaDB תומכים בזה.
connection_properties
str
הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (לדוגמה, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות key1=value1;key2=value2;.
location
str
שם הטבלה שאליה ייכתבו הנתונים.
סיסמה
str
הסיסמה למקור JDBC. אפשר לציין אותו כסיסמה רגילה, או כמפרט סוד בפורמט JSON אם משתמשים בו עם מנהל סודות.
secret_manager
str
Secret Manager שמשמש לאחזור ערכים סודיים. האפשרויות הזמינות: GoogleCloudSecretManager, GoogleCloudHsmGeneratedSecretManager. אם לא מגדירים את המדיניות, לא נעשה שימוש במנהל סודות והסיסמה נחשבת לסיסמה רגילה.
שם משתמש
str
שם המשתמש למקור JDBC.
write_statement
str
שאילתת SQL שמשמשת להוספת רשומות ליעד JDBC.
SQLSERVER קריאה
הגדרות אישיות
סוג
תיאור
jdbc_url
str
כתובת ה-URL של החיבור למקור JDBC.
connection_properties
str
הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (לדוגמה, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות key1=value1;key2=value2;.
disable_auto_commit
boolean
האם להשבית את השמירה האוטומטית בקריאה. אם לא מציינים ערך, ברירת המחדל היא true. הצורך בהגדרה הזו משתנה בהתאם לפלטפורמת מסד הנתונים. ב-Informix צריך להגדיר את הערך false, וב-Postgres צריך להגדיר את הערך true.
fetch_size
int32
השיטה הזו משמשת לשינוי הגודל של הנתונים שאותם המערכת תאחזר ותטען בזיכרון לכל קריאה למסד הנתונים. צריך להשתמש בו רק אם ערך ברירת המחדל גורם לשגיאות זיכרון.
location
str
שם הטבלה שממנה ייקראו הנתונים.
num_partitions
int32
מספר המחיצות
output_parallelization
boolean
האם לשנות את הסדר של ה-PCollection שמתקבל כדי שהתוצאות יחולקו לכל העובדים.
partition_column
str
השם של עמודה מסוג מספרי שתשמש לחלוקה למחיצות.
סיסמה
str
הסיסמה למקור JDBC. אפשר לציין אותו כסיסמה רגילה, או כמפרט סוד בפורמט JSON אם משתמשים בו עם מנהל סודות.
read_query
str
שאילתת SQL שמשמשת לשאילתת מקור JDBC.
secret_manager
str
Secret Manager שמשמש לאחזור ערכים סודיים. האפשרויות הזמינות: GoogleCloudSecretManager, GoogleCloudHsmGeneratedSecretManager. אם לא מגדירים את המדיניות, לא נעשה שימוש במנהל סודות והסיסמה נחשבת לסיסמה רגילה.
שם משתמש
str
שם המשתמש למקור JDBC.
SQLSERVER כתיבה
הגדרות אישיות
סוג
תיאור
jdbc_url
str
כתובת ה-URL של החיבור ליעד JDBC.
חלוקת נתונים אוטומטית
boolean
אם הערך הוא True, אפשר להשתמש במספר דינמי של רסיסים לכתיבה.
batch_size
int64
לא רלוונטי
connection_properties
str
הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (לדוגמה, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות key1=value1;key2=value2;.
location
str
שם הטבלה שאליה ייכתבו הנתונים.
סיסמה
str
הסיסמה למקור JDBC. אפשר לציין אותו כסיסמה רגילה, או כמפרט סוד בפורמט JSON אם משתמשים בו עם מנהל סודות.
secret_manager
str
Secret Manager שמשמש לאחזור ערכים סודיים. האפשרויות הזמינות: GoogleCloudSecretManager, GoogleCloudHsmGeneratedSecretManager. אם לא מגדירים את המדיניות, לא נעשה שימוש במנהל סודות והסיסמה נחשבת לסיסמה רגילה.
[[["התוכן קל להבנה","easyToUnderstand","thumb-up"],["התוכן עזר לי לפתור בעיה","solvedMyProblem","thumb-up"],["סיבה אחרת","otherUp","thumb-up"]],[["התוכן קשה להבנה","hardToUnderstand","thumb-down"],["שגיאות בקוד לדוגמה או במידע","incorrectInformationOrSampleCode","thumb-down"],["חסרים לי פרטים או דוגמאות","missingTheInformationSamplesINeed","thumb-down"],["בעיה בתרגום","translationIssue","thumb-down"],["סיבה אחרת","otherDown","thumb-down"]],["עדכון אחרון: 2026-11-11 (שעון UTC)."],[],[]]