"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

תבנית JDBC ל-JDBC

משתמשים ב-Managed Service for Apache Spark JDBC כדי לחלץ נתונים מ-JDBC ל-JDBC באמצעות תבנית JDBC.

התבנית הזו תומכת במסדי הנתונים הבאים:

MySQL
PostgreSQL
Microsoft SQL Server
Oracle

שימוש בתבנית

מריצים את התבנית באמצעות ה-CLI של gcloud או Managed Service for Apache Spark API.

gcloud

לפני השימוש בנתוני הפקודה הבאים, צריך להחליף את הנתונים הבאים:

‫PROJECT_ID: שדה חובה. Google Cloud מזהה הפרויקט שלכם מופיע בהגדרות IAM.
‫REGION: שדה חובה. אזור Compute Engine.
‫SUBNET: אופציונלי. אם לא מציינים רשת משנה, המערכת בוחרת את רשת המשנה באזור שצוין ברשת default.
דוגמה: projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME
‫TEMPLATE_VERSION: שדה חובה. מציינים latest לגרסה העדכנית ביותר של התבנית, או את התאריך של גרסה ספציפית, לדוגמה, 2023-03-17_v0.1.0-beta (אפשר להיכנס לכתובת gs://dataproc-templates-binaries או להריץ את הפקודה gcloud storage ls gs://dataproc-templates-binaries כדי לראות רשימה של גרסאות התבניות הזמינות).
‫INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH ו-OUTPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH: חובה. הנתיב המלא ב-Cloud Storage, כולל שם הקובץ, שבו מאוחסנים קובצי ה-JAR של מחבר ה-JDBC של הקלט והפלט.
הערה: אם קובצי ה-JAR של הקלט והפלט זהים, מספיק להגדיר רק את INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH.

אפשר להשתמש בפקודות הבאות כדי להוריד מחברי JDBC להעלאה ל-Cloud Storage:
- ‫MySQL:
```
  wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.30.tar.gz
```
- ‫PostgreSQL:
```
  wget https://jdbc.postgresql.org/download/postgresql-42.2.6.jar
```
- ‫Microsoft SQL Server:
```
  wget https://repo1.maven.org/maven2/com/microsoft/sqlserver/mssql-jdbc/6.4.0.jre8/mssql-jdbc-6.4.0.jre8.jar
```
- ‫Oracle:
```
  wget https://repo1.maven.org/maven2/com/oracle/database/jdbc/ojdbc8/21.7.0.0/ojdbc8-21.7.0.0.jar
```

המשתנים הבאים משמשים לבניית כתובת ה-URL של JDBC הנדרשת:

INPUT_JDBC_HOST
INPUT_JDBC_PORT
‫INPUT_JDBC_DATABASE, או, ב-Oracle, INPUT_JDBC_SERVICE
INPUT_JDBC_USERNAME
INPUT_JDBC_PASSWORD

בונים את INPUT_JDBC_CONNECTION_URL באמצעות אחד מהפורמטים הבאים שספציפיים למחבר:

‫MySQL:

jdbc:mysql://INPUT_JDBC_HOST:INPUT_JDBC_PORT/INPUT_JDBC_DATABASE?user=INPUT_JDBC_USERNAME&password=INPUT_JDBC_PASSWORD

‫PostgreSQL:

jdbc:postgresql://INPUT_JDBC_HOST:INPUT_JDBC_PORT/INPUT_JDBC_DATABASE?user=INPUT_JDBC_USERNAME&password=INPUT_JDBC_PASSWORD

‫Microsoft SQL Server:

jdbc:sqlserver://INPUT_JDBC_HOST:INPUT_JDBC_PORT;databaseName=INPUT_JDBC_DATABASE;user=INPUT_JDBC_USERNAME;password=INPUT_JDBC_PASSWORD

‫Oracle:

jdbc:oracle:thin:@//INPUT_JDBC_HOST:INPUT_JDBC_PORT/INPUT_JDBC_SERVICE?user=INPUT_JDBC_USERNAME&password=INPUT_JDBC_PASSWORD

המשתנים הבאים משמשים לבניית כתובת ה-URL של JDBC הנדרשת לפלט:

OUTPUT_JDBC_HOST
OUTPUT_JDBC_PORT
‫OUTPUT_JDBC_DATABASE, או, ב-Oracle, OUTPUT_JDBC_SERVICE
OUTPUT_JDBC_USERNAME
OUTPUT_JDBC_PASSWORD

בונים את OUTPUT_JDBC_CONNECTION_URL באמצעות אחד מהפורמטים הבאים שספציפיים למחבר:

‫MySQL:

jdbc:mysql://OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT/OUTPUT_JDBC_DATABASE?user=OUTPUT_JDBC_USERNAME&password=OUTPUT_JDBC_PASSWORD

‫PostgreSQL:

jdbc:postgresql://OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT/OUTPUT_JDBC_DATABASE?user=OUTPUT_JDBC_USERNAME&password=OUTPUT_JDBC_PASSWORD

‫Microsoft SQL Server:

jdbc:sqlserver://OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT;databaseName=OUTPUT_JDBC_DATABASE;user=OUTPUT_JDBC_USERNAME;password=OUTPUT_JDBC_PASSWORD

‫Oracle:

jdbc:oracle:thin:@//OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT/OUTPUT_JDBC_SERVICE?user=OUTPUT_JDBC_USERNAME&password=OUTPUT_JDBC_PASSWORD

‫INPUT_JDBC_TABLE: שדה חובה. מזינים את שם טבלת ה-JDBC או שאילתת SQL בטבלת הקלט של ה-JDBC.
דוגמה (שאילתת ה-SQL צריכה להיות בתוך סוגריים): (select * from TABLE_NAME) as ALIAS_TABLE_NAME
‫OUTPUT_JDBC_TABLE: שדה חובה. טבלת JDBC שבה יישמר הפלט.
‫INPUT_DRIVER ו-OUTPUT_DRIVER: חובה. מנהל ההתקן של JDBC לקלט ולפלט שמשמש לחיבור:
- ‫MySQL:
```
com.mysql.cj.jdbc.Driver
```
- ‫PostgreSQL:
```
org.postgresql.Driver
```
- ‫Microsoft SQL Server:
```
com.microsoft.sqlserver.jdbc.SQLServerDriver
```
- ‫Oracle:
```
oracle.jdbc.driver.OracleDriver
```
INPUT_PARTITION_COLUMN, LOWERBOUND, UPPERBOUND, NUM_PARTITIONS: אופציונלי. אם משתמשים בפרמטר הזה, צריך לציין את כל הפרמטרים הבאים:
- ‫INPUT_PARTITION_COLUMN: שם העמודה של חלוקת טבלת הקלט של JDBC.
- ‫LOWERBOUND: הגבול התחתון של עמודת החלוקה למחיצות של טבלת הקלט ב-JDBC, שמשמש לקביעת גודל המחיצה.
- ‫UPPERBOUND: הגבול העליון של עמודת החלוקה למחיצות (partitioning) בטבלת הקלט של JDBC, שמשמש לקביעת הצעד של החלוקה למחיצות.
- ‫NUM_PARTITIONS: המספר המקסימלי של מחיצות שאפשר להשתמש בהן כדי להקביל קריאות וכתיבות של טבלאות. אם מציינים ערך, הוא משמש לחיבור קלט ופלט של JDBC.
‫FETCHSIZE: אופציונלי. כמה שורות לאחזר בכל הלוך ושוב.
‫BATCH_SIZE: אופציונלי. מספר הרשומות להוספה בכל הלוך ושוב. ברירת מחדל: 1000.
‫MODE: אופציונלי. מצב כתיבה לפלט JDBC. אפשרויות: Append, ‏ Overwrite, ‏ Ignore, או ErrorIfExists.
‫TABLE_PROPERTIES: אופציונלי. באמצעות האפשרות הזו אפשר להגדיר אפשרויות ספציפיות לטבלה ולמחיצה במסד הנתונים כשיוצרים את טבלת הפלט.
‫PRIMARY_KEY: אופציונלי. עמודת המפתח הראשי בטבלת הפלט. העמודה שצוינה לא יכולה להכיל ערכים כפולים, אחרת תוצג שגיאה.
‫JDBC_SESSION_INIT: אופציונלי. הצהרת אתחול של סשן כדי לקרוא תבניות Java.
‫LOG_LEVEL: אופציונלי. רמת הרישום ביומן. יכול להיות אחד מהערכים הבאים: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE או WARN. ברירת מחדל: INFO.
‫TEMP_VIEW ו-TEMP_QUERY: אופציונליים. אתם יכולים להשתמש בשני הפרמטרים האופציונליים האלה כדי להחיל טרנספורמציה של Spark SQL בזמן טעינת הנתונים ל-Cloud Storage. הערך של TEMP_VIEW צריך להיות זהה לשם הטבלה שמופיע בשאילתה, ו-TEMP_QUERY הוא הצהרת השאילתה.
‫SERVICE_ACCOUNT: אופציונלי. אם לא תציינו חשבון שירות, המערכת תשתמש בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.
‫PROPERTY ו-PROPERTY_VALUE: אופציונליים. רשימה מופרדת בפסיקים של זוגות מאפייני Spark=value.
‫LABEL ו-LABEL_VALUE: אופציונליים. רשימה מופרדת בפסיקים של זוגות label=value.
‫KMS_KEY: אופציונלי. מפתח Cloud Key Management Service שבו יש להשתמש להצפנה. אם לא מציינים מפתח, הנתונים מוצפנים באחסון באמצעות Google-owned and Google-managed encryption key.
דוגמה: projects/PROJECT_ID/regions/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

מריצים את הפקודה הבאה:

‫Linux,‏ macOS או Cloud Shell

gcloud dataproc batches submit spark \
    --class=com.google.cloud.dataproc.templates.main.DataProcTemplate \
    --project="PROJECT_ID" \
    --region="REGION" \
    --version="2.3" \
    --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar,INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH,OUTPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH" \
    --subnet="SUBNET" \
    --kms-key="KMS_KEY" \
    --service-account="SERVICE_ACCOUNT" \
    --properties="PROPERTY=PROPERTY_VALUE" \
    --labels="LABEL=LABEL_VALUE" \
    -- --template JDBCTOJDBC \
    --templateProperty project.id="PROJECT_ID" \
    --templateProperty log.level="LOG_LEVEL" \
    --templateProperty jdbctojdbc.input.url="INPUT_JDBC_CONNECTION_URL" \
    --templateProperty jdbctojdbc.input.driver="INPUT_DRIVER" \
    --templateProperty jdbctojdbc.input.table="INPUT_JDBC_TABLE" \
    --templateProperty jdbctojdbc.output.url="OUTPUT_JDBC_CONNECTION_URL" \
    --templateProperty jdbctojdbc.output.driver="OUTPUT_DRIVER" \
    --templateProperty jdbctojdbc.output.table="OUTPUT_JDBC_TABLE" \
    --templateProperty jdbctojdbc.input.fetchsize="FETCHSIZE" \
    --templateProperty jdbctojdbc.input.partitioncolumn="INPUT_PARTITION_COLUMN" \
    --templateProperty jdbctojdbc.input.lowerbound="LOWERBOUND" \
    --templateProperty jdbctojdbc.input.upperbound="UPPERBOUND" \
    --templateProperty jdbctojdbc.numpartitions="NUM_PARTITIONS" \
    --templateProperty jdbctojdbc.output.mode="MODE" \
    --templateProperty jdbctojdbc.output.batch.size="BATCH_SIZE" \
    --templateProperty jdbctojdbc.output.primary.key="PRIMARY_KEY" \
    --templateProperty jdbctojdbc.output.create.table.option="TABLE_PROPERTIES" \
    --templateProperty jdbctojdbc.sessioninitstatement="JDBC_SESSION_INIT" \
    --templateProperty jdbctojdbc.temp.view.name="TEMP_VIEW" \
    --templateProperty jdbctojdbc.sql.query="TEMP_QUERY"

‏Windows (PowerShell)

gcloud dataproc batches submit spark `
    --class=com.google.cloud.dataproc.templates.main.DataProcTemplate `
    --project="PROJECT_ID" `
    --region="REGION" `
    --version="2.3" `
    --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar,INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH,OUTPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH" `
    --subnet="SUBNET" `
    --kms-key="KMS_KEY" `
    --service-account="SERVICE_ACCOUNT" `
    --properties="PROPERTY=PROPERTY_VALUE" `
    --labels="LABEL=LABEL_VALUE" `
    -- --template JDBCTOJDBC `
    --templateProperty project.id="PROJECT_ID" `
    --templateProperty log.level="LOG_LEVEL" `
    --templateProperty jdbctojdbc.input.url="INPUT_JDBC_CONNECTION_URL" `
    --templateProperty jdbctojdbc.input.driver="INPUT_DRIVER" `
    --templateProperty jdbctojdbc.input.table="INPUT_JDBC_TABLE" `
    --templateProperty jdbctojdbc.output.url="OUTPUT_JDBC_CONNECTION_URL" `
    --templateProperty jdbctojdbc.output.driver="OUTPUT_DRIVER" `
    --templateProperty jdbctojdbc.output.table="OUTPUT_JDBC_TABLE" `
    --templateProperty jdbctojdbc.input.fetchsize="FETCHSIZE" `
    --templateProperty jdbctojdbc.input.partitioncolumn="INPUT_PARTITION_COLUMN" `
    --templateProperty jdbctojdbc.input.lowerbound="LOWERBOUND" `
    --templateProperty jdbctojdbc.input.upperbound="UPPERBOUND" `
    --templateProperty jdbctojdbc.numpartitions="NUM_PARTITIONS" `
    --templateProperty jdbctojdbc.output.mode="MODE" `
    --templateProperty jdbctojdbc.output.batch.size="BATCH_SIZE" `
    --templateProperty jdbctojdbc.output.primary.key="PRIMARY_KEY" `
    --templateProperty jdbctojdbc.output.create.table.option="TABLE_PROPERTIES" `
    --templateProperty jdbctojdbc.sessioninitstatement="JDBC_SESSION_INIT" `
    --templateProperty jdbctojdbc.temp.view.name="TEMP_VIEW" `
    --templateProperty jdbctojdbc.sql.query="TEMP_QUERY"

Windows‏ (cmd.exe)

gcloud dataproc batches submit spark ^
    --class=com.google.cloud.dataproc.templates.main.DataProcTemplate ^
    --project="PROJECT_ID" ^
    --region="REGION" ^
    --version="2.3" ^
    --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar,INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH,OUTPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH" ^
    --subnet="SUBNET" ^
    --kms-key="KMS_KEY" ^
    --service-account="SERVICE_ACCOUNT" ^
    --properties="PROPERTY=PROPERTY_VALUE" ^
    --labels="LABEL=LABEL_VALUE" ^
    -- --template JDBCTOJDBC ^
    --templateProperty project.id="PROJECT_ID" ^
    --templateProperty log.level="LOG_LEVEL" ^
    --templateProperty jdbctojdbc.input.url="INPUT_JDBC_CONNECTION_URL" ^
    --templateProperty jdbctojdbc.input.driver="INPUT_DRIVER" ^
    --templateProperty jdbctojdbc.input.table="INPUT_JDBC_TABLE" ^
    --templateProperty jdbctojdbc.output.url="OUTPUT_JDBC_CONNECTION_URL" ^
    --templateProperty jdbctojdbc.output.driver="OUTPUT_DRIVER" ^
    --templateProperty jdbctojdbc.output.table="OUTPUT_JDBC_TABLE" ^
    --templateProperty jdbctojdbc.input.fetchsize="FETCHSIZE" ^
    --templateProperty jdbctojdbc.input.partitioncolumn="INPUT_PARTITION_COLUMN" ^
    --templateProperty jdbctojdbc.input.lowerbound="LOWERBOUND" ^
    --templateProperty jdbctojdbc.input.upperbound="UPPERBOUND" ^
    --templateProperty jdbctojdbc.numpartitions="NUM_PARTITIONS" ^
    --templateProperty jdbctojdbc.output.mode="MODE" ^
    --templateProperty jdbctojdbc.output.batch.size="BATCH_SIZE" ^
    --templateProperty jdbctojdbc.output.primary.key="PRIMARY_KEY" ^
    --templateProperty jdbctojdbc.output.create.table.option="TABLE_PROPERTIES" ^
    --templateProperty jdbctojdbc.sessioninitstatement="JDBC_SESSION_INIT" ^
    --templateProperty jdbctojdbc.temp.view.name="TEMP_VIEW" ^
    --templateProperty jdbctojdbc.sql.query="TEMP_QUERY"

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫PROJECT_ID: שדה חובה. מזהה הפרויקט שלכם Google Cloud מופיע בהגדרות IAM.
‫REGION: שדה חובה. אזור Compute Engine.
‫SUBNET: אופציונלי. אם לא מציינים רשת משנה, המערכת בוחרת את רשת המשנה באזור שצוין ברשת default.
דוגמה: projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME
‫TEMPLATE_VERSION: שדה חובה. מציינים latest לגרסה העדכנית ביותר של התבנית, או את התאריך של גרסה ספציפית, לדוגמה, 2023-03-17_v0.1.0-beta (אפשר להיכנס לכתובת gs://dataproc-templates-binaries או להריץ את הפקודה gcloud storage ls gs://dataproc-templates-binaries כדי לראות רשימה של גרסאות התבניות הזמינות).
‫INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH ו-OUTPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH: חובה. הנתיב המלא ב-Cloud Storage, כולל שם הקובץ, שבו מאוחסנים קובצי ה-JAR של מחבר ה-JDBC של הקלט והפלט.
הערה: אם קובצי ה-JAR של הקלט והפלט זהים, מספיק להגדיר רק את INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH.

אפשר להשתמש בפקודות הבאות כדי להוריד מחברי JDBC להעלאה ל-Cloud Storage:
- ‫MySQL:
```
  wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.30.tar.gz
```
- ‫PostgreSQL:
```
  wget https://jdbc.postgresql.org/download/postgresql-42.2.6.jar
```
- ‫Microsoft SQL Server:
```
  wget https://repo1.maven.org/maven2/com/microsoft/sqlserver/mssql-jdbc/6.4.0.jre8/mssql-jdbc-6.4.0.jre8.jar
```
- ‫Oracle:
```
  wget https://repo1.maven.org/maven2/com/oracle/database/jdbc/ojdbc8/21.7.0.0/ojdbc8-21.7.0.0.jar
```

המשתנים הבאים משמשים לבניית כתובת ה-URL של JDBC הנדרשת:

INPUT_JDBC_HOST
INPUT_JDBC_PORT
‫INPUT_JDBC_DATABASE, או, ב-Oracle, INPUT_JDBC_SERVICE
INPUT_JDBC_USERNAME
INPUT_JDBC_PASSWORD

בונים את INPUT_JDBC_CONNECTION_URL באמצעות אחד מהפורמטים הבאים שספציפיים למחבר:

‫MySQL:

jdbc:mysql://INPUT_JDBC_HOST:INPUT_JDBC_PORT/INPUT_JDBC_DATABASE?user=INPUT_JDBC_USERNAME&password=INPUT_JDBC_PASSWORD

‫PostgreSQL:

jdbc:postgresql://INPUT_JDBC_HOST:INPUT_JDBC_PORT/INPUT_JDBC_DATABASE?user=INPUT_JDBC_USERNAME&password=INPUT_JDBC_PASSWORD

‫Microsoft SQL Server:

jdbc:sqlserver://INPUT_JDBC_HOST:INPUT_JDBC_PORT;databaseName=INPUT_JDBC_DATABASE;user=INPUT_JDBC_USERNAME;password=INPUT_JDBC_PASSWORD

‫Oracle:

jdbc:oracle:thin:@//INPUT_JDBC_HOST:INPUT_JDBC_PORT/INPUT_JDBC_SERVICE?user=INPUT_JDBC_USERNAME&password=INPUT_JDBC_PASSWORD

המשתנים הבאים משמשים לבניית כתובת ה-URL של JDBC הנדרשת לפלט:

OUTPUT_JDBC_HOST
OUTPUT_JDBC_PORT
‫OUTPUT_JDBC_DATABASE, או, ב-Oracle, OUTPUT_JDBC_SERVICE
OUTPUT_JDBC_USERNAME
OUTPUT_JDBC_PASSWORD

בונים את OUTPUT_JDBC_CONNECTION_URL באמצעות אחד מהפורמטים הבאים שספציפיים למחבר:

‫MySQL:

jdbc:mysql://OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT/OUTPUT_JDBC_DATABASE?user=OUTPUT_JDBC_USERNAME&password=OUTPUT_JDBC_PASSWORD

‫PostgreSQL:

jdbc:postgresql://OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT/OUTPUT_JDBC_DATABASE?user=OUTPUT_JDBC_USERNAME&password=OUTPUT_JDBC_PASSWORD

‫Microsoft SQL Server:

jdbc:sqlserver://OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT;databaseName=OUTPUT_JDBC_DATABASE;user=OUTPUT_JDBC_USERNAME;password=OUTPUT_JDBC_PASSWORD

‫Oracle:

jdbc:oracle:thin:@//OUTPUT_JDBC_HOST:OUTPUT_JDBC_PORT/OUTPUT_JDBC_SERVICE?user=OUTPUT_JDBC_USERNAME&password=OUTPUT_JDBC_PASSWORD

‫INPUT_JDBC_TABLE: שדה חובה. מזינים את שם טבלת ה-JDBC או שאילתת SQL בטבלת הקלט של ה-JDBC.
דוגמה (שאילתת ה-SQL צריכה להיות בתוך סוגריים): (select * from TABLE_NAME) as ALIAS_TABLE_NAME
‫OUTPUT_JDBC_TABLE: שדה חובה. טבלת JDBC שבה יישמר הפלט.
‫INPUT_DRIVER ו-OUTPUT_DRIVER: חובה. מנהל ההתקן של JDBC לקלט ולפלט שמשמש לחיבור:
- ‫MySQL:
```
com.mysql.cj.jdbc.Driver
```
- ‫PostgreSQL:
```
org.postgresql.Driver
```
- ‫Microsoft SQL Server:
```
com.microsoft.sqlserver.jdbc.SQLServerDriver
```
- ‫Oracle:
```
oracle.jdbc.driver.OracleDriver
```
INPUT_PARTITION_COLUMN, LOWERBOUND, UPPERBOUND, NUM_PARTITIONS: אופציונלי. אם משתמשים בפרמטר הזה, צריך לציין את כל הפרמטרים הבאים:
- ‫INPUT_PARTITION_COLUMN: שם העמודה של חלוקת טבלת הקלט של JDBC.
- ‫LOWERBOUND: הגבול התחתון של עמודת החלוקה למחיצות של טבלת הקלט ב-JDBC, שמשמש לקביעת גודל המחיצה.
- ‫UPPERBOUND: הגבול העליון של עמודת החלוקה למחיצות (partitioning) בטבלת הקלט של JDBC, שמשמש לקביעת הצעד של החלוקה למחיצות.
- ‫NUM_PARTITIONS: המספר המקסימלי של מחיצות שאפשר להשתמש בהן כדי להקביל קריאות וכתיבות של טבלאות. אם מציינים ערך, הוא משמש לחיבור קלט ופלט של JDBC.
‫FETCHSIZE: אופציונלי. כמה שורות לאחזר בכל הלוך ושוב.
‫BATCH_SIZE: אופציונלי. מספר הרשומות להוספה בכל הלוך ושוב. ברירת מחדל: 1000.
‫MODE: אופציונלי. מצב כתיבה לפלט JDBC. אפשרויות: Append, ‏ Overwrite, ‏ Ignore, או ErrorIfExists.
‫TABLE_PROPERTIES: אופציונלי. באמצעות האפשרות הזו אפשר להגדיר אפשרויות ספציפיות לטבלה ולמחיצה במסד הנתונים כשיוצרים את טבלת הפלט.
‫PRIMARY_KEY: אופציונלי. עמודת המפתח הראשי בטבלת הפלט. העמודה שצוינה לא יכולה להכיל ערכים כפולים, אחרת תוצג שגיאה.
‫JDBC_SESSION_INIT: אופציונלי. הצהרת אתחול של סשן כדי לקרוא תבניות Java.
‫LOG_LEVEL: אופציונלי. רמת הרישום ביומן. יכול להיות אחד מהערכים הבאים: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE או WARN. ברירת מחדל: INFO.
‫TEMP_VIEW ו-TEMP_QUERY: אופציונליים. אתם יכולים להשתמש בשני הפרמטרים האופציונליים האלה כדי להחיל טרנספורמציה של Spark SQL בזמן טעינת הנתונים ל-Cloud Storage. הערך של TEMP_VIEW צריך להיות זהה לשם הטבלה שמופיע בשאילתה, ו-TEMP_QUERY הוא הצהרת השאילתה.
‫SERVICE_ACCOUNT: אופציונלי. אם לא תציינו חשבון שירות, המערכת תשתמש בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.
‫PROPERTY ו-PROPERTY_VALUE: אופציונליים. רשימה מופרדת בפסיקים של זוגות מאפייני Spark=value.
‫LABEL ו-LABEL_VALUE: אופציונליים. רשימה מופרדת בפסיקים של זוגות label=value.
‫KMS_KEY: אופציונלי. מפתח Cloud Key Management Service שבו יש להשתמש להצפנה. אם לא מציינים מפתח, הנתונים מוצפנים באחסון באמצעות Google-owned and Google-managed encryption key.
דוגמה: projects/PROJECT_ID/regions/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

ה-method של ה-HTTP וכתובת ה-URL:

POST https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches

תוכן בקשת JSON:


{
  "environmentConfig": {
    "executionConfig": {
      "subnetworkUri": "SUBNET",
      "kmsKey": "KMS_KEY",
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  },
  "labels": {
    "LABEL": "LABEL_VALUE"
  },
  "runtimeConfig": {
    "version": "2.3",
    "properties": {
      "PROPERTY": "PROPERTY_VALUE"
    }
  },
  "sparkBatch": {
    "mainClass": "com.google.cloud.dataproc.templates.main.DataProcTemplate",
    "args": [
      "--template","JDBCTOJDBC",
      "--templateProperty","log.level=LOG_LEVEL",
      "--templateProperty","project.id=PROJECT_ID",
      "--templateProperty","jdbctojdbc.input.url=INPUT_JDBC_CONNECTION_URL",
      "--templateProperty","jdbctojdbc.input.driver=INPUT_DRIVER",
      "--templateProperty","jdbctojdbc.input.table=INPUT_TABLE",
      "--templateProperty","jdbctojdbc.output.url=OUTPUT_JDBC_CONNECTION_URL",
      "--templateProperty","jdbctojdbc.output.driver=OUTPUT_DRIVER",
      "--templateProperty","jdbctojdbc.output.table=OUTPUT_TABLE",
      "--templateProperty","jdbctojdbc.input.fetchsize=FETCHSIZE",
      "--templateProperty","jdbctojdbc.input.partitioncolumn=INPUT_PARTITION_COLUMN",
      "--templateProperty","jdbctojdbc.input.lowerbound=LOWERBOUND",
      "--templateProperty","jdbctojdbc.input.upperbound=UPPERBOUND",
      "--templateProperty","jdbctojdbc.numpartitions=NUM_PARTITIONS",
      "--templateProperty","jdbctojdbc.output.mode=MODE",
      "--templateProperty","jdbctojdbc.output.batch.size=BATCH_SIZE",
      "--templateProperty","jdbctojdbc.output.primary.key=PRIMARY_KEY",
      "--templateProperty","jdbctojdbc.output.create.table.option=TABLE_PROPERTIES",
      "--templateProperty","jdbctojdbc.sessioninitstatement=JDBC_SESSION_INIT",
      "--templateProperty","jdbctojdbc.temp.view.name=TEMP_VIEW",
      "--templateProperty","jdbctojdbc.sql.query=TEMP_QUERY"
    ],
    "jarFileUris": [
      "gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar",
      "INPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH",
      "OUTPUT_JDBC_CONNECTOR_CLOUD_STORAGE_PATH"
    ]
  }
}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

‫Curl (Linux,‏ macOS או Cloud Shell)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches"

‎PowerShell (Windows)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:


{
  "name": "projects/PROJECT_ID/regions/REGION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.dataproc.v1.BatchOperationMetadata",
    "batch": "projects/PROJECT_ID/locations/REGION/batches/BATCH_ID",
    "batchUuid": "de8af8d4-3599-4a7c-915c-798201ed1583",
    "createTime": "2023-02-24T03:31:03.440329Z",
    "operationType": "BATCH",
    "description": "Batch"
  }
}