"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

תבנית JDBC ל-Cloud Storage

אפשר להשתמש בתבנית Managed Service for Apache Spark JDBC to Cloud Storage כדי לחלץ נתונים ממסדי נתונים של JDBC ל-Cloud Storage.

התבנית הזו תומכת במסדי הנתונים הבאים כקלט:

MySQL
PostgreSQL
Microsoft SQL Server
Oracle

שימוש בתבנית

מריצים את התבנית באמצעות ה-CLI של gcloud או Managed Service for Apache Spark API.

gcloud

לפני השימוש בנתוני הפקודה הבאים, צריך להחליף את הנתונים הבאים:

‫PROJECT_ID: שדה חובה. Google Cloud מזהה הפרויקט שלכם מופיע בהגדרות IAM.
‫REGION: שדה חובה. אזור Compute Engine.
‫SUBNET: אופציונלי. אם לא מציינים רשת משנה, המערכת בוחרת את רשת המשנה באזור שצוין ברשת default.
דוגמה: projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME

‫JDBC_CONNECTOR_CLOUD_STORAGE_PATH: שדה חובה. הנתיב המלא ב-Cloud Storage, כולל שם הקובץ, שבו מאוחסן קובץ ה-JAR של מחבר ה-JDBC. אפשר להשתמש בפקודות הבאות כדי להוריד מחברי JDBC להעלאה ל-Cloud Storage:

‫MySQL:

wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.30.tar.gz

‫Postgres SQL:

wget https://jdbc.postgresql.org/download/postgresql-42.2.6.jar

‫Microsoft SQL Server:

  
wget https://repo1.maven.org/maven2/com/microsoft/sqlserver/mssql-jdbc/6.4.0.jre8/mssql-jdbc-6.4.0.jre8.jar

‫Oracle:

wget https://repo1.maven.org/maven2/com/oracle/database/jdbc/ojdbc8/21.7.0.0/ojdbc8-21.7.0.0.jar

המשתנים הבאים משמשים ליצירת JDBC_CONNECTION_URL הנדרש:

JDBC_HOST
JDBC_PORT
‫JDBC_DATABASE, או, ב-Oracle, JDBC_SERVICE
JDBC_USERNAME
JDBC_PASSWORD

בונים את JDBC_CONNECTION_URL באמצעות אחד מהפורמטים הבאים שספציפיים למחבר:

‫MySQL:

jdbc:mysql://JDBC_HOST:JDBC_PORT/JDBC_DATABASE?user=JDBC_USERNAME&password=JDBC_PASSWORD

‫Postgres SQL:

jdbc:postgresql://JDBC_HOST:JDBC_PORT/JDBC_DATABASE?user=JDBC_USERNAME&password=JDBC_PASSWORD

‫Microsoft SQL Server:

 
jdbc:sqlserver://JDBC_HOST:JDBC_PORT;databaseName=JDBC_DATABASE;user=JDBC_USERNAME;password=JDBC_PASSWORD

‫Oracle:

jdbc:oracle:thin:@//JDBC_HOST:JDBC_PORT/JDBC_SERVICE?user=JDBC_USERNAME&password=

‫DRIVER: שדה חובה. מנהל ההתקן של JDBC שמשמש לחיבור:

‫MySQL:
```
com.mysql.cj.jdbc.Driver
        
```
‫Postgres SQL:
```
org.postgresql.Driver
        
```

‫Microsoft SQL Server:

  
com.microsoft.sqlserver.jdbc.SQLServerDriver

‫Oracle:

oracle.jdbc.driver.OracleDriver

‫FORMAT: שדה חובה. פורמט נתוני הפלט. אפשרויות: avro, parquet, csv, או json. ברירת מחדל: avro. הערה: אם avro, צריך להוסיף את file:///usr/lib/spark/connector/spark-avro.jar לדגל jars של ה-CLI של gcloud או לשדה API.
דוגמה (הקידומת file:// מתייחסת לקובץ jar של Managed Service for Apache Spark):
--jars=file:///usr/lib/spark/connector/spark-avro.jar, [, ... other jars]
‫MODE: שדה חובה. מצב כתיבה לפלט של Cloud Storage. אפשרויות: append, ‏ overwrite, ‏ ignore, או errorifexists.
‫TEMPLATE_VERSION: שדה חובה. מציינים latest לגרסה העדכנית ביותר של התבנית, או את התאריך של גרסה ספציפית, לדוגמה, 2023-03-17_v0.1.0-beta (אפשר להיכנס לכתובת gs://dataproc-templates-binaries או להריץ את הפקודה gcloud storage ls gs://dataproc-templates-binaries כדי לראות רשימה של גרסאות התבניות הזמינות).
‫CLOUD_STORAGE_OUTPUT_PATH: שדה חובה. Cloud Storage הנתיב שבו הפלט יאוחסן.
דוגמה: gs://templates/jdbc_to_cloud_storage_output
‫LOG_LEVEL: אופציונלי. רמת הרישום ביומן. אפשר להשתמש באחד מהערכים הבאים: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE או WARN. ברירת מחדל: INFO.
‫INPUT_PARTITION_COLUMN, LOWERBOUND, UPPERBOUND, NUM_PARTITIONS: אופציונלי. אם משתמשים בפרמטרים האלה, צריך לציין את כל הפרמטרים הבאים:
- ‫INPUT_PARTITION_COLUMN: שם העמודה של חלוקת טבלת הקלט של JDBC.
- ‫LOWERBOUND: הגבול התחתון של עמודת החלוקה למחיצות של טבלת הקלט ב-JDBC, שמשמש לקביעת גודל המחיצה.
- ‫UPPERBOUND: הגבול העליון של עמודת החלוקה למחיצות של טבלת הקלט של JDBC, שמשמש לקביעת גודל המחיצה.
- ‫NUM_PARTITIONS: המספר המקסימלי של מחיצות שאפשר להשתמש בהן כדי להקביל קריאות וכתיבות של טבלאות. אם מציינים ערך, הוא משמש לחיבור קלט ופלט של JDBC. ברירת מחדל: 10.
‫OUTPUT_PARTITION_COLUMN: אופציונלי. שם העמודה של מחיצת הפלט.
‫FETCHSIZE: אופציונלי. כמה שורות לאחזר לכל נסיעה הלוך ושוב. ברירת מחדל: 10.
QUERY או QUERY_FILE: חובה. מגדירים אחת מהאפשרויות QUERY או QUERY_FILE כדי לציין את השאילתה שתשמש לחילוץ נתונים מ-JDBC
‫TEMP_VIEW וTEMP_QUERY: אופציונליים. אתם יכולים להשתמש בשני הפרמטרים האופציונליים האלה כדי להחיל טרנספורמציה של Spark SQL בזמן טעינת הנתונים ל-Cloud Storage. הערך של TEMPVIEW חייב להיות זהה לשם הטבלה שמשמשת בשאילתה, והערך של TEMP_QUERY הוא הצהרת השאילתה.
‫SERVICE_ACCOUNT: אופציונלי. אם לא תציינו חשבון שירות, המערכת תשתמש בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.
‫PROPERTY ו-PROPERTY_VALUE: אופציונליים. רשימה מופרדת בפסיקים של זוגות מאפייני Spark=value.
‫LABEL ו-LABEL_VALUE: אופציונליים. רשימה מופרדת בפסיקים של זוגות label=value.
‫JDBC_SESSION_INIT: אופציונלי. הצהרת אתחול של סשן לקריאת תבניות Java.
‫KMS_KEY: אופציונלי. המפתח של Cloud Key Management Service שבו יש להשתמש להצפנה. אם לא מציינים מפתח, הנתונים מוצפנים באחסון באמצעות Google-owned and Google-managed encryption key.
דוגמה: projects/PROJECT_ID/regions/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

מריצים את הפקודה הבאה:

‫Linux,‏ macOS או Cloud Shell

gcloud dataproc batches submit spark \
    --class=com.google.cloud.dataproc.templates.main.DataProcTemplate \
    --project="PROJECT_ID" \
    --region="REGION" \
    --version="2.3" \
    --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar,JDBC_CONNECTOR_CLOUD_STORAGE_PATH" \
    --subnet="SUBNET" \
    --kms-key="KMS_KEY" \
    --service-account="SERVICE_ACCOUNT" \
    --properties="PROPERTY=PROPERTY_VALUE" \
    --labels="LABEL=LABEL_VALUE" \
    -- --template=JDBCTOGCS \
    --templateProperty project.id="PROJECT_ID" \
    --templateProperty log.level="LOG_LEVEL" \
    --templateProperty jdbctogcs.jdbc.url="JDBC_CONNECTION_URL" \
    --templateProperty jdbctogcs.jdbc.driver.class.name="DRIVER" \
    --templateProperty jdbctogcs.output.format="FORMAT" \
    --templateProperty jdbctogcs.output.location="CLOUD_STORAGE_OUTPUT_PATH" \
    --templateProperty jdbctogcs.sql="QUERY" \
    --templateProperty jdbctogcs.sql.file="QUERY_FILE" \
    --templateProperty jdbctogcs.sql.partitionColumn="INPUT_PARTITION_COLUMN" \
    --templateProperty jdbctogcs.sql.lowerBound="LOWERBOUND" \
    --templateProperty jdbctogcs.sql.upperBound="UPPERBOUND" \
    --templateProperty jdbctogcs.jdbc.fetchsize="FETCHSIZE" \
    --templateProperty jdbctogcs.sql.numPartitions="NUM_PARTITIONS" \
    --templateProperty jdbctogcs.write.mode="MODE" \
    --templateProperty dbctogcs.output.partition.col="OUTPUT_PARTITION_COLUMN" \
    --templateProperty jdbctogcs.temp.table="TEMP_VIEW" \
    --templateProperty jdbctogcs.temp.query="TEMP_QUERY"

‏Windows (PowerShell)

gcloud dataproc batches submit spark `
    --class=com.google.cloud.dataproc.templates.main.DataProcTemplate `
    --project="PROJECT_ID" `
    --region="REGION" `
    --version="2.3" `
    --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar,JDBC_CONNECTOR_CLOUD_STORAGE_PATH" `
    --subnet="SUBNET" `
    --kms-key="KMS_KEY" `
    --service-account="SERVICE_ACCOUNT" `
    --properties="PROPERTY=PROPERTY_VALUE" `
    --labels="LABEL=LABEL_VALUE" `
    -- --template=JDBCTOGCS `
    --templateProperty project.id="PROJECT_ID" `
    --templateProperty log.level="LOG_LEVEL" `
    --templateProperty jdbctogcs.jdbc.url="JDBC_CONNECTION_URL" `
    --templateProperty jdbctogcs.jdbc.driver.class.name="DRIVER" `
    --templateProperty jdbctogcs.output.format="FORMAT" `
    --templateProperty jdbctogcs.output.location="CLOUD_STORAGE_OUTPUT_PATH" `
    --templateProperty jdbctogcs.sql="QUERY" `
    --templateProperty jdbctogcs.sql.file="QUERY_FILE" `
    --templateProperty jdbctogcs.sql.partitionColumn="INPUT_PARTITION_COLUMN" `
    --templateProperty jdbctogcs.sql.lowerBound="LOWERBOUND" `
    --templateProperty jdbctogcs.sql.upperBound="UPPERBOUND" `
    --templateProperty jdbctogcs.jdbc.fetchsize="FETCHSIZE" `
    --templateProperty jdbctogcs.sql.numPartitions="NUM_PARTITIONS" `
    --templateProperty jdbctogcs.write.mode="MODE" `
    --templateProperty dbctogcs.output.partition.col="OUTPUT_PARTITION_COLUMN" `
    --templateProperty jdbctogcs.temp.table="TEMP_VIEW" `
    --templateProperty jdbctogcs.temp.query="TEMP_QUERY"

Windows‏ (cmd.exe)

gcloud dataproc batches submit spark ^
    --class=com.google.cloud.dataproc.templates.main.DataProcTemplate ^
    --project="PROJECT_ID" ^
    --region="REGION" ^
    --version="2.3" ^
    --jars="gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar,JDBC_CONNECTOR_CLOUD_STORAGE_PATH" ^
    --subnet="SUBNET" ^
    --kms-key="KMS_KEY" ^
    --service-account="SERVICE_ACCOUNT" ^
    --properties="PROPERTY=PROPERTY_VALUE" ^
    --labels="LABEL=LABEL_VALUE" ^
    -- --template=JDBCTOGCS ^
    --templateProperty project.id="PROJECT_ID" ^
    --templateProperty log.level="LOG_LEVEL" ^
    --templateProperty jdbctogcs.jdbc.url="JDBC_CONNECTION_URL" ^
    --templateProperty jdbctogcs.jdbc.driver.class.name="DRIVER" ^
    --templateProperty jdbctogcs.output.format="FORMAT" ^
    --templateProperty jdbctogcs.output.location="CLOUD_STORAGE_OUTPUT_PATH" ^
    --templateProperty jdbctogcs.sql="QUERY" ^
    --templateProperty jdbctogcs.sql.file="QUERY_FILE" ^
    --templateProperty jdbctogcs.sql.partitionColumn="INPUT_PARTITION_COLUMN" ^
    --templateProperty jdbctogcs.sql.lowerBound="LOWERBOUND" ^
    --templateProperty jdbctogcs.sql.upperBound="UPPERBOUND" ^
    --templateProperty jdbctogcs.jdbc.fetchsize="FETCHSIZE" ^
    --templateProperty jdbctogcs.sql.numPartitions="NUM_PARTITIONS" ^
    --templateProperty jdbctogcs.write.mode="MODE" ^
    --templateProperty dbctogcs.output.partition.col="OUTPUT_PARTITION_COLUMN" ^
    --templateProperty jdbctogcs.temp.table="TEMP_VIEW" ^
    --templateProperty jdbctogcs.temp.query="TEMP_QUERY"

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫PROJECT_ID: שדה חובה. Google Cloud מזהה הפרויקט שלכם מופיע בהגדרות IAM.
‫REGION: שדה חובה. אזור Compute Engine.
‫SUBNET: אופציונלי. אם לא מציינים רשת משנה, המערכת בוחרת את רשת המשנה באזור שצוין ברשת default.
דוגמה: projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME

‫MySQL:

wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.30.tar.gz

‫Postgres SQL:

wget https://jdbc.postgresql.org/download/postgresql-42.2.6.jar

‫Microsoft SQL Server:

  
wget https://repo1.maven.org/maven2/com/microsoft/sqlserver/mssql-jdbc/6.4.0.jre8/mssql-jdbc-6.4.0.jre8.jar

‫Oracle:

wget https://repo1.maven.org/maven2/com/oracle/database/jdbc/ojdbc8/21.7.0.0/ojdbc8-21.7.0.0.jar

המשתנים הבאים משמשים ליצירת JDBC_CONNECTION_URL הנדרש:

JDBC_HOST
JDBC_PORT
‫JDBC_DATABASE, או, ב-Oracle, JDBC_SERVICE
JDBC_USERNAME
JDBC_PASSWORD

בונים את JDBC_CONNECTION_URL באמצעות אחד מהפורמטים הבאים שספציפיים למחבר:

‫MySQL:

jdbc:mysql://JDBC_HOST:JDBC_PORT/JDBC_DATABASE?user=JDBC_USERNAME&password=JDBC_PASSWORD

‫Postgres SQL:

jdbc:postgresql://JDBC_HOST:JDBC_PORT/JDBC_DATABASE?user=JDBC_USERNAME&password=JDBC_PASSWORD

‫Microsoft SQL Server:

 
jdbc:sqlserver://JDBC_HOST:JDBC_PORT;databaseName=JDBC_DATABASE;user=JDBC_USERNAME;password=JDBC_PASSWORD

‫Oracle:

jdbc:oracle:thin:@//JDBC_HOST:JDBC_PORT/JDBC_SERVICE?user=JDBC_USERNAME&password=

‫DRIVER: שדה חובה. מנהל ההתקן של JDBC שמשמש לחיבור:

‫MySQL:
```
com.mysql.cj.jdbc.Driver
        
```
‫Postgres SQL:
```
org.postgresql.Driver
        
```

‫Microsoft SQL Server:

  
com.microsoft.sqlserver.jdbc.SQLServerDriver

‫Oracle:

oracle.jdbc.driver.OracleDriver

‫FORMAT: שדה חובה. פורמט נתוני הפלט. אפשרויות: avro, parquet, csv, או json. ברירת מחדל: avro. הערה: אם avro, צריך להוסיף את file:///usr/lib/spark/connector/spark-avro.jar לדגל jars של ה-CLI של gcloud או לשדה API.
דוגמה (הקידומת file:// מתייחסת לקובץ jar של Managed Service for Apache Spark):
--jars=file:///usr/lib/spark/connector/spark-avro.jar, [, ... other jars]
‫MODE: שדה חובה. מצב כתיבה לפלט של Cloud Storage. אפשרויות: append, ‏ overwrite, ‏ ignore, או errorifexists.
‫TEMPLATE_VERSION: שדה חובה. מציינים latest לגרסה העדכנית ביותר של התבנית, או את התאריך של גרסה ספציפית, לדוגמה, 2023-03-17_v0.1.0-beta (אפשר להיכנס לכתובת gs://dataproc-templates-binaries או להריץ את הפקודה gcloud storage ls gs://dataproc-templates-binaries כדי לראות רשימה של גרסאות התבניות הזמינות).
‫CLOUD_STORAGE_OUTPUT_PATH: שדה חובה. Cloud Storage הנתיב שבו הפלט יאוחסן.
דוגמה: gs://templates/jdbc_to_cloud_storage_output
‫LOG_LEVEL: אופציונלי. רמת הרישום ביומן. אפשר להשתמש באחד מהערכים הבאים: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE או WARN. ברירת מחדל: INFO.
‫INPUT_PARTITION_COLUMN, LOWERBOUND, UPPERBOUND, NUM_PARTITIONS: אופציונלי. אם משתמשים בפרמטרים האלה, צריך לציין את כל הפרמטרים הבאים:
- ‫INPUT_PARTITION_COLUMN: שם העמודה של חלוקת טבלת הקלט של JDBC.
- ‫LOWERBOUND: הגבול התחתון של עמודת החלוקה למחיצות של טבלת הקלט ב-JDBC, שמשמש לקביעת גודל המחיצה.
- ‫UPPERBOUND: הגבול העליון של עמודת החלוקה למחיצות של טבלת הקלט של JDBC, שמשמש לקביעת גודל המחיצה.
- ‫NUM_PARTITIONS: המספר המקסימלי של מחיצות שאפשר להשתמש בהן כדי להקביל קריאות וכתיבות של טבלאות. אם מציינים ערך, הוא משמש לחיבור קלט ופלט של JDBC. ברירת מחדל: 10.
‫OUTPUT_PARTITION_COLUMN: אופציונלי. שם העמודה של מחיצת הפלט.
‫FETCHSIZE: אופציונלי. כמה שורות לאחזר לכל נסיעה הלוך ושוב. ברירת מחדל: 10.
QUERY או QUERY_FILE: חובה. מגדירים אחת מהאפשרויות QUERY או QUERY_FILE כדי לציין את השאילתה שתשמש לחילוץ נתונים מ-JDBC
‫TEMP_VIEW וTEMP_QUERY: אופציונליים. אתם יכולים להשתמש בשני הפרמטרים האופציונליים האלה כדי להחיל טרנספורמציה של Spark SQL בזמן טעינת הנתונים ל-Cloud Storage. הערך של TEMPVIEW חייב להיות זהה לשם הטבלה שמשמשת בשאילתה, והערך של TEMP_QUERY הוא הצהרת השאילתה.
‫SERVICE_ACCOUNT: אופציונלי. אם לא תציינו חשבון שירות, המערכת תשתמש בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.
‫PROPERTY ו-PROPERTY_VALUE: אופציונליים. רשימה מופרדת בפסיקים של זוגות מאפייני Spark=value.
‫LABEL ו-LABEL_VALUE: אופציונליים. רשימה מופרדת בפסיקים של זוגות label=value.
‫JDBC_SESSION_INIT: אופציונלי. הצהרת אתחול של סשן לקריאת תבניות Java.
‫KMS_KEY: אופציונלי. המפתח של Cloud Key Management Service שבו יש להשתמש להצפנה. אם לא מציינים מפתח, הנתונים מוצפנים באחסון באמצעות Google-owned and Google-managed encryption key.
דוגמה: projects/PROJECT_ID/regions/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

ה-method של ה-HTTP וכתובת ה-URL:

POST https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches

תוכן בקשת JSON:


{
  "environmentConfig": {
    "executionConfig": {
      "subnetworkUri": "SUBNET",
      "kmsKey": "KMS_KEY",
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  },
  "labels": {
    "LABEL": "LABEL_VALUE"
  },
  "runtimeConfig": {
    "version": "2.3",
    "properties": {
      "PROPERTY": "PROPERTY_VALUE"
    }
  },
  "sparkBatch": {
    "mainClass": "com.google.cloud.dataproc.templates.main.DataProcTemplate",
    "args": [
      "--template=JDBCTOGCS",
      "--templateProperty","log.level=LOG_LEVEL",
      "--templateProperty","project.id=PROJECT_ID",
      "--templateProperty","jdbctogcs.jdbc.url=JDBC_CONNECTION_URL",
      "--templateProperty","jdbctogcs.jdbc.driver.class.name=DRIVER",
      "--templateProperty","jdbctogcs.output.location=CLOUD_STORAGE_OUTPUT_PATH",
      "--templateProperty","jdbctogcs.write.mode=MODE",
      "--templateProperty","jdbctogcs.output.format=FORMAT",
      "--templateProperty","jdbctogcs.sql.numPartitions=NUM_PARTITIONS",
      "--templateProperty","jdbctogcs.jdbc.fetchsize=FETCHSIZE",
      "--templateProperty","jdbctogcs.sql=QUERY",
      "--templateProperty","jdbctogcs.sql.file=QUERY_FILE",
      "--templateProperty","jdbctogcs.sql.partitionColumn=INPUT_PARTITION_COLUMN",
      "--templateProperty","jdbctogcs.sql.lowerBound=LOWERBOUND",
      "--templateProperty","jdbctogcs.sql.upperBound=UPPERBOUND",
      "--templateProperty","jdbctogcs.output.partition.col=OUTPUT_PARTITION_COLUMN",
      "--templateProperty","jdbctogcs.temp.table=TEMP_VIEW",
      "--templateProperty","jdbctogcs.temp.query=TEMP_QUERY",
      "--templateProperty","jdbctogcs.jdbc.sessioninitstatement=JDBC_SESSION_INIT"
    ],
    "jarFileUris": [
      "gs://dataproc-templates-binaries/TEMPLATE_VERSION/java/dataproc-templates.jar", "JDBC_CONNECTOR_CLOUD_STORAGE_PATH"
    ]
  }
}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

‫Curl (Linux,‏ macOS או Cloud Shell)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches"

‎PowerShell (Windows)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:


{
  "name": "projects/PROJECT_ID/regions/REGION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.dataproc.v1.BatchOperationMetadata",
    "batch": "projects/PROJECT_ID/locations/REGION/batches/BATCH_ID",
    "batchUuid": "de8af8d4-3599-4a7c-915c-798201ed1583",
    "createTime": "2023-02-24T03:31:03.440329Z",
    "operationType": "BATCH",
    "description": "Batch"
  }
}