"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

תבנית Hive to Cloud Storage

אפשר להשתמש בתבנית Managed Service for Apache Spark Hive to Cloud Storage כדי לחלץ נתונים מ-Hive ל-Cloud Storage.

שימוש בתבנית

מריצים את התבנית באמצעות ה-CLI של gcloud או Managed Service for Apache Spark API.

gcloud

לפני השימוש בנתוני הפקודה הבאים, צריך להחליף את הנתונים הבאים:

‫PROJECT_ID: שדה חובה. מזהה הפרויקט שלכם מופיע בהגדרות IAM. Google Cloud
‫REGION: שדה חובה. אזור Compute Engine.
‫TEMPLATE_VERSION: שדה חובה. מציינים latest כדי להשתמש בגרסה העדכנית ביותר של התבנית, או את התאריך של גרסה ספציפית, למשל 2023-03-17_v0.1.0-beta (אפשר להיכנס לכתובת gs://templates-binaries או להריץ את הפקודה gcloud storage ls gs://templates-binaries כדי לראות רשימה של גרסאות התבניות הזמינות).
‫SUBNET: אופציונלי. אם לא מציינים רשת משנה, המערכת בוחרת את רשת המשנה באזור שצוין ברשת default.
דוגמה: projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME
‫HOST ו-PORT: חובה. שם המארח או כתובת ה-IP והיציאה של מארח מסד הנתונים של Hive.
דוגמה: 10.0.0.33
‫TABLE: שדה חובה. שם טבלת הקלט של Hive.
‫DATABASE: שדה חובה. שם מסד הנתונים של Hive לקלט.
‫CLOUD_STORAGE_OUTPUT_PATH: שדה חובה. נתיב Cloud Storage שבו יישמר הפלט.
דוגמה: gs://templates/hive_to_cloud_storage_output
‫FORMAT: אופציונלי. פורמט נתוני הפלט. אפשרויות: avro, parquet, csv, או json. ברירת מחדל: avro. הערה: אם avro, צריך להוסיף file:///usr/lib/spark/connector/spark-avro.jar לדגל jars של ה-CLI של gcloud או לשדה API.
דוגמה (הקידומת file:// מתייחסת לקובץ jar של Managed Service for Apache Spark):
--jars=file:///usr/lib/spark/connector/spark-avro.jar, [, ... other jars]
‫HIVE_PARTITION_COLUMN: אופציונלי. עמודה לביצוע חלוקה למחיצות של נתוני Hive.
‫MODE: שדה חובה. מצב כתיבה לפלט של Cloud Storage. אפשרויות: append, ‏ overwrite, ‏ ignore, או errorifexists.
‫SERVICE_ACCOUNT: אופציונלי. אם לא תציינו חשבון שירות, המערכת תשתמש בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.
‫PROPERTY ו-PROPERTY_VALUE: אופציונלי. רשימה מופרדת בפסיקים של זוגות מאפייני Spark=value.
‫LABEL ו-LABEL_VALUE: אופציונליים. רשימה מופרדת בפסיקים של זוגות label=value.
‫LOG_LEVEL: אופציונלי. רמת הרישום ביומן. יכול להיות אחד מהערכים הבאים: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE או WARN. ברירת מחדל: INFO.
‫KMS_KEY: אופציונלי. המפתח של Cloud Key Management Service שבו יש להשתמש להצפנה. אם לא מציינים מפתח, הנתונים מוצפנים באחסון באמצעות Google-owned and Google-managed encryption key.
דוגמה: projects/PROJECT_ID/regions/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

מריצים את הפקודה הבאה:

‫Linux,‏ macOS או Cloud Shell

gcloud dataproc batches submit spark \
    --class=com.google.cloud.dataproc.templates.main.DataProcTemplate \
    --version="1.2" \
    --project="PROJECT_ID" \
    --region="REGION" \
    --jars="gs://templates-binaries/TEMPLATE_VERSION/java/templates.jar" \
    --subnet="SUBNET" \
    --kms-key="KMS_KEY" \
    --service-account="SERVICE_ACCOUNT" \
    --properties="spark.hadoop.hive.metastore.uris=thrift://HOST:PORT,PROPERTY=PROPERTY_VALUE" \
    --labels="LABEL=LABEL_VALUE" \
    -- --template=HIVETOGCS \
    --templateProperty log.level="LOG_LEVEL" \
    --templateProperty hive.input.table="TABLE" \
    --templateProperty hive.input.db="DATABASE" \
    --templateProperty hive.gcs.output.path="CLOUD_STORAGE_OUTPUT_PATH" \
    --templateProperty hive.gcs.output.format="FORMAT" \
    --templateProperty hive.partition.col="HIVE_PARTITION_COLUMN" \
    --templateProperty hive.gcs.save.mode="MODE"

‏Windows (PowerShell)

gcloud dataproc batches submit spark `
    --class=com.google.cloud.dataproc.templates.main.DataProcTemplate `
    --version="1.2" `
    --project="PROJECT_ID" `
    --region="REGION" `
    --jars="gs://templates-binaries/TEMPLATE_VERSION/java/templates.jar" `
    --subnet="SUBNET" `
    --kms-key="KMS_KEY" `
    --service-account="SERVICE_ACCOUNT" `
    --properties="spark.hadoop.hive.metastore.uris=thrift://HOST:PORT,PROPERTY=PROPERTY_VALUE" `
    --labels="LABEL=LABEL_VALUE" `
    -- --template=HIVETOGCS `
    --templateProperty log.level="LOG_LEVEL" `
    --templateProperty hive.input.table="TABLE" `
    --templateProperty hive.input.db="DATABASE" `
    --templateProperty hive.gcs.output.path="CLOUD_STORAGE_OUTPUT_PATH" `
    --templateProperty hive.gcs.output.format="FORMAT" `
    --templateProperty hive.partition.col="HIVE_PARTITION_COLUMN" `
    --templateProperty hive.gcs.save.mode="MODE"

Windows‏ (cmd.exe)

gcloud dataproc batches submit spark ^
    --class=com.google.cloud.dataproc.templates.main.DataProcTemplate ^
    --version="1.2" ^
    --project="PROJECT_ID" ^
    --region="REGION" ^
    --jars="gs://templates-binaries/TEMPLATE_VERSION/java/templates.jar" ^
    --subnet="SUBNET" ^
    --kms-key="KMS_KEY" ^
    --service-account="SERVICE_ACCOUNT" ^
    --properties="spark.hadoop.hive.metastore.uris=thrift://HOST:PORT,PROPERTY=PROPERTY_VALUE" ^
    --labels="LABEL=LABEL_VALUE" ^
    -- --template=HIVETOGCS ^
    --templateProperty log.level="LOG_LEVEL" ^
    --templateProperty hive.input.table="TABLE" ^
    --templateProperty hive.input.db="DATABASE" ^
    --templateProperty hive.gcs.output.path="CLOUD_STORAGE_OUTPUT_PATH" ^
    --templateProperty hive.gcs.output.format="FORMAT" ^
    --templateProperty hive.partition.col="HIVE_PARTITION_COLUMN" ^
    --templateProperty hive.gcs.save.mode="MODE"

REST

לפני שמשתמשים בנתוני הבקשה, צריך להחליף את הנתונים הבאים:

‫PROJECT_ID: שדה חובה. מזהה הפרויקט שלכם מופיע בהגדרות IAM. Google Cloud
‫REGION: שדה חובה. אזור Compute Engine.
‫TEMPLATE_VERSION: שדה חובה. מציינים latest כדי להשתמש בגרסה העדכנית ביותר של התבנית, או את התאריך של גרסה ספציפית, למשל 2023-03-17_v0.1.0-beta (אפשר להיכנס לכתובת gs://templates-binaries או להריץ את הפקודה gcloud storage ls gs://templates-binaries כדי לראות רשימה של גרסאות התבניות הזמינות).
‫SUBNET: אופציונלי. אם לא מציינים רשת משנה, המערכת בוחרת את רשת המשנה באזור שצוין ברשת default.
דוגמה: projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME
‫HOST ו-PORT: חובה. שם המארח או כתובת ה-IP והיציאה של מארח מסד הנתונים של Hive.
דוגמה: 10.0.0.33
‫TABLE: שדה חובה. שם טבלת הקלט של Hive.
‫DATABASE: שדה חובה. שם מסד הנתונים של Hive לקלט.
‫CLOUD_STORAGE_OUTPUT_PATH: שדה חובה. נתיב Cloud Storage שבו יישמר הפלט.
דוגמה: gs://templates/hive_to_cloud_storage_output
‫FORMAT: אופציונלי. פורמט נתוני הפלט. אפשרויות: avro, parquet, csv, או json. ברירת מחדל: avro. הערה: אם avro, צריך להוסיף file:///usr/lib/spark/connector/spark-avro.jar לדגל jars של ה-CLI של gcloud או לשדה API.
דוגמה (הקידומת file:// מתייחסת לקובץ jar של Managed Service for Apache Spark):
--jars=file:///usr/lib/spark/connector/spark-avro.jar, [, ... other jars]
‫HIVE_PARTITION_COLUMN: אופציונלי. עמודה לביצוע חלוקה למחיצות של נתוני Hive.
‫MODE: שדה חובה. מצב כתיבה לפלט של Cloud Storage. אפשרויות: append, ‏ overwrite, ‏ ignore, או errorifexists.
‫SERVICE_ACCOUNT: אופציונלי. אם לא תציינו חשבון שירות, המערכת תשתמש בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.
‫PROPERTY ו-PROPERTY_VALUE: אופציונלי. רשימה מופרדת בפסיקים של זוגות מאפייני Spark=value.
‫LABEL ו-LABEL_VALUE: אופציונליים. רשימה מופרדת בפסיקים של זוגות label=value.
‫LOG_LEVEL: אופציונלי. רמת הרישום ביומן. יכול להיות אחד מהערכים הבאים: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE או WARN. ברירת מחדל: INFO.
‫KMS_KEY: אופציונלי. המפתח של Cloud Key Management Service שבו יש להשתמש להצפנה. אם לא מציינים מפתח, הנתונים מוצפנים באחסון באמצעות Google-owned and Google-managed encryption key.
דוגמה: projects/PROJECT_ID/regions/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

ה-method של ה-HTTP וכתובת ה-URL:

POST https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches

תוכן בקשת JSON:


{
  "environmentConfig":{
    "executionConfig":{
      "subnetworkUri":"SUBNET",
      "kmsKey": "KMS_KEY",
      "serviceAccount": "SERVICE_ACCOUNT"
    }
  },
  "labels": {
    "LABEL": "LABEL_VALUE"
  },
  "runtimeConfig": {
    "version": "1.2",
    "properties": {
      "spark.hadoop.hive.metastore.uris":"thrift://HOST:PORT",
      "PROPERTY": "PROPERTY_VALUE"
    }
  },
  "sparkBatch":{
    "mainClass":"com.google.cloud.dataproc.templates.main.DataProcTemplate",
    "args":[
      "--template","HIVETOGCS",
      "--templateProperty","log.level=LOG_LEVEL",
      "--templateProperty","hive.input.table=TABLE",
      "--templateProperty","hive.input.db=DATABASE",
      "--templateProperty","hive.gcs.output.path=CLOUD_STORAGE_OUTPUT_PATH",
      "--templateProperty","hive.gcs.output.format=FORMAT",
      "--templateProperty","hive.partition.col=HIVE_PARTITION_COLUMN",
      "--templateProperty","hive.gcs.save.mode=MODE"
    ],
    "jarFileUris":[
      "file:///usr/lib/spark/connector/spark-avro.jar",
      "gs://templates-binaries/TEMPLATE_VERSION/java/templates.jar"
    ]
  }
}

כדי לשלוח את הבקשה צריך להרחיב אחת מהאפשרויות הבאות:

‫Curl (Linux,‏ macOS או Cloud Shell)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login, או באמצעות Cloud Shell שמחבר אתכם אוטומטית ל-CLI של gcloud. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches"

‎PowerShell (Windows)

הערה: הפקודה הבאה מבוססת על ההנחה שנכנסתם ל-CLI של gcloud באמצעות חשבון המשתמש שלכם, על ידי הרצת gcloud init או gcloud auth login. כדי לבדוק איזה חשבון פעיל, אפשר להריץ את הפקודה gcloud auth list.

שומרים את גוף הבקשה בקובץ בשם request.json ומריצים את הפקודה הבאה:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dataproc.googleapis.com/v1/projects/PROJECT_ID/locations/REGION/batches" | Select-Object -Expand Content

אתם אמורים לקבל תגובת JSON שדומה לזו:


{
  "name": "projects/PROJECT_ID/regions/REGION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.dataproc.v1.BatchOperationMetadata",
    "batch": "projects/PROJECT_ID/locations/REGION/batches/BATCH_ID",
    "batchUuid": "de8af8d4-3599-4a7c-915c-798201ed1583",
    "createTime": "2023-02-24T03:31:03.440329Z",
    "operationType": "BATCH",
    "description": "Batch"
  }
}