במסמך הזה מתוארות התכונות, ההגדרות וממשקי ה-API ב-Managed Service for Apache Spark שתואמים לאמצעי הבקרה בחבילות הבקרה הנתמכות. במסמך הזה אנחנו מניחים שאתם משתמשים ב-Assured Workloads.

הצג הכל Data Boundary for ITAR

Data Boundary for ITAR שירותים נתמכים בטבלה הבאה מפורטים ממשקי ה-API והגרסאות של Managed Service for Apache Spark שעומדים בדרישות של Data Boundary לצורך ITAR. שירות גרסה סטטוס dataproc.googleapis.com v1 נתמך dataproc.googleapis.com v1beta2 נתמך אזורים נתמכים לצורך תאימות השירות Managed Service for Apache Spark זמין עבור Data Boundary לצורך תאימות ל-ITAR באזורים הבאים: Google Cloud us-central1 us-central2 us-east1 us-east4 us-east5 us-south1 us-west1 us-west2 us-west3 us-west4 שדות API למידע אישי רגיש ‫Resource: dataproc.googleapis.com/Batch בטבלה הבאה מפורטים משאבי ה-API והשדות שנועדו לטפל בנתונים שמוגנים במסגרת Data Boundary בהתאם לתקנות ITAR. שיטת ה-API שדות מוגנים שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: POST /v1/{parent=projects/*/locations/*}/batches ‫RPC methods: google.cloud.dataproc.v1.BatchController.CreateBatch batch.pysparkBatch.args batch.rayBatch.args batch.sparkBatch.args batch.sparkRBatch.args batch.sparkSqlBatch.queryVariables.key batch.sparkSqlBatch.queryVariables.value ‫Resource: dataproc.googleapis.com/Job בטבלה הבאה מפורטים משאבי ה-API והשדות שנועדו לטפל בנתונים שמוגנים במסגרת Data Boundary בהתאם לתקנות ITAR. שיטת ה-API שדות מוגנים שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: PATCH /v1/projects/{project_id}/regions/{region}/jobs/{job_id} ‫RPC methods: google.cloud.dataproc.v1.JobController.UpdateJob job.flinkJob.args job.hadoopJob.args job.hiveJob.queryList.queries job.hiveJob.scriptVariables.key job.hiveJob.scriptVariables.value job.pigJob.queryList.queries job.pigJob.scriptVariables.key job.pigJob.scriptVariables.value job.prestoJob.queryList.queries job.pyflinkJob.args job.pysparkJob.args job.sparkJob.args job.sparkRJob.args job.sparkSqlJob.queryList.queries job.sparkSqlJob.scriptVariables.key job.sparkSqlJob.scriptVariables.value job.trinoJob.queryList.queries שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: PATCH /v1beta2/projects/{project_id}/regions/{region}/jobs/{job_id} ‫RPC methods: google.cloud.dataproc.v1beta2.JobController.UpdateJob job.hadoopJob.args job.hiveJob.queryList.queries job.hiveJob.scriptVariables.key job.hiveJob.scriptVariables.value job.pigJob.queryList.queries job.pigJob.scriptVariables.key job.pigJob.scriptVariables.value job.prestoJob.queryList.queries job.pysparkJob.args job.sparkJob.args job.sparkRJob.args job.sparkSqlJob.queryList.queries job.sparkSqlJob.scriptVariables.key job.sparkSqlJob.scriptVariables.value שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: POST /v1/projects/{project_id}/regions/{region}/jobs:submit ‫RPC methods: google.cloud.dataproc.v1.JobController.SubmitJob job.flinkJob.args job.hadoopJob.args job.hiveJob.queryList.queries job.hiveJob.scriptVariables.key job.hiveJob.scriptVariables.value job.pigJob.queryList.queries job.pigJob.scriptVariables.key job.pigJob.scriptVariables.value job.prestoJob.queryList.queries job.pyflinkJob.args job.pysparkJob.args job.sparkJob.args job.sparkRJob.args job.sparkSqlJob.queryList.queries job.sparkSqlJob.scriptVariables.key job.sparkSqlJob.scriptVariables.value job.trinoJob.queryList.queries שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: POST /v1/projects/{project_id}/regions/{region}/jobs:submitAsOperation ‫RPC methods: google.cloud.dataproc.v1.JobController.SubmitJobAsOperation job.flinkJob.args job.hadoopJob.args job.hiveJob.queryList.queries job.hiveJob.scriptVariables.key job.hiveJob.scriptVariables.value job.pigJob.queryList.queries job.pigJob.scriptVariables.key job.pigJob.scriptVariables.value job.prestoJob.queryList.queries job.pyflinkJob.args job.pysparkJob.args job.sparkJob.args job.sparkRJob.args job.sparkSqlJob.queryList.queries job.sparkSqlJob.scriptVariables.key job.sparkSqlJob.scriptVariables.value job.trinoJob.queryList.queries שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: POST /v1beta2/projects/{project_id}/regions/{region}/jobs:submit ‫RPC methods: google.cloud.dataproc.v1beta2.JobController.SubmitJob job.hadoopJob.args job.hiveJob.queryList.queries job.hiveJob.scriptVariables.key job.hiveJob.scriptVariables.value job.pigJob.queryList.queries job.pigJob.scriptVariables.key job.pigJob.scriptVariables.value job.prestoJob.queryList.queries job.pysparkJob.args job.sparkJob.args job.sparkRJob.args job.sparkSqlJob.queryList.queries job.sparkSqlJob.scriptVariables.key job.sparkSqlJob.scriptVariables.value שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: POST /v1beta2/projects/{project_id}/regions/{region}/jobs:submitAsOperation ‫RPC methods: google.cloud.dataproc.v1beta2.JobController.SubmitJobAsOperation job.hadoopJob.args job.hiveJob.queryList.queries job.hiveJob.scriptVariables.key job.hiveJob.scriptVariables.value job.pigJob.queryList.queries job.pigJob.scriptVariables.key job.pigJob.scriptVariables.value job.prestoJob.queryList.queries job.pysparkJob.args job.sparkJob.args job.sparkRJob.args job.sparkSqlJob.queryList.queries job.sparkSqlJob.scriptVariables.key job.sparkSqlJob.scriptVariables.value מקור: dataproc.googleapis.com/WorkflowTemplate בטבלה הבאה מפורטים משאבי ה-API והשדות שנועדו לטפל בנתונים שמוגנים במסגרת Data Boundary בהתאם לתקנות ITAR. שיטת ה-API שדות מוגנים שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: POST /v1/{parent=projects/*/locations/*}/workflowTemplates ‫RPC methods: google.cloud.dataproc.v1.WorkflowTemplateService.CreateWorkflowTemplate template.jobs.flinkJob.args template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pyflinkJob.args template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value template.jobs.trinoJob.queryList.queries שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: POST /v1/{parent=projects/*/locations/*}/workflowTemplates:instantiateInline ‫RPC methods: google.cloud.dataproc.v1.WorkflowTemplateService.InstantiateInlineWorkflowTemplate template.jobs.flinkJob.args template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pyflinkJob.args template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value template.jobs.trinoJob.queryList.queries שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: POST /v1/{parent=projects/*/regions/*}/workflowTemplates ‫RPC methods: google.cloud.dataproc.v1.WorkflowTemplateService.CreateWorkflowTemplate template.jobs.flinkJob.args template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pyflinkJob.args template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value template.jobs.trinoJob.queryList.queries שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: POST /v1/{parent=projects/*/regions/*}/workflowTemplates:instantiateInline ‫RPC methods: google.cloud.dataproc.v1.WorkflowTemplateService.InstantiateInlineWorkflowTemplate template.jobs.flinkJob.args template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pyflinkJob.args template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value template.jobs.trinoJob.queryList.queries שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: POST /v1beta2/{parent=projects/*/locations/*}/workflowTemplates ‫RPC methods: google.cloud.dataproc.v1beta2.WorkflowTemplateService.CreateWorkflowTemplate template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: POST /v1beta2/{parent=projects/*/locations/*}/workflowTemplates:instantiateInline ‫RPC methods: google.cloud.dataproc.v1beta2.WorkflowTemplateService.InstantiateInlineWorkflowTemplate template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: POST /v1beta2/{parent=projects/*/regions/*}/workflowTemplates ‫RPC methods: google.cloud.dataproc.v1beta2.WorkflowTemplateService.CreateWorkflowTemplate template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: POST /v1beta2/{parent=projects/*/regions/*}/workflowTemplates:instantiateInline ‫RPC methods: google.cloud.dataproc.v1beta2.WorkflowTemplateService.InstantiateInlineWorkflowTemplate template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: PUT /v1/{template.name=projects/*/locations/*/workflowTemplates/*} ‫RPC methods: google.cloud.dataproc.v1.WorkflowTemplateService.UpdateWorkflowTemplate template.jobs.flinkJob.args template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pyflinkJob.args template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value template.jobs.trinoJob.queryList.queries שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: PUT /v1/{template.name=projects/*/regions/*/workflowTemplates/*} ‫RPC methods: google.cloud.dataproc.v1.WorkflowTemplateService.UpdateWorkflowTemplate template.jobs.flinkJob.args template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pyflinkJob.args template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value template.jobs.trinoJob.queryList.queries שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: PUT /v1beta2/{template.name=projects/*/locations/*/workflowTemplates/*} ‫RPC methods: google.cloud.dataproc.v1beta2.WorkflowTemplateService.UpdateWorkflowTemplate template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value שירות: dataproc.googleapis.com ‫API בארכיטקטורת REST: PUT /v1beta2/{template.name=projects/*/regions/*/workflowTemplates/*} ‫RPC methods: google.cloud.dataproc.v1beta2.WorkflowTemplateService.UpdateWorkflowTemplate template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value שדות שלא מיועדים למידע אישי רגיש בטבלה הבאה מופיעה רשימה לדוגמה של קטגוריות שדות ושדות ספציפיים שלא מתאימים למידע רגיש. כדי לשמור על תאימות, חשוב להימנע מהצבת נתונים מוגנים בשדות האלה. כדי לקבל רשימה מלאה, אפשר לפנות לנציג Google Cloud. קטגוריה שדות זיהוי אשכול cluster clusterName clusterUuid זיהוי המשרה job jobId yarnApplicationId yarnApplicationIds הגדרות ספציפיות למשימה job.flinkJob.jarFileUris job.hadoopJob.fileUris job.pigJob.queryFileUri job.pyflinkJob.pythonFileUris job.pysparkJob.fileUris job.sparkSqlJob.queryFileUri זיהוי מיקום region רשת וקישוריות cluster.config.gceClusterConfig.networkUri cluster.config.gceClusterConfig.nodeGroupAffinity.nodeGroupUri cluster.config.gceClusterConfig.subnetworkUri זיהוי פרויקטים project projectId הגדרת משאבים – מחשוב cluster.config.auxiliaryNodeGroups.nodeGroup.nodeGroupConfig.machineTypeUri cluster.config.masterConfig.machineTypeUri cluster.config.masterConfig.minCpuPlatform cluster.config.secondaryWorkerConfig.machineTypeUri cluster.config.workerConfig.machineTypeUri cluster.config.workerConfig.minCpuPlatform הגדרת משאבים – אחסון cluster.config.auxiliaryNodeGroups.nodeGroup.nodeGroupConfig.diskConfig.bootDiskType cluster.config.masterConfig.diskConfig.bootDiskType cluster.config.masterConfig.diskConfig.localSsdInterface cluster.config.secondaryWorkerConfig.diskConfig.bootDiskType cluster.config.workerConfig.diskConfig.bootDiskType cluster.config.workerConfig.diskConfig.localSsdInterface הגדרת אבטחה – הצפנה cluster.config.encryptionConfig.gcePdKmsKeyName cluster.config.encryptionConfig.kmsKey הגדרת אבטחה – Kerberos cluster.config.securityConfig.kerberosConfig.kdcDbKeyUri cluster.config.securityConfig.kerberosConfig.keyPasswordUri cluster.config.securityConfig.kerberosConfig.keystoreUri cluster.config.securityConfig.kerberosConfig.kmsKeyUri cluster.config.securityConfig.kerberosConfig.rootPrincipalPasswordUri cluster.config.securityConfig.kerberosConfig.truststoreUri

המאמרים הבאים

• מידע נוסף על תאימות ב- Google Cloud