Ce document décrit les fonctionnalités, les configurations et les API de Managed Service pour Apache Spark qui correspondent aux contrôles des packages de contrôle compatibles. Ce document suppose que vous utilisez Assured Workloads.

Périmètre de données pour l'ITAR

Services compatibles

Le tableau suivant liste les API et les versions de Managed Service pour Apache Spark qui répondent aux exigences du périmètre de données pour l'ITAR.

Service Version État
dataproc.googleapis.com v1 COMPATIBLE
dataproc.googleapis.com v1beta2 COMPATIBLE

Régions compatibles avec la conformité

Managed Service pour Apache Spark est disponible pour le périmètre de données pour l'ITAR dans les régions suivantes : Google Cloud

  • us-central1
  • us-central2
  • us-east1
  • us-east4
  • us-east5
  • us-south1
  • us-west1
  • us-west2
  • us-west3
  • us-west4

Champs d'API pour les données sensibles

Ressource : dataproc.googleapis.com/Batch

Le tableau suivant spécifie les ressources et les champs de l'API conçus pour gérer les données protégées par le périmètre de données pour l'ITAR.

Méthode API Champs protégés

Service : dataproc.googleapis.com

API REST : POST /v1/{parent=projects/*/locations/*}/batches

Méthodes RPC :

  • google.cloud.dataproc.v1.BatchController.CreateBatch
  • batch.pysparkBatch.args
  • batch.rayBatch.args
  • batch.sparkBatch.args
  • batch.sparkRBatch.args
  • batch.sparkSqlBatch.queryVariables.key
  • batch.sparkSqlBatch.queryVariables.value

Ressource : dataproc.googleapis.com/Job

Le tableau suivant spécifie les ressources et les champs de l'API conçus pour gérer les données protégées par le périmètre de données pour l'ITAR.

Méthode API Champs protégés

Service : dataproc.googleapis.com

API REST : PATCH /v1/projects/{project_id}/regions/{region}/jobs/{job_id}

Méthodes RPC :

  • google.cloud.dataproc.v1.JobController.UpdateJob
  • job.flinkJob.args
  • job.hadoopJob.args
  • job.hiveJob.queryList.queries
  • job.hiveJob.scriptVariables.key
  • job.hiveJob.scriptVariables.value
  • job.pigJob.queryList.queries
  • job.pigJob.scriptVariables.key
  • job.pigJob.scriptVariables.value
  • job.prestoJob.queryList.queries
  • job.pyflinkJob.args
  • job.pysparkJob.args
  • job.sparkJob.args
  • job.sparkRJob.args
  • job.sparkSqlJob.queryList.queries
  • job.sparkSqlJob.scriptVariables.key
  • job.sparkSqlJob.scriptVariables.value
  • job.trinoJob.queryList.queries

Service : dataproc.googleapis.com

API REST : PATCH /v1beta2/projects/{project_id}/regions/{region}/jobs/{job_id}

Méthodes RPC :

  • google.cloud.dataproc.v1beta2.JobController.UpdateJob
  • job.hadoopJob.args
  • job.hiveJob.queryList.queries
  • job.hiveJob.scriptVariables.key
  • job.hiveJob.scriptVariables.value
  • job.pigJob.queryList.queries
  • job.pigJob.scriptVariables.key
  • job.pigJob.scriptVariables.value
  • job.prestoJob.queryList.queries
  • job.pysparkJob.args
  • job.sparkJob.args
  • job.sparkRJob.args
  • job.sparkSqlJob.queryList.queries
  • job.sparkSqlJob.scriptVariables.key
  • job.sparkSqlJob.scriptVariables.value

Service : dataproc.googleapis.com

API REST : POST /v1/projects/{project_id}/regions/{region}/jobs:submit

Méthodes RPC :

  • google.cloud.dataproc.v1.JobController.SubmitJob
  • job.flinkJob.args
  • job.hadoopJob.args
  • job.hiveJob.queryList.queries
  • job.hiveJob.scriptVariables.key
  • job.hiveJob.scriptVariables.value
  • job.pigJob.queryList.queries
  • job.pigJob.scriptVariables.key
  • job.pigJob.scriptVariables.value
  • job.prestoJob.queryList.queries
  • job.pyflinkJob.args
  • job.pysparkJob.args
  • job.sparkJob.args
  • job.sparkRJob.args
  • job.sparkSqlJob.queryList.queries
  • job.sparkSqlJob.scriptVariables.key
  • job.sparkSqlJob.scriptVariables.value
  • job.trinoJob.queryList.queries

Service : dataproc.googleapis.com

API REST : POST /v1/projects/{project_id}/regions/{region}/jobs:submitAsOperation

Méthodes RPC :

  • google.cloud.dataproc.v1.JobController.SubmitJobAsOperation
  • job.flinkJob.args
  • job.hadoopJob.args
  • job.hiveJob.queryList.queries
  • job.hiveJob.scriptVariables.key
  • job.hiveJob.scriptVariables.value
  • job.pigJob.queryList.queries
  • job.pigJob.scriptVariables.key
  • job.pigJob.scriptVariables.value
  • job.prestoJob.queryList.queries
  • job.pyflinkJob.args
  • job.pysparkJob.args
  • job.sparkJob.args
  • job.sparkRJob.args
  • job.sparkSqlJob.queryList.queries
  • job.sparkSqlJob.scriptVariables.key
  • job.sparkSqlJob.scriptVariables.value
  • job.trinoJob.queryList.queries

Service : dataproc.googleapis.com

API REST : POST /v1beta2/projects/{project_id}/regions/{region}/jobs:submit

Méthodes RPC :

  • google.cloud.dataproc.v1beta2.JobController.SubmitJob
  • job.hadoopJob.args
  • job.hiveJob.queryList.queries
  • job.hiveJob.scriptVariables.key
  • job.hiveJob.scriptVariables.value
  • job.pigJob.queryList.queries
  • job.pigJob.scriptVariables.key
  • job.pigJob.scriptVariables.value
  • job.prestoJob.queryList.queries
  • job.pysparkJob.args
  • job.sparkJob.args
  • job.sparkRJob.args
  • job.sparkSqlJob.queryList.queries
  • job.sparkSqlJob.scriptVariables.key
  • job.sparkSqlJob.scriptVariables.value

Service : dataproc.googleapis.com

API REST : POST /v1beta2/projects/{project_id}/regions/{region}/jobs:submitAsOperation

Méthodes RPC :

  • google.cloud.dataproc.v1beta2.JobController.SubmitJobAsOperation
  • job.hadoopJob.args
  • job.hiveJob.queryList.queries
  • job.hiveJob.scriptVariables.key
  • job.hiveJob.scriptVariables.value
  • job.pigJob.queryList.queries
  • job.pigJob.scriptVariables.key
  • job.pigJob.scriptVariables.value
  • job.prestoJob.queryList.queries
  • job.pysparkJob.args
  • job.sparkJob.args
  • job.sparkRJob.args
  • job.sparkSqlJob.queryList.queries
  • job.sparkSqlJob.scriptVariables.key
  • job.sparkSqlJob.scriptVariables.value

Ressource : dataproc.googleapis.com/WorkflowTemplate

Le tableau suivant spécifie les ressources et les champs de l'API conçus pour gérer les données protégées par le périmètre de données pour l'ITAR.

Méthode API Champs protégés

Service : dataproc.googleapis.com

API REST : POST /v1/{parent=projects/*/locations/*}/workflowTemplates

Méthodes RPC :

  • google.cloud.dataproc.v1.WorkflowTemplateService.CreateWorkflowTemplate
  • template.jobs.flinkJob.args
  • template.jobs.hadoopJob.args
  • template.jobs.hiveJob.queryList.queries
  • template.jobs.hiveJob.scriptVariables.key
  • template.jobs.hiveJob.scriptVariables.value
  • template.jobs.pigJob.queryList.queries
  • template.jobs.pigJob.scriptVariables.key
  • template.jobs.pigJob.scriptVariables.value
  • template.jobs.prestoJob.queryList.queries
  • template.jobs.pyflinkJob.args
  • template.jobs.pysparkJob.args
  • template.jobs.sparkJob.args
  • template.jobs.sparkRJob.args
  • template.jobs.sparkSqlJob.queryList.queries
  • template.jobs.sparkSqlJob.scriptVariables.key
  • template.jobs.sparkSqlJob.scriptVariables.value
  • template.jobs.trinoJob.queryList.queries

Service : dataproc.googleapis.com

API REST : POST /v1/{parent=projects/*/locations/*}/workflowTemplates:instantiateInline

Méthodes RPC :

  • google.cloud.dataproc.v1.WorkflowTemplateService.InstantiateInlineWorkflowTemplate
  • template.jobs.flinkJob.args
  • template.jobs.hadoopJob.args
  • template.jobs.hiveJob.queryList.queries
  • template.jobs.hiveJob.scriptVariables.key
  • template.jobs.hiveJob.scriptVariables.value
  • template.jobs.pigJob.queryList.queries
  • template.jobs.pigJob.scriptVariables.key
  • template.jobs.pigJob.scriptVariables.value
  • template.jobs.prestoJob.queryList.queries
  • template.jobs.pyflinkJob.args
  • template.jobs.pysparkJob.args
  • template.jobs.sparkJob.args
  • template.jobs.sparkRJob.args
  • template.jobs.sparkSqlJob.queryList.queries
  • template.jobs.sparkSqlJob.scriptVariables.key
  • template.jobs.sparkSqlJob.scriptVariables.value
  • template.jobs.trinoJob.queryList.queries

Service : dataproc.googleapis.com

API REST : POST /v1/{parent=projects/*/regions/*}/workflowTemplates

Méthodes RPC :

  • google.cloud.dataproc.v1.WorkflowTemplateService.CreateWorkflowTemplate
  • template.jobs.flinkJob.args
  • template.jobs.hadoopJob.args
  • template.jobs.hiveJob.queryList.queries
  • template.jobs.hiveJob.scriptVariables.key
  • template.jobs.hiveJob.scriptVariables.value
  • template.jobs.pigJob.queryList.queries
  • template.jobs.pigJob.scriptVariables.key
  • template.jobs.pigJob.scriptVariables.value
  • template.jobs.prestoJob.queryList.queries
  • template.jobs.pyflinkJob.args
  • template.jobs.pysparkJob.args
  • template.jobs.sparkJob.args
  • template.jobs.sparkRJob.args
  • template.jobs.sparkSqlJob.queryList.queries
  • template.jobs.sparkSqlJob.scriptVariables.key
  • template.jobs.sparkSqlJob.scriptVariables.value
  • template.jobs.trinoJob.queryList.queries

Service : dataproc.googleapis.com

API REST : POST /v1/{parent=projects/*/regions/*}/workflowTemplates:instantiateInline

Méthodes RPC :

  • google.cloud.dataproc.v1.WorkflowTemplateService.InstantiateInlineWorkflowTemplate
  • template.jobs.flinkJob.args
  • template.jobs.hadoopJob.args
  • template.jobs.hiveJob.queryList.queries
  • template.jobs.hiveJob.scriptVariables.key
  • template.jobs.hiveJob.scriptVariables.value
  • template.jobs.pigJob.queryList.queries
  • template.jobs.pigJob.scriptVariables.key
  • template.jobs.pigJob.scriptVariables.value
  • template.jobs.prestoJob.queryList.queries
  • template.jobs.pyflinkJob.args
  • template.jobs.pysparkJob.args
  • template.jobs.sparkJob.args
  • template.jobs.sparkRJob.args
  • template.jobs.sparkSqlJob.queryList.queries
  • template.jobs.sparkSqlJob.scriptVariables.key
  • template.jobs.sparkSqlJob.scriptVariables.value
  • template.jobs.trinoJob.queryList.queries

Service : dataproc.googleapis.com

API REST : POST /v1beta2/{parent=projects/*/locations/*}/workflowTemplates

Méthodes RPC :

  • google.cloud.dataproc.v1beta2.WorkflowTemplateService.CreateWorkflowTemplate
  • template.jobs.hadoopJob.args
  • template.jobs.hiveJob.queryList.queries
  • template.jobs.hiveJob.scriptVariables.key
  • template.jobs.hiveJob.scriptVariables.value
  • template.jobs.pigJob.queryList.queries
  • template.jobs.pigJob.scriptVariables.key
  • template.jobs.pigJob.scriptVariables.value
  • template.jobs.prestoJob.queryList.queries
  • template.jobs.pysparkJob.args
  • template.jobs.sparkJob.args
  • template.jobs.sparkRJob.args
  • template.jobs.sparkSqlJob.queryList.queries
  • template.jobs.sparkSqlJob.scriptVariables.key
  • template.jobs.sparkSqlJob.scriptVariables.value

Service : dataproc.googleapis.com

API REST : POST /v1beta2/{parent=projects/*/locations/*}/workflowTemplates:instantiateInline

Méthodes RPC :

  • google.cloud.dataproc.v1beta2.WorkflowTemplateService.InstantiateInlineWorkflowTemplate
  • template.jobs.hadoopJob.args
  • template.jobs.hiveJob.queryList.queries
  • template.jobs.hiveJob.scriptVariables.key
  • template.jobs.hiveJob.scriptVariables.value
  • template.jobs.pigJob.queryList.queries
  • template.jobs.pigJob.scriptVariables.key
  • template.jobs.pigJob.scriptVariables.value
  • template.jobs.prestoJob.queryList.queries
  • template.jobs.pysparkJob.args
  • template.jobs.sparkJob.args
  • template.jobs.sparkRJob.args
  • template.jobs.sparkSqlJob.queryList.queries
  • template.jobs.sparkSqlJob.scriptVariables.key
  • template.jobs.sparkSqlJob.scriptVariables.value

Service : dataproc.googleapis.com

API REST : POST /v1beta2/{parent=projects/*/regions/*}/workflowTemplates

Méthodes RPC :

  • google.cloud.dataproc.v1beta2.WorkflowTemplateService.CreateWorkflowTemplate
  • template.jobs.hadoopJob.args
  • template.jobs.hiveJob.queryList.queries
  • template.jobs.hiveJob.scriptVariables.key
  • template.jobs.hiveJob.scriptVariables.value
  • template.jobs.pigJob.queryList.queries
  • template.jobs.pigJob.scriptVariables.key
  • template.jobs.pigJob.scriptVariables.value
  • template.jobs.prestoJob.queryList.queries
  • template.jobs.pysparkJob.args
  • template.jobs.sparkJob.args
  • template.jobs.sparkRJob.args
  • template.jobs.sparkSqlJob.queryList.queries
  • template.jobs.sparkSqlJob.scriptVariables.key
  • template.jobs.sparkSqlJob.scriptVariables.value

Service : dataproc.googleapis.com

API REST : POST /v1beta2/{parent=projects/*/regions/*}/workflowTemplates:instantiateInline

Méthodes RPC :

  • google.cloud.dataproc.v1beta2.WorkflowTemplateService.InstantiateInlineWorkflowTemplate
  • template.jobs.hadoopJob.args
  • template.jobs.hiveJob.queryList.queries
  • template.jobs.hiveJob.scriptVariables.key
  • template.jobs.hiveJob.scriptVariables.value
  • template.jobs.pigJob.queryList.queries
  • template.jobs.pigJob.scriptVariables.key
  • template.jobs.pigJob.scriptVariables.value
  • template.jobs.prestoJob.queryList.queries
  • template.jobs.pysparkJob.args
  • template.jobs.sparkJob.args
  • template.jobs.sparkRJob.args
  • template.jobs.sparkSqlJob.queryList.queries
  • template.jobs.sparkSqlJob.scriptVariables.key
  • template.jobs.sparkSqlJob.scriptVariables.value

Service : dataproc.googleapis.com

API REST : PUT /v1/{template.name=projects/*/locations/*/workflowTemplates/*}

Méthodes RPC :

  • google.cloud.dataproc.v1.WorkflowTemplateService.UpdateWorkflowTemplate
  • template.jobs.flinkJob.args
  • template.jobs.hadoopJob.args
  • template.jobs.hiveJob.queryList.queries
  • template.jobs.hiveJob.scriptVariables.key
  • template.jobs.hiveJob.scriptVariables.value
  • template.jobs.pigJob.queryList.queries
  • template.jobs.pigJob.scriptVariables.key
  • template.jobs.pigJob.scriptVariables.value
  • template.jobs.prestoJob.queryList.queries
  • template.jobs.pyflinkJob.args
  • template.jobs.pysparkJob.args
  • template.jobs.sparkJob.args
  • template.jobs.sparkRJob.args
  • template.jobs.sparkSqlJob.queryList.queries
  • template.jobs.sparkSqlJob.scriptVariables.key
  • template.jobs.sparkSqlJob.scriptVariables.value
  • template.jobs.trinoJob.queryList.queries

Service : dataproc.googleapis.com

API REST : PUT /v1/{template.name=projects/*/regions/*/workflowTemplates/*}

Méthodes RPC :

  • google.cloud.dataproc.v1.WorkflowTemplateService.UpdateWorkflowTemplate
  • template.jobs.flinkJob.args
  • template.jobs.hadoopJob.args
  • template.jobs.hiveJob.queryList.queries
  • template.jobs.hiveJob.scriptVariables.key
  • template.jobs.hiveJob.scriptVariables.value
  • template.jobs.pigJob.queryList.queries
  • template.jobs.pigJob.scriptVariables.key
  • template.jobs.pigJob.scriptVariables.value
  • template.jobs.prestoJob.queryList.queries
  • template.jobs.pyflinkJob.args
  • template.jobs.pysparkJob.args
  • template.jobs.sparkJob.args
  • template.jobs.sparkRJob.args
  • template.jobs.sparkSqlJob.queryList.queries
  • template.jobs.sparkSqlJob.scriptVariables.key
  • template.jobs.sparkSqlJob.scriptVariables.value
  • template.jobs.trinoJob.queryList.queries

Service : dataproc.googleapis.com

API REST : PUT /v1beta2/{template.name=projects/*/locations/*/workflowTemplates/*}

Méthodes RPC :

  • google.cloud.dataproc.v1beta2.WorkflowTemplateService.UpdateWorkflowTemplate
  • template.jobs.hadoopJob.args
  • template.jobs.hiveJob.queryList.queries
  • template.jobs.hiveJob.scriptVariables.key
  • template.jobs.hiveJob.scriptVariables.value
  • template.jobs.pigJob.queryList.queries
  • template.jobs.pigJob.scriptVariables.key
  • template.jobs.pigJob.scriptVariables.value
  • template.jobs.prestoJob.queryList.queries
  • template.jobs.pysparkJob.args
  • template.jobs.sparkJob.args
  • template.jobs.sparkRJob.args
  • template.jobs.sparkSqlJob.queryList.queries
  • template.jobs.sparkSqlJob.scriptVariables.key
  • template.jobs.sparkSqlJob.scriptVariables.value

Service : dataproc.googleapis.com

API REST : PUT /v1beta2/{template.name=projects/*/regions/*/workflowTemplates/*}

Méthodes RPC :

  • google.cloud.dataproc.v1beta2.WorkflowTemplateService.UpdateWorkflowTemplate
  • template.jobs.hadoopJob.args
  • template.jobs.hiveJob.queryList.queries
  • template.jobs.hiveJob.scriptVariables.key
  • template.jobs.hiveJob.scriptVariables.value
  • template.jobs.pigJob.queryList.queries
  • template.jobs.pigJob.scriptVariables.key
  • template.jobs.pigJob.scriptVariables.value
  • template.jobs.prestoJob.queryList.queries
  • template.jobs.pysparkJob.args
  • template.jobs.sparkJob.args
  • template.jobs.sparkRJob.args
  • template.jobs.sparkSqlJob.queryList.queries
  • template.jobs.sparkSqlJob.scriptVariables.key
  • template.jobs.sparkSqlJob.scriptVariables.value

Champs non destinés aux données sensibles

Le tableau suivant fournit une liste illustrative des catégories de champs et des champs spécifiques qui ne conviennent pas aux informations sensibles. Pour rester conforme, évitez de placer des données protégées dans ces champs. Pour obtenir la liste complète, contactez votre représentant Google Cloud.

Catégorie Champs
Identification des clusters
  • cluster
  • clusterName
  • clusterUuid
Identification des tâches
  • job
  • jobId
  • yarnApplicationId
  • yarnApplicationIds
Configurations spécifiques aux tâches
  • job.flinkJob.jarFileUris
  • job.hadoopJob.fileUris
  • job.pigJob.queryFileUri
  • job.pyflinkJob.pythonFileUris
  • job.pysparkJob.fileUris
  • job.sparkSqlJob.queryFileUri
Identification de l'emplacement
  • region
Réseau et connectivité
  • cluster.config.gceClusterConfig.networkUri
  • cluster.config.gceClusterConfig.nodeGroupAffinity.nodeGroupUri
  • cluster.config.gceClusterConfig.subnetworkUri
Identification du projet
  • project
  • projectId
Configuration des ressources : calcul
  • cluster.config.auxiliaryNodeGroups.nodeGroup.nodeGroupConfig.machineTypeUri
  • cluster.config.masterConfig.machineTypeUri
  • cluster.config.masterConfig.minCpuPlatform
  • cluster.config.secondaryWorkerConfig.machineTypeUri
  • cluster.config.workerConfig.machineTypeUri
  • cluster.config.workerConfig.minCpuPlatform
Configuration des ressources : stockage
  • cluster.config.auxiliaryNodeGroups.nodeGroup.nodeGroupConfig.diskConfig.bootDiskType
  • cluster.config.masterConfig.diskConfig.bootDiskType
  • cluster.config.masterConfig.diskConfig.localSsdInterface
  • cluster.config.secondaryWorkerConfig.diskConfig.bootDiskType
  • cluster.config.workerConfig.diskConfig.bootDiskType
  • cluster.config.workerConfig.diskConfig.localSsdInterface
Configuration de la sécurité : chiffrement
  • cluster.config.encryptionConfig.gcePdKmsKeyName
  • cluster.config.encryptionConfig.kmsKey
Configuration de la sécurité : Kerberos
  • cluster.config.securityConfig.kerberosConfig.kdcDbKeyUri
  • cluster.config.securityConfig.kerberosConfig.keyPasswordUri
  • cluster.config.securityConfig.kerberosConfig.keystoreUri
  • cluster.config.securityConfig.kerberosConfig.kmsKeyUri
  • cluster.config.securityConfig.kerberosConfig.rootPrincipalPasswordUri
  • cluster.config.securityConfig.kerberosConfig.truststoreUri

Étapes suivantes