このドキュメントでは、サポートされているコントロール パッケージのコントロールに沿った Managed Service for Apache Spark の機能、構成、API について説明します。このドキュメントは、Assured Workloads を使用していることを前提としています。

すべて表示 ITAR の Data Boundary

ITAR の Data Boundary サポート対象のサービス 次の表に、ITAR の Data Boundary の要件を満たす Managed Service for Apache Spark API とバージョンを示します。 サービス バージョン ステータス dataproc.googleapis.com v1 サポート対象 dataproc.googleapis.com v1beta2 サポート対象 コンプライアンスがサポートされているリージョン Managed Service for Apache Spark は、次の Google Cloud リージョンで ITAR の Data Boundary で使用できます。 us-central1 us-central2 us-east1 us-east4 us-east5 us-south1 us-west1 us-west2 us-west3 us-west4 機密データの API フィールド リソース: dataproc.googleapis.com/Batch 次の表に、ITAR の Data Boundary で保護されているデータを処理するように設計された API リソースとフィールドを示します。 API メソッド 保護されたフィールド サービス: dataproc.googleapis.com REST API: POST /v1/{parent=projects/*/locations/*}/batches RPC メソッド: google.cloud.dataproc.v1.BatchController.CreateBatch batch.pysparkBatch.args batch.rayBatch.args batch.sparkBatch.args batch.sparkRBatch.args batch.sparkSqlBatch.queryVariables.key batch.sparkSqlBatch.queryVariables.value リソース: dataproc.googleapis.com/Job 次の表に、ITAR の Data Boundary で保護されているデータを処理するように設計された API リソースとフィールドを示します。 API メソッド 保護されたフィールド サービス: dataproc.googleapis.com REST API: PATCH /v1/projects/{project_id}/regions/{region}/jobs/{job_id} RPC メソッド: google.cloud.dataproc.v1.JobController.UpdateJob job.flinkJob.args job.hadoopJob.args job.hiveJob.queryList.queries job.hiveJob.scriptVariables.key job.hiveJob.scriptVariables.value job.pigJob.queryList.queries job.pigJob.scriptVariables.key job.pigJob.scriptVariables.value job.prestoJob.queryList.queries job.pyflinkJob.args job.pysparkJob.args job.sparkJob.args job.sparkRJob.args job.sparkSqlJob.queryList.queries job.sparkSqlJob.scriptVariables.key job.sparkSqlJob.scriptVariables.value job.trinoJob.queryList.queries サービス: dataproc.googleapis.com REST API: PATCH /v1beta2/projects/{project_id}/regions/{region}/jobs/{job_id} RPC メソッド: google.cloud.dataproc.v1beta2.JobController.UpdateJob job.hadoopJob.args job.hiveJob.queryList.queries job.hiveJob.scriptVariables.key job.hiveJob.scriptVariables.value job.pigJob.queryList.queries job.pigJob.scriptVariables.key job.pigJob.scriptVariables.value job.prestoJob.queryList.queries job.pysparkJob.args job.sparkJob.args job.sparkRJob.args job.sparkSqlJob.queryList.queries job.sparkSqlJob.scriptVariables.key job.sparkSqlJob.scriptVariables.value サービス: dataproc.googleapis.com REST API: POST /v1/projects/{project_id}/regions/{region}/jobs:submit RPC メソッド: google.cloud.dataproc.v1.JobController.SubmitJob job.flinkJob.args job.hadoopJob.args job.hiveJob.queryList.queries job.hiveJob.scriptVariables.key job.hiveJob.scriptVariables.value job.pigJob.queryList.queries job.pigJob.scriptVariables.key job.pigJob.scriptVariables.value job.prestoJob.queryList.queries job.pyflinkJob.args job.pysparkJob.args job.sparkJob.args job.sparkRJob.args job.sparkSqlJob.queryList.queries job.sparkSqlJob.scriptVariables.key job.sparkSqlJob.scriptVariables.value job.trinoJob.queryList.queries サービス: dataproc.googleapis.com REST API: POST /v1/projects/{project_id}/regions/{region}/jobs:submitAsOperation RPC メソッド: google.cloud.dataproc.v1.JobController.SubmitJobAsOperation job.flinkJob.args job.hadoopJob.args job.hiveJob.queryList.queries job.hiveJob.scriptVariables.key job.hiveJob.scriptVariables.value job.pigJob.queryList.queries job.pigJob.scriptVariables.key job.pigJob.scriptVariables.value job.prestoJob.queryList.queries job.pyflinkJob.args job.pysparkJob.args job.sparkJob.args job.sparkRJob.args job.sparkSqlJob.queryList.queries job.sparkSqlJob.scriptVariables.key job.sparkSqlJob.scriptVariables.value job.trinoJob.queryList.queries サービス: dataproc.googleapis.com REST API: POST /v1beta2/projects/{project_id}/regions/{region}/jobs:submit RPC メソッド: google.cloud.dataproc.v1beta2.JobController.SubmitJob job.hadoopJob.args job.hiveJob.queryList.queries job.hiveJob.scriptVariables.key job.hiveJob.scriptVariables.value job.pigJob.queryList.queries job.pigJob.scriptVariables.key job.pigJob.scriptVariables.value job.prestoJob.queryList.queries job.pysparkJob.args job.sparkJob.args job.sparkRJob.args job.sparkSqlJob.queryList.queries job.sparkSqlJob.scriptVariables.key job.sparkSqlJob.scriptVariables.value サービス: dataproc.googleapis.com REST API: POST /v1beta2/projects/{project_id}/regions/{region}/jobs:submitAsOperation RPC メソッド: google.cloud.dataproc.v1beta2.JobController.SubmitJobAsOperation job.hadoopJob.args job.hiveJob.queryList.queries job.hiveJob.scriptVariables.key job.hiveJob.scriptVariables.value job.pigJob.queryList.queries job.pigJob.scriptVariables.key job.pigJob.scriptVariables.value job.prestoJob.queryList.queries job.pysparkJob.args job.sparkJob.args job.sparkRJob.args job.sparkSqlJob.queryList.queries job.sparkSqlJob.scriptVariables.key job.sparkSqlJob.scriptVariables.value リソース: dataproc.googleapis.com/WorkflowTemplate 次の表に、ITAR の Data Boundary で保護されているデータを処理するように設計された API リソースとフィールドを示します。 API メソッド 保護されたフィールド サービス: dataproc.googleapis.com REST API: POST /v1/{parent=projects/*/locations/*}/workflowTemplates RPC メソッド: google.cloud.dataproc.v1.WorkflowTemplateService.CreateWorkflowTemplate template.jobs.flinkJob.args template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pyflinkJob.args template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value template.jobs.trinoJob.queryList.queries サービス: dataproc.googleapis.com REST API: POST /v1/{parent=projects/*/locations/*}/workflowTemplates:instantiateInline RPC メソッド: google.cloud.dataproc.v1.WorkflowTemplateService.InstantiateInlineWorkflowTemplate template.jobs.flinkJob.args template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pyflinkJob.args template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value template.jobs.trinoJob.queryList.queries サービス: dataproc.googleapis.com REST API: POST /v1/{parent=projects/*/regions/*}/workflowTemplates RPC メソッド: google.cloud.dataproc.v1.WorkflowTemplateService.CreateWorkflowTemplate template.jobs.flinkJob.args template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pyflinkJob.args template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value template.jobs.trinoJob.queryList.queries サービス: dataproc.googleapis.com REST API: POST /v1/{parent=projects/*/regions/*}/workflowTemplates:instantiateInline RPC メソッド: google.cloud.dataproc.v1.WorkflowTemplateService.InstantiateInlineWorkflowTemplate template.jobs.flinkJob.args template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pyflinkJob.args template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value template.jobs.trinoJob.queryList.queries サービス: dataproc.googleapis.com REST API: POST /v1beta2/{parent=projects/*/locations/*}/workflowTemplates RPC メソッド: google.cloud.dataproc.v1beta2.WorkflowTemplateService.CreateWorkflowTemplate template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value サービス: dataproc.googleapis.com REST API: POST /v1beta2/{parent=projects/*/locations/*}/workflowTemplates:instantiateInline RPC メソッド: google.cloud.dataproc.v1beta2.WorkflowTemplateService.InstantiateInlineWorkflowTemplate template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value サービス: dataproc.googleapis.com REST API: POST /v1beta2/{parent=projects/*/regions/*}/workflowTemplates RPC メソッド: google.cloud.dataproc.v1beta2.WorkflowTemplateService.CreateWorkflowTemplate template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value サービス: dataproc.googleapis.com REST API: POST /v1beta2/{parent=projects/*/regions/*}/workflowTemplates:instantiateInline RPC メソッド: google.cloud.dataproc.v1beta2.WorkflowTemplateService.InstantiateInlineWorkflowTemplate template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value サービス: dataproc.googleapis.com REST API: PUT /v1/{template.name=projects/*/locations/*/workflowTemplates/*} RPC メソッド: google.cloud.dataproc.v1.WorkflowTemplateService.UpdateWorkflowTemplate template.jobs.flinkJob.args template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pyflinkJob.args template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value template.jobs.trinoJob.queryList.queries サービス: dataproc.googleapis.com REST API: PUT /v1/{template.name=projects/*/regions/*/workflowTemplates/*} RPC メソッド: google.cloud.dataproc.v1.WorkflowTemplateService.UpdateWorkflowTemplate template.jobs.flinkJob.args template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pyflinkJob.args template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value template.jobs.trinoJob.queryList.queries サービス: dataproc.googleapis.com REST API: PUT /v1beta2/{template.name=projects/*/locations/*/workflowTemplates/*} RPC メソッド: google.cloud.dataproc.v1beta2.WorkflowTemplateService.UpdateWorkflowTemplate template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value サービス: dataproc.googleapis.com REST API: PUT /v1beta2/{template.name=projects/*/regions/*/workflowTemplates/*} RPC メソッド: google.cloud.dataproc.v1beta2.WorkflowTemplateService.UpdateWorkflowTemplate template.jobs.hadoopJob.args template.jobs.hiveJob.queryList.queries template.jobs.hiveJob.scriptVariables.key template.jobs.hiveJob.scriptVariables.value template.jobs.pigJob.queryList.queries template.jobs.pigJob.scriptVariables.key template.jobs.pigJob.scriptVariables.value template.jobs.prestoJob.queryList.queries template.jobs.pysparkJob.args template.jobs.sparkJob.args template.jobs.sparkRJob.args template.jobs.sparkSqlJob.queryList.queries template.jobs.sparkSqlJob.scriptVariables.key template.jobs.sparkSqlJob.scriptVariables.value 機密データ用ではないフィールド 次の表に、機密情報に適さないフィールド カテゴリと特定のフィールドの例を示します。コンプライアンスを維持するため、これらのフィールドに保護されたデータを配置しないでください。完全なリストについては、Google Cloud の担当者にお問い合わせください。 カテゴリ フィールド クラスタの識別 cluster clusterName clusterUuid ジョブの識別 job jobId yarnApplicationId yarnApplicationIds ジョブ固有の構成 job.flinkJob.jarFileUris job.hadoopJob.fileUris job.pigJob.queryFileUri job.pyflinkJob.pythonFileUris job.pysparkJob.fileUris job.sparkSqlJob.queryFileUri 位置情報の特定 region ネットワークと接続 cluster.config.gceClusterConfig.networkUri cluster.config.gceClusterConfig.nodeGroupAffinity.nodeGroupUri cluster.config.gceClusterConfig.subnetworkUri プロジェクトの識別 project projectId リソース構成 - コンピューティング cluster.config.auxiliaryNodeGroups.nodeGroup.nodeGroupConfig.machineTypeUri cluster.config.masterConfig.machineTypeUri cluster.config.masterConfig.minCpuPlatform cluster.config.secondaryWorkerConfig.machineTypeUri cluster.config.workerConfig.machineTypeUri cluster.config.workerConfig.minCpuPlatform リソース構成 - ストレージ cluster.config.auxiliaryNodeGroups.nodeGroup.nodeGroupConfig.diskConfig.bootDiskType cluster.config.masterConfig.diskConfig.bootDiskType cluster.config.masterConfig.diskConfig.localSsdInterface cluster.config.secondaryWorkerConfig.diskConfig.bootDiskType cluster.config.workerConfig.diskConfig.bootDiskType cluster.config.workerConfig.diskConfig.localSsdInterface セキュリティ構成 - 暗号化 cluster.config.encryptionConfig.gcePdKmsKeyName cluster.config.encryptionConfig.kmsKey セキュリティ構成 - Kerberos cluster.config.securityConfig.kerberosConfig.kdcDbKeyUri cluster.config.securityConfig.kerberosConfig.keyPasswordUri cluster.config.securityConfig.kerberosConfig.keystoreUri cluster.config.securityConfig.kerberosConfig.kmsKeyUri cluster.config.securityConfig.kerberosConfig.rootPrincipalPasswordUri cluster.config.securityConfig.kerberosConfig.truststoreUri

次のステップ

• Google Cloudのコンプライアンスの詳細を確認する。