Dataproc 服務帳戶

本頁說明服務帳戶和 VM 存取權範圍，以及如何透過 Dataproc 使用這些帳戶和範圍。

2020 年 8 月 3 日起生效的安全規定：Dataproc 使用者必須具備服務帳戶 ActAs 權限，才能部署 Dataproc 資源，例如建立叢集及提交工作。「服務帳戶使用者」角色也具有此權限，如要瞭解必要的 Dataproc 角色，請參閱「服務帳戶驗證的角色」。

現有 Dataproc 使用者選擇加入： 2020 年 8 月 3 日前已是 Dataproc 使用者的客戶，可以選擇加入這項安全規定 (請參閱「保護 Dataproc、Dataflow 和 Cloud Data Fusion 安全」)。

什麼是服務帳戶？

服務帳戶是一種特殊帳戶，可供 Compute Engine 虛擬機器 (VM) 執行個體上執行的服務和應用程式使用，以便與其他 API 互動。 Google Cloud 應用程式可以透過服務帳戶憑證自行取得一組 API 的授權，並在授予服務帳戶的權限內，在 VM 上執行操作。

使用您的身分，而非 VM 服務帳戶。如要以 使用者身分在叢集上執行互動式工作負載，請參閱「Dataproc 個人叢集驗證」一文。

Dataproc 叢集服務帳戶

下列服務帳戶必須具備必要權限，才能在叢集所在的專案中執行 Dataproc 動作。

Dataproc VM 服務帳戶

Dataproc 叢集中的 VM 會使用服務帳戶執行 Dataproc 資料層作業。除非您在建立叢集時指定自訂服務帳戶，否則系統會使用 Compute Engine 預設服務帳戶 [e-mail] 做為 VM 服務帳戶。VM 服務帳戶必須具備「Dataproc 工作者」角色，包括 Dataproc 資料平面作業所需的權限。詳情請參閱「Dataproc 角色」。

注意： 如要順利執行 Dataproc 叢集作業，Dataproc VM 服務帳戶必須有權存取 Dataproc 暫存和臨時 bucket。如果您修改預設 VM 服務帳戶的 IAM 權限，或為叢集指定自訂 VM 服務帳戶，則必須將 storage.* IAM 權限授予 VM 服務帳戶，這些權限包含在 roles/dataproc.worker 角色中。另請參閱適用於 Cloud Storage 的 IAM 權限和適用於 Cloud Storage 的 IAM 角色。

查看 VM 服務帳戶角色

如要查看授予 Dataproc VM 服務帳戶的角色，請按照下列步驟操作：

1. 前往 Google Cloud 控制台的「IAM」頁面。

   前往「IAM」(身分與存取權管理) 頁面

2. 按一下「包含 Google 提供的角色授權」。

3. 查看 VM 服務帳戶列出的角色。下圖顯示 Compute Engine 預設服務帳戶 ([e-mail]) 的必要 Dataproc 工作者角色，Dataproc 預設會將該帳戶做為 VM 服務帳戶。

   

4. 您可以點選服務帳戶列中顯示的鉛筆圖示，授予或移除服務帳戶角色。

Dataproc 服務代理程式服務帳戶

Dataproc 會建立服務代理程式服務帳戶 ([e-mail])，並在 Google Cloud 專案中將 Dataproc 服務代理程式角色授予該服務帳戶。這個服務帳戶會執行 Dataproc 控制層作業，例如建立、更新及刪除叢集 VM。建立叢集時，您無法將這個服務帳戶替換為自訂 VM 服務帳戶。

如要查看專案的 Dataproc 服務代理角色，請在控制台的「身分與存取權管理」頁面中，按一下「包含 Google 提供的角色授權」 Google Cloud 。注意：如果 Dataproc 服務代理程式服務帳戶在專案中沒有任何角色，就不會顯示在 IAM 頁面上。

在共用 VPC 網路中，將角色授予服務代理程式服務帳戶

如果 Dataproc 叢集使用共用虛擬私有雲網路，共用虛擬私有雲管理員必須將共用虛擬私有雲主專案的「網路使用者」角色授予 Dataproc 服務代理人服務帳戶。如要瞭解詳情，請參考下列資源：

• 在其他專案中建立使用虛擬私有雲網路的叢集
• 共用 VPC 說明文件：將服務帳戶設為服務專案管理員

使用自訂 VM 服務帳戶建立叢集

建立叢集時，您可以指定自訂 VM 服務帳戶，供叢集用於 Dataproc 資料層作業，而非預設 VM 服務帳戶 (叢集建立後就無法變更 VM 服務帳戶)。使用已指派 IAM 角色的 VM 服務帳戶，可為叢集提供專案資源的精細存取權。

目標： 本節說明如何建立叢集時指定自訂 VM 服務帳戶。如要指定其他專案的 VM 服務帳戶，請參閱「使用其他專案的自訂 VM 服務帳戶建立叢集」一文。

初步步驟

1. 在要建立叢集的專案中建立自訂 VM 服務帳戶。

2. 在專案中，將 Dataproc 工作站角色授予自訂 VM 服務帳戶，以及工作所需的任何其他角色，例如 BigQuery Reader 和 Writer 角色 (請參閱「Dataproc 角色」)。

   gcloud CLI 範例：

   • 下列指令範例會將叢集專案中的自訂 VM 服務帳戶，授予專案層級的 Dataproc Worker 角色：

   gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \
       --member=serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \
       --role="roles/dataproc.worker"
    

   • 考慮使用自訂角色：您可以授予服務帳戶自訂角色，其中包含工作者角色權限，但會限制 storage.objects.* 權限，而不授予服務帳戶預先定義的 Dataproc 工作者角色 (roles/dataproc.worker)。
     • 自訂角色至少須授予 VM 服務帳戶在Dataproc 暫存和臨時值區中的物件，以及叢集上執行的工作所需的任何其他值區，具有 storage.objects.create、storage.objects.get 和 storage.objects.update 權限。

建立叢集

• 在專案中建立叢集。

gcloud 指令

使用 gcloud dataproc clusters create 指令，建立具有自訂 VM 服務帳戶的叢集。

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \
    --scopes=SCOPE

更改下列內容：

• CLUSTER_NAME：叢集名稱，在專案內不得重複。 名稱開頭須為小寫英文字母，最多包含 51 個小寫英文字母、數字和連字號，而且結尾不得為連字號。可以重複使用已刪除叢集的名稱。
• REGION：叢集所在的區域。
• SERVICE_ACCOUNT_NAME：服務帳戶名稱。
• PROJECT_ID：包含VM 服務帳戶的專案 ID。 Google Cloud 這是要建立叢集的專案 ID，或是在其他專案中建立使用自訂 VM 服務帳戶的叢集時，其他專案的 ID。
• SCOPE：叢集 VM 執行個體的存取範圍，例如 https://www.googleapis.com/auth/cloud-platform。

REST API

完成 GceClusterConfig 做為 clusters.create API 要求的一部分時，請設定下列欄位：

• serviceAccount：服務帳戶會位於叢集建立所在的專案中，除非您使用來自其他專案的 VM 服務帳戶。
• serviceAccountScopes：指定叢集 VM 執行個體的存取範圍，例如 https://www.googleapis.com/auth/cloud-platform。

控制台

Google Cloud 主控台不支援設定 Dataproc VM 服務帳戶。建立叢集時，您可以在叢集 VM 上設定 cloud-platform 存取範圍，方法是在 Google Cloud 控制台的 Dataproc「建立叢集」頁面中，按一下「管理安全性」面板的「為這個叢集啟用 cloud-platform 範圍」。

使用來自其他專案的自訂 VM 服務帳戶建立叢集

建立叢集時，您可以指定叢集用於 Dataproc 資料層作業的自訂 VM 服務帳戶，而非使用預設 VM 服務帳戶 (叢集建立後就無法指定自訂 VM 服務帳戶)。使用已指派 IAM 角色的自訂 VM 服務帳戶，可為叢集提供專案資源的精細存取權。

目標： 本節說明如何從專案 (與叢集建立位置的專案不同) 為叢集指定自訂 VM 服務帳戶。為區別這個專案與叢集建立所在的專案 (「叢集專案」)，我們將這個專案稱為「服務帳戶專案」。如要使用叢集建立所在專案的自訂 VM 服務帳戶，請參閱「建立使用自訂 VM 服務帳戶的叢集」一文。

初步步驟

1. 在服務帳戶專案 (自訂 VM 服務帳戶所在的專案) 中：

   1. 啟用跨專案附加服務帳戶的功能。

   2. Enable the Dataproc API.

      Roles required to enable APIs

      To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

      Enable the API

2. 將服務帳戶專案的服務帳戶使用者角色授予您的電子郵件帳戶 (建立叢集的使用者)，或在服務帳戶專案中，將自訂 VM 服務帳戶的相同角色授予您的電子郵件帳戶，以進行更精細的控制。

   如需更多資訊：請參閱「管理專案、資料夾和機構的存取權」一文，瞭解如何授予專案層級的角色，以及參閱「管理服務帳戶的存取權」一文，瞭解如何授予服務帳戶層級的角色。

   gcloud CLI 範例：

   • 以下範例指令會授予使用者專案層級的服務帳戶使用者角色：

   gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
       --member=USER_EMAIL \
       --role="roles/iam.serviceAccountUser"
   

   附註： USER_EMAIL：請提供使用者帳戶電子郵件地址，格式為： user:[e-mail]。

   • 下列範例指令會向使用者授予服務帳戶層級的服務帳戶使用者角色：

   gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
       --member=USER_EMAIL \
       --role="roles/iam.serviceAccountUser"
   

   附註： USER_EMAIL：請提供使用者帳戶電子郵件地址，格式為： user:[e-mail]。

3. 在叢集專案中，將 Dataproc 工作站角色授予自訂 VM 服務帳戶。

   gcloud CLI 範例：

   gcloud projects add-iam-policy-binding CLUSTER_PROJECT_ID \
       --member=serviceAccount:SERVICE_ACCOUNT_NAME@SERVICE_ACCOUNT_PROJECT_ID.iam.gserviceaccount.com \
       --role="roles/dataproc.worker"
    

4. 在叢集專案中，將服務帳戶使用者和服務帳戶權杖建立者角色授予Dataproc 服務代理程式服務帳戶，您可以選擇將角色授予服務帳戶專案，或為了更精細的控制，將角色授予服務帳戶專案中的自訂 VM 服務帳戶。這麼做可讓叢集專案中的 Dataproc 服務代理程式服務帳戶，為服務帳戶專案中的自訂 Dataproc VM 服務帳戶建立權杖。

   如需更多資訊：請參閱「管理專案、資料夾和機構的存取權」一文，瞭解如何授予專案層級的角色，以及參閱「管理服務帳戶的存取權」一文，瞭解如何授予服務帳戶層級的角色。

   gcloud CLI 範例：

   • 下列範例指令會在專案層級，將服務帳戶使用者和服務帳戶權杖建立者角色授予叢集專案中的 Dataproc 服務代理人服務帳戶：

   gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role="roles/iam.serviceAccountUser"
    

   gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role="roles/iam.serviceAccountTokenCreator"
   

   • 下列範例指令會授予叢集專案中的 Dataproc 服務代理人服務帳戶，VM 服務帳戶層級的服務帳戶使用者和服務帳戶權杖建立者角色：

   gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
       --member=serviceAccount:[e-mail] \
       --role="roles/iam.serviceAccountUser"
    

   gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
       --member=serviceAccount:[e-mail] \
       --role="roles/iam.serviceAccountTokenCreator"
   

   注意： 注意：如果是以 2023 年發布的 2.0.58、2.1.4 或 2.2.1 之前的 Dataproc 映像檔版本建立叢集，您也必須在叢集專案中，將Google APIs 服務代理服務帳戶 ([e-mail]) 的服務帳戶權杖建立者角色，授予服務帳戶專案或服務帳戶專案中的自訂 VM 服務帳戶。

5. 在叢集專案中，將服務帳戶權杖建立者角色授予Compute Engine 服務代理程式服務帳戶，並在服務帳戶專案中授予服務帳戶，或在服務帳戶專案中授予自訂 VM 服務帳戶，以進行更精細的控制。這麼做可授予叢集專案中的 Compute Agent 服務代理程式服務帳戶權限，在服務帳戶專案中為自訂 Dataproc VM 服務帳戶建立權杖。

   如需更多資訊：請參閱「管理專案、資料夾和機構的存取權」一文，瞭解如何授予專案層級的角色，以及參閱「管理服務帳戶的存取權」一文，瞭解如何授予服務帳戶層級的角色。

   gcloud CLI 範例：

   • 下列範例指令會在專案層級，將服務帳戶權杖建立者角色授予叢集專案中的 Compute Engine 服務代理人服務帳戶：

   gcloud projects add-iam-policy-binding SERVICE_ACCOUNT_PROJECT_ID \
       --member=serviceAccount:[e-mail] \
       --role="roles/iam.serviceAccountTokenCreator"
    

   • 下列範例指令會在 VM 服務帳戶層級，將服務帳戶權杖建立者角色授予叢集專案中的 Compute Engine 服務代理服務帳戶：

   gcloud iam service-accounts add-iam-policy-binding VM_SERVICE_ACCOUNT_EMAIL \
       --member=serviceAccount:[e-mail] \
       --role="roles/iam.serviceAccountTokenCreator"
    

建立叢集

• 在專案中建立叢集。

後續步驟

• 服務帳戶
• Dataproc 權限和 IAM 角色
• Dataproc 主體和角色
• 以 Dataproc 服務帳戶為基礎的多租戶架構
• Dataproc 個人叢集驗證
• Dataproc 精細的 IAM