שימוש בחשבונות שירות עם שירות העברת נתונים ל-BigQuery

חלק ממקורות הנתונים תומכים באימות העברת נתונים באמצעות חשבון שירות דרך מסוף Google Cloud , API או שורת הפקודה bq. חשבון שירות הוא חשבון Google שמשויך לפרויקט Google Cloud . חשבון שירות יכול להריץ משימות, כמו שאילתות מתוזמנות או צינורות לעיבוד אצווה, על ידי אימות באמצעות פרטי הכניסה של חשבון השירות ולא פרטי הכניסה של משתמש.

אתם יכולים לעדכן העברת נתונים קיימת באמצעות פרטי הכניסה של חשבון שירות. מידע נוסף זמין במאמר בנושא עדכון פרטי הכניסה להעברת נתונים.

במצבים הבאים צריך לעדכן את פרטי הכניסה:

  • ההעברה נכשלה כי לא הצלחנו לאשר את הגישה של המשתמש למקור הנתונים:

    Error code 401 : Request is missing required authentication credential. UNAUTHENTICATED

  • מופיעה השגיאה INVALID_USER כשמנסים להפעיל את ההעברה:

    Error code 5 : Authentication failure: User Id not found. Error code: INVALID_USERID

מידע נוסף על אימות באמצעות חשבונות שירות זמין במאמר מבוא לאימות.

מקורות נתונים עם תמיכה בחשבון שירות

שירות העברת נתונים ל-BigQuery יכול להשתמש בפרטי כניסה של חשבון שירות להעברות עם:

* Cloud Storage * Amazon Redshift * Amazon S3 * Campaign Manager * Carbon Footprint * Dataset Copy * Display & Video 360 * Google Ad Manager * Google Ads * Google Merchant Center * Google Play * Scheduled Queries * Search Ads 360 * Teradata * YouTube Content Owner

לפני שמתחילים

  • מוודאים שביצעתם את כל הפעולות שנדרשות במאמר הפעלת שירות העברת נתונים ל-BigQuery.
  • צריך להקצות תפקידים בניהול הזהויות והרשאות הגישה (IAM) שנותנים למשתמשים את ההרשאות הנדרשות לביצוע כל משימה שמופיעה במאמר הזה.

ההרשאות הנדרשות

כדי לעדכן העברת נתונים כך שתשתמש בחשבון שירות, צריכות להיות לכם ההרשאות הבאות:

  • הרשאת bigquery.transfers.update לשינוי ההעברה.

    ההרשאה הזו כלולה בתפקיד IAM המוגדר מראש roles/bigquery.admin.

  • גישה לחשבון השירות. מידע נוסף על מתן תפקיד בחשבון שירות למשתמשים זמין במאמר התפקיד 'משתמש בחשבון שירות'.

חשוב לוודא שלחשבון השירות שבוחרים להריץ את ההעברה יש את ההרשאות הבאות:

  • ההרשאות bigquery.datasets.get ו-bigquery.datasets.update במערך הנתונים המיועד. אם בטבלה מוגדר בקרת גישה ברמת העמודה, לחשבון השירות צריכה להיות גם ההרשאה bigquery.tables.setCategory.

    תפקיד ה-IAM המוגדר מראש bigquery.admin כולל את כל ההרשאות האלה. מידע נוסף על תפקידי IAM בשירות העברת נתונים ל-BigQuery זמין במאמר מבוא ל-IAM.

  • גישה למקור הנתונים שהוגדר להעברה. מידע נוסף על ההרשאות הנדרשות למקורות נתונים שונים זמין במאמר מקורות נתונים עם תמיכה בחשבון שירות.

  • בהעברות של Google Ads, לחשבון השירות צריכה להיות הרשאה ברמת הדומיין. מידע נוסף זמין במדריך בנושא חשבון שירות של Google Ads API.

עדכון פרטי הכניסה להעברת נתונים

המסוף

התהליך הבא מעדכן את ההגדרה של העברת נתונים כדי לבצע אימות בתור חשבון שירות במקום בתור חשבון משתמש פרטי.

  1. נכנסים לדף 'העברות נתונים' במסוף Google Cloud .

    מעבר אל "העברות נתונים"

  2. לוחצים על ההעברה ברשימת העברות הנתונים.

  3. לוחצים על עריכה כדי לעדכן את הגדרות ההעברה.

    כדי לערוך העברת נתונים קיימת, לוחצים על סמל העריכה.

  4. בשדה Service Account, מזינים את השם של חשבון השירות.

  5. לוחצים על Save.

BQ

כדי לעדכן את פרטי הכניסה של העברת נתונים, אפשר להשתמש בכלי שורת הפקודה של BigQuery כדי לעדכן את הגדרות ההעברה.

משתמשים בפקודה bq update עם הדגלים --transfer_config, --update_credentials ו---service_account_name.

לדוגמה, הפקודה הבאה מעדכנת את ההגדרה של העברת נתונים כך שהאימות יתבצע באמצעות חשבון שירות במקום באמצעות חשבון משתמש פרטי:

‫
bq update \
--transfer_config \
--update_credentials \
--service_account_name=abcdef-test-sa@abcdef-test.iam.gserviceaccount.com projects/862514376110/locations/us/transferConfigs/5dd12f26-0000-262f-bc38-089e0820fe38 \

Java

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Javaהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Java API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח. 

import com.google.api.gax.rpc.ApiException;
import com.google.cloud.bigquery.datatransfer.v1.DataTransferServiceClient;
import com.google.cloud.bigquery.datatransfer.v1.TransferConfig;
import com.google.cloud.bigquery.datatransfer.v1.UpdateTransferConfigRequest;
import com.google.protobuf.FieldMask;
import com.google.protobuf.util.FieldMaskUtil;
import java.io.IOException;

// Sample to update credentials in transfer config.
public class UpdateCredentials {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.
    String configId = "MY_CONFIG_ID";
    String serviceAccount = "MY_SERVICE_ACCOUNT";
    TransferConfig transferConfig = TransferConfig.newBuilder().setName(configId).build();
    FieldMask updateMask = FieldMaskUtil.fromString("service_account_name");
    updateCredentials(transferConfig, serviceAccount, updateMask);
  }

  public static void updateCredentials(
      TransferConfig transferConfig, String serviceAccount, FieldMask updateMask)
      throws IOException {
    try (DataTransferServiceClient dataTransferServiceClient = DataTransferServiceClient.create()) {
      UpdateTransferConfigRequest request =
          UpdateTransferConfigRequest.newBuilder()
              .setTransferConfig(transferConfig)
              .setUpdateMask(updateMask)
              .setServiceAccountName(serviceAccount)
              .build();
      dataTransferServiceClient.updateTransferConfig(request);
      System.out.println("Credentials updated successfully");
    } catch (ApiException ex) {
      System.out.print("Credentials was not updated." + ex.toString());
    }
  }
}

Python

לפני שמנסים את הדוגמה הזו, צריך לפעול לפי Pythonהוראות ההגדרה שבמדריך למתחילים של BigQuery באמצעות ספריות לקוח. מידע נוסף מופיע במאמרי העזרה של BigQuery Python API.

כדי לבצע אימות ב-BigQuery, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לספריות לקוח. 

from google.cloud import bigquery_datatransfer
from google.protobuf import field_mask_pb2

transfer_client = bigquery_datatransfer.DataTransferServiceClient()

service_account_name = "abcdef-test-sa@abcdef-test.iam.gserviceaccount.com"
transfer_config_name = "projects/1234/locations/us/transferConfigs/abcd"

transfer_config = bigquery_datatransfer.TransferConfig(name=transfer_config_name)

transfer_config = transfer_client.update_transfer_config(
    {
        "transfer_config": transfer_config,
        "update_mask": field_mask_pb2.FieldMask(paths=["service_account_name"]),
        "service_account_name": service_account_name,
    }
)

print("Updated config: '{}'".format(transfer_config.name))