Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

管理資料準備作業

本文說明如何管理 BigQuery 資料準備作業，包括管理存取權、版本管理、效能和中繼資料。本文也說明如何執行基本工作，例如查看及下載資料準備作業。

資料準備是 Dataform 支援的 BigQuery 資源。詳情請參閱「BigQuery 資料準備總覽」一文。

事前準備

確認您已啟用 Gemini for Google Cloud API。
如要在 Knowledge Catalog 中管理資料準備中繼資料，請確保專案已啟用 Dataplex API。 Google Cloud

必要的角色

準備資料的使用者和執行作業的 Dataform 服務帳戶，都需要下列 Identity and Access Management (IAM) 角色授予的權限。

取得資料準備功能的使用者存取權

如要取得在 BigQuery 中準備資料所需的權限，請要求管理員授予您下列 IAM 角色：

專案的「BigQuery Studio 使用者」 (roles/bigquery.studioUser)
專案的 Gemini for Google Cloud 使用者 (roles/cloudaicompanion.user)
存取來源資料表：資料表、資料集或專案的 BigQuery 資料檢視者 (roles/bigquery.dataViewer)
分享資料準備：資料表、資料集或專案的 Dataform 程式碼擁有者 (roles/dataform.codeOwner)

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

如要進一步瞭解 BigQuery 中資料集的 IAM，請參閱「授予資料集存取權」。

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

取得管理中繼資料的權限

如要取得管理 Knowledge Catalog 中資料準備中繼資料所需的權限，請確認您具備必要的 Knowledge Catalog 角色和 dataform.repositories.get 權限。

授予 Dataform 服務帳戶存取權

為確保 Dataform 服務帳戶具備在 BigQuery 中執行資料準備作業的必要權限，請要求管理員將下列 IAM 角色授予 Dataform 服務帳戶：

存取來源資料表：資料表、資料集或專案的 BigQuery 資料檢視者 (roles/bigquery.dataViewer)
存取目的地資料表：資料表、資料集或專案的「BigQuery 資料編輯者」 (roles/bigquery.dataEditor)

視資料準備管道而定，Dataform 服務帳戶可能需要額外權限。詳情請參閱「授予 Dataform 必要存取權」。

資料準備作業的安全注意事項

由於 BigQuery 中的程式碼資產是由 Dataform 支援，因此請考慮以下安全影響，以確保使用者能存取這些資產：

程式碼資產的可見度取決於專案層級的 Dataform 權限。擁有 dataform.repositories.list 權限的使用者 (包含在標準 BigQuery 角色中，例如「BigQuery Job User」、「BigQuery Studio User」和「BigQuery User」)，可以在專案的 Google Cloud 「Explorer」面板中查看所有程式碼資產，無論這些資產是由他們建立，還是與他們共用。如要限制瀏覽權限，可以建立排除 dataform.repositories.list 權限的自訂角色。
與 Dataform 服務代理程式共用的任何密鑰，都可能遭到可編輯這些資產的使用者存取。為確保憑證安全，請限制只有信任的使用者可以建立及編輯憑證，並限制 Dataform 服務代理程式可存取的密鑰。詳情請參閱「在套件安裝期間存取密鑰」。

詳情請參閱「Dataform 權限的安全考量」。

查看現有資料準備作業

如要查看現有資料準備作業的清單，請按照下列步驟操作：

前往「BigQuery」頁面

前往「BigQuery」
點選左側窗格中的「Explorer」。

如果沒有看到左側窗格，請按一下「Expand left pane」(展開左側窗格)，開啟窗格。
在「Explorer」窗格中展開專案。
按一下「資料準備」。

透過增量處理資料，最佳化資料準備作業

如要設定將準備好的資料寫入目的地資料表的方式，請按照下列步驟操作。

前往 Google Cloud 控制台的「BigQuery」頁面。

前往「BigQuery」
點選左側窗格中的「Explorer」。
在「Explorer」窗格中，按一下「資料準備」，然後選取資料準備作業。
在資料準備工具列中，依序選取「更多」>「寫入模式」。
選取其中一個選項。詳情請參閱「寫入模式」。
按一下 [儲存]。

協助我們改良建議功能

您可以將提交至預先發布版功能的提示資料提供給 Google，協助我們改良 Gemini 建議功能。如要分享提示資料，請按照下列步驟操作：

在 BigQuery 中開啟資料準備編輯器。
在資料準備工具列中，按一下「設定」「更多」。
選取「Share data to improve Gemini in BigQuery」(共用資料，協助改良 Gemini in BigQuery)。

資料分享設定會套用至整個專案，且只有具備 serviceusage.services.enable 和 serviceusage.services.list IAM 權限的專案管理員能夠設定。如要進一步瞭解「早鳥測試者計畫」的資料使用方式，請參閱「Gemini for Google Cloud 『早鳥測試者計畫』」。

資料準備版本

您可以選擇在存放區內或外部建立資料準備作業。資料準備作業的版本管理方式會因資料準備作業所在位置而異。

存放區中的資料準備版本管理

存放區是位於 BigQuery 或第三方供應商的 Git 存放區。您可以在存放區中使用工作區，對資料準備作業執行版本控管。詳情請參閱「使用檔案的版本管控功能」。

存放區外的資料準備作業版本管理

如果 BigQuery 資料準備作業不在存放區中，則不支援查看、比較或還原資料準備作業版本。

如要依時間順序查看資料準備版本清單，請按照下列步驟操作：

前往「BigQuery」頁面

前往「BigQuery」
點選左側窗格中的「Explorer」。
在「Explorer」窗格中，按一下「資料準備」，然後選取資料準備作業。
按一下「版本記錄」。

下載資料準備檔案

如要以 SQLX 檔案下載資料準備作業，請按照下列步驟操作：

前往 Google Cloud 控制台的「BigQuery」頁面。

前往「BigQuery」
點選左側窗格中的「Explorer」。
在「Explorer」窗格中展開專案，然後按一下「資料準備」。
按一下要下載的資料準備作業名稱。
按一下「下載」。資料準備作業會以 SQLX 檔案格式儲存，例如 NAME data preparation.dp.sqlx。

上傳資料準備檔案

如要從 SQLX 檔案上傳資料準備作業，請按照下列步驟操作：

前往 Google Cloud 控制台的「BigQuery」頁面。

前往「BigQuery」
點選左側窗格中的「Explorer」。
在「Explorer」窗格中展開專案。
按一下「資料準備」，然後點按 more_vert「查看動作」>「上傳至資料準備」。
在「上傳資料準備」對話方塊中，選取要上傳的檔案，或輸入資料準備的網址。
輸入資料準備作業的名稱。
選取管理及儲存資源的資料準備位置。
按一下「上傳」。

管理 Knowledge Catalog 中的中繼資料

您可以透過 Knowledge Catalog 儲存及管理資料準備作業的中繼資料，預設情況下，Knowledge Catalog 會提供資料準備功能，不需額外設定。

您可以使用 Knowledge Catalog 管理所有 BigQuery 位置的資料準備作業。在 Knowledge Catalog 中管理資料準備作業時，須遵守 Knowledge Catalog 配額和限制，以及 Knowledge Catalog 定價。

Knowledge Catalog 會自動從資料準備作業擷取下列中繼資料：

資料資產名稱
資料資產父項
資料資產位置
資料資產類型
對應 Google Cloud 專案

Knowledge Catalog 會將資料準備作業記錄為「項目」，並提供下列項目值：

系統項目群組: 資料準備的系統項目群組為 @dataform。如要查看 Knowledge Catalog 中資料準備項目的詳細資料，請查看 dataform 系統項目群組。如需查看項目群組中所有項目的清單，請參閱 Knowledge Catalog 說明文件中的「查看項目群組詳細資料」一節。
系統項目類型: 資料準備的系統項目類型為 dataform-code-asset。如要查看資料準備作業的詳細資料，請查看 dataform-code-asset 系統項目類型、使用切面篩選器篩選結果，並將 dataform-code-asset 切面內的 type 欄位設為 DATA_PREPARATION。然後選取所選資料準備的項目。如要瞭解如何查看所選項目類型的詳細資料，請參閱 Knowledge Catalog 說明文件中的「查看項目類型的詳細資料」。如要瞭解如何查看所選項目的詳細資料，請參閱 Knowledge Catalog 說明文件中的「查看項目的詳細資料」一節。
系統切面類型: 資料準備的系統層面類型為 dataform-code-asset。如要透過切面為 Knowledge Catalog 中的資料準備項目加上註解，進一步瞭解資料準備作業，請查看 dataform-code-asset 切面類型、使用以切面為準的篩選器篩選結果，並將 dataform-code-asset 切面內的 type 欄位設為 DATA_PREPARATION。如需如何使用切面註解項目的操作說明，請參閱 Knowledge Catalog 說明文件中的「管理切面及豐富中繼資料」一文。
類型: 資料畫布的類型為 DATA_PREPARATION。您可以使用以切面為準的篩選器，透過 dataform-code-asset 系統項目類型和 dataform-code-asset 切面類型中的 aspect:dataplex-types.global.dataform-code-asset.type=DATA_PREPARATION 查詢，篩選資料準備作業。

如需搜尋資產的操作說明，請參閱 Knowledge Catalog 說明文件中的「在 Knowledge Catalog 中搜尋資料資產」。