將 Oracle 資料載入 BigQuery

您可以使用 Oracle 的 BigQuery 資料移轉服務連接器，將資料從 Oracle 載入 BigQuery。您可以使用 BigQuery 資料移轉服務，安排週期性移轉工作，將 Oracle 的最新資料新增至 BigQuery。

限制

Oracle 移轉作業有以下限制：

  • 連至 Oracle 資料庫的連線數量有上限，因此連至單一 Oracle 資料庫的同時轉移作業數量也受限。
  • 如果無法使用公用 IP 連線至 Oracle 資料庫，您必須設定網路附件，並符合下列規定：
    • 資料來源必須可從網路附件所在的子網路存取。
    • 網路連結不得位於 240.0.0.0/24 範圍內的子網路中。
    • 如果網路連結有運作中的連線，就無法刪除。如要刪除網路連結，請與 Cloud Customer Care 團隊聯絡。
    • 如果是 us 多地區，網路連結必須位於 us-central1 地區。如果是 eu 多地區，網路連結必須位於 europe-west4 地區。
  • Oracle 轉移作業的間隔時間下限為 15 分鐘。預設的週期性轉移間隔為 24 小時。
  • 單一移轉設定在特定時間只能支援一次資料移轉作業。如果排定在第一次資料轉移完成前執行第二次資料轉移，則系統只會完成第一次資料轉移，並略過任何與第一次轉移重疊的資料轉移。
    • 為避免在單一轉移設定中略過轉移作業，建議您設定「重複頻率」，增加大型資料轉移作業之間的時間間隔。
  • 如果設定的網路附件和虛擬機器 (VM) 執行個體位於不同區域，從 Oracle 轉移資料時，可能會發生跨區域資料移動。

資料擷取選項

以下各節提供設定 Oracle 資料移轉作業時的資料擷取選項相關資訊。

傳輸層安全標準 (TLS) 設定

Oracle 連接器支援傳輸層安全 (TLS) 設定，可加密傳輸至 BigQuery 的資料。Oracle 連接器支援下列 TLS 設定：

  • 加密資料，並驗證 CA 和主機名稱：這個模式會使用 TCPS 通訊協定透過 TLS 完整驗證伺服器。這項功能會加密所有傳輸中的資料，並驗證資料庫伺服器的憑證是否由信任的憑證授權單位 (CA) 簽署。這個模式也會檢查您連線的主機名稱，是否與伺服器憑證中的一般名稱 (CN) 或主體別名 (SAN) 完全相符。這個模式可防止攻擊者使用其他網域的有效憑證，冒充您的資料庫伺服器。
    • 如果主機名稱與憑證 CN 或 SAN 不符，連線就會失敗。您必須設定 DNS 解析，以符合憑證，或使用其他安全模式。
    • 使用這個模式可獲得最安全的防護，避免中間人 (PITM) 攻擊。
  • 加密資料，並僅驗證 CA：這個模式會透過 TCPS 通訊協定使用 TLS 加密所有資料，並驗證伺服器的憑證是否由用戶端信任的 CA 簽署。不過，這個模式不會驗證伺服器的主機名稱。只要憑證有效且由信任的 VA 核發，這個模式就會成功連線，無論憑證中的主機名稱是否與您連線的主機名稱相符。
    • 如果您想確保連線至憑證由信任的 CA 簽署的伺服器，但主機名稱無法驗證，或您無法控管主機名稱設定，請使用這個模式。
  • 僅加密：這個模式會使用標準 TCP 連接埠，透過 Oracle 的原生網路加密功能，加密用戶端與伺服器之間的所有資料傳輸。不會執行任何憑證或主機名稱驗證。
    • 這個模式會保護傳輸中的資料，提供一定程度的安全性，但可能容易受到中間人攻擊。
    • 如果您需要確保所有資料都經過加密，但無法或不想驗證伺服器的身分，請使用這個模式。使用私人虛擬私有雲時，建議採用這個模式。
  • 不加密或驗證：這個模式不會加密任何資料，也不會執行任何憑證或主機名稱驗證。所有資料都會以純文字形式傳送。
    • 在處理機密資料的環境中，不建議使用這個模式。
    • 建議您只在安全無虞的獨立網路中，將這個模式用於測試。

信任的伺服器憑證 (PEM)

如果您使用「加密資料，並驗證 CA 和主機名稱」模式或「加密資料，並驗證 CA」模式，也可以提供一或多個 PEM 編碼的憑證。在某些情況下，BigQuery 資料移轉服務需要驗證資料庫伺服器的身分，才能建立 TLS 連線，這時就需要這些憑證：

  • 如果您使用貴機構內私人 CA 簽署的憑證或自行簽署的憑證，請提供完整憑證鏈結或單一自行簽署憑證。如果是透過代管雲端服務 (例如 Amazon Relational Database Service (RDS)) 的內部 CA 簽發憑證，則必須執行這項操作。
  • 如果資料庫伺服器憑證是由公開 CA 簽署 (例如 Let's Encrypt、DigiCert 或 GlobalSign)，您就不需要提供憑證。BigQuery 資料移轉服務已預先安裝並信任這些公開 CA 的根憑證。

建立 Oracle 移轉設定時，您可以在「Trusted PEM Certificate」(信任的 PEM 憑證) 欄位中提供 PEM 編碼憑證，但須符合下列規定：

  • 憑證必須是有效的 PEM 編碼憑證鏈結。
  • 憑證必須完全正確。如果鏈結中缺少任何憑證或內容有誤，TLS 連線就會失敗。
  • 如果是單一憑證，您可以提供資料庫伺服器的單一自行簽署憑證。
  • 如果是私人 CA 核發的完整憑證鏈結，您必須提供完整的信任鏈結。包括資料庫伺服器的憑證，以及任何中繼和根 CA 憑證。

事前準備

下列各節說明建立 Oracle 轉移作業前必須執行的步驟。

Oracle 必要條件

建立 Oracle 轉移作業時，您也必須具備下列 Oracle 資料庫資訊。

參數名稱 說明
database 資料庫名稱。
host

資料庫的主機名稱或 IP 位址。
port

資料庫的通訊埠號碼。
username

用來存取資料庫的使用者名稱。
password

存取資料庫的密碼。

BigQuery 必要條件

必要的 BigQuery 角色

如要取得建立 BigQuery 資料移轉服務資料移轉作業所需的權限，請要求管理員授予您專案的 BigQuery 管理員 (roles/bigquery.admin) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色包含建立 BigQuery 資料移轉服務資料移轉作業所需的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

所需權限

如要建立 BigQuery 資料移轉服務資料移轉作業，您必須具備下列權限：

  • BigQuery 資料移轉服務權限：
    • bigquery.transfers.update
    • bigquery.transfers.get
  • BigQuery 權限：
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

詳情請參閱「授予 bigquery.admin 存取權」。

將 Oracle 資料載入 BigQuery

如要將 Oracle 資料新增至 BigQuery，請使用下列任一方法設定移轉設定：

控制台

  1. 前往 Google Cloud 控制台的「資料移轉」頁面。

    前往「資料轉移」頁面

  2. 按一下 「建立轉移作業」。

  3. 在「Source type」(來源類型) 部分，「Source」(來源) 請選取「Oracle」。

  4. 在「Data source details」(資料來源詳細資料) 部分執行下列操作：

    • 在「Network attachment」(網路連結) 部分選取現有的網路連結，或是點選「Create Network Attachment」(建立網路連結)。
    • 在「Host」(主機) 部分，輸入資料庫的主機名稱或 IP。
    • 在「Port」(通訊埠) 部分，輸入 Oracle 資料庫用來接收傳入連線的通訊埠編號，例如 1521。
    • 在「Database name」(資料庫名稱) 部分，輸入 Oracle 資料庫的名稱。
    • 在「Connection type」(連線類型) 部分，輸入連線網址類型，例如 SERVICE、SID 或 TNS。
    • 在「Username」(使用者名稱) 部分，輸入啟動 Oracle 資料庫連線的使用者的名稱。
    • 在「Password」(密碼) 部分，輸入啟動 Oracle 資料庫連線的使用者密碼。
    • 在「TLS Mode」(TLS 模式) 中，從下拉式選單選取一個選項。如要進一步瞭解 TLS 模式，請參閱「TLS 設定」。
    • 在「Trusted PEM Certificate」(信任的 PEM 憑證) 欄位中，輸入核發資料庫伺服器 TLS 憑證的憑證授權單位 (CA) 公開憑證。詳情請參閱「信任的伺服器憑證 (PEM)」一文。
    • 在「Oracle objects to transfer」 部分點選「BROWSE」(瀏覽)，選取要移轉至 BigQuery 目的地資料集的資料表。您也可以在這個欄位手動輸入要移轉資料的物件。

  5. 在「Destination settings」(目的地設定) 部分，「Dataset」(資料集) 請選取您為了儲存資料而建立的資料集。

  6. 在「Transfer config name」(轉移設定名稱) 部分，「Display name」(顯示名稱) 請輸入資料移轉作業名稱。

  7. 在「Schedule options」(排程選項) 專區：

    • 在「Repeat frequency」(重複執行頻率) 清單中，選取選項，指定這項資料移轉作業的執行頻率。如要指定自訂重複頻率，請選取「Custom」(自訂)。如果選取「On-demand」(隨選)，這項移轉作業會在您手動觸發後執行。
    • 視情況選取「Start now」(立即開始) 或「Start at set time」(在所設時間開始執行)，並提供開始日期和執行時間。

  8. 選用：在「Notification options」(通知選項) 專區，執行下列操作：

    • 如要啟用電子郵件通知，請點選「Email notification」(電子郵件通知) 切換按鈕。當您啟用此選項時，移轉管理員會在移轉作業失敗時收到電子郵件通知。
    • 如要針對這項移轉作業啟用 Pub/Sub 移轉作業執行通知，請點選「Pub/Sub notifications」(Pub/Sub 通知) 切換按鈕。您可以選取主題名稱，也可以點選「Create a topic」(建立主題) 來建立主題。

  9. 按一下 [儲存]。

bq

輸入 bq mk 指令並加上移轉建立標記 --transfer_config：

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=DISPLAY_NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

其中：

  • PROJECT_ID (選用)：您的 Google Cloud 專案 ID。 如未提供 --project_id 指定特定專案，系統會使用預設專案。
  • DATA_SOURCE：資料來源 - oracle。
  • DISPLAY_NAME：移轉設定的顯示名稱。資料移轉名稱可以是任意值，日後需要修改移轉作業時，能夠據此識別即可。
  • DATASET：移轉設定的目標資料集。

  • PARAMETERS：已建立移轉設定的 JSON 格式參數。例如：--params='{"param":"param_value"}'。以下是 Oracle 資料移轉的參數：

    • connector.networkAttachment (選用)：要連線至 Oracle 資料庫的網路附件名稱。
    • connector.authentication.Username：Oracle 帳戶的使用者名稱。
    • connector.authentication.Password：Oracle 帳戶的密碼。
    • connector.database：Oracle 資料庫的名稱。
    • connector.endpoint.host：資料庫的主機名稱或 IP。
    • connector.endpoint.port：Oracle 資料庫用來接收傳入連線的通訊埠編號，例如 1520。
    • connector.connectionType：連線網址類型，例如 SERVICE、SID 或 TNS。
    • connector.tls.mode：指定要用於這項轉移作業的 TLS 設定：
      • ENCRYPT_VERIFY_CA_AND_HOST 加密資料，並驗證 CA 和主機名稱
      • ENCRYPT_VERIFY_CA 加密資料，且只驗證 CA
      • ENCRYPT_VERIFY_NONE 僅適用於資料加密
      • DISABLE，因為沒有加密或驗證
    • connector.tls.trustedServerCertificate：(選用) 提供一或多個 PEM 編碼憑證。只有在 connector.tls.mode 為 ENCRYPT_VERIFY_CA_AND_HOST 或 ENCRYPT_VERIFY_CA 時才需要提供。
    • assets：要移轉至 BigQuery 的 Oracle 物件路徑，格式如下： DATABASE_NAME/SCHEMA_NAME/TABLE_NAME

舉例來說，下列指令會在預設專案中建立 Oracle 資料移轉作業，並提供所有必要參數：

bq mk
    --transfer_config
    --target_dataset=mydataset
    --data_source=oracle
    --display_name='My Transfer'
    --params='{"assets":["DB1/USER1/DEPARTMENT","DB1/USER1/EMPLOYEES"],
        "connector.authentication.username": "User1",
        "connector.authentication.password":"ABC12345",
        "connector.database":"DB1",
        "connector.endpoint.host":"192.168.0.1",
        "connector.endpoint.port":1520,
        "connector.connectionType":"SERVICE",
        "connector.tls.mode": "ENCRYPT_VERIFY_CA_AND_HOST",
        "connector.tls.trustedServerCertificate": "PEM-encoded certificate",
        "connector.networkAttachment":
        "projects/dev-project1/regions/us-central1/networkattachments/na1"}'

API

請使用 projects.locations.transferConfigs.create 方法，並提供 TransferConfig 資源的執行個體。

儲存移轉設定後，Oracle 連接器會根據排程選項自動觸發移轉作業。每次執行移轉作業時，Oracle 連接器都會將 Oracle 中的所有可用資料移轉至 BigQuery。

如要手動執行資料轉移 (不在正常排程內)，可以啟動回填作業。

資料類型對應

下表列出 Oracle 資料類型對應的 BigQuery 資料類型。

Oracle 資料類型 BigQuery 資料類型
BFILE BYTES
BINARY_DOUBLE FLOAT
BINARY_FLOAT FLOAT
BLOB BYTES
CHAR STRING
CLOB STRING
DATE DATETIME
FLOAT FLOAT
INTERVAL DAY TO SECOND STRING
INTERVAL YEAR TO MONTH STRING
LONG STRING
LONG RAW BYTES
NCHAR STRING
NCLOB STRING
NUMBER (without precision and scale) STRING
NUMBER (with precision and scale lower than the BigQuery Numeric range) NUMERIC
NUMBER (with precision and scale lower than the BigQuery BigNumeric range) BIGNUMERIC
NUMBER (with precision and scale greater than the BigQuery BigNumeric range) STRING
NVARCHAR2 STRING
RAW BYTES
ROWID STRING
TIMESTAMP DATETIME
TIMESTAMP WITH LOCAL TIME ZONE DATETIME
TIMESTAMP WITH TIME ZONE TIMESTAMP
UROWID STRING
VARCHAR STRING
VARCHAR2 STRING

排解轉移設定問題

如果您無法順利設定資料移轉作業，請參閱「Oracle 移轉問題」。

定價

這項功能處於預覽階段時，將 Oracle 資料移轉至 BigQuery 不會產生費用。

後續步驟