匯入及匯出資料

本頁面列出在 Bigtable 中匯入及匯出資料可用的方法。

將資料匯入 Bigtable

您可以透過下列方式將資料匯入 Bigtable：

BigQuery
如要將 BigQuery 資料匯入 Bigtable，請參閱 BigQuery 說明文件中的「將資料匯出至 Bigtable (反向 ETL)」。
您可以對 BigQuery 資料執行持續查詢，並使用反向 ETL 即時將結果匯出至 Bigtable。 詳情請參閱 BigQuery 說明文件中的持續查詢簡介。
Pub/Sub
您可以使用 Pub/Sub Bigtable 訂閱項目 (預先發布版)，將 Pub/Sub 訊息直接串流至 Bigtable 資料表。這個方法可讓您將串流訊息寫入 Bigtable，不必使用 Dataflow 等其他訂閱者。

使用範本移動或複製資料

您可以使用下列 Dataflow 範本，在 Bigtable 與其他來源或目的地之間移動或複製資料。

BigQuery

下列 Dataflow 範本可讓您將資料從 BigQuery 匯出至 Bigtable。

Apache Cassandra 至 Bigtable

下列 Dataflow 範本可讓您將資料從 Apache Cassandra 匯出至 Bigtable。

Avro 檔案

下列 Dataflow 範本可讓您將資料從 Bigtable 匯出為 Avro 檔案，然後再將資料匯回 Bigtable。您可以使用 Google Cloud CLI 或 Google Cloud 控制台來執行範本。原始碼位於 GitHub。

Parquet 檔案

下列 Dataflow 範本可讓您將資料從 Bigtable 匯出為 Parquet 檔案，然後再將資料匯回 Bigtable。您可以使用 gcloud CLI 或 Google Cloud 控制台執行範本。原始碼位於 GitHub。

SequenceFile

下列 Dataflow 範本可讓您將資料從 Bigtable 匯出為 SequenceFile，然後再將資料匯回 Bigtable。您可以使用 Google Cloud CLI 或 Google Cloud 控制台來執行範本。

從「資料表」頁面匯入

您可以使用Google Cloud 控制台，執行本頁所述的許多匯入方法。從「表格」頁面匯入下列類型的資料：

  • CSV 資料
  • BigQuery 資料
  • 您可以使用 Dataflow 工作建構工具匯入資料。這包括下列類型的資料：
    • Pub/Sub 訊息
    • BigQuery 資料表資料
    • Cloud Storage 中的 CSV 檔案、JSON 檔案和文字檔案
    • PostgreSQL、MySQL、Oracle 和 SQL Server 資料表資料

  • 您可以使用 Dataflow 範本匯入的資料。包括下列類型的資料：

    • Avro 檔案
    • Cassandra 鍵空間和資料表
    • Parquet 檔案
    • SequenceFile 檔案

控制台

  1. 在 Google Cloud 控制台中開啟 Bigtable 執行個體清單。

    開啟執行個體清單

  2. 按一下包含要匯入資料表的執行個體。

  3. 按一下左側窗格中的 [Tables] (資料表)。

    「Tables」(資料表) 頁面會顯示執行個體中的資料表清單。

  4. 在要匯入資料的資料表名稱旁，按一下「資料表動作」選單。

  5. 按一下「匯入資料」，然後選取要匯入的資料類型：

    • 如果選取 CSV， cbtCLI 終端機視窗會開啟。詳情請參閱本文的「匯入 CSV 資料」部分。
    • 選取 BigQuery 後，BigQuery Studio 會隨即開啟。 填寫反向 ETL 查詢並運作執行。
    • 選取 Dataflow 工作建構工具後，系統會開啟工作建構工具。詳情請參閱「工作建構工具 UI 總覽」。
    • 如果您選取 Avro、Parquet、SequenceFile 或 Cassandra，主控台會顯示部分完成的 Dataflow 範本。填寫工作範本，然後按一下「執行工作」。

從「資料表」頁面匯出

您可以使用Google Cloud 控制台，執行本頁所述的部分匯出方法。從「資料表」頁面匯出下列類型的資料：

  • Avro 檔案
  • Parquet 檔案

  • SequenceFile 檔案

控制台

  1. 在 Google Cloud 控制台中開啟 Bigtable 執行個體清單。

    開啟執行個體清單

  2. 按一下要匯出資料表的執行個體。

  3. 按一下左側窗格中的 [Tables] (資料表)。

    「Tables」(資料表) 頁面會顯示執行個體中的資料表清單。

  4. 按一下表格名稱旁邊的「表格動作」選單。

  5. 按一下「匯出資料」，然後選取要匯出的檔案類型。

    控制台會顯示部分完成的 Dataflow 範本。

  6. 填寫工作範本，然後按一下「執行工作」。

匯入 CSV 資料

您可以使用 cbt CLI，將 CSV 檔案中的資料匯入 Bigtable 資料表。如要執行這項操作，請確保您的環境 (例如 Cloud Shell) 可以存取 CSV 檔案。您可以透過下列其中一種方式，將 CSV 檔案匯入 Cloud Shell：

上傳本機 CSV 檔案：

  1. 在 Cloud Shell 中，按一下「更多」選單，然後選取「上傳」。
  2. 從本機選取 CSV 檔案。
  3. 上傳檔案後，請在 cbt CLI 命令中依名稱參照檔案。

從 Cloud Storage 複製 CSV 檔案：

cbt CLI 不直接支援從 Cloud Storage 值區匯入資料。您必須先將 CSV 檔案從 Cloud Storage 複製到 Cloud Shell 環境。詳情請參閱「將物件上傳至值區」。

環境中提供 CSV 檔案後，請使用 cbt CLI 指令匯入資料。如需指令範例，請參閱「根據輸入檔案批次寫入多個資料列」。

後續步驟