Template SequenceFile Bigtable ke Cloud Storage

Template Bigtable ke Cloud Storage SequenceFile adalah pipeline yang membaca data dari tabel Bigtable dan menuliskannya ke bucket Cloud Storage dalam format SequenceFile. Anda dapat menggunakan template ini untuk menyalin data dari Bigtable ke Cloud Storage.

Persyaratan pipeline

Tabel Bigtable harus ada.
Bucket Cloud Storage output harus ada sebelum menjalankan pipeline.

Parameter template

Parameter yang diperlukan

bigtableProject: ID project Google Cloud yang berisi instance Bigtable yang ingin Anda baca datanya.
bigtableInstanceId: ID instance Bigtable yang berisi tabel.
bigtableTableId: ID tabel Bigtable yang akan diekspor.
destinationPath: Jalur Cloud Storage tempat data ditulis. Contoh, gs://your-bucket/your-path/.
filenamePrefix: Awalan nama file SequenceFile. Contoh, output-.

Parameter opsional

bigtableAppProfileId: ID profil aplikasi Bigtable yang akan digunakan untuk ekspor. Jika Anda tidak menentukan profil aplikasi, Bigtable akan menggunakan profil aplikasi default instance: https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile.
bigtableStartRow: Baris tempat memulai ekspor, defaultnya adalah baris pertama.
bigtableStopRow: Baris tempat penghentian ekspor, defaultnya adalah baris terakhir.
bigtableMaxVersions: Jumlah maksimum versi sel. Nilai defaultnya: 2147483647.
bigtableFilter: String filter. Lihat: http://hbase.apache.org/book.html#thrift. Nilai defaultnya adalah kosong.
bigtableReadRpcTimeoutMs: Waktu tunggu operasi baca Bigtable. Nilai defaultnya adalah 12 jam.
bigtableReadRpcAttemptTimeoutMs: Waktu tunggu percobaan baca Bigtable. Waktu defaultnya adalah 10 menit.

Menjalankan template

Konsol

Buka halaman Dataflow Membuat tugas dari template.

Buka Membuat tugas dari template

Di kolom Nama tugas, masukkan nama tugas yang unik.
Opsional: Untuk Endpoint regional, pilih nilai dari menu drop-down. Region default-nya adalah us-central1.
Untuk mengetahui daftar region tempat Anda dapat menjalankan tugas Dataflow, lihat Lokasi Dataflow.
Dari menu drop-down Template Dataflow, pilih the Cloud Bigtable to SequenceFile Files on Cloud Storage template .
Di kolom parameter yang disediakan, masukkan nilai parameter Anda.
Klik Jalankan tugas.

gcloud

Di shell atau terminal Anda, jalankan template:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Bigtable_to_GCS_SequenceFile \
    --region REGION_NAME \
    --parameters \
bigtableProject=BIGTABLE_PROJECT_ID,\
bigtableInstanceId=INSTANCE_ID,\
bigtableTableId=TABLE_ID,\
bigtableAppProfileId=APPLICATION_PROFILE_ID,\
destinationPath=DESTINATION_PATH,\
filenamePrefix=FILENAME_PREFIX

Ganti kode berikut:

JOB_NAME: nama tugas unik pilihan Anda
VERSION: versi template yang ingin Anda gunakan
Anda dapat menggunakan nilai berikut:
- latest untuk menggunakan template versi terbaru, yang tersedia di folder induk tanpa tanggal di bucket—gs://dataflow-templates-REGION_NAME/latest/
- nama versi, seperti 2023-09-12-00_RC00, untuk menggunakan template versi tertentu, yang dapat ditemukan bertingkat di masing-masing folder induk yang diberi tanggal dalam bucket—gs://dataflow-templates-REGION_NAME/
Perhatian: Template versi terbaru dapat diupdate dengan perubahan yang dapat menyebabkan gangguan. Lingkungan produksi Anda harus menggunakan template yang disimpan di folder induk berisi tanggal terbaru untuk mencegah perubahan yang dapat menyebabkan gangguan ini memengaruhi alur kerja produksi Anda.
REGION_NAME: region tempat Anda ingin men-deploy tugas Dataflow—misalnya, us-central1
BIGTABLE_PROJECT_ID: Project ID Google Cloud instance Bigtable yang ingin Anda baca datanya
INSTANCE_ID: ID instance Bigtable yang berisi tabel
TABLE_ID: ID tabel Bigtable yang akan diekspor
APPLICATION_PROFILE_ID: ID profil aplikasi Bigtable yang akan digunakan untuk ekspor
DESTINATION_PATH: jalur Cloud Storage tempat data ditulis, misalnya, gs://mybucket/somefolder
FILENAME_PREFIX: awalan nama file SequenceFile, misalnya, output-

API

Untuk menjalankan template menggunakan REST API, kirim permintaan POST HTTP. Untuk mengetahui informasi selengkapnya tentang API dan cakupan otorisasinya, lihat projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Bigtable_to_GCS_SequenceFile
{
   "jobName": "JOB_NAME",
   "parameters": {
       "bigtableProject": "BIGTABLE_PROJECT_ID",
       "bigtableInstanceId": "INSTANCE_ID",
       "bigtableTableId": "TABLE_ID",
       "bigtableAppProfileId": "APPLICATION_PROFILE_ID",
       "destinationPath": "DESTINATION_PATH",
       "filenamePrefix": "FILENAME_PREFIX",
   },
   "environment": { "zone": "us-central1-f" }
}