Membuat alur kerja integrasi data menggunakan halaman Pipelines &Connections

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk memberikan masukan, mengajukan pertanyaan, atau meminta untuk tidak menggunakan fitur Pratinjau ini, hubungi [e-mail].

Anda dapat mengelola dan menyederhanakan tugas integrasi data langsung di dalam Google Cloud konsol menggunakan halaman BigQuery Pipelines & Connections. Halaman ini menyediakan alur kerja konfigurasi terpandu khusus BigQuery untuk layanan seperti BigQuery Data Transfer Service, Datastream, dan Pub/Sub.

Anda dapat menggunakan halaman Pipelines &Connections untuk melakukan tugas berikut:

• Memuat data. Temukan dan muat data dari sumber data yang didukung menggunakan pengalaman terpandu.
• Menjadwalkan tugas data. Jadwalkan proses data Anda untuk berjalan secara otomatis, termasuk kueri terjadwal, notebook, persiapan data, dan pipeline.
• Mengubah data. Buat pipeline dan persiapan data yang melakukan operasi seperti membersihkan, menyusun, dan menyiapkan data Anda untuk analisis dan pelaporan.
• Membuat koneksi ke sumber data. Hubungkan ke sumber data eksternal, runtime komputasi, dan layanan AI untuk akses data dan eksekusi jarak jauh.

Setelah Anda menyiapkan halaman Pipelines &Connections, halaman ini akan menawarkan lokasi terpusat untuk mengelola dan memantau aset integrasi data Anda dengan menampilkan statusnya dan memberikan metrik operasional.

Ikut serta atau tidak ikut

Selama Pratinjau, Anda dapat ikut serta atau tidak ikut menggunakan halaman Pipelines &Connections.

Ikut serta

Untuk ikut serta menggunakan halaman Pipelines &Connections, ikuti langkah-langkah berikut:

1. Buka konsol Google Cloud .

   Buka konsol

2. Di toolbar Google Cloud konsol, klik menu navigasi.

3. Klik Solutions > Semua produk.

4. Di bagian Analytics, klik BigQuery.

   Halaman BigQuery Studio akan terbuka.

5. Untuk meluaskan menu navigasi, klik Toggle BigQuery navigation menu.

   

6. Di menu navigasi, klik salah satu opsi berikut:

   • Data transfers
   • Scheduled queries
   • Scheduling

7. Buka banner pipeline dan koneksi terpadu.

   

8. Klik Opt-in.

   Setelah Anda ikut serta, halaman Data transfers, Scheduling, dan Scheduled queries yang ada akan diganti dengan halaman Pipelines & Connections.

   Catatan: Tidak ada perubahan pada halaman Dataform.

Tidak ikut

Untuk tidak ikut menggunakan halaman Pipelines &Connections terpadu, ikuti langkah-langkah berikut:

1. Di halaman Pipelines &Connections, klik Opt-out di banner pipeline dan koneksi terpadu.

2. Dialog masukan akan terbuka. Berikan masukan tentang alasan Anda tidak ikut, seperti fitur yang tidak ada atau bug.

3. Klik Send, lalu klik Close.

   Setelah Anda mengirimkan formulir, menu navigasi akan kembali menggunakan halaman Data transfers, Scheduling, dan Scheduled queries yang terpisah.

Membuat aset integrasi data

Untuk membuat aset seperti kueri terjadwal, transfer data, dan koneksi eksternal, lakukan hal berikut:

1. Buka halaman Pipelines &Connections.

   Buka Pipelines &Connections

2. Klik Create.

3. Untuk aset yang ingin Anda buat, klik opsi di kartu:

   1. Untuk menambahkan data dari salah satu sumber data yang didukung menggunakan alur kerja terpandu, di kartu Load data, klik Add data.

   2. Untuk menjadwalkan kueri, notebook, persiapan data, atau pipeline, di kartu Schedule data tasks, klik Schedule, lalu pilih opsi yang sesuai.

   3. Untuk membuat pipeline transformasi atau persiapan data, di kartu Transform data, klik Create, lalu pilih opsi yang sesuai.

   4. Untuk membuat koneksi ke sumber data eksternal, di kartu External connections, klik Create connection.

Memantau aset Anda

Setelah membuat aset, Anda dapat melihat dan memantaunya. Metrik operasional yang tersedia di halaman Pipelines &Connections mencakup histori eksekusi BigQuery Data Transfer Service, throughput dan latensi untuk langganan Pub/Sub, serta keaktualan data dan jumlah peristiwa untuk pipeline Datastream. Anda juga dapat menemukan informasi pemecahan masalah seperti log untuk eksekusi BigQuery Data Transfer Service dan status objek Datastream.

1. Buka halaman Pipelines &Connections.

   Buka Pipelines &Connections

2. Untuk melihat detail tentang koneksi Anda, klik tab Connections.

3. Untuk memantau pipeline, klik tab Pipelines. Anda dapat menggunakan halaman ini untuk melihat detail seperti status, jenis, dan histori eksekusi pipeline.

4. Untuk melihat detail pipeline, di kolom Display name, klik link.

Langkah berikutnya

• Pelajari cara membuat pipeline Dataform di BigQuery.
• Pelajari cara menjadwalkan pipeline.
• Pelajari cara menjadwalkan kueri.
• Pelajari tentang transfer BigQuery Data Transfer Service.