Membuat alur kerja integrasi data menggunakan halaman Pipelines & Connections

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Catatan: Untuk memberikan masukan, mengajukan pertanyaan, atau meminta untuk tidak menggunakan fitur Pratinjau ini, hubungi [e-mail].

Halaman Pipelines & Connections BigQuery di konsol menyederhanakan tugas integrasi data Anda dengan menyediakan alur kerja konfigurasi terpandu dan khusus BigQuery untuk layanan seperti BigQuery Data Transfer Service, Datastream, dan Pub/Sub.

Anda dapat menggunakan halaman Pipelines & Connections untuk melakukan tugas berikut:

• Memuat data. Temukan dan muat data dari sumber data yang didukung menggunakan pengalaman terpandu.
• Menjadwalkan tugas data. Jadwalkan proses data Anda agar berjalan secara otomatis, termasuk kueri terjadwal, notebook, persiapan data, dan pipeline.
• Mentransformasi data. Buat pipeline dan persiapan data yang melakukan operasi seperti pembersihan, penataan, dan penyiapan data untuk analisis dan pelaporan.
• Membuat koneksi ke sumber data. Hubungkan ke sumber data eksternal, runtime komputasi, dan layanan AI untuk akses data dan eksekusi jarak jauh.

Setelah Anda membuat tugas, halaman Pipelines & Connections menyediakan satu lokasi untuk mengelola dan memantau aset Anda. Anda dapat melihat status aset dalam tampilan daftar, dan Anda dapat menggunakan halaman pemantauan mendetail untuk melihat metrik operasional untuk setiap aset yang dikonfigurasi seperti kueri terjadwal, pipeline, transfer, koneksi, streaming, dan langganan.

Metrik operasional mencakup histori operasi BigQuery Data Transfer Service, throughput dan latensi untuk langganan Pub/Sub, serta keaktualan data dan jumlah peristiwa untuk pipeline Datastream.

Halaman pemantauan juga mencakup informasi pemecahan masalah seperti log untuk operasi BigQuery Data Transfer Service dan status objek Datastream.

Memilih ikut atau tidak ikut

Selama Pratinjau, Anda dapat memilih untuk menggunakan atau tidak menggunakan halaman Pipelines & Connections.

Ikut serta

Untuk memilih ikut menggunakan halaman Pipelines & Connections, ikuti langkah-langkah berikut:

1. Buka konsol Google Cloud .

   Buka konsol

2. Di toolbar konsol Google Cloud , klik Navigation menu.

3. Klik Solusi > Semua produk.

4. Di bagian Analytics, klik BigQuery.

   Halaman Studio BigQuery akan terbuka.

5. Untuk meluaskan menu navigasi, klik Alihkan menu navigasi BigQuery.

   

6. Di menu navigasi, klik salah satu opsi berikut:

   • Transfer data
   • Kueri terjadwal
   • Penjadwalan

7. Buka banner pipeline dan koneksi terpadu.

   

8. Klik Ikut serta.

   Setelah Anda memilih untuk ikut serta, halaman Transfer data, Penjadwalan, dan Kueri terjadwal yang ada akan digantikan oleh halaman Pipeline & Koneksi.

   Catatan: Tidak ada perubahan pada halaman Dataform.

Nonaktifkan

Untuk memilih tidak menggunakan halaman Pipelines & Connections terpadu, ikuti langkah-langkah berikut:

1. Di halaman Pipelines & Connections, klik Opt-out di banner pipeline dan koneksi terpadu.

2. Dialog masukan akan terbuka. Berikan masukan tentang alasan Anda memilih tidak menggunakan fitur ini, seperti fitur yang tidak ada atau bug.

3. Klik Kirim, lalu klik Tutup.

   Setelah Anda mengirimkan formulir, menu navigasi akan kembali menggunakan halaman Transfer data, Penjadwalan, dan Kueri terjadwal yang terpisah.

Membuat aset integrasi data

Untuk membuat aset seperti kueri terjadwal, transfer data, dan koneksi eksternal, lakukan hal berikut:

1. Buka halaman Pipelines & Connections.

   Buka Pipelines & Connections

2. Klik Create.

3. Untuk aset yang ingin Anda buat, klik opsi di kartu:

   1. Untuk menambahkan data dari salah satu sumber data yang didukung menggunakan alur kerja terpandu, di kartu Muat data, klik Tambahkan data.

   2. Untuk menjadwalkan kueri, notebook, penyiapan data, atau pipeline, di kartu Jadwalkan tugas data, klik Jadwalkan, lalu pilih opsi yang sesuai.

   3. Untuk membuat pipeline transformasi atau penyiapan data, di kartu Transformasi data, klik Buat, lalu pilih opsi yang sesuai.

   4. Untuk membuat koneksi ke sumber data eksternal, di kartu Koneksi eksternal, klik Buat koneksi.

Pantau aset Anda

Setelah membuat aset, Anda dapat melihat dan memantaunya.

1. Buka halaman Pipelines & Connections.

   Buka Pipelines & Connections

2. Untuk melihat detail tentang koneksi Anda, klik tab Connections.

3. Untuk memantau pipeline, klik tab Pipelines. Anda dapat menggunakan halaman ini untuk melihat detail seperti status, jenis, dan histori eksekusi pipeline.

4. Untuk melihat detail pipeline, di kolom Nama tampilan, klik link.

Langkah berikutnya

• Pelajari cara membuat pipeline Dataform di BigQuery.
• Pelajari cara menjadwalkan pipeline.
• Pelajari cara menjadwalkan kueri.
• Pelajari transfer BigQuery Data Transfer Service.