Membuat alur kerja integrasi data menggunakan halaman Pipelines & Connections

Anda dapat mengelola dan menyederhanakan tugas integrasi data langsung di dalam konsolGoogle Cloud dengan menggunakan halaman Pipeline & Koneksi BigQuery. Halaman ini menyediakan alur kerja konfigurasi khusus BigQuery yang terpandu untuk layanan seperti BigQuery Data Transfer Service, Datastream, dan Pub/Sub.

Anda dapat menggunakan halaman Pipelines & Connections untuk melakukan tugas-tugas berikut:

  • Muat data. Temukan dan muat data dari sumber data yang didukung menggunakan pengalaman terpandu.
  • Menjadwalkan tugas data. Jadwalkan proses data Anda agar berjalan secara otomatis, termasuk kueri terjadwal, notebook, persiapan data, dan pipeline.
  • Transformasi data. Buat pipeline dan persiapan data yang melakukan operasi seperti membersihkan, menyusun, dan menyiapkan data Anda untuk analisis dan pelaporan.
  • Buat koneksi ke sumber data. Hubungkan ke sumber data eksternal, runtime komputasi, dan layanan AI untuk akses data dan eksekusi jarak jauh.

Setelah Anda menyiapkan halaman Pipeline & Koneksi, halaman ini menawarkan lokasi terpusat untuk mengelola dan memantau aset integrasi data Anda dengan menampilkan statusnya dan memberikan metrik operasional.

Memilih ikut atau tidak ikut

Selama Pratinjau, Anda dapat memilih untuk menggunakan atau tidak menggunakan halaman Pipelines & Connections.

Ikut serta

Untuk memilih ikut menggunakan halaman Pipelines & Connections, ikuti langkah-langkah berikut:

  1. Buka konsol Google Cloud .

    Buka konsol

  2. Di toolbar konsol Google Cloud , klik menu navigasi.

  3. Klik Solusi > Semua produk.

  4. Di bagian Analytics, klik BigQuery.

    Halaman Studio BigQuery akan terbuka.

  5. Untuk mengontrol menu navigasi BigQuery, lakukan salah satu hal berikut:

    • Untuk meluaskan menu navigasi, arahkan kursor ke ikon Ikon menu navigasi BigQuery., lalu klik left_panel_open Toggle BigQuery navigation menu.

    • Untuk menciutkan menu navigasi, klik left_panel_close Toggle BigQuery navigation menu.

  6. Di menu navigasi, klik salah satu opsi berikut:

    • Transfer data
    • Kueri terjadwal
    • Scheduling

  7. Buka banner koneksi dan pipeline terpadu.

    Banner Pipeline dan koneksi terpadu di UI

  8. Klik Ikut serta.

    Setelah Anda mengaktifkan opsi ini, halaman Transfer data, Penjadwalan, dan Kueri terjadwal yang ada akan digantikan oleh halaman Pipeline & Koneksi.

Nonaktifkan

Untuk memilih tidak menggunakan halaman Pipelines & Connections terpadu, ikuti langkah-langkah berikut:

  1. Di halaman Pipelines & Connections, klik Opt-out di banner pipeline dan koneksi terpadu.

  2. Dialog masukan akan terbuka. Berikan masukan tentang alasan Anda memilih untuk tidak menggunakan fitur ini, seperti fitur yang tidak ada atau bug.

  3. Klik Kirim, lalu klik Tutup.

    Setelah Anda mengirimkan formulir, menu navigasi akan kembali menggunakan halaman Transfer data, Penjadwalan, dan Kueri terjadwal yang terpisah.

Membuat aset integrasi data

Untuk membuat aset seperti kueri terjadwal, transfer data, dan koneksi eksternal, lakukan hal berikut:

  1. Buka halaman Pipelines & Connections.

    Buka Pipelines & Connections

  2. Klik Create.

  3. Untuk aset yang ingin Anda buat, klik opsi di kartu:

    1. Untuk menambahkan data dari salah satu sumber data yang didukung menggunakan alur kerja terpandu, di kartu Muat data, klik Tambahkan data.

    2. Untuk menjadwalkan kueri, notebook, penyiapan data, atau pipeline, di kartu Jadwalkan tugas data, klik Jadwalkan, lalu pilih opsi yang sesuai.

    3. Untuk membuat pipeline transformasi atau penyiapan data, di kartu Transformasi data, klik Buat, lalu pilih opsi yang sesuai.

    4. Untuk membuat koneksi ke sumber data eksternal, di kartu Koneksi eksternal, klik Buat koneksi.

Memantau aset Anda

Setelah membuat aset, Anda dapat melihat dan memantaunya. Metrik operasional yang tersedia di halaman Pipelines & Connections mencakup histori eksekusi BigQuery Data Transfer Service, throughput dan latensi untuk langganan Pub/Sub, serta keaktualan data dan jumlah peristiwa untuk pipeline Datastream. Anda juga dapat menemukan informasi pemecahan masalah seperti log untuk operasi BigQuery Data Transfer Service dan status objek Datastream.

  1. Buka halaman Pipelines & Connections.

    Buka Pipelines & Connections

  2. Untuk melihat detail tentang koneksi Anda, klik tab Connections.

  3. Untuk memantau pipeline, klik tab Pipelines. Anda dapat menggunakan halaman ini untuk melihat detail seperti status, jenis, dan histori eksekusi pipeline.

  4. Untuk melihat detail pipeline, di kolom Nama tampilan, klik link.

Langkah berikutnya