Ringkasan plugin

Saat membuat pipeline data di Cloud Data Fusion, Anda menggunakan serangkaian tahapan, yang dikenal sebagai node, untuk memindahkan dan mengelola data saat mengalir dari sumber ke sink. Setiap node terdiri dari plugin, modul yang dapat disesuaikan yang memperluas kemampuan Cloud Data Fusion.

Anda dapat menemukan plugin di antarmuka web Cloud Data Fusion dengan membuka halaman Studio. Untuk plugin lainnya, klik Hub.

Plugin di antarmuka web.

Jenis plugin

Plugin dikategorikan ke dalam kategori berikut:

  • Sumber
  • Transformations
  • Analytics
  • Sink
  • Kondisi dan tindakan
  • Penanganan dan pemberitahuan error

Sumber

Plugin sumber terhubung ke database, file, atau streaming real-time yang datanya dibaca oleh pipeline Anda. Anda menyiapkan sumber untuk pipeline data menggunakan antarmuka web, sehingga Anda tidak perlu khawatir tentang coding koneksi tingkat rendah.

Transformations

Plugin transformasi mengubah data setelah di-ingest dari sumber. Misalnya, Anda dapat meng-clone rekaman, mengubah format file menjadi JSON, atau menggunakan plugin Javascript untuk membuat transformasi kustom.

Analytics

Plugin Analytics melakukan penggabungan, seperti menggabungkan data dari berbagai sumber dan menjalankan operasi analisis dan machine learning.

Sink

Plugin sink menulis data ke resource, seperti Cloud Storage, BigQuery, Spanner, database relasional, sistem file, dan mainframe. Anda dapat membuat kueri data yang ditulis ke sink menggunakan REST API atau antarmuka web Cloud Data Fusion.

Kondisi dan tindakan

Gunakan plugin kondisi dan tindakan untuk menjadwalkan tindakan yang terjadi selama alur kerja yang tidak memanipulasi data secara langsung dalam alur kerja. Contoh:

  • Gunakan plugin Database untuk menjadwalkan perintah database agar berjalan di akhir pipeline Anda.
  • Gunakan plugin Pemindahan File untuk memicu tindakan yang memindahkan file dalam Cloud Storage.

Penanganan dan pemberitahuan error

Saat tahap mengalami nilai null, error logis, atau sumber error lainnya, Anda dapat menggunakan plugin pengendali error untuk menangkap error. Gunakan plugin ini untuk menemukan error dalam output setelah plugin transformasi atau analisis. Anda dapat menulis error ke database untuk dianalisis.

Langkah berikutnya