Tugas Transformer Data

Pratinjau — BigQuery Connector

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Tugas Transformer Data menyediakan dua mode–Diagram dan Skrip–untuk mengubah data Anda. Dalam mode Diagram, Anda menggunakan kanvas pemetaan visual, yang disebut editor Transformer Data, untuk melakukan penetapan dan pemetaan data dalam integrasi Anda. Selain itu, Anda juga dapat menggunakan transformasi yang didukung untuk mengubah data Anda menjadi variabel dan format yang bermakna agar dapat diakses oleh tugas atau pemicu lain dalam integrasi Anda. Dalam mode Skrip, Anda dapat menulis, mengedit, dan mengevaluasi template Jsonnet kustom untuk melakukan pemetaan data dalam integrasi Anda.

Untuk mengetahui informasi tentang pemetaan data di Application Integration, lihat Ringkasan pemetaan data.

Mengonfigurasi tugas Transformer Data

Untuk menambahkan tugas Transformer Data ke integrasi Anda, lakukan langkah-langkah berikut:

1. Di Google Cloud konsol, buka halaman Application Integration.

   Buka Application Integration

2. Di menu navigasi, klik Integrations.

   Halaman Integrations akan muncul dan mencantumkan semua integrasi yang tersedia di project Google Cloud.

3. Pilih integrasi yang ada atau klik Create integration untuk membuat integrasi baru.

   Jika Anda membuat integrasi baru:

   1. Masukkan nama dan deskripsi di panel Create Integration.
   2. Pilih region untuk integrasi.
      Catatan: Dropdown Regions hanya mencantumkan region yang disediakan di project Google Cloud Anda. Untuk menyediakan region baru, klik Enable Region. Lihat Mengaktifkan region baru untuk mengetahui informasi selengkapnya.
   3. Pilih akun layanan untuk integrasi. Anda dapat mengubah atau memperbarui detail akun layanan integrasi kapan saja dari panel Integration summary di toolbar integrasi.
      Catatan: Opsi untuk memilih akun layanan hanya ditampilkan jika Anda telah mengaktifkan tata kelola integrasi untuk region yang dipilih.
   4. Klik Create. Integrasi yang baru dibuat akan terbuka di editor integrasi.

4. Di panel navigasi editor integrasi, klik Tasks untuk melihat daftar tugas dan konektor yang tersedia.
5. Klik dan tempatkan elemen Data Transformer di editor integrasi.
6. Klik elemen Data Transformer untuk melihat panel konfigurasi tugas.
7. Klik Open Data Transformer editor. Di halaman Data Transformer (preview) Task Editor, pilih salah satu opsi berikut:
• Secara default, mode Diagram akan terbuka. Mode Diagram menyediakan pengalaman berbasis konsol untuk memilih variabel input dan output serta melakukan transformasi di editor transformasi data.

  Dalam mode Diagram, Anda dapat melakukan pemetaan data secara visual antara variabel input dan output.

• Untuk melakukan transformasi data dalam integrasi Anda dengan menulis, mengedit, dan mengevaluasi template Jsonnet kustom, buka mode skrip dengan mengklik Script. Anda dapat menggunakan mode Script jika memiliki persyaratan transformasi data yang kompleks dan jika ingin memanfaatkan fungsi Jsonnet.

  Editor Transformer Data akan muncul dan menampilkan contoh template Jsonnet yang dikomentari secara default. Tulis kode Jsonnet Anda dan tutup editor setelah selesai. Semua perubahan akan disimpan secara otomatis.

Untuk mengetahui langkah-langkah mendetail tentang cara menambahkan pemetaan, lihat Menambahkan pemetaan.

Menambahkan pemetaan

Untuk menambahkan pemetaan, Anda dapat menggunakan mode Diagram atau mode Skrip.

Menggunakan mode Diagram

Mode Diagram menyediakan pengalaman berbasis konsol untuk memilih variabel input dan output serta melakukan transformasi di editor transformasi data. Untuk menambahkan pemetaan menggunakan mode Diagram, ikuti langkah-langkah berikut:

1. Di panel konfigurasi tugas Transformer Data, klik Open Data Transformer Editor.

   Secara default, mode Diagram akan terbuka.

   

2. Untuk menambahkan variabel input untuk pemetaan, klik + Add input. Dialog Choose Input Variable or Value akan muncul. Tab Variable dipilih secara default.
   Input: Sumber input transformasi data. Sumber dapat berupa nilai literal, fungsi dasar, atau variabel input, dengan fungsi pemetaan.

   

   Kemudian, lakukan hal berikut:

   1. Dari daftar Select Variable(s), pilih variabel input. Jika Anda ingin membuat variabel baru, klik + Add New Variable.
   2. Klik Submit.

   Secara opsional, jika Anda ingin menambahkan konstanta, klik tab Constant.

   Tidak seperti variabel, konstanta tidak dapat diakses oleh tugas atau pemicu lain dalam integrasi Anda dan hanya dapat digunakan dalam tugas Data Transformation tempat konstanta tersebut dibuat. Misalnya, Anda dapat menggunakan konstanta untuk menambahkan pembatas atau memetakan nilai konstanta ke variabel.

   

   Kemudian, lakukan hal berikut:

   1. Di kolom Constant identifier, masukkan nama konstanta.
   2. Dari daftar Data Type, pilih salah satu jenis data berikut:
      • String
      • Boolean
      • Number
   3. Di kolom Enter the constant value, masukkan nilai.
   4. Klik Submit.
3. Untuk menambahkan variabel output untuk pemetaan, klik + Add Output , lalu pilih variabel output atau buat variabel baru.

   

4. Konfigurasi pemetaan:
   1. Tambahkan pemetaan dari variabel atau subkolomnya dari daftar Variables di bagian Input ke variabel atau subkolomnya dari daftar Variables di bagian Output.

      

   2. Untuk menambahkan fungsi transformasi, arahkan kursor ke garis pemetaan, lalu klik untuk menambahkan fungsi transformasi data. Tombol Transformation akan muncul di kanvas.

      Atau, Anda dapat mengklik Add transformation untuk menambahkan fungsi transformasi.

      Kemudian, lakukan hal berikut:

      1. Untuk menambahkan transformasi, klik tombol Transformation. Panel Transformation akan muncul.

         

         Kemudian, lakukan hal berikut:

         1. Klik + Add Operation. Dialog Add Operation akan muncul.

            

         2. Di kolom Search operations, masukkan operasi yang ingin Anda tambahkan. Atau, Anda dapat memilih operasi dari daftar operasi.

            Jika Anda ingin menambahkan operasi kustom, pilih Function expression , lalu masukkan ekspresi fungsi. Untuk menyalin variabel, klik dari daftar Variabel , lalu tempelkan di editor ekspresi.

            

         3. Klik Done.
      2. Berdasarkan operasi, isi detail yang diperlukan. Secara opsional, Anda dapat menambahkan beberapa operasi dalam transformasi. Jika Anda ingin memilih hasil operasi sebelumnya dalam operasi berikutnya, pilih variabel Previous Operation Result seperti yang ditunjukkan pada gambar berikut:

         

      3. Untuk menghapus operasi, klik Delete di samping operasi.
   3. Secara opsional, Anda dapat menambahkan pemetaan dari beberapa variabel input ke fungsi transformasi. Namun, hanya satu pemetaan yang dapat ditambahkan untuk setiap variabel output dari fungsi transformasi.
   4. Untuk menghapus variabel input dan output, klik > Delete.
   5. Secara opsional, untuk menghapus baris pemetaan atau transformasi, pilih pemetaan, lalu tekan Delete.
   6. Tutup Data Mapping Editor setelah pemetaan Anda selesai. Semua perubahan akan disimpan secara otomatis.

   Contoh: Memetakan sistem tiket bug lama ke sistem tiket baru

   Misalnya, Anda memiliki sistem tiket bug lama yang ingin dimigrasikan ke sistem tiket baru. Anda dapat menggunakan opsi Diagram untuk memetakan kolom dari sistem lama ke sistem baru seperti yang ditunjukkan pada gambar berikut:

   

   Untuk menambahkan nilai konstanta untuk salah satu kolom, klik Add input , lalu tambahkan konstanta baru. Anda dapat memetakan konstanta yang baru ditambahkan dari bagian Input ke kolom di bagian Output.

   

   Untuk menambahkan transformasi untuk kolom yang tidak dapat dipetakan secara langsung, klik Transformation , lalu tambahkan operasi transformasi dengan mengklik + Add operation:

   

   Setelah transformasi selesai, Anda dapat menjalankan integrasi untuk memetakan sistem tiket lama ke sistem baru.

   Menggunakan mode Skrip

   Anda dapat menggunakan Data Transformer Script editor untuk mengakses variabel integrasi, melakukan penetapan variabel, serta menambahkan atau mengubah variabel dalam integrasi Anda. Data Transformer Script editor menyediakan fitur berikut untuk meningkatkan pengalaman pembuatan skrip Anda:

   • Penyorotan sintaksis/kode, indentasi, dan penomoran baris untuk memudahkan keterbacaan kode dan pengenalan struktur.
   • Peta mini yang menampilkan ringkasan kode skrip tingkat tinggi dan membantu navigasi cepat.
   • Opsi klik untuk menyalin guna menyalin kode skrip ke papan klip.

   Untuk membuka editor, buka panel konfigurasi tugas Data Transformer Script , lalu klik Open Data Transformer Script Editor.

   Secara default, Data Transformer Script editor mengimpor functions, library kustom yang telah ditetapkan yang berisi kumpulan fungsi Jsonnet untuk pemetaan data di Application Integration. Untuk mengetahui detail fungsi kustom yang tersedia, lihat Fungsi Transformer Data.

   Gambar berikut menunjukkan contoh tata letak Data Transformer Script editor:

   

   Mengakses variabel integrasi

   Untuk membaca variabel integrasi yang ada dari Data Transformer Script editor gunakan fungsi extVar dari library functions yang telah ditetapkan.

   Perhatian: Jsonnet tidak mengizinkan penggunaan tanda hubung (-) sebagai bagian dari nama ID. Misalnya, nama variabel atau nama fungsi. Jika Anda ingin menggunakan tanda hubung (-) sebagai bagian dari nama variabel, variabel harus dideklarasikan dalam tanda kutip ganda seperti yang ditunjukkan dalam contoh berikut.

   Contoh: Membaca dan memperbarui variabel integrasi yang ada menggunakan Data Transformer Script editor.

   Skrip Jsonnet

   local f = import "functions"; // Import predefined Data Transformer function library
   
   local str1 = f.extVar("inputVar1"); // Access integration input variable "Inputstr1" with value "Hello"
   local str2 = f.extVar("inputVar2"); // Access integration input variable "Inputstr2" with value "World"
   {
     OutputVar: str1 + " " + str2 + "!", // Write to Jsonnet output variable "OutputVar"
     "output-str-var": str1 + " Integration " + str2 + "!", // Write to Jsonnet output variable "output-str-var"
   }

   Output

   

   Referensi penggunaan Jsonnet

   Jsonnet adalah bahasa yang murni fungsional dan programnya terdiri dari ekspresi. Untuk mengetahui informasi tentang cara membentuk ekspresi ini, lihat Ekspresi Jsonnet.

   Strategi penanganan error

   Strategi penanganan error untuk tugas menentukan tindakan yang akan diambil jika tugas gagal karena error sementara. Untuk mengetahui informasi tentang cara menggunakan strategi penanganan error, dan mengetahui berbagai jenis strategi penanganan error, lihat Strategi penanganan error.

   Kuota dan batas

   Untuk mengetahui informasi tentang batas penggunaan yang berlaku untuk tugas Transformer Data, lihat Batas penggunaan.

   Langkah berikutnya

   • Pelajari hal-hal berikut:
     • Semua tugas dan pemicu.
     • Fungsi Transformer Data (Pratinjau)
     • Menguji dan memublikasikan integrasi.
     • Penanganan error.
     • Log eksekusi integrasi.