Instance Cloud Data Fusion publik memungkinkan Anda membangun dan mengelola pipeline integrasi data yang terhubung ke endpoint yang dapat diakses secara publik. Jenis instance default ini menggunakan jaringan VPC default project Anda untuk menjalankan cluster eksekusi dan terhubung ke endpoint eksternal melalui internet publik.
Sebelum memulai
- Aktifkan Cloud Data Fusion API.
- Izin berikut diperlukan untuk membuat instance Cloud Data Fusion:
instances.create. Untuk mengetahui informasi selengkapnya, lihat Kontrol akses. - Instance Cloud Data Fusion berjalan sebagai akun layanan default Compute Engine. Untuk mengetahui informasi tentang jenis dan peran yang tersedia, lihat Akun layanan.
- Secara default, Cloud Data Fusion menjalankan pipeline menggunakan cluster Managed Service untuk Apache Spark di project Anda. Pastikan project Anda memenuhi persyaratan jaringan Managed Service untuk Apache Spark.
- Project baru dimulai dengan jaringan default. Jaringan default diisi otomatis dengan aturan firewall default-allow-ssh, yang mengizinkan koneksi masuk di port TCP 22 dari sumber mana pun ke instance mana pun dalam jaringan. Pada versi sebelum 6.2.0, jika aturan untuk mengizinkan ingress di port TCP 22 ini tidak ada di jaringan yang digunakan oleh instance Cloud Data Fusion, Anda harus membuat aturan ini.
Membuat instance
Konsol
Jika API diaktifkan, bagian Cloud Data Fusion di konsol Google Cloud akan menampilkan halaman Instance, tempat Anda dapat membuat dan mengelola instance Cloud Data Fusion.
- Di konsol, buka halaman Cloud Data Fusion.
- Klik Instances, lalu klik Create an instance.
- Masukkan Instance name.
- Masukkan Description untuk instance Anda.
- Tentukan Region tempat instance akan dibuat.
- Tentukan Versi Cloud Data Fusion.
- Pilih Edition. Defaultnya adalah Basic.
- Opsional: Klik Add accelerators untuk memilih akselerator yang akan digunakan di instance Anda.
- Tentukan akun layanan Managed Service untuk Apache Spark yang akan digunakan untuk menjalankan pipeline Cloud Data Fusion di Managed Service untuk Apache Spark. Defaultnya adalah akun Compute Engine. Terlepas dari versinya, pastikan akun layanan memiliki peran Identity and Access Management yang sesuai untuk kebutuhan Anda. Untuk mengetahui informasi selengkapnya, lihat Memberikan izin pengguna akun layanan.
Opsional: Tentukan opsi lanjutan. Jika Anda tidak menentukan apa pun, setelan default berikut akan digunakan:
Kategori Setelan Deskripsi Default IP Pribadi Mengaktifkan alamat IP internal Buat instance Cloud Data Fusion dengan alamat IP internal. Nonaktif Pemantauan dan logging lanjutan Mengaktifkan Cloud Logging Managed Service untuk Apache Spark
Mengaktifkan Cloud Monitoring Managed Service untuk Apache Spark
Lihat log pipeline lanjutan di Cloud Logging. Nonaktif Integrasi silsilah data Knowledge Catalog Mengaktifkan atau menonaktifkan integrasi dengan silsilah data Knowledge Catalog Lihat silsilah di Knowledge Catalog. Nonaktif Enkripsi Gunakan kunci enkripsi yang dikelola pelanggan (CMEK) Gunakan role-based access control di versi 6.5 dan yang lebih baru. Nonaktif Label Pasangan nilai kunci Label resource untuk instance yang akan digunakan untuk menganotasi resource pokok terkait, seperti VM Compute Engine. Kunci label dan nilai label hanya boleh berisi huruf, angka, tanda hubung, dan garis bawah. Kunci label harus diawali dengan huruf atau angka. Tidak ada Pemeliharaan Mengaktifkan masa pemeliharaan Tetapkan periode waktu saat Cloud Data Fusion dapat melakukan operasi pemeliharaan pada instance. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi masa pemeliharaan. Nonaktif Klik Create. Proses pembuatan instance memerlukan waktu hingga 30 menit.
Saat Cloud Data Fusion membuat instance Anda, roda progres akan ditampilkan di samping nama instance di halaman Instances. Setelah selesai, ikon tersebut akan berubah menjadi tanda centang hijau dan menunjukkan bahwa Anda dapat mulai menggunakan instance.
API
Membuat instance:
Untuk membuat instance Cloud Data Fusion dengan
Cloud Data Fusion REST API,
buat
permintaan API
instances.create, dengan mengisi resource
Instance
dengan informasi konfigurasi Anda.
Langkah berikutnya
- Pelajari Cloud Data Fusion lebih lanjut.
- Pelajari tutorial.