Ringkasan persiapan data

Ada beberapa opsi untuk mengembangkan data pelatihan Anda.

Pilihan yang Anda buat bergantung pada berbagai faktor.

Cloud Storage sebagai Sistem File yang Terpasang (Cloud Storage FUSE)

Pertimbangkan untuk menggunakan Cloud Storage sebagai Sistem File yang Terpasang (Cloud Storage FUSE) karena alasan berikut:

  • Jika data pelatihan tidak terstruktur, seperti gambar, teks, atau video: Cloud Storage adalah pilihan yang tepat untuk menyimpan jenis file besar, yang sering kali berupa file individual.
  • Saat data pelatihan disusun dalam format seperti TFRecord: Cloud Storage biasanya digunakan untuk format khusus ML ini.
  • Saat Anda menangani file yang sangat besar: Cloud Storage FUSE mengalirkan data ke tugas pelatihan Anda, bukan mengharuskan seluruh file didownload ke replika. Hal ini dapat mempercepat pemuatan data dan waktu mulai tugas untuk set data besar.
  • Saat melakukan pelatihan terdistribusi: Cloud Storage FUSE menyediakan throughput tinggi untuk pembacaan berurutan file besar, yang bermanfaat dalam skenario pelatihan terdistribusi saat beberapa worker perlu mengakses data secara paralel.
  • Jika Anda lebih memilih kemudahan mengakses data Cloud Storage seolah-olah data tersebut adalah sistem file lokal tanpa perlu melakukan panggilan API eksplisit dalam kode pelatihan Anda.
  • Saat kebutuhan utama Anda adalah penyimpanan yang skalabel dan Anda tidak terlalu mengkhawatirkan latensi terendah untuk akses acak ke banyak file kecil.

Khusus untuk Ray di Agent Platform

  • Anda dapat menyimpan data di bucket Cloud Storage, yang dapat diakses oleh Ray di Agent Platform.
  • Ray dapat langsung membaca data dari Cloud Storage. Misalnya, saat menjalankan Spark di Ray, Anda dapat membaca file dari Cloud Storage.
  • Platform Agen menggunakan Cloud Storage FUSE untuk memasang bucket Cloud Storage sebagai sistem file lokal dalam tugas pelatihan Anda yang berjalan di Ray. Hal ini memungkinkan aplikasi Ray Anda mengakses data seolah-olah berada di disk lokal menggunakan operasi I/O file standar.
  • Untuk mendapatkan performa optimal, sebaiknya gunakan bucket Cloud Storage di region yang sama dengan tempat Anda menjalankan cluster Ray.

Pelajari lebih lanjut

Berbagi Network File System (NFS)

  • Saat Anda memerlukan throughput yang sangat tinggi dan akses latensi rendah ke file jarak jauh, seolah-olah file tersebut disimpan secara lokal. Hal ini dapat menjadi penting untuk jenis data tertentu atau interaksi file yang kompleks selama pelatihan.
  • Saat Anda perlu membuat file jarak jauh tersedia bagi semua node dalam cluster komputasi, seperti cluster Ray di Agent Platform.
  • Saat aplikasi Anda mendapatkan manfaat dari antarmuka sistem file yang lebih standar dengan kepatuhan POSIX yang berpotensi lebih kuat dibandingkan dengan Cloud Storage FUSE.
  • Anda memiliki infrastruktur NFS yang ada dalam Virtual Private Cloud yang ingin Anda gunakan.
  • Anda perlu berbagi file atau direktori di beberapa tugas atau cluster dengan akses yang konsisten dan berlatensi rendah, serta mengelola izin di tingkat sistem file lebih disukai.

Khusus untuk Ray di Agent Platform

  • Anda dapat memasang berbagi NFS ke cluster Ray di Agent Platform, sehingga file jarak jauh dapat diakses seolah-olah file tersebut bersifat lokal.
  • Hal ini bermanfaat untuk akses throughput tinggi dan latensi rendah ke sistem file bersama.
  • Anda dapat menyiapkan pemasangan NFS saat membuat cluster Ray menggunakan Agent Platform SDK untuk Python, dengan menentukan server, jalur, dan direktori pemasangan. Setelah dipasang, kode Ray Anda dapat membaca dan menulis ke volume NFS ini menggunakan operasi file standar.

Pelajari lebih lanjut

Set data terkelola

  • Pengelolaan dan tata kelola data terpusat: Set data terkelola menyediakan lokasi terpusat untuk mengatur dan mengelola set data Anda dalam Agent Platform. Hal ini membantu pelacakan dan tata kelola aset data Anda di berbagai project dan eksperimen.
  • Pelabelan Data di Gemini Enterprise Agent Platform: Anda dapat membuat tugas pelabelan dan mengelola set anotasi langsung dalam set data terkelola.
  • Melacak Silsilah Data: Set data terkelola secara otomatis melacak silsilah data Anda ke model yang dilatih menggunakan data tersebut. Hal ini sangat penting untuk memahami sumber data yang digunakan untuk model tertentu serta untuk memastikan reproduksibilitas dan tata kelola.
  • Membandingkan Model Kustom dan AutoML: Set data terkelola memungkinkan Anda melatih model kustom dan model AutoML menggunakan data yang sama. Hal ini memfasilitasi perbandingan langsung performanya pada set data yang sama, sehingga membantu Anda memilih pendekatan terbaik untuk masalah Anda.
  • Membuat Statistik dan Visualisasi Data: Agent Platform dapat otomatis membuat statistik dan visualisasi untuk data dalam set data terkelola. Hal ini dapat membantu dalam analisis data eksploratif dan membantu Anda memahami karakteristik data Anda.
  • Pemisahan Data Otomatis: Saat menggunakan set data terkelola di pipeline pelatihan, Agent Platform dapat otomatis memisahkan data Anda menjadi set pelatihan, validasi, dan pengujian berdasarkan pecahan, filter, pemisahan yang telah ditentukan, atau stempel waktu yang ditentukan. Hal ini menyederhanakan proses persiapan data.
  • Memanfaatkan Versi Set Data: Set data terkelola memungkinkan pembuatan versi, yang memungkinkan Anda melacak perubahan pada data dari waktu ke waktu dan kembali ke versi sebelumnya jika diperlukan.

Khusus untuk Ray di Gemini Enterprise Agent Platform

  • Jika Anda menggunakan set data terkelola dalam pipeline pelatihan Agent Platform yang menggunakan Ray untuk pelatihan terdistribusi, data dari set data terkelola akan tersedia untuk container pelatihan, yang kemudian dapat diakses oleh aplikasi Ray Anda (melalui Cloud Storage atau BigQuery yang terpasang jika set data ditautkan ke sumber tersebut). Variabel lingkungan AIP_TRAINING_DATA_URI, AIP_VALIDATION_DATA_URI, dan AIP_TEST_DATA_URI akan mengarah ke data.

Pelajari lebih lanjut

BigQuery

  • Saat terhubung ke data dalam komponen Agent Platform: Banyak alat dan layanan Agent Platform yang terintegrasi langsung dengan BigQuery. Anda dapat membuat kueri data di BigQuery dari dalam JupyterLab. Hal ini memungkinkan Anda berinteraksi langsung dengan data BigQuery untuk eksplorasi, visualisasi, dan pengembangan model tanpa perlu memindahkannya ke sistem penyimpanan lain.
  • Saat membangun pipeline pelatihan: Saat membangun pipeline pelatihan di Agent Platform, Anda dapat menggunakan data langsung dari BigQuery. Misalnya, pipeline dapat mengambil data dari BigQuery, melakukan pra-pemrosesan, lalu melatih model.
  • Pipeline pelatihan model berkelanjutan: Untuk menyiapkan pelatihan model berkelanjutan, Anda dapat memicu operasi pipeline berdasarkan data baru yang masuk ke tabel BigQuery. Hal ini memungkinkan otomatisasi pelatihan ulang model. Anda dapat mengonfigurasi pemicu Eventarc untuk memulai pipeline saat tugas baru dimasukkan ke dalam tabel BigQuery tertentu.
  • Pemantauan model: BigQuery dapat digunakan sebagai sumber untuk memantau penyimpangan fitur dan pergeseran model yang di-deploy. Untuk deteksi skew, Anda dapat menentukan URI BigQuery set data pelatihan Anda. Selain itu, BigQuery dapat menyimpan log dari endpoint inferensi online, yang kemudian dapat digunakan sebagai sumber data untuk pemantauan berkelanjutan. Untuk itu, tabel BigQuery Anda idealnya harus memiliki kolom stempel waktu.
  • Integrasi BigQuery ML: Anda dapat menggunakan set data BigQuery saat memanfaatkan BigQuery ML untuk membangun model machine learning menggunakan SQL. Agent Platform Workbench, memungkinkan analisis eksplorasi interaktif data BigQuery dan penggunaan BigQuery ML dalam lingkungan notebook.
  • Eksplorasi dan persiapan data: Sebelum pelatihan, Anda dapat menggunakan BigQuery untuk menjelajahi dan memvisualisasikan data. Anda juga dapat melakukan transformasi data menggunakan kueri SQL langsung di BigQuery sebelum menggunakan data untuk pelatihan.
  • Mengakses set data publik: BigQuery menghosting banyak set data publik, seperti set data Chicago Taxi Trips, yang dapat Anda gunakan dengan mudah untuk eksperimen dan pelatihan di Agent Platform Workbench.

Khusus untuk Ray di Gemini Enterprise Agent Platform

  • Ray di Gemini Enterprise Agent Platform memiliki kemampuan untuk membaca data langsung dari BigQuery. Anda dapat menggunakan Agent Platform SDK untuk Python dalam tugas Ray untuk menjalankan kueri BigQuery dan mewujudkan hasilnya untuk digunakan dalam aplikasi Ray Anda.
  • Saat membaca dari BigQuery, perhatikan ukuran respons kueri maksimum, yaitu 10 GB.
  • Anda juga dapat menulis data dari aplikasi Ray kembali ke BigQuery menggunakan Agent Platform SDK untuk Python.

Pelajari lebih lanjut