Ringkasan cara mendapatkan inferensi di Platform Agen

Inferensi adalah output dari model machine learning yang telah dilatih. Halaman ini memberikan ringkasan alur kerja untuk mendapatkan inferensi dari model Anda di Agent Platform Gemini Enterprise.

Agent Platform menawarkan dua metode untuk mendapatkan inferensi:

  • Inferensi online adalah permintaan sinkron yang dibuat untuk model yang di-deploy ke Endpoint. Oleh karena itu, sebelum mengirim permintaan, Anda harus men-deploy Model resource terlebih dahulu ke endpoint. Hal ini mengaitkan resource komputasi dengan model sehingga model dapat menyajikan inferensi online dengan latensi rendah. Gunakan inferensi online saat Anda membuat permintaan sebagai respons terhadap input aplikasi atau dalam situasi yang memerlukan inferensi tepat waktu.
  • **Inferensi batch** adalah permintaan asinkron yang dibuat untuk model yang tidak di-deploy ke endpoint. Anda mengirim permintaan (sebagai a BatchPredictionJob resource) langsung ke resource Model. Gunakan inferensi batch jika Anda tidak memerlukan respons langsung dan ingin memproses data yang terakumulasi menggunakan satu permintaan.

Menguji model Anda secara lokal

Sebelum mendapatkan inferensi, sebaiknya deploy model Anda ke endpoint lokal selama fase pengembangan dan pengujian. Hal ini memungkinkan Anda melakukan iterasi dengan lebih cepat dan menguji model tanpa men-deploy-nya ke endpoint online atau menimbulkan biaya inferensi. Deployment lokal ditujukan untuk pengembangan dan pengujian lokal, bukan untuk deployment produksi.

Untuk men-deploy model secara lokal, gunakan Agent Platform SDK untuk Python dan deploy a LocalModel ke a LocalEndpoint. Untuk demonstrasi, lihat notebook ini.

Meskipun klien Anda tidak ditulis dalam Python, Anda masih dapat menggunakan Agent Platform SDK untuk Python guna meluncurkan container dan server sehingga Anda dapat menguji permintaan dari klien.

Mendapatkan inferensi dari model terlatih kustom

Untuk mendapatkan inferensi, Anda harus mengimpor model terlebih dahulu. Setelah diimpor, resource tersebut menjadi resource Model yang terlihat di Model Registry.

Kemudian, baca dokumentasi berikut untuk mempelajari cara mendapatkan inferensi:

* Mendapatkan inferensi batch

Or
  • Men-deploy model ke endpoint dan mendapatkan inferensi online .

    Mendapatkan inferensi dari model AutoML

    Tidak seperti model terlatih kustom, model AutoML secara otomatis diimpor ke Model Registry setelah pelatihan.

    Selain itu, alur kerja untuk model AutoML serupa, tetapi sedikit berbeda berdasarkan jenis data dan tujuan model Anda. Dokumentasi untuk mendapatkan inferensi AutoML terletak di samping dokumentasi AutoML lainnya. Bagian berikut menyediakan link ke dokumentasi.

    Gambar

    Pelajari cara mendapatkan inferensi dari jenis model AutoML gambar berikut:

    Berbentuk tabel

    Pelajari cara mendapatkan inferensi dari jenis model AutoML berbentuk tabel berikut:

    Mendapatkan inferensi dari model BigQuery ML

    Anda bisa mendapatkan inferensi dari model BigQuery ML dengan dua cara:

    • Meminta inferensi batch langsung dari model di BigQuery ML.
    • Mendaftarkan model langsung ke Model Registry, tanpa mengekspornya dari BigQuery ML atau mengimpornya ke Model Registry.

    Langkah berikutnya