Mengelola agen yang di-deploy

Agent Runtime memungkinkan Anda mengelola agen yang telah di-deploy ke platform. Anda dapat mencantumkan, mendapatkan, memperbarui, dan menghapus agen yang di-deploy menggunakan konsol, SDK, atau REST API.

Dokumen ini menjelaskan cara mengelola agen yang di-deploy di Agent Platform. Jika Anda ingin men-deploy agen baru, lihat Men-deploy agen.

Mencantumkan agen yang di-deploy

Mencantumkan semua agen yang di-deploy untuk project dan lokasi tertentu:

Konsol

1. Di konsol Google Cloud , buka halaman Deployments Agent Platform.
   

   Buka Deployment

Agen yang di-deploy yang merupakan bagian dari project yang dipilih akan muncul dalam daftar. Anda dapat menggunakan kolom Filter untuk memfilter daftar menurut kolom yang Anda tentukan.

Agent Platform SDK

import vertexai

client = vertexai.Client(  # For service interactions via client.agent_engines
    project="PROJECT_ID",
    location="LOCATION",
)

for agent in client.agent_engines.list():
    print(agent)

Untuk memfilter daftar menurut display_name:

for agent in client.agent_engines.list(
    config={
        "filter": 'display_name="DISPLAY_NAME"',
    },
):
    print(agent)

REST

Panggil metode reasoningEngines.list.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• PROJECT_ID: project ID GCP Anda
• LOCATION: wilayah yang didukung

Metode HTTP dan URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

curl (Linux, macOS, atau Cloud Shell)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Jalankan perintah berikut:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines"

PowerShell (Windows)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines" | Select-Object -Expand Content

Anda akan menerima kode status berhasil (2xx) dan respons kosong.

Mendapatkan agen yang di-deploy

Setiap agen yang di-deploy memiliki ID RESOURCE_ID yang unik. Untuk mempelajari lebih lanjut, lihat Men-deploy agen.

Konsol

1. Di konsol Google Cloud , buka halaman Deployments Agent Platform.
   

   Buka Deployment

   Agen yang di-deploy yang merupakan bagian dari project yang dipilih akan muncul dalam daftar. Anda dapat menggunakan kolom Filter untuk memfilter daftar menurut kolom yang Anda tentukan.

2. Klik nama agen yang ditentukan. Halaman Metrics untuk agen akan terbuka.

3. Opsional: Untuk melihat detail deployment agen, klik Detail deployment. Panel Deployment details akan terbuka. Untuk menutup panel, klik Selesai.

4. Opsional: Untuk melihat URL query dan streamQuery untuk agen, klik URL API. Panel URL API akan terbuka. Untuk menutup panel, klik Selesai.

Agent Platform SDK

Kode berikut memungkinkan Anda mendapatkan agen yang di-deploy tertentu:

import vertexai

client = vertexai.Client(  # For service interactions via client.agent_engines
    project="PROJECT_ID",
    location="LOCATION",
)

remote_agent = client.agent_engines.get(
    name="projects/PROJECT_ID_OR_NUMBER/locations/LOCATION/reasoningEngines/RESOURCE_ID"
)

REST

Panggil metode reasoningEngines.get.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• PROJECT_ID: project ID GCP Anda
• LOCATION: wilayah yang didukung
• RESOURCE_ID: ID resource agen yang di-deploy

Metode HTTP dan URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

curl (Linux, macOS, atau Cloud Shell)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Jalankan perintah berikut:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID"

PowerShell (Windows)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID" | Select-Object -Expand Content

Anda akan menerima kode status berhasil (2xx) dan respons kosong.

Memperbarui agen yang di-deploy

Anda dapat memperbarui satu atau beberapa kolom agen yang di-deploy secara bersamaan, tetapi Anda harus menentukan setidaknya satu kolom yang akan diperbarui.

Anda dapat memperbarui kolom tanpa versi atau dengan versi agen yang di-deploy. Jika memperbarui kolom berversi, Anda akan membuat revisi baru. Untuk mengetahui informasi selengkapnya tentang kolom berversi dan mengelola revisi, lihat Mengelola revisi dan traffic.

Waktu yang diperlukan untuk mengupdate agen yang di-deploy bergantung pada update yang dilakukan, tetapi umumnya memerlukan waktu antara beberapa detik hingga beberapa menit.

Konsol

1. Di konsol Google Cloud , buka halaman Deployments Agent Platform.
   

   Buka Deployment

2. Untuk agen yang Anda tentukan, klik menu tindakan lainnya ().

3. Klik Edit. Panel Edit untuk agen akan terbuka.

4. Edit Nama tampilan atau Deskripsi untuk agen.

5. Klik Simpan.

Agent Platform SDK

Untuk mengupdate agen yang di-deploy (sesuai dengan RESOURCE_NAME) ke agen yang diupdate (sesuai dengan UPDATED_AGENT):

import vertexai

client = vertexai.Client(  # For service interactions via client.agent_engines
    project="PROJECT_ID",
    location="LOCATION",
)

client.agent_engines.update(
    name=RESOURCE_NAME,                    # Required.
    agent=UPDATED_AGENT,                   # Optional.
    config={                                                # Optional.
        "requirements": REQUIREMENTS,      # Optional.
        "display_name": "DISPLAY_NAME",    # Optional.
        "description": "DESCRIPTION",      # Optional.
        "extra_packages": EXTRA_PACKAGES,  # Optional.
    },
)

Argumennya sama seperti saat Anda men-deploy agen.

REST

Panggil metode reasoningEngines.patch dan berikan update_mask untuk menentukan kolom yang akan diperbarui.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• PROJECT_ID: project ID GCP Anda
• LOCATION: wilayah yang didukung
• RESOURCE_ID: ID resource agen yang di-deploy
• update_mask: daftar kolom yang dipisahkan koma yang akan diupdate

Metode HTTP dan URL:

PATCH https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID?update_mask="display_name,description"

Meminta isi JSON:

{
"displayName": "DISPLAY_NAME",
"description": "DESCRIPTION"
}

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

curl (Linux, macOS, atau Cloud Shell)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

curl -X PATCH \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID?update_mask="display_name,description""

PowerShell (Windows)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method PATCH `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID?update_mask="display_name,description"" | Select-Object -Expand Content

Anda akan menerima kode status berhasil (2xx) dan respons kosong.

Mengonfigurasi telemetri untuk agen yang di-deploy

Jika Anda mengaktifkan rekaman aktivitas selama pengembangan agen, Anda dapat menggunakan konsol Google Cloud untuk mengonfigurasi telemetri untuk agen yang di-deploy.

Konfigurasi telemetri untuk agen yang di-deploy dengan telemetri yang diaktifkan:

1. Di konsol Google Cloud , buka halaman Deployments Agent Platform.
   

   Buka Deployment

   Instance Agent Platform yang merupakan bagian dari project yang dipilih akan muncul dalam daftar. Anda dapat menggunakan kolom Filter untuk memfilter daftar menurut kolom yang ditentukan.

2. Temukan baris untuk instance Agent Platform Anda. Di kolom Konfigurasi telemetri, klik Konfigurasi. Panel Konfigurasi layanan akan terbuka.

3. Anda dapat membuat konfigurasi berikut:

   • Kemampuan Observasi: Anda dapat mengonfigurasi hal berikut:

     • Aktifkan instrumentasi log dan rekaman aktivitas OpenTelemetry: Untuk mengisi dasbor keobservasian agen dan halaman rekaman aktivitas, klik tombol ke posisi aktif.

     • Aktifkan logging input perintah dan output respons: Untuk mengumpulkan dan menyimpan konten lengkap perintah dan respons pengguna, klik tombol untuk mengaktifkannya.

     Jika pengumpulan telemetri dinonaktifkan untuk agen, Anda harus men-deploy ulang agen dan mengupdate versi Vertex AI SDK ke >= 1.126.1 agar dapat melihat opsi konfigurasi untuk Kemampuan Observasi.

   • Container: Mengonfigurasi setelan container untuk agen yang di-deploy:

     • Penskalaan: Masukkan Jumlah minimum instance dan Jumlah maksimum instance.

     • Resource: Pilih batas untuk Memori dan CPU untuk setiap container.

     • Konkurensi container: Masukkan Jumlah minimum instance untuk menetapkan konkurensi untuk setiap server agen dan container. Nilai yang direkomendasikan adalah (2 * CPU + 1), dan nilai defaultnya adalah 9.

   • Akses dan Izin: Klik Kelola Izin di IAM untuk mengelola izin agen di akun layanan terkait.

   • Detail deployment: Lihat detail deployment untuk agen, termasuk Nama resource dan Nama tampilan.

   • Agent Platform Memory Bank: Lihat detail Memory Bank untuk agen, termasuk Pembuatan Memori dan Penelusuran Memori.

4. Klik Perbarui atau Tutup.

Melihat metrik untuk agen yang di-deploy

Untuk agen yang di-deploy, Anda dapat menggunakan konsol untuk melihat metrik agen:

1. Di konsol Google Cloud , buka halaman Deployments Agent Platform.
   

   Buka Deployment

   Agen yang di-deploy yang merupakan bagian dari project yang dipilih akan muncul dalam daftar. Anda dapat menggunakan kolom Filter untuk memfilter daftar menurut kolom yang Anda tentukan.

2. Klik nama agen Anda. Dasbor ditampilkan untuk agen yang Anda pilih.

3. Pilih salah satu tab Dasbor berikut:

   • Ringkasan: Lihat dasbor ringkasan metrik untuk agen Anda, termasuk latensi agen, jumlah permintaan agen, dan tingkat error agen.

   • Model: Lihat dasbor metrik untuk model agen Anda, termasuk jumlah panggilan model, rasio error model, dan penggunaan token model.

   • Alat: Lihat dasbor metrik untuk alat agen Anda, termasuk jumlah panggilan alat, rasio error alat, dan latensi alat.

   • Penggunaan: Lihat dasbor metrik untuk penggunaan agen Anda, termasuk penggunaan token menurut input dan output, alokasi CPU container, dan alokasi memori container.

   • Log: Lihat log agen Anda, jika Anda mengaktifkan Cloud Logging untuk agen Anda.

Menghapus agen yang di-deploy

Menghapus agen yang di-deploy dari runtime yang dikelola Agent Runtime.

Konsol

1. Di konsol Google Cloud , buka halaman Deployments Agent Platform.
   

   Buka Deployment

2. Untuk agen yang Anda tentukan, klik menu tindakan lainnya ().

3. Klik Hapus.

4. Klik Hapus agen.

Agent Platform SDK

Jika sudah memiliki instance agen yang di-deploy (sebagai remote_agent), Anda dapat menjalankan perintah berikut:

remote_agent.delete(
    force=True, # Optional, if the agent has resources (e.g. sessions, memory)
)

Atau, Anda dapat memanggil agent_engines.delete() untuk menghapus agen yang di-deploy yang sesuai dengan RESOURCE_NAME dengan cara berikut:

import vertexai

client = vertexai.Client(  # For service interactions via client.agent_engines
    project="PROJECT_ID",
    location="LOCATION",
)

client.agent_engines.delete(
    name=RESOURCE_NAME,
    force=True, # Optional, if the agent has resources (e.g. sessions, memory)
)

REST

Panggil metode reasoningEngines.delete.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• PROJECT_ID: project ID GCP Anda
• LOCATION: wilayah yang didukung
• RESOURCE_ID: ID resource agen yang di-deploy

Metode HTTP dan URL:

DELETE https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

curl (Linux, macOS, atau Cloud Shell)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Jalankan perintah berikut:

curl -X DELETE \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID"

PowerShell (Windows)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method DELETE `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID" | Select-Object -Expand Content

Anda akan menerima kode status yang berhasil (2xx) dan respons kosong.

Langkah berikutnya

Panduan

Menggunakan agen

Menggunakan agen dengan Runtime Agent Platform.