Ringkasan perutean model

Perutean model untuk Gateway API adalah lapisan pengelolaan traffic terkelola yang menerima permintaan perintah yang kompatibel dengan OpenAI, mentranskode permintaan tersebut saat dalam perjalanan, dan merutekannya ke model Vertex AI tertentu. Perutean model bertindak sebagai alternatif terkelola untuk proxy sisi klien seperti LiteLLM, yang menyediakan infrastruktur terpusat untuk mengelola siklus proses agen AI.

Perutean model memindahkan logika perutean ke edge jaringan dan terintegrasi dengan Vertex AI Model Garden untuk pengoptimalan host yang sama. Arsitektur ini menghilangkan persyaratan untuk menghosting, menskalakan, dan memelihara server proxy yang tidak dikelola, sehingga mengurangi overhead operasional dan biaya infrastruktur.

Cakupan dan perjalanan pengguna

Perutean model mendukung perjalanan pengguna inti berikut:

  • Pemilihan model: Developer AI menggunakan model terbuka dari Model as a Service (MaaS) di Vertex AI Model Garden. Model ini adalah model keluarga Gemini, Anthropic Claude, atau OpenAI GPT.
  • Penulisan spesifikasi: Developer AI membuat atau memperbarui konfigurasi router model dalam spesifikasi OpenAPI 3.x untuk mereferensikan model yang di-deploy.
  • Deployment Gateway: Developer AI men-deploy konfigurasi API dan instance Gateway API menggunakan spesifikasi OpenAPI yang ditulis.
  • Perutean perintah: Aplikasi klien mengirim permintaan perintah yang kompatibel dengan OpenAI ke gateway, yang merutekan permintaan dan menerjemahkan payload berdasarkan nama model yang ditentukan dalam payload JSON.

Versi Gateway API mendatang direncanakan untuk mendukung perjalanan pengguna tambahan.

Manfaat perutean model

Menerapkan perutean model di Gateway API memberikan keuntungan berikut:

  • Pengelolaan terpusat: Menggabungkan pengelolaan traffic AI dalam satu gateway terkelola, menggantikan konfigurasi perutean sisi klien yang terfragmentasi.
  • Mengurangi overhead operasional: Menghilangkan biaya infrastruktur dan beban pemeliharaan yang terkait dengan men-deploy server proxy mandiri.
  • Performa yang dioptimalkan di edge: Memeriksa perintah dan merutekan traffic di edge jaringan, dengan memanfaatkan integrasi langsung dengan endpoint Vertex AI Model Garden.
  • Antarmuka klien standar: Memungkinkan aplikasi klien berinteraksi dengan antarmuka REST yang kompatibel dengan OpenAI yang seragam, sekaligus mengirim permintaan secara dinamis ke berbagai model dasar yang mendasarinya.

Persona dan kasus penggunaan

Perutean model memenuhi persyaratan persona berikut:

  • Platform Engineer: Menyediakan solusi infrastruktur terkelola untuk menggantikan logika perutean sisi klien di seluruh deployment AI perusahaan.
  • Developer AI: Mengekspos endpoint API standar yang secara dinamis merutekan permintaan antara model dasar yang berbeda (seperti Gemini Pro, Gemini Flash, atau Anthropic Claude) berdasarkan parameter payload permintaan.
  • Admin Tata Kelola: Menerapkan kebijakan akses terpusat (seperti autentikasi dan kuota) serta memantau volume traffic AI secara keseluruhan di seluruh organisasi.

Kasus penggunaan yang didukung

Selama Pratinjau Publik, perutean model mendukung perutean berdasarkan tag atau nama model (misalnya, "model": "gemini-3.5-flash-lite") yang ditentukan dalam payload JSON permintaan klien yang kompatibel dengan OpenAI.

Arsitektur dan alur permintaan

Perutean model beroperasi sebagai lapisan perutean terkelola dalam bidang data Gateway API. Saat aplikasi klien mengirim permintaan perintah yang kompatibel dengan OpenAI ke gateway, urutan berikut akan terjadi:

  1. Intersepsi permintaan: Gateway mencegat permintaan POST yang masuk (misalnya, POST /chat/completions).
  2. Pemeriksaan payload: Router model memeriksa atribut model dalam payload JSON yang masuk (misalnya, {"model": "claude-opus-4-7", "messages": [...]}).
  3. Evaluasi aturan: Router mencocokkan string model dengan aturan perutean yang ditentukan dalam spesifikasi OpenAPI Anda. Jika tidak ada aturan yang cocok, router akan memilih model default yang dikonfigurasi.
  4. Transcoding saat dalam perjalanan: Gateway mentranskode permintaan yang kompatibel dengan OpenAI ke dalam skema prediksi Vertex AI tujuan.
  5. Pengiriman backend: Gateway mengirimkan permintaan yang ditranskode ke endpoint Vertex AI Model Garden yang ditentukan dan menampilkan respons model ke klien.

Performa dan batasan

Sebelum menerapkan perutean model, tinjau batasan teknis berikut:

  • Batasan host: Perutean model hanya mendukung perutean ke model MaaS yang telah di-deploy dan dihosting di Vertex AI Model Garden, tempat semua model yang direferensikan oleh satu router berbagi nama host yang sama (misalnya, endpoint global aiplatform.googleapis.com atau satu endpoint regional seperti us-central1-aiplatform.googleapis.com).
  • Persyaratan spesifikasi: Perutean model memerlukan spesifikasi OpenAPI 3.x dan ekstensi OpenAPI 3.x Gateway API yang sesuai. Spesifikasi OpenAPI 2.0 (Swagger) tidak didukung.
  • Update gateway: Anda tidak dapat mengupdate gateway yang ada yang di-deploy tanpa perutean model untuk mengaktifkan perutean model, dan Anda juga tidak dapat mengupdate gateway yang di-deploy dengan perutean model untuk menonaktifkan atau menghapus perutean model. Untuk beralih mode perutean, Anda harus membuat dan men-deploy konfigurasi API dan instance gateway baru.
  • Konfigurasi campuran: Spesifikasi OpenAPI tidak dapat berisi campuran operasi perutean model dan non-perutean model. Semua operasi dalam spesifikasi harus menggunakan perutean model atau menggunakan perutean gateway standar.
  • Kontrol Layanan VPC: Gateway perutean model tidak mendukung Kontrol Layanan VPC. Anda tidak dapat menggunakan perimeter Kontrol Layanan VPC dengan instance Gateway API yang mengaktifkan perutean model.
  • Streaming dan protokol yang tidak didukung: Perutean model mendukung streaming respons (peristiwa yang dikirim server), tetapi tidak mendukung streaming sisi permintaan, gRPC, WebSocket, atau Gemini Live.
  • Modalitas yang didukung: Selama Pratinjau Publik, perutean model mengasumsikan permintaan perintah berbasis teks yang diformat sebagai payload JSON yang kompatibel dengan OpenAI dan merutekan berdasarkan tag atau nama model dalam payload.
  • Kolom payload yang diperlukan: Payload permintaan JSON yang masuk harus menyertakan atribut model. Selama Pratinjau Publik, jika kolom model tidak ada dalam payload permintaan klien, gateway akan memproses permintaan dengan tidak benar, bukan menolaknya dengan error. Selalu pastikan permintaan klien menentukan kolom model dalam payload JSON.
  • Batasan runtime: Batas dan perilaku layanan infrastruktur hosting gateway standar berlaku untuk endpoint perutean model Anda:
    • Batas waktu maksimum: Gateway menerapkan batas waktu permintaan maksimum 3.600 detik (1 jam), yang berlaku untuk permintaan streaming yang berjalan lama.
    • Latensi cold start: Jika instance gateway Anda diskalakan ke nol selama periode tidak aktif, permintaan awal mungkin mengalami latensi cold start, yang dapat memengaruhi jalur inferensi AI yang sensitif terhadap latensi.
    • Jalur URL yang dicadangkan: Anda tidak dapat menggunakan jalur URL yang dicadangkan seperti /eventlog, jalur yang dimulai dengan /_ah/, atau jalur tertentu yang diakhiri dengan z (untuk mencegah konflik, hindari penggunaan nama jalur yang diakhiri dengan z).
    • Dekode karakter URL: Gateway otomatis mendekode karakter tertentu yang dienkode dalam URL permintaan sebelum memproses permintaan (misalnya, %41 didekode menjadi A).

Langkah berikutnya