Container bawaan untuk inferensi dan penjelasan

Vertex AI menyediakan image container Docker yang Anda jalankan sebagai container bawaan untuk menayangkan inferensi dan penjelasan dari artefak model terlatih. Container ini, yang diatur berdasarkan versi framework dan framework machine learning (ML), menyediakan server inferensi HTTP yang dapat Anda gunakan untuk menyajikan inferensi dengan konfigurasi minimal. Dalam banyak kasus, menggunakan container bawaan lebih mudah daripada membuat container kustom sendiri untuk inferensi.

Dokumen ini mencantumkan container bawaan untuk inferensi dan penjelasan, serta menjelaskan cara menggunakannya dengan artefak model yang Anda buat menggunakan fungsi pelatihan kustom Vertex AI atau artefak model yang Anda buat di luar Vertex AI.

Kebijakan dan jadwal dukungan

Vertex AI mendukung setiap versi framework berdasarkan jadwal untuk meminimalkan kerentanan keamanan. Tinjau Jadwal kebijakan dukungan untuk memahami implikasi dari tanggal akhir dukungan dan tanggal akhir ketersediaan.

Image container yang tersedia

Setiap image container berikut tersedia di beberapa repositori Artifact Registry, yang menyimpan data di berbagai lokasi. Anda bisa menggunakan salah satu URI untuk image saat melakukan pelatihan kustom; masing-masing menyediakan image container yang sama. Jika Anda menggunakan konsol Google Cloud untuk membuat resource Model, konsol Google Cloud akan memilih URI yang paling cocok dengan lokasi tempat Anda menggunakan Vertex AI untuk mengurangi latensi.

TensorFlow

Image container TensorFlow yang tersedia (Klik untuk meluaskan)

Versi framework ML Akselerator yang didukung (dan versi CUDA, jika berlaku) Akhir patch dan tanggal dukungan Akhir ketersediaan Image yang didukung
2.15 Khusus CPU 14 Juli 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/tf2-cpu.2-15:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/tf2-cpu.2-15:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/tf2-cpu.2-15:latest
2.15 GPU (CUDA 12.x) 14 Juli 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/tf2-gpu.2-15:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/tf2-gpu.2-15:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/tf2-gpu.2-15:latest
2.14 Khusus CPU 14 Jan 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/tf2-cpu.2-14:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/tf2-cpu.2-14:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/tf2-cpu.2-14:latest
2.14 GPU (CUDA 12.x) 14 Jan 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/tf2-gpu.2-14:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/tf2-gpu.2-14:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/tf2-gpu.2-14:latest
2.13 Khusus CPU 28 Nov 2024 28 Nov 2025
2.13 GPU (CUDA 12.x) 28 Nov 2024 28 Nov 2025
2.12 Khusus CPU 30 Juni 2024 30 Juni 2025
2.12 GPU (CUDA 11.x) 30 Juni 2024 30 Juni 2025
2.11 Khusus CPU 15 Nov 2023 15 Nov 2024
2.11 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024
2.10 Khusus CPU 15 Nov 2023 15 Nov 2024
2.10 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024
2.9 Khusus CPU 15 Nov 2023 15 Nov 2024
2.9 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024
2.8 Khusus CPU 15 Nov 2023 15 Nov 2024
2.8 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024
2,7 Khusus CPU 15 Nov 2023 15 Nov 2024
2,7 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024
2,6 Khusus CPU 15 Nov 2023 15 Nov 2024
2,6 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024
2,5 Khusus CPU 15 Nov 2023 15 Nov 2024
2,5 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024
2,4 Khusus CPU 15 Nov 2023 15 Nov 2024
2,4 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024
2.3 Khusus CPU 15 Nov 2023 15 Nov 2024
2.3 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024
2.2 Khusus CPU 15 Nov 2023 15 Nov 2024
2.2 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024
2.1 Khusus CPU 15 Nov 2023 15 Nov 2024
2.1 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024
1.15 Khusus CPU 15 Nov 2023 15 Nov 2024
1.15 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024

Runtime TensorFlow yang dioptimalkan

Image container berikut menggunakan runtime TensorFlow yang dioptimalkan. Untuk mengetahui informasi lebih lanjut, lihat Menggunakan runtime TensorFlow yang dioptimalkan.

Image container runtime TensorFlow yang dioptimalkan yang tersedia (Klik untuk meluaskan)

Versi framework ML Akselerator yang didukung (dan versi CUDA, jika berlaku) Akhir patch dan tanggal dukungan Akhir ketersediaan Image yang didukung
tiap hari Khusus CPU Tidak berlaku Tidak berlaku
  • us-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-cpu.nightly:latest
  • europe-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-cpu.nightly:latest
  • asia-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-cpu.nightly:latest
tiap hari GPU (CUDA 12.x) Tidak berlaku Tidak berlaku
  • us-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-gpu.nightly:latest
  • europe-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-gpu.nightly:latest
  • asia-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-gpu.nightly:latest
tiap hari Cloud TPU Tidak berlaku Tidak berlaku
  • us-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-tpu.nightly:latest
  • europe-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-tpu.nightly:latest
  • asia-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-tpu.nightly:latest
2,17 Khusus CPU 11 Juli 2024 11 Juli 2025
  • us-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-cpu.2-17:latest
  • europe-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-cpu.2-17:latest
  • asia-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-cpu.2-17:latest
2,17 GPU (CUDA 12.x) 11 Juli 2024 11 Juli 2025
  • us-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-gpu.2-17:latest
  • europe-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-gpu.2-17:latest
  • asia-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-gpu.2-17:latest
2,17 Cloud TPU 11 Juli 2024 11 Juli 2025
  • us-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-tpu.2-17:latest
  • europe-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-tpu.2-17:latest
  • asia-docker.pkg.dev/vertex-ai-restricted/prediction/tf_opt-tpu.2-17:latest
2.16 Khusus CPU 26 Apr 2024 26 Apr 2025
2.16 GPU (CUDA 12.x) 26 Apr 2024 26 Apr 2025
2.16 Cloud TPU 26 Apr 2024 26 Apr 2025
2.15 Khusus CPU 15 Agu 2024 15 Agu 2025
2.15 GPU (CUDA 12.x) 15 Agu 2024 15 Agu 2025
2.15 Cloud TPU 15 Agu 2024 15 Agu 2025
2.14 Khusus CPU 15 Agu 2024 15 Agu 2025
2.14 GPU (CUDA 12.x) 15 Agu 2024 15 Agu 2025
2.13 Khusus CPU 15 Agu 2024 15 Agu 2025
2.13 GPU (CUDA 11.x) 15 Agu 2024 15 Agu 2025
2.12 Khusus CPU 15 Mei 2024 15 Mei 2025
2.12 GPU (CUDA 11.x) 15 Mei 2024 15 Mei 2025
2.11 Khusus CPU 15 Nov 2023 15 Nov 2024
2.11 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024
2.10 Khusus CPU 15 Nov 2023 15 Nov 2024
2.10 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024
2.9 Khusus CPU 15 Nov 2023 15 Nov 2024
2.9 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024
2.8 Khusus CPU 15 Nov 2023 15 Nov 2024
2.8 GPU (CUDA 11.x) 15 Nov 2023 15 Nov 2024

PyTorch

Image container PyTorch yang tersedia (Klik untuk meluaskan)

Versi framework ML Akselerator yang didukung (dan versi CUDA, jika berlaku) Akhir patch dan tanggal dukungan Akhir ketersediaan Image yang didukung
2.4 (Python 3.9) Khusus CPU 14 Juli 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/pytorch-cpu.2-4:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/pytorch-cpu.2-4:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/pytorch-cpu.2-4:latest
2.4 (Python 3.9) GPU (CUDA 12.x) 14 Juli 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/pytorch-gpu.2-4:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/pytorch-gpu.2-4:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/pytorch-gpu.2-4:latest
2.4 (Python 3.9) Cloud TPU 14 Juli 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/pytorch-tpu.2-4:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/pytorch-tpu.2-4:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/pytorch-tpu.2-4:latest
2.3 (Python 3.9) Khusus CPU 14 Jan 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/pytorch-cpu.2-3:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/pytorch-cpu.2-3:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/pytorch-cpu.2-3:latest
2.3 (Python 3.9) GPU (CUDA 12.x) 14 Jan 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/pytorch-gpu.2-3:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/pytorch-gpu.2-3:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/pytorch-gpu.2-3:latest
2.3 (Python 3.9) Cloud TPU 14 Jan 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/pytorch-tpu.2-3:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/pytorch-tpu.2-3:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/pytorch-tpu.2-3:latest
2.2 (Python 3.9) Khusus CPU 14 Jan 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/pytorch-cpu.2-2:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/pytorch-cpu.2-2:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/pytorch-cpu.2-2:latest
2.2 (Python 3.9) GPU (CUDA 12.x) 14 Jan 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/pytorch-gpu.2-2:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/pytorch-gpu.2-2:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/pytorch-gpu.2-2:latest
2.2 (Python 3.9) Cloud TPU 14 Jan 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/pytorch-tpu.2-2:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/pytorch-tpu.2-2:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/pytorch-tpu.2-2:latest
2.1 (Python 3.9) Khusus CPU 1 Des 2024 01 Des 2025
2.1 (Python 3.9) GPU (CUDA 12.x) 1 Des 2024 01 Des 2025
2.1 (Python 3.9) Cloud TPU 1 Des 2024 01 Des 2025
2.0 (Python 3.9) Khusus CPU 27 Juli 2024 27 Juli 2025
2.0 (Python 3.9) GPU (CUDA 11.x) 27 Juli 2024 27 Juli 2025
1.13 (Python 3.8) Khusus CPU 15 Mei 2024 15 Mei 2025
1.13 (Python 3.8) GPU (CUDA 11.x) 15 Mei 2024 15 Mei 2025
1.12 Khusus CPU 15 Mei 2024 15 Mei 2025
1.12 GPU (CUDA 11.x) 15 Mei 2024 15 Mei 2025
1.11 Khusus CPU 15 Mei 2024 15 Mei 2025
1.11 GPU (CUDA 11.x) 15 Mei 2024 15 Mei 2025

scikit-learn

Image container scikit-learn yang tersedia (Klik untuk meluaskan)

Versi framework ML Akselerator yang didukung (dan versi CUDA, jika berlaku) Akhir patch dan tanggal dukungan Akhir ketersediaan Image yang didukung
1.6 (Python 3.10) Khusus CPU 14 Okt 2026 14 Okt 2027
  • us-docker.pkg.dev/vertex-ai/prediction/sklearn-cpu.1-6:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/sklearn-cpu.1-6:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/sklearn-cpu.1-6:latest
1.5 (Python 3.10) Khusus CPU 14 Juli 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/sklearn-cpu.1-5:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/sklearn-cpu.1-5:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/sklearn-cpu.1-5:latest
1.4 (Python 3.10) Khusus CPU 14 Jan 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/sklearn-cpu.1-4:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/sklearn-cpu.1-4:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/sklearn-cpu.1-4:latest
1.3 (Python 3.10) Khusus CPU 28 Nov 2024 28 Nov 2025
1.2 (Python 3.10) Khusus CPU 30 Juni 2024 30 Juni 2025
1.0 Khusus CPU 15 Nov 2023 15 Nov 2024
0,24 Khusus CPU 15 Nov 2023 15 Nov 2024
0,23 Khusus CPU 15 Nov 2023 15 Nov 2024
0,22 Khusus CPU 15 Nov 2023 15 Nov 2024
0,20 Khusus CPU 15 Nov 2023 15 Nov 2024

XGBoost

Image container XGBoost yang tersedia (Klik untuk meluaskan)

Versi framework ML Akselerator yang didukung (dan versi CUDA, jika berlaku) Akhir patch dan tanggal dukungan Akhir ketersediaan Image yang didukung
2.1 (Python 3.10) Khusus CPU 14 Juli 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/xgboost-cpu.2-1:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/xgboost-cpu.2-1:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/xgboost-cpu.2-1:latest
2.0 (Python 3.10) Khusus CPU 14 Jan 2026 14 Jan 2027
  • us-docker.pkg.dev/vertex-ai/prediction/xgboost-cpu.2-0:latest
  • europe-docker.pkg.dev/vertex-ai/prediction/xgboost-cpu.2-0:latest
  • asia-docker.pkg.dev/vertex-ai/prediction/xgboost-cpu.2-0:latest
1.7 (Python 3.10) Khusus CPU 30 Juni 2024 30 Des 2025
1.6 Khusus CPU 15 Nov 2023 15 Nov 2024
1,5 Khusus CPU 15 Nov 2023 15 Nov 2024
1.4 Khusus CPU 15 Nov 2023 15 Nov 2024
1,3 Khusus CPU 15 Nov 2023 15 Nov 2024
1,2 Khusus CPU 15 Nov 2023 15 Nov 2024
1.1 Khusus CPU 15 Nov 2023 15 Nov 2024
0.90 Khusus CPU 15 Nov 2023 15 Nov 2024
0.82 Khusus CPU 15 Nov 2023 15 Nov 2024

Menggunakan container bawaan

Anda dapat menentukan container bawaan untuk inferensi saat membuat resource TrainingPipeline kustom yang mengupload Model atau saat mengimpor artefak model sebagai Model.

Untuk menggunakan salah satu container bawaan ini, Anda harus menyimpan model sebagai satu atau beberapa artefak model yang sesuai dengan persyaratan container bawaan. Untuk mengetahui informasi selengkapnya, lihat Mengekspor artefak model untuk inferensi.

Notebook berikut menunjukkan cara menggunakan container bawaan untuk menyajikan inferensi.

Apa yang ingin Anda lakukan? Notebook
Melatih dan menyajikan model TensorFlow menggunakan container bawaan Pelatihan kustom dan inferensi online
Menayangkan model PyTorch menggunakan container bawaan Menayangkan model image PyTorch dengan container bawaan di Vertex AI
Menyajikan model Stable Diffusion menggunakan container bawaan Men-deploy dan menghosting model Stable Diffusion di Vertex AI

Notebook

Langkah berikutnya