使用 Gemma 開放式模型

Gemma 是一組輕量級生成式人工智慧 (AI) 開放式模型，您可以在應用程式、硬體、行動裝置或代管服務中執行 Gemma 模型。您也可以使用調整技術自訂這些模型，讓模型擅長執行您和使用者重視的工作。Gemma 模型是以 Gemini 模型為基礎，供 AI 開發社群擴充及進一步運用。

微調可協助模型提升特定工作的成效，由於 Gemma 模型系列中的模型是開放權重，因此您可以使用所選的 AI 架構和 Vertex AI SDK 調整任何模型。您可以開啟筆記本範例，使用 Model Garden 中 Gemma 模型資訊卡上的連結，微調 Gemma 模型。

您可以在 Vertex AI 中使用下列 Gemma 模型。 如要進一步瞭解及測試 Gemma 模型，請參閱 Model Garden 的模型資訊卡。

模型名稱	用途	Model Garden 模型資訊卡
FunctionGemma	這款輕量型開放模型可做為基礎，用於建立專屬的函式呼叫模型，經過進一步微調後，效能可望大幅提升。	前往 FunctionGemma 模型資訊卡
Gemma 3n	支援多模態輸入，可處理文字、圖片、影片和音訊輸入內容，並生成文字輸出內容。	前往 Gemma 3n 模型資訊卡
Gemma 3	最適合用於文字生成和圖像解讀工作，包括回答問題、重點摘要和推論。	前往 Gemma 3 模型資訊卡
Gemma 2	最適合生成、摘要和擷取文字。	前往 Gemma 2 模型資訊卡
Gemma	最適合生成、摘要和擷取文字。	前往 Gemma 模型資訊卡
CodeGemma	最適合生成及完成程式碼。	前往 CodeGemma 模型資訊卡
PaliGemma 2	最適合圖像說明和圖像問答工作。	前往 PaliGemma 2 模型資訊卡
PaliGemma	最適合圖像說明和圖像問答工作。	前往 PaliGemma 模型資訊卡
ShieldGemma 2	檢查合成和自然圖像的安全性，協助您建構穩健的資料集和模型。	前往 ShieldGemma 2 模型資訊卡
TxGemma	最適合治療預測工作，包括分類、迴歸或生成，以及推論工作。	前往 TxGemma 模型資訊卡
MedGemma	Gemma 3 變體，經過訓練後可解讀醫療文字和圖片。	前往 MedGemma 模型資訊卡
MedSigLIP	經過訓練的 SigLIP 變體，可將醫療圖片和文字編碼至通用嵌入空間。	前往 MedSigLIP 模型資訊卡
T5Gemma	非常適合用於各種生成式工作，包括回答問題、重點摘要和推論。	前往 T5Gemma 模型資訊卡
T5Gemma 2	非常適合用於各種生成式工作，包括回答問題、重點摘要和推論。	前往 T5Gemma 2 模型資訊卡

以下是幾個可使用 Gemma 的選項：

在 Vertex AI 中使用 Gemma

Vertex AI 提供代管平台，可快速建構及擴展機器學習專案，不必具備內部機器學習運作專業知識。您可以將 Vertex AI 做為下游應用程式，提供 Gemma 模型。舉例來說，您可能會從 Gemma 的 Keras 實作項目移植權重。接著，您可以使用 Vertex AI 服務該版本的 Gemma，以取得預測結果。如果您需要端對端 MLOps 功能、加值機器學習功能，以及簡化開發作業的無伺服器體驗，建議使用 Vertex AI。

如要開始使用 Gemma，請參閱下列筆記本：

• 在 Vertex AI 中提供 Gemma 3n 服務

• 在 Vertex AI 中提供 Gemma 3 服務

• 在 Vertex AI 中提供 Gemma 2 服務

• 在 Vertex AI 中提供 Gemma 服務

• 使用 PEFT 微調 Gemma 3，然後從 Vertex 部署至 Vertex AI

• 使用 PEFT 微調 Gemma 2，然後從 Vertex 部署至 Vertex AI

• 使用 PEFT 微調 Gemma，然後從 Vertex 部署至 Vertex AI

• 使用 PEFT 微調 Gemma，然後從 Huggingface 部署至 Vertex AI

• 使用 KerasNLP 微調 Gemma，然後部署至 Vertex AI

• 使用 Vertex AI 上的 Ray 微調 Gemma，然後部署至 Vertex AI

• 使用 Hugging Face Transformers，透過 ShieldGemma 2 執行本機推論

• 在 Vertex AI 中提供 MedGemma 服務

• 在 Vertex AI 中提供 MedSigLIP

• 使用 Hugging Face Transformers，透過 T5Gemma 執行本機推論

在其他 Google Cloud 產品中使用 Gemma

您可以將 Gemma 與其他 Google Cloud 產品搭配使用，例如 Google Kubernetes Engine 和 Dataflow。

搭配 GKE 使用 Gemma

Google Kubernetes Engine (GKE) 是代管 Kubernetes 的 Google Cloud 解決方案，可提供擴充性、安全性、復原能力和成本效益。如果您已投資 Kubernetes、貴機構具備內部 MLOps 專業知識，或是需要精細控管複雜的 AI/機器學習工作負載，且有獨特的安全性、資料管道和資源管理需求，建議選用這個選項。如要瞭解詳情，請參閱 GKE 說明文件中的下列教學課程：

• 使用 vLLM 提供 Gemma
• 使用 TGI 供應 Gemma
• 使用 Triton 和 TensorRT-LLM 提供 Gemma
• 使用 JetStream 供應 Gemma

搭配 Dataflow 使用 Gemma

您可以搭配 Dataflow 使用 Gemma 模型進行情緒分析。使用 Dataflow 執行採用 Gemma 模型的推論管道。詳情請參閱「使用 Gemma 開放模型執行推論管道」。

搭配 Colab 使用 Gemma

您可以使用 Colaboratory 搭配 Gemma 建立 Gemma 解決方案。在 Colab 中，您可以搭配 PyTorch 和 JAX 等架構選項使用 Gemma。詳情請參閱：

• 開始使用 Keras 存取 Gemma。
• 開始使用 PyTorch 版 Gemma。
• 使用 Keras 透過 Gemma 進行基本微調。
• 使用 Keras 搭配 Gemma 進行分散式微調。

Gemma 模型大小和功能

Gemma 模型提供多種大小，您可以根據可用的運算資源、所需功能和執行位置，建構生成式 AI 解決方案。每個模型都有經過調整和未經調整的版本：

• 預先訓練：這個版本的模型未接受任何特定工作或指令的訓練，僅使用 Gemma 核心資料訓練集。我們不建議您在未進行任何調整的情況下使用這個模型。

• 指令微調：這個版本的模型經過人類語言互動訓練，因此可以參與對話，類似於基本聊天機器人。

• 混合微調：這個版本的模型經過微調，可處理混合的學術資料集，並接受自然語言提示。

參數越小，資源需求就越低，部署彈性也越大。

模型名稱	參數大小	輸入內容	輸出內容	調整後的版本	預定平台
Gemma 3n
Gemma 3n E4B	40 億個有效參數	文字、圖片和音訊	文字	預先訓練 已調整指示	行動裝置和筆電
Gemma 3n E2B	20 億個有效參數	文字、圖片和音訊	文字	預先訓練 已調整指示	行動裝置和筆電
Gemma 3
Gemma 27B	270 億次	文字和圖片	文字	預先訓練 微調指令	大型伺服器或伺服器叢集
Gemma 12B	120 億次	文字和圖片	文字	預先訓練 微調指令	高階桌上型電腦和伺服器
Gemma 4B	40 億	文字和圖片	文字	預先訓練 微調指令	桌上型電腦和小型伺服器
Gemma 1B	10 億	文字	文字	預先訓練 已調整指示	行動裝置和筆電
Gemma 2
Gemma 27B	270 億次	文字	文字	預先訓練 微調指令	大型伺服器或伺服器叢集
Gemma 9B	90 億人	文字	文字	預先訓練 微調指令	高階桌上型電腦和伺服器
Gemma 2B	20 億	文字	文字	預先訓練 已調整指示	行動裝置和筆電
Gemma
Gemma 7B	70 億	文字	文字	預先訓練 微調指令	桌上型電腦和小型伺服器
Gemma 2B	22 億	文字	文字	預先訓練 已調整指示	行動裝置和筆電
CodeGemma
CodeGemma 7B	70 億	文字	文字	預先訓練 微調指令	桌上型電腦和小型伺服器
CodeGemma 2B	20 億	文字	文字	預先訓練	桌上型電腦和小型伺服器
PaliGemma 2
PaliGemma 28B	280 億	文字和圖片	文字	預先訓練 微調混音	大型伺服器或伺服器叢集
PaliGemma 10B	100 億	文字和圖片	文字	預先訓練 微調混音	高階桌上型電腦和伺服器
PaliGemma 3B	30 億	文字和圖片	文字	預先訓練 微調混音	桌上型電腦和小型伺服器
PaliGemma
PaliGemma 3B	30 億	文字和圖片	文字	預先訓練 微調混音	桌上型電腦和小型伺服器
ShieldGemma 2
ShieldGemma 2	40 億	文字和圖片	文字	微調	桌上型電腦和小型伺服器
TxGemma
TxGemma 27B	270 億次	文字	文字	預先訓練 微調指令	大型伺服器或伺服器叢集
TxGemma 9B	90 億人	文字	文字	預先訓練 微調指令	高階桌上型電腦和伺服器
TxGemma 2B	20 億	文字	文字	預先訓練	行動裝置和筆電
MedGemma
MedGemma 27B	270 億次	文字和圖片	文字	僅限文字的指令調整 調整指示	大型伺服器或伺服器叢集
MedGemma 4B	40 億	文字和圖片	文字	預先訓練 微調指令	桌上型電腦和小型伺服器
MedSigLIP
MedSigLIP	8 億	文字和圖片	嵌入	微調	行動裝置和筆電
T5Gemma
T5Gemma 9B-9B	180 億次	文字	文字	PrefixLM (預先訓練) PrefixLM，經指令微調 UL2，預先訓練 UL2，經過指令微調	行動裝置和筆電
T5Gemma 9B-2B	110 億次	文字	文字	PrefixLM (預先訓練) PrefixLM，經指令微調 UL2，預先訓練 UL2，經過指令微調	行動裝置和筆電
T5Gemma 2B-2B	40 億	文字	文字	PrefixLM (預先訓練) PrefixLM，經指令微調 UL2，預先訓練 UL2，經過指令微調	行動裝置和筆電
T5Gemma XL-XL	40 億	文字	文字	PrefixLM (預先訓練) PrefixLM，經指令微調 UL2，預先訓練 UL2，經過指令微調	行動裝置和筆電
T5Gemma M-L	20 億	文字	文字	PrefixLM (預先訓練) PrefixLM，經指令微調 UL2，預先訓練 UL2，經過指令微調	行動裝置和筆電
T5Gemma L-L	10 億	文字	文字	PrefixLM (預先訓練) PrefixLM，經指令微調 UL2，預先訓練 UL2，經過指令微調	行動裝置和筆電
T5Gemma B-B	0.6 億	文字	文字	PrefixLM (預先訓練) PrefixLM，經指令微調 UL2，預先訓練 UL2，經過指令微調	行動裝置和筆電
T5Gemma S-S	0.3 億	文字	文字	PrefixLM (預先訓練) PrefixLM，經指令微調 UL2，預先訓練 UL2，經過指令微調	行動裝置和筆電

我們已使用 Google 專為 v5e TPU 打造的硬體，以及 NVIDIA 的 L4(G2 Standard)、A100(A2 Standard)、H100(A3 High) GPU 硬體測試 Gemma。

後續步驟

• 請參閱 Gemma 說明文件。