Beispiele

Training mit JAX

• Llama 3-8B mit JAX, Ray und GKE auf Trillium trainieren

  Führen Sie ein verteiltes Training des Llama 3-8B-Modells in der GKE mit JAX, Ray Train und TPU v6e (Trillium) mit MaxText für eine optimierte Multi-Host-Skalierung durch.

• Llama 3.1-70B mit GKE-Clustern auf Ironwood vortrainieren

  Trainieren Sie das Llama 3.1-70B-Modell auf TPU7x (Ironwood) mit dem MaxText-Framework.

• DeepSeek 3-671B mit GKE-Clustern auf Ironwood vortrainieren

  Trainieren Sie das DeepSeek 3-671B-Modell auf TPU7x mit optimierten Rezepten für umfangreiche Mixture-of-Experts-Architekturen (MoE).

• GPT OSS-120B mit GKE-Clustern auf Ironwood vortrainieren

  Trainieren Sie das GPT OSS-120B-Reasoning-Modell auf TPU7x mit optimierten Rezepten für umfangreiches verteiltes Training.

• Qwen 3-235B mit GKE-Clustern auf Ironwood vortrainieren

  Trainieren Sie das Qwen 3-235B-A22B-MoE-Modell auf TPU7x mit optimierten Rezepten für leistungsstarke Reasoning-Aufgaben.

• Wan 2.1-14B mit GKE-Clustern auf Ironwood vortrainieren

  Trainieren Sie das Modell zur Videogenerierung Wan 2.1-14B auf TPU7x mit optimierten Rezepten für die leistungsstarke Videosynthese.

• GPT3-175B mit GKE-Clustern auf Trillium vortrainieren

  Trainieren Sie das GPT3-175B-Modell auf TPU v6e mit MaxText und optimierten Rezepten für eine kostengünstige Leistung in großem Umfang.

• Gemma3-12B mit GKE-Clustern auf Trillium vortrainieren

  Trainieren Sie das Gemma3-12B-Modell auf TPU v6e mit MaxText und optimierten Rezepten für die Entwicklung leistungsstarker offener Modelle.

• Llama 3.1-70B mit GKE-Clustern auf Trillium vortrainieren

  Trainieren Sie Llama 3.1-70B auf TPU v6e mit MaxText und optimierten Rezepten für umfangreiches Modelltraining mit hohem Durchsatz.

• Llama 3.1-8B mit GKE-Clustern auf Trillium vortrainieren

  Trainieren Sie Llama 3.1-8B mit MaxText auf TPU v6e mit diesem optimierten Rezept für skalierbares und leistungsstarkes Vortraining.

• Mixtral-8x22B mit GKE-Clustern auf Trillium vortrainieren

  Trainieren Sie Mixtral-8x22B auf TPU v6e mit MaxText, um die Leistung und Effizienz zu optimieren.

• Mixtral-8x7B mit GKE-Clustern auf Trillium vortrainieren

  Trainieren Sie Mixtral-8x7B mit MaxText auf TPU v6e mit optimierten Konfigurationen für eine hohe MoE-Leistung mit hohem Durchsatz in Google Cloud.

• DeepSeek 3-671B mit GKE-Clustern auf v5p vortrainieren

  Trainieren und stellen Sie das DeepSeek 3-671B-Modell auf TPU v5p mit MaxText bereit, um eine optimierte Leistung im großen Maßstab zu erzielen.

• GPT3-175B mit GKE-Clustern auf v5p vortrainieren

  Trainieren Sie das GPT3-175B-Modell auf TPU v5p mit MaxText und optimierten Konfigurationen für umfangreiches verteiltes Training.

• Mixtral-8x7B mit GKE-Clustern auf v5p vortrainieren

  Trainieren Sie Mixtral-8x7B auf TPU v5p mit MaxText und optimierten Konfigurationen für leistungsstarke MoE-Arbeitslasten.

• SDXL mit GKE-Clustern auf v5p vortrainieren

  Stable Diffusion XL (SDXL) auf TPU v5p mit MaxDiffusion für leistungsstarke generative KI-Arbeitslasten trainieren und skalieren.

Training mit PyTorch

• Qwen 3-32B mit TorchTitan mithilfe von GKE-Clustern auf Ironwood vortrainieren

  Trainieren Sie das Qwen 3-32B-Modell auf TPU7x (Ironwood) mit PyTorch, TorchTPU und dem TorchTitan-Framework.

• Qwen 3-30B-A3B mit TorchTitan mithilfe von GKE-Clustern auf Ironwood vortrainieren

  Trainieren Sie das Qwen 3-30B-A3B Mixture-of-Experts (MoE)-Modell auf TPU7x mit PyTorch, TorchTPU und TorchTitan.

• Qwen 3-8B mit TorchTitan mithilfe von GKE-Clustern auf Ironwood vortrainieren

  Trainieren Sie das Qwen 3-8B-Modell auf TPU7x mit PyTorch, TorchTPU und TorchTitan für skalierbares verteiltes Training.

• Muse Glimmer 30B mit TorchTitan mithilfe von GKE-Clustern auf Ironwood vortrainieren

  Trainieren Sie das Muse Glimmer 30B-Modell auf TPU7x mit PyTorch, TorchTPU und TorchTitan.

• Llama 3-70B mit TorchTitan auf Ironwood vortrainieren

  Trainieren Sie das Llama 3-70B-Modell auf TPU7x (Ironwood) mit PyTorch, TorchTPU und TorchTitan.

• Llama 3-8B mit TorchTitan auf Trillium vortrainieren

  Trainieren Sie das Llama 3-8B-Modell auf TPU v6e (Trillium) mit PyTorch, TorchTPU und TorchTitan.

Inferenz mit JAX

• Llama 3.1-70B mit GKE und vLLM auf Trillium bereitstellen

  LLMs in GKE mit TPU v6e und vLLM bereitstellen, mit optimiertem Autoscaling und leistungsstarker Modellbereitstellung in Google Cloud.

• LLMs mit GKE und KubeRay bereitstellen

  Stellen Sie ein LLM mit TPUs in der GKE mit dem Ray Operator-Add-on und dem vLLM-Serving-Framework bereit.

• Offene LLMs mit GKE und Terraform bereitstellen

  Stellen Sie eine GKE-Inferenzumgebung bereit und stellen Sie offene LLMs mithilfe von TPUs und einer vorkonfigurierten Terraform-Architektur bereit.

• Stable Diffusion XL (SDXL) mit der GKE bereitstellen

  Stable Diffusion XL (SDXL) in GKE mit Cloud TPUs und dem MaxDiffusion-Framework für eine leistungsstarke Bildgenerierung bereitstellen.

• GPT OSS-120B mit vLLM mithilfe von GKE-Clustern auf Ironwood bereitstellen

  Führen Sie leistungsstarke Inferenzen für GPT-OSS-Modelle auf TPU7x mit vLLM aus, um einen optimierten Durchsatz und eine Bereitstellung mit niedriger Latenz in Google Cloud zu erreichen.

• Qwen3-Coder-480B mit vLLM mithilfe von GKE-Clustern auf Ironwood bereitstellen

  Stellen Sie Qwen3-Coder-480B-A35B auf TPU7x mit vLLM für optimierte Codegenerierung und Inferenz mit hohem Durchsatz bereit.

• Llama 3.1-8B mit vLLM auf Trillium bereitstellen

  Stellen Sie Llama 3.1-8B auf TPU v6e mit vLLM für optimierte Inferenz mit niedriger Latenz und Bereitstellung mit hohem Durchsatz bereit.

• Qwen 3 mit vLLM auf Trillium bereitstellen

  Stellen Sie Qwen 3-Modelle auf TPU v6e mit vLLM bereit, um eine leistungsstarke, skalierbare Inferenz und einen optimierten Durchsatz zu erzielen.

• Qwen2.5-32B mit vLLM auf Trillium bereitstellen

  Stellen Sie das Qwen2.5-32B-Modell auf TPU v6e mit vLLM für eine optimierte Inferenz mit hohem Durchsatz bereit.

• Qwen2.5-VL mit vLLM auf Trillium bereitstellen

  Stellen Sie Qwen2.5-VL-Vision-Language-Modelle auf TPU v6e mit vLLM für eine optimierte, leistungsstarke multimodale Inferenz bereit.

Inferenz mit PyTorch

• Qwen 3.5-397B mit vLLM-TorchTPU mithilfe von GKE-Clustern auf Ironwood bereitstellen

  Stellen Sie das Qwen 3.5-397B-Modell auf TPU7x mit PyTorch und vLLM-TorchTPU für die verteilte Inferenz auf mehreren Hosts bereit.

• Gemma 4-26B mit vLLM-TorchTPU auf Ironwood bereitstellen

  Stellen Sie das Gemma 4-26B-Modell auf TPU7x mit PyTorch und dem vLLM-TorchTPU-Backend für Inferenz mit hohem Durchsatz bereit.

• GLM-5.2 mit vLLM-TorchTPU auf Ironwood bereitstellen

  Stellen Sie das GLM-5.2-Modell auf TPU7x mit PyTorch und dem vLLM-TorchTPU-Backend bereit.

• Qwen 3-32B mit vLLM-TorchTPU auf Trillium bereitstellen

  Stellen Sie das Qwen 3-32B-Modell auf TPU v6e (Trillium) mit PyTorch und dem vLLM-TorchTPU-Backend bereit.

• Qwen 3.5-35B-A3B mit vLLM-TorchTPU auf Trillium bereitstellen

  Das Mixture-of-Experts-Modell (MoE) Qwen 3.5-35B-A3B auf TPU v6e mit PyTorch und dem vLLM-TorchTPU-Backend bereitstellen.

• Gemma 4-26B mit vLLM-TorchTPU auf Trillium bereitstellen

  Stellen Sie das Gemma 4-26B-Modell auf TPU v6e mit PyTorch und dem vLLM-TorchTPU-Backend bereit.