Recettes d'optimisation du bon débit

Ce document vous aide à optimiser le débit utile, c'est-à-dire le débit de données utiles transférées, pour vos charges de travail. Pour ce faire, nous avons sélectionné des recettes de débit utile reproductibles qui utilisent des frameworks et des modèles de machine learning (ML) courants. Pour consulter ces recettes, accédez à l' organisation GitHub AI Hypercomputer. Les recettes de débit utile ont été testées sur des clusters créés à l'aide de Cluster Toolkit.

Pour garantir une fiabilité optimale des charges de travail et maximiser votre débit utile, vous pouvez également identifier de manière proactive les nœuds d'un cluster Google Kubernetes Engine (GKE) susceptibles de se dégrader au cours des cinq prochaines heures. Cet avertissement précoce vous permet d'éviter de planifier de nouvelles charges de travail sur des VM à risque, ce qui réduit le risque d'interruption de vos tâches. Pour en savoir plus, consultez la section Activer la prédiction de l'état des nœuds.

Avant de commencer

Avant d'utiliser les recettes de débit utile de ce document, procédez comme suit si vous ne l'avez pas déjà fait :

  1. Choisissez l'accélérateur le mieux adapté à votre charge de travail.

  2. Choisissez une méthode de consommation en fonction de l'accélérateur de votre choix.

  3. Créez votre cluster.

Recettes

Les recettes de débit utile reproductibles suivantes sont disponibles pour le pré-entraînement sur les clusters GKE :

Nom de la recette Accélérateur Modèle Framework Type de charge de travail
Llama3.1 70B - A3 Mega A3 Mega Llama3.1 70B NeMo Pré-entraînement sur GKE

Étape suivante