Gemini Enterprise Agent Platform Experiments ist ein Tool, mit dem Sie verschiedene Modellarchitekturen, Hyperparameter und Trainingsumgebungen verfolgen und analysieren können, um die Schritte, Eingaben und Ausgaben einer Testausführung zu verfolgen. Mit Gemini Enterprise Agent Platform Experiments können Sie auch die Leistung Ihres Modells im Vergleich zu Test-Datasets und während des Trainingslaufs bewerten. Anhand dieser Informationen können Sie dann das beste Modell für Ihren speziellen Anwendungsfall auswählen
Für Testausführungen fallen keine zusätzlichen Gebühren an. Ihnen werden nur Ressourcen in Rechnung gestellt, die Sie während der Tests verwenden (siehe Gemini Enterprise Agent Platform-Preise).
| Was möchten Sie tun? | Notebookbeispiel ansehen |
|---|---|
| Messwerte und Parameter erfassen | Modelle vergleichen |
| Testherkunft erfassen | Modelltraining |
| Pipelineausführungen erfassen | Pipelineausführungen vergleichen |
Schritte, Eingaben und Ausgaben erfassen
Mit Agent Platform Experiments können Sie Folgendes erfassen:
- Schritte einer Testausführung, z. B. Vorverarbeitung, Training,
- Eingaben, z. B. Algorithmus, Parameter, Datasets,
- Ausgaben dieser Schritte, z. B. Modelle, Prüfpunkte, Messwerte.
Sie können dann herausfinden, was funktioniert hat und was nicht, und weitere Möglichkeiten zum Testen bestimmen.
Beispiele für Nutzerverhalten finden Sie hier:
Modellleistung analysieren
Mit Agent Platform Experiments können Sie die Gesamtleistung des Modells im Vergleich zu Test-Datasets und während des Trainingslaufs erfassen und bewerten. Auf diese Weise können Sie die Leistungsmerkmale des Modells besser verstehen – wie gut ein bestimmtes Modell insgesamt funktioniert, wo es fehlschlägt und wo es am besten funktioniert.
Beispiele für Nutzerverhalten finden Sie hier:
Modellleistung vergleichen
Mit Agent Platform Experiments können Sie mehrere Modelle in Testausführungen gruppieren und vergleichen. Jedes Modell hat eigene angegebene Parameter, Modellierungsverfahren, Architekturen und Eingaben. Dieser Ansatz hilft bei der Auswahl des besten Modells.
Beispiele für Nutzerverhalten finden Sie hier:
Tests suchen
Die Google Cloud Console bietet eine zentrale Ansicht der Tests, eine Querschnittsansicht der Testausführungen und Details zu jeder Ausführung. Das Agent Platform SDK für Python stellt APIs bereit, um Tests, Testausführungen, Testausführungsparameter, Messwerte und Artefakte zu nutzen.
Agent Platform Experiments bietet zusammen mit Gemini Enterprise Agent Platform ML Metadata die Möglichkeit, die in einem Test erfassten Artefakte zu finden. So können Sie schnell die Herkunft des Artefakts und die in den Schritten einer Ausführung genutzten und erzeugten Artefakte einsehen.
Supportumfang
Gemini Enterprise Agent Platform Experiments unterstützt die Entwicklung von Modellen mit dem benutzerdefinierten Training der Gemini Enterprise Agent Platform, Gemini Enterprise Agent Platform Workbench-Notebooks, Notebooks und allen Python-ML-Frameworks in den meisten ML-Frameworks. Für einige ML-Frameworks wie TensorFlow bietet Gemini Enterprise Agent Platform Experiments tiefe Integrationen in das Framework, das die Nutzererfahrung automatisiert. Für andere ML-Frameworks bietet Gemini Enterprise Agent Platform Experiments ein neutrales Agent Platform SDK für Python, das Sie verwenden können. (Siehe Vordefinierte Container für TensorFlow, scikit-learn, PyTorch, XGBoost.)
Datenmodelle und Konzepte
Gemini Enterprise Agent Platform Experiments ist ein Kontext in Agent Platform ML Metadata, in dem ein Test n Testläufe zusätzlich zu n Pipelineausführungen enthalten kann. Eine Testausführung besteht aus Parametern, zusammenfassenden Messwerten, Zeitachsenmesswerten und Gemini Enterprise Agent Platform-Ressourcen PipelineJob, Artifact und Execution.
Vertex AI TensorBoard, eine verwaltete Version von Open-Source-TensorBoard, wird zum Speichern von Zeitachsenmesswerten verwendet. Ausführungen und Artefakte einer Pipelineausführung können in der Google Cloud -Konsole angezeigt werden.
Nutzungsbedingungen für Agent Platform-Tests
Test, Testausführung und Pipelineausführung
Test
- Ein Test ist ein Kontext, der eine Reihe von n Testausführungen zusätzlich zu Pipeline-Ausführungen enthalten kann, in denen ein Nutzer als Gruppe verschiedene Konfigurationen wie Eingabeartefakte oder Hyperparameter untersuchen kann.
Testausführung
- Eine bestimmte, nachvollziehbare Ausführung in einem Vertex AI-Test, bei der Eingaben (z. B. Algorithmus, Parameter und Datasets) und Ausgaben (z. B. Modelle, Checkpoints und Messwerte) protokolliert werden, um ML-Entwicklungsiterationen zu überwachen und zu vergleichen. Weitere Informationen finden Sie unter Testläufe erstellen und verwalten.
Pipelineausführung
- Ein oder mehrere Vertex PipelineJobs können mit einem Test verknüpft werden, wobei jeder PipelineJob als einzelne Ausführung dargestellt wird. In diesem Kontext werden die Parameter der Ausführung von den Parametern des PipelineJobs abgeleitet. Die Messwerte werden aus den von diesem PipelineJob generierten system.Metric-Artefakten abgeleitet. Die Artefakte der Ausführung werden aus Artefakten abgeleitet, die von diesem PipelineJob erstellt werden.
PipelineJob können mit einer ExperimentRun-Ressource verknüpft werden.
Die Parameter, Messwerte und Artefakte werden in diesem Kontext nicht abgeleitet.
Siehe Pipeline mit einem Test verknüpfen.
Parameter und Messwerte
Siehe Parameter loggen.
Zusammenfassende Messwerte
- Zusammenfassende Messwerte sind ein einzelner Wert für jeden Messwertschlüssel in einer Testausführung. Beispiel: Die Testgenauigkeit eines Tests ist die Genauigkeit, die anhand eines Test-Datasets am Ende des Trainings berechnet wird und als einzelner zusammenfassender Messwert erfasst werden kann.
Siehe Zusammenfassende Messwerte loggen.
Zeitachsenmesswerte
- Zeitachsenmesswerte sind Längengradmesswerte, wobei jeder Wert einen Schritt im Teil der Trainingsroutine einer Ausführung darstellt. Zeitachsenmesswerte werden in Vertex AI TensorBoard gespeichert. Vertex AI Experiments speichert einen Verweis auf die Vertex TensorBoard-Ressource.
Siehe Zeitachsenmesswerte loggen.
Ressourcentypen
Pipelinejob
- Ein Pipelinejob oder eine Pipelineausführung entspricht der PipelineJob-Ressource in der Vertex AI API. Sie ist eine Ausführungsinstanz Ihrer ML-Pipelinedefinition, die als eine Reihe von ML-Aufgaben definiert ist, die durch Ein-/Ausgabeabhängigkeiten miteinander verbunden sind.
artifact
- Ein Artefakt ist eine einzelne Entität oder ein Datenelement, das von einem ML-Workflow erzeugt und genutzt wird. Beispiele für Artefakte sind Datasets, Modelle, Eingabedateien und Trainingslogs.
Mit Agent Platform Experiments können Sie ein Schema verwenden, um den Typ des Artefakts zu definieren. Unterstützte Schematypen sind beispielsweise system.Dataset, system.Model und system.Artifact. Weitere Informationen finden Sie unter Systemschemas.