Prognosecluster erstellen

Vorschau: „Onlinevorhersage“ ist eine Vorschaufunktion, die ohne Mängelgewähr zur Verfügung gestellt wird und nicht für Produktionsumgebungen empfohlen wird. Google bietet für Vorschaufunktionen keine Service-Level-Agreements (SLAs) oder Zusicherungen zum technischen Support. Weitere Informationen finden Sie unter Funktionsphasen von GDC.

Sie müssen Ihre benutzerdefinierten Vorhersageressourcen in dem Vorhersagecluster bereitstellen, den der Infrastrukturadministrator (Infrastructure Operator, IO) für Sie erstellt. Der Operator erstellt in diesem Cluster auch Vorhersagearbeitslasten.

Arbeiten Sie mit dem IO zusammen, um den Vorhersagecluster zu erstellen, Ihr Vorhersageprojekt zu verknüpfen und die für Onlinevorhersagen in Google Distributed Cloud (GDC) Air-Gapped erforderlichen Knotenpools zuzuweisen.

**Wichtig**: In jeder Organisation kann nur ein Vorhersagecluster vorhanden sein. Der IO kann jedoch mehrere Projekte an den Cluster anhängen und verknüpfen, um die Endpunkte zu trennen und zu organisieren.

So erstellen Sie einen Vorhersagecluster:

1. Suchen Sie das Projekt in Ihrer Organisation, das Sie mit dem neuen Cluster für Onlinevorhersagen verknüpfen möchten.

   Informationen zum Erstellen eines Projekts finden Sie unter Projekt für Vertex AI einrichten. Sie benötigen Ihre Projekt-ID, wenn Sie API-Aufrufe ausführen.

2. Wählen Sie in der Liste der verfügbaren Maschinentypen in Distributed Cloud den Maschinentyp für die Knoten aus, die Ihre Arbeitslasten im Cluster benötigen.

   Der von Ihnen ausgewählte Maschinentyp hängt von der Größe und Komplexität Ihres Vorhersagemodells ab und bestimmt die Compute- und GPU-Ressourcen (Graphics Processing Unit), die Ihr IO dem Cluster zur Verfügung stellt. Beachten Sie die Empfehlungen zur Knotenauswahl wenn Sie den Maschinentyp für Ihre Knoten auswählen.

3. Senden Sie eine E-Mail an den IO und verwenden Sie dabei die Fallvorlage für Vorhersagecluster, um einen Fall zu öffnen und Ihre Anfrage zum Erstellen des Clusters zu senden.

4. Kommunizieren Sie bei Bedarf mit dem IO, bis er den Vorhersagecluster erstellt und Ihrem Projekt zugeordnet und die entsprechenden Knotenpools im Cluster zugewiesen hat.

Nach Abschluss der Clusterbereitstellung ist der Vorhersagecluster für Onlinevorhersagen bereit.

Empfehlungen zur Knotenauswahl

Wenn der IO Knotenpools in einem Cluster erstellt, weist er einen der verfügbaren Maschinentypen in Distributed Cloud zu, um einen vordefinierten Satz von Ressourcen für die Worker-Knoten bereitzustellen. Je nach Größe und Komplexität des Modells benötigen Sie unterschiedliche Rechenleistungen und somit eine bestimmte Menge an CPU, Arbeitsspeicher und GPU. Sie müssen diese Details in Ihrer Kommunikation mit dem IO angeben, wenn Sie einen Vorhersagecluster erstellen möchten.

**Wichtig** :In Distributed Cloud werden virtualisierte GPUs im Cluster verwendet. Das bedeutet, dass Sie für jede angeforderte Anzahl von Beschleunigern ein Siebtel der GPU erhalten. Wenn Sie beispielsweise drei Beschleuniger im Ressourcenpool anfordern, erhalten Sie drei Siebtel einer GPU.

Wenn Sie mit dem IO den Maschinentyp für Knotenpools festlegen, die Sie im Vorhersagecluster benötigen, müssen Sie die folgenden Best Practices beachten:

• In Distributed Cloud wird den Knoten Rechenaufwand für obligatorische Systemkomponenten hinzugefügt. Daher müssen Sie für Ihre Knotenpools einen größeren Maschinentyp auswählen als den, den Sie im Ressourcenpool für Ihre Modelle verwenden möchten.
• Wählen Sie die Lösung aus, die den für Ihre Anforderungen erforderlichen Mindestspeicher und die Mindestanzahl an Rechenressourcen bietet. Wenn Ihr Modell beispielsweise acht vCPUs benötigt, wählen Sie den Maschinentyp n2-highcpu-8-gdc aus. Das ist die kleinste Lösung mit acht vCPUs und 8 GB Arbeitsspeicher in Distributed Cloud.
• Erwägen Sie im weiteren Verlauf nur Lösungen mit höherer Leistung, wenn kleinere Lösungen für Ihre Anforderungen und die Größe und Komplexität des Modells nicht ausreichen. Es ist wichtig, den Grundsatz der geringsten Berechtigung einzuhalten und nur die Ressourcen zu verwenden, die Sie zum Ausführen Ihres spezifischen Workflows benötigen. Dieser verantwortungsvolle Ansatz sorgt für eine sorgfältige Nutzung der Ressourcen in der Distributed Cloud-Umgebung.
• Wählen Sie nur Lösungen mit GPUs aus, wenn Sie diese für Ihr Modell benötigen.
• Wenn Ihr Modell GPUs erfordert, sollten Sie den Maschinentyp a2-highgpu-1g-gdc in Betracht ziehen. Das ist die kleinste Lösung, die GPUs bietet.

Fallvorlage für Vorhersagecluster

Verwenden Sie die folgende Vorlage, um eine E-Mail an Ihren IO zu senden. Mit der E-Mail wird ein Fall erstellt, um den Vorhersagecluster zu erstellen, den Sie für Onlinevorhersagen benötigen.

Good day,

I need to create a prediction cluster and associate it with a project in my organization to use online predictions.

Please use the following information for the creation of the cluster:

- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]

**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster

Thank you,
[Your name]