Modelle für generative KI und maschinelles Lernen in einem Unternehmen erstellen und bereitstellen

Last reviewed 2024-03-28 UTC

Modelle für generative KI und maschinelles Lernen (ML) werden in den Geschäftsaktivitäten und Geschäftsprozessen von Unternehmen immer häufiger verwendet. Unternehmen benötigen daher immer mehr Anleitungen bei der Modellentwicklung, um Konsistenz, Wiederholbarkeit, Sicherheit und Schutz zu gewährleisten. Zur Unterstützung großer Unternehmen beim Erstellen und Bereitstellen von Modellen für generative KI und ML haben wir den Blueprint für generative KI und maschinelles Lernen für Unternehmen erstellt. Dieser Blueprint bietet einen umfassenden Leitfaden für den gesamten Lebenszyklus der KI-Entwicklung, von der explorativen Datenanalyse und Experimentierung über das Modelltraining, die Bereitstellung und Überwachung.

Der Blueprint für generative KI und ML für Unternehmen bietet viele Vorteile, darunter:

  • Präskriptive Anleitung: Klare Anleitung zum Erstellen, Konfigurieren und Bereitstellen einer Entwicklungsumgebung für generative KI und ML auf der Grundlage von Vertex AI. Sie können Vertex AI verwenden, um eigene Modelle zu entwickeln.
  • Erhöhte Effizienz: Umfassende Automatisierung zur Reduzierung des Aufwands bei der Bereitstellung von Infrastruktur und der Entwicklung von Modellen für generative KI und ML. Dank der Automatisierung können Sie sich auf wertschöpfende Aufgaben wie Modelldesign und Experimente konzentrieren.
  • Erweiterte Governance und Nachvollziehbarkeit: Reproduzierbarkeit, Nachverfolgbarkeit und kontrollierte Bereitstellung von Modellen sind in das Design dieses Blueprints eingebunden. Mit diesem Vorteil können Sie den Lebenszyklus Ihres Modells für generative KI und ML besser verwalten und Modelle mit klaren Audit-Trails konsistent neu trainieren und bewerten.
  • Sicherheit: Der Blueprint ist so konzipiert, dass er den Anforderungen des NIST-Frameworks (National Institute of Standards and Technology) und des CRI-Frameworks (Cyber Risk Institute) entspricht:

Der Blueprint für generative KI und ML für Unternehmen enthält Folgendes:

  • Ein GitHub-Repository, das eine Reihe von Terraform-Konfigurationen, ein Jupyter-Notebook, eine Vertex AI Pipelines-Definition, einen gerichteten azyklischen Graphen (Directed Acyclic Graph, DAG) für Managed Service for Apache Airflow und Zusatzskripts enthält. Die Komponenten im Repository führen die folgenden Aufgaben aus:

    • Mit der Terraform-Konfiguration wird eine Vertex AI-Modellentwicklungsplattform eingerichtet, die mehrere Modellentwicklungsteams unterstützen kann.
    • Mit dem Jupyter-Notebook können Sie ein Modell interaktiv entwickeln.
    • Managed Airflow-DAG bietet das primäre Orchestrierungs-Framework für Ihr Jupyter-Notebook in Produktionsumgebungen.
    • Die Vertex AI Pipelines-Definition bietet eine Alternative für die Orchestrierung spezialisierter Machine-Learning-Aufgaben für containerbasierte Workflows und Trainingsjobs, die vollständig im Vertex AI-Ökosystem enthalten sind.
    • Die Hilfsskripts unterstützen die Bereitstellung des Terraform-Codes und der Pipelines.

  • Einer Anleitung zu den Architektur-, Design-, Sicherheitskontrollen und Betriebsprozessen, die Sie mit diesem Blueprint implementieren (dieses Dokument).

Der Blueprint für generative KI und ML für Unternehmen ist so konzipiert, dass er mit dem Blueprint zu Unternehmensgrundlagen kompatibel ist. Der Blueprint zu den Unternehmensgrundlagen bietet eine Reihe von Diensten auf Basisebene, auf die dieser Blueprint basiert, z. B. VPC-Netzwerke. Sie können den Blueprint für generative KI und ML für Unternehmen bereitstellen, ohne den Blueprint für Unternehmensgrundlagen bereitzustellen, wenn Ihre Google Cloud -Umgebung die erforderlichen Funktionen zur Unterstützung des Blueprints für generative KI und ML für Unternehmen bietet.

Dieses Dokument richtet sich an Cloud-Architekten, Data Scientists und Data Engineers, die mit dem Blueprint neue Modelle für generative KI und ML in Google Clouderstellen und bereitstellen können. In diesem Dokument wird davon ausgegangen, dass Sie mit der Modellentwicklung für generative KI und ML und der Vertex AI-ML-Plattform vertraut sind.

Eine Übersicht über Architekturprinzipien und Empfehlungen, die speziell für KI- und ML-Arbeitslasten in Google Cloudgelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive.

Übersicht über Blueprint für generative KI und ML für Unternehmen

Der Blueprint für generative KI und ML für Unternehmen verwendet einen mehrstufigen Ansatz, um die Funktionen bereitzustellen, die das Training von Modellen für generative KI und ML ermöglichen. Der Blueprint soll über einen MLOps-Workflow bereitgestellt und gesteuert werden. Das folgende Diagramm zeigt, wie die von diesem Blueprint bereitgestellte MLOps-Ebene mit anderen Ebenen in Ihrer Umgebung zusammenhängt.

Die Blueprint-Ebenen.

Dieses Diagramm enthält Folgendes:

  • Die Google Cloud -Infrastruktur bietet Ihnen Sicherheitsfunktionen wie Verschlüsselung ruhender Daten und Verschlüsselung während der Übertragung sowie Grundbausteine wie Computing und Speicher.
  • Die Unternehmensgrundlage bietet Ihnen eine Baseline von Ressourcen wie Identität, Netzwerk, Logging, Monitoring und Bereitstellungssystemen, mit denen Sie Google Cloud für Ihre KI-Arbeitslasten übernehmen können.
  • Die Datenschicht ist eine optionale Ebene im Entwicklungs-Stack, die Ihnen verschiedene Funktionen wie Datenaufnahme, Datenspeicherung, Datenzugriffssteuerung, Data Governance, Datenmonitoring und Datenweitergabe bietet.
  • Mit der Ebene für generative KI und ML (dieser Blueprint) können Sie Modelle erstellen und bereitstellen. Sie können diese Ebene für die explorative Datenanalyse und Experimentierung, das Modelltraining, die Modellbereitstellung und die Überwachung verwenden.
  • CI/CD bietet Ihnen die Tools, um die Bereitstellung, Konfiguration, Verwaltung und Bereitstellung von Infrastruktur, Workflows und Softwarekomponenten zu automatisieren. Mit diesen Komponenten sorgen Sie für konsistente, zuverlässige und überprüfbare Bereitstellungen und können manuelle Fehler minimieren und den gesamten Entwicklungszyklus beschleunigen.

Der Blueprint enthält ein Beispiel für eine ML-Modellentwicklung, um zu zeigen, wie die Umgebung der generativen KI und ML verwendet wird. Die Beispielmodellentwicklung führt Sie durch die Erstellung eines Modells, die Erstellung von operativen Pipelines, das Training des Modells, das Testen des Modells und die Bereitstellung des Modells.

Architektur

Mit dem Blueprint für generative KI und ML für Unternehmen können Sie direkt mit Daten arbeiten. Sie können Modelle in einer interaktiven Entwicklungsumgebung erstellen und die Modelle in eine Betriebsumgebung (Produktion oder Nicht-Produktion) hochstufen.

In der interaktiven Umgebung entwickeln Sie ML-Modelle mit Vertex AI Workbench, einem von Google verwalteten Jupyter Notebook-Dienst. Sie erstellen Funktionen zur Datenextraktion, Datentransformation und Modelloptimierung in der interaktiven Umgebung und stellen sie in der Betriebsumgebung bereit.

In der Betriebsumgebung (Nicht-Produktionsumgebung) verwenden Sie Pipelines, um Ihre Modelle wiederholbar und kontrollierbar zu erstellen und zu testen. Wenn Sie mit der Leistung des Modells zufrieden sind, können Sie es in der Betriebsumgebung (Produktionsumgebung) bereitstellen. Das folgende Diagramm zeigt die verschiedenen Komponenten der interaktiven und operativen Umgebungen.

Die Blueprint-Architektur.

Dieses Diagramm enthält Folgendes:

  1. Bereitstellungssysteme: Dienste wie Service Catalog und Cloud Build stellen Google Cloud -Ressourcen in der interaktiven Umgebung bereit. Cloud Build stellt außerdem Google Cloud -Ressourcen und Workflows zum Erstellen von Modellen in der Betriebsumgebung bereit.
  2. Datenquellen: Dienste wie BigQuery, Cloud Storage, Spanner und AlloyDB for PostgreSQL hosten Ihre Daten. Der Blueprint stellt Beispieldaten in BigQuery und Cloud Storage bereit.
  3. Interaktive Umgebung: Eine Umgebung, in der Sie direkt mit Daten interagieren, Modelle testen und Pipelines für die Verwendung in der Betriebsumgebung erstellen können.
  4. Betriebsumgebung: Eine Umgebung, in der Sie Ihre Modelle wiederholbar erstellen und testen und dann in der Produktion bereitstellen können.
  5. Modelldienste: Die folgenden Dienste unterstützen verschiedene MLOps-Aktivitäten:
  6. Artefaktspeicher: Diese Dienste speichern den Code und die Container für Ihre Modellentwicklung und -pipelines. Dazu gehören:
    • In Artifact Registry werden Container gespeichert, die von Pipelines in der Betriebsumgebung verwendet werden, um die verschiedenen Phasen der Modellentwicklung zu steuern.
    • Im Git-Repository wird der Codebasis der verschiedenen Komponenten gespeichert, die bei der Modellentwicklung verwendet werden.

Plattformidentitäten

Wenn Sie den Blueprint bereitstellen, erstellen Sie vier Arten von Nutzergruppen: eine MLOps-Entwicklergruppe, eine DevOps-Entwicklergruppe, eine Data-Scentist-Gruppe und eine Data-Entwickler-Gruppe. Die Gruppen haben die folgenden Verantwortlichkeiten:

  • Die Gruppe MLOps-Entwickler entwickelt die Terraform-Vorlagen, die vom Service Catalog verwendet werden. Dieses Team stellt Vorlagen bereit, die von vielen Modellen verwendet werden.
  • Die DevOps-Entwicklergruppe genehmigt die Terraform-Vorlagen, die von der MLOps-Entwicklergruppe erstellt werden.
  • Die Gruppe der Data Scientists entwickelt Modelle, Pipelines und die Container, die von den Pipelines verwendet werden. In der Regel ist ein einzelnes Team für die Erstellung eines einzelnen Modells zuständig.
  • Die Gruppe Data Engineer genehmigt die Verwendung der Artefakte, die von der Data Science-Gruppe erstellt werden.

Organisationsstruktur

Dieser Blueprint verwendet die Organisationsstruktur des Blueprints für Unternehmensgrundlagen als Basis für die Bereitstellung von KI- und ML-Arbeitslasten. Das folgende Diagramm zeigt die Projekte, die der Grundlage hinzugefügt werden, um KI- und ML-Arbeitslasten zu ermöglichen.

Die Blueprint-Organisationsstruktur.

In der folgenden Tabelle werden die Projekte beschrieben, die vom Blueprint für generative KI und ML verwendet werden.

Ordner Projekt Beschreibung

common

prj-c-infra-pipeline

 Enthält die Bereitstellungspipeline, mit der die Komponenten für generative KI und ML des Blueprints erstellt werden. Weitere Informationen finden Sie im Blueprint für Unternehmensgrundlagen unter Infrastrukturpipeline.

prj-c-service-catalog

 Enthält die Infrastruktur, die von Service Catalog zum Bereitstellen von Ressourcen in der interaktiven Umgebung verwendet wird.

development

prj-d-machine-learning

 Enthält die Komponenten zum Entwickeln eines KI- und ML-Anwendungsfalls im interaktiven Modus.

non-production

prj-n-machine-learning

 Enthält die Komponenten zum Testen und Bewerten eines KI- und ML-Anwendungsfalls, der für die Produktion bereitgestellt werden kann.

production

prj-p-machine-learning

 Enthält die Komponenten zum Bereitstellen eines KI- und ML-Anwendungsfalls in der Produktion.

Netzwerk

Der Blueprint verwendet das freigegebene VPC-Netzwerk, das im Blueprint für Unternehmensgrundlagen erstellt wurde. In der interaktiven Entwicklungsumgebung werden Vertex AI Workbench-Notebooks in Dienstprojekten bereitgestellt. Lokale Nutzer können über den privaten IP-Adressbereich im freigegebene VPC-Netzwerk auf die Projekte zugreifen. Lokale Nutzer können über Private Service Connect auf Google Cloud APIs wie Cloud Storage zugreifen. Jedes gemeinsam genutzte VPC-Netzwerk (Entwicklung, Nicht-Produktion und Produktion) hat einen eigenen Private Service Connect-Endpunkt.

Das Blueprint-Netzwerk.

Die Betriebsumgebung (Nicht-Produktion und Produktion) hat zwei separate freigegebene VPC-Netzwerke, auf die lokale Ressourcen über private IP-Adressen zugreifen können. Die interaktiven und operativen Umgebungen werden mit VPC Service Controls geschützt.

Cloud Logging

Dieser Blueprint verwendet die Cloud Logging-Funktionen, die vom Unternehmensgrundlagen-Blueprint bereitgestellt werden.

Cloud Monitoring

Zum Überwachen benutzerdefinierter Trainingsjobs enthält der Blueprint ein Dashboard, mit dem Sie die folgenden Messwerte überwachen können:

  • CPU-Auslastung der einzelnen Trainingsknoten
  • Arbeitsspeicherauslastung der einzelnen Trainingsknoten
  • Netzwerknutzung

Wenn ein benutzerdefinierter Trainingsjob fehlgeschlagen ist, nutzt der Blueprint Cloud Monitoring für eine E-Mail-Benachrichtigung, um Sie über den Fehler zu informieren. Für das Monitoring bereitgestellter Modelle, die den Vertex AI-Endpunkt verwenden, enthält der Blueprint ein Dashboard mit den folgenden Messwerten:

  • Leistungsmesswerte:
    • Vorhersagen pro Sekunde
    • Modelllatenz
  • Ressourcennutzung:
    • CPU-Nutzung
    • Arbeitsspeichernutzung

Einrichtung einer Organisationsrichtlinie

Zusätzlich zu den Organisationsrichtlinien, die vom Blueprint zu Unternehmensgrundlagen erstellt wurden, fügt dieser Blueprint die Organisationsrichtlinien hinzu, die unter vordefinierter Status für sichere KI, erweitert aufgeführt werden.

Vorgänge

In diesem Abschnitt werden die im Blueprint enthaltenen Umgebungen beschrieben.

Interaktive Umgebung

Damit Sie Daten untersuchen und Modelle entwickeln können, ohne den Sicherheitsstatus Ihrer Organisation zu beeinträchtigen, bietet die interaktive Umgebung eine kontrollierte Reihe von Aktionen, die Sie ausführen können. Sie können Google Cloud-Ressourcen mit einer der folgenden Methoden bereitstellen:

  • Service Catalog verwenden, der durch Automatisierung mit Ressourcenvorlagen vorkonfiguriert ist
  • Codeartefakte mithilfe von Vertex AI Workbench-Notebooks erstellen und per Commit an Git-Repositories übergeben

Das folgende Diagramm zeigt die interaktive Umgebung.

Die interaktive Blueprint-Umgebung.

Ein typischer interaktiver Ablauf umfasst die folgenden Schritte und Komponenten, die damit assoziiert sind:

  1. Service Catalog bietet eine ausgewählte Liste vonGoogle Cloud -Ressourcen, die Data Scientists in der interaktiven Umgebung bereitstellen können. Der Data Scientist stellt die Vertex AI Workbench-Notebook-Ressource aus dem Service Catalog bereit.
  2. Vertex AI Workbench-Notebooks sind die Hauptschnittstelle, die Data Scientists für die Arbeit mit Google Cloud -Ressourcen verwenden, die in der interaktiven Umgebung bereitgestellt werden. Mit den Notebooks können Data Scientists ihren Code aus Git abrufen und bei Bedarf aktualisieren.
  3. Quelldaten werden außerhalb der interaktiven Umgebung gespeichert und separat von diesem Blueprint verwaltet. Der Zugriff auf die Daten wird von einem Daten-Inhaber gesteuert. Data Scientists können Lesezugriff auf Quelldaten anfordern, aber nicht in die Quelldaten schreiben.
  4. Data Scientists können Quelldaten in die interaktive Umgebung in Ressourcen übertragen, die über den Service Catalog erstellt wurden. In der interaktiven Umgebung können Data Scientists die Daten lesen, schreiben und bearbeiten. Data Scientists können jedoch keine Daten aus der interaktiven Umgebung übertragen oder Zugriff auf Ressourcen gewähren, die von Service Catalog erstellt wurden. BigQuery speichert strukturierte und semistrukturierte Daten und Cloud Storage speichert unstrukturierte Daten.
  5. Feature Store bietet Data Scientists Zugriff mit niedriger Latenz auf Features für das Modelltraining.

  6. Data Scientists trainieren Modelle mit benutzerdefinierten Trainingsjobs von Vertex AI. Der Blueprint verwendet Vertex AI auch für die Hyperparameter-Abstimmung.

  7. Data Scientists bewerten Modelle mithilfe von Vertex AI Experiments und Vertex AI TensorBoard. Mit Vertex AI Experiments können Sie mehrere Trainings für ein Modell mit unterschiedlichen Parametern, Modellierungstechniken, Architekturen und Eingaben ausführen. Mit Vertex AI TensorBoard können Sie die verschiedenen Tests, die Sie ausgeführt haben, verfolgen, visualisieren und vergleichen und dann das Modell mit den besten beobachteten Merkmalen zur Validierung auswählen.

  8. Data Scientists validieren ihre Modelle mit der Vertex AI-Bewertung. Um ihre Modelle zu validieren, teilen Data Scientists die Quelldaten in einen Trainings- und einen Validierungsdatensatz auf und führen eine Vertex AI-Bewertung für ihr Modell durch.

  9. Data Scientists erstellen Container mit Cloud Build, speichern sie in Artifact Registry und verwenden sie in Pipelines in der Betriebsumgebung.

Betriebsumgebung

In der Betriebsumgebung werden ein Git-Repository und Pipelines verwendet. Diese Umgebung umfasst die Produktionsumgebung und die Nicht-Produktionsumgebung des Blueprints der Unternehmensgrundlage. In der Nicht-Produktionsumgebung wählt der Data Scientist eine Pipeline aus einer der Pipelines aus, die in der interaktiven Umgebung entwickelt wurden. Der Data Scientist kann die Pipeline in der Nicht-Produktionsumgebung ausführen, die Ergebnisse auswerten und dann bestimmen, welches Modell in die Produktionsumgebung hochgestuft werden soll.

Der Blueprint enthält eine Beispielpipeline, die mit Managed Airflow erstellt wurde, und eine Beispielpipeline, die mit Vertex AI Pipelines erstellt wurde. Das folgende Diagramm zeigt die Betriebsumgebung.

Die Blueprint-Betriebsumgebung.

Ein typischer operativer Ablauf umfasst die folgenden Schritte:

  1. Ein Data Scientist führt einen Entwicklungszweig erfolgreich in einen Bereitstellungszweig zusammen.
  2. Das Zusammenführen in den Bereitstellungszweig löst eine Cloud Build-Pipeline aus.
  3. Eines der folgenden Ereignisse tritt ein:
    • Wenn ein Data Scientist Managed Airflow als Orchestrator verwendet, verschiebt die Cloud Build-Pipeline einen DAG in Cloud Storage.
    • Wenn der Data Scientist Vertex AI Pipelines als Orchestrator verwendet, verschiebt die Pipeline eine Python-Datei in Cloud Storage.
  4. Die Cloud Build-Pipeline löst den Orchestrator (Managed Airflow oder Vertex AI Pipelines) aus.
  5. Der Orchestrator ruft die Pipelinedefinition aus Cloud Storage ab und beginnt mit der Ausführung der Pipeline.
  6. Die Pipeline ruft einen Container aus Artifact Registry ab, der von allen Phasen der Pipeline zum Auslösen von Vertex AI-Diensten verwendet wird.
  7. Die Pipeline löst mithilfe des Containers eine Datenübertragung vom Quelldatenprojekt in die Betriebsumgebung aus.
  8. Die Daten werden von der Pipeline transformiert, validiert, aufgeteilt und für das Modelltraining und die Validierung vorbereitet.
  9. Bei Bedarf verschiebt die Pipeline Daten in Vertex AI Feature Store, um den Zugriff während des Modelltrainings zu erleichtern.
  10. Die Pipeline verwendet das benutzerdefinierte Modelltraining von Vertex AI, um das Modell zu trainieren.
  11. Die Pipeline verwendet die Vertex AI-Bewertung, um das Modell zu validieren.
  12. Ein validiertes Modell wird von der Pipeline in die Model Registry importiert.
  13. Das importierte Modell wird dann verwendet, um Vorhersagen über Onlinevorhersagen oder Batchvorhersagen zu generieren.
  14. Nachdem das Modell in der Produktionsumgebung bereitgestellt wurde, verwendet die Pipeline Vertex AI Model Monitoring, um zu ermitteln, ob die Leistung des Modells durch Monitoring auf Abweichungen zwischen Training und Bereitstellung und Vorhersage-Drift beeinträchtigt wird.

Bereitstellung

Der Blueprint verwendet eine Reihe von Cloud Build-Pipelines, um die Blueprint-Infrastruktur, die Pipeline in der Betriebsumgebung und die Container zum Erstellen von Modellen für generative KI und ML bereitzustellen. Die verwendeten Pipelines und die bereitgestellten Ressourcen sind:

  • Infrastrukturpipeline: Diese Pipeline ist Teil des Blueprints für Unternehmensgrundlagen. Diese Pipeline stellt die Google Cloud -Ressourcen bereit, die mit der interaktiven Umgebung und der Betriebsumgebung verknüpft sind.
  • Interaktive Pipeline: Die interaktive Pipeline ist Teil der interaktiven Umgebung. Diese Pipeline kopiert Terraform-Vorlagen aus einem Git-Repository in einen Cloud Storage-Bucket, den Service Catalog lesen kann. Die interaktive Pipeline wird ausgelöst, wenn eine Pull-Anfrage zum Zusammenführen mit dem Haupt-Branch gestellt wird.
  • Container-Pipeline: Der Blueprint enthält eine Cloud Build-Pipeline zum Erstellen von Containern, die in der Betriebspipeline verwendet werden. Container, die in verschiedenen Umgebungen bereitgestellt werden, sind unveränderliche Container-Images. Unveränderliche Container-Images gewährleisten, dass dasselbe Image in allen Umgebungen bereitgestellt wird und während deren Ausführung nicht geändert werden kann. Wenn Sie die Anwendung ändern müssen, müssen Sie das Image neu erstellen und noch einmal bereitstellen. Container-Images, die im Blueprint verwendet werden, werden in Artifact Registry gespeichert und von den Konfigurationsdateien referenziert, die in der Betriebspipeline verwendet werden.
  • Betriebspipeline: Die Betriebspipeline ist Teil der Betriebsumgebung. Diese Pipeline kopiert DAGs für Managed Airflow oder Vertex AI Pipelines, die dann zum Erstellen, Testen und Bereitstellen von Modellen verwendet werden.

Service Catalog

Mit Service Catalog können Entwickler und Cloud-Administratoren ihre Lösungen für interne Unternehmensnutzer nutzbar machen. Die Terraform-Module in Service Catalog werden mit der Cloud Build-CI/CD-Pipeline erstellt und als Artefakte im Cloud Storage-Bucket veröffentlicht. Nachdem die Module in den Bucket kopiert wurden, können Entwickler mithilfe der Module Terraform-Lösungen auf der Service Catalog-Admin-Seite erstellen, die Lösungen zu Service Catalog hinzufügen und die Lösungen für interaktive Umgebungsprojekte freigeben, sodass Nutzer die Ressourcen bereitstellen können.

In der interaktiven Umgebung können Data Scientists mit Service Catalog Google Cloud -Ressourcen so bereitstellen, dass der Sicherheitsstatus ihres Unternehmens eingehalten wird. Bei der Entwicklung eines Modells, dasGoogle Cloud -Ressourcen erfordert, z. B. einen Cloud Storage-Bucket, wählt der Data Scientist die Ressource aus Service Catalog aus, konfiguriert sie und stellt sie in der interaktiven Umgebung bereit. Service Catalog enthält vorkonfigurierte Vorlagen für verschiedene Google Cloud -Ressourcen, die der Data Scientist in der interaktiven Umgebung bereitstellen kann. Der Data Scientist kann die Ressourcenvorlagen nicht ändern, aber die Ressourcen über die Konfigurationsvariablen konfigurieren, die die Vorlage bereitstellt. Das folgende Diagramm zeigt die Struktur der Beziehung zwischen dem Service Catalog und der interaktiven Umgebung.

Der Blueprint-Katalog.

Data Scientists stellen Ressourcen mithilfe des Service Catalog bereit, wie in den folgenden Schritten beschrieben:

  1. Der MLOps-Engineer legt eine Terraform-Ressourcenvorlage fürGoogle Cloud in einem Git-Repository ab.
  2. Der Commit an Git löst eine Cloud Build-Pipeline aus.
  3. Cloud Build kopiert die Vorlage und alle zugehörigen Konfigurationsdateien in Cloud Storage.
  4. Der MLOps-Engineer richtet die Service Catalog-Lösungen und den Service Catalog manuell ein. Anschließend gibt der Engineer den Service Catalog für ein Dienstprojekt in der interaktiven Umgebung frei.
  5. Der Data Scientist wählt eine Ressource aus Service Catalog aus.
  6. Service Catalog stellt die Vorlage in der interaktiven Umgebung bereit.
  7. Die Ressource ruft alle erforderlichen Konfigurationsskripts ab.
  8. Der Data Scientist interagiert mit den Ressourcen.

Repositories

Die unter Bereitstellung beschriebenen Pipelines werden durch Änderungen im entsprechenden Repository ausgelöst. Um sicherzustellen, dass niemand unabhängige Änderungen an der Produktionsumgebung vornehmen kann, werden die Verantwortlichkeiten zwischen Nutzern, die Code senden können, und Nutzern, die Codeänderungen genehmigen können, getrennt. In der folgenden Tabelle werden die Blueprint-Repositories sowie die zugehörigen Einreicher und Genehmiger beschrieben.

Repository Pipeline Beschreibung Absender Genehmiger

ml-foundation

 Infrastruktur
 Enthält den Terraform-Code für den Blueprint für generative KI und ML, der die interaktiven und operativen Umgebungen erstellt. MLOps-Ingenieur DevOps-Entwickler

service-catalog

 Interaktiv Enthält die Vorlagen für die Ressourcen, die der Service Catalog bereitstellen kann. MLOps-Ingenieur DevOps-Entwickler

artifact-publish

 Container Enthält die Container, die Pipelines in der Betriebsumgebung verwenden können. Data Scientist Data Engineer

machine-learning

 Betrieblich Enthält den Quellcode, den Pipelines in der Betriebsumgebung verwenden können. Data Scientist Data Engineer

Verzweigungsstrategie

Der Blueprint verwendet nichtflüchtige Verzweigung, um Code in der zugehörigen Umgebung bereitzustellen. Der Blueprint verwendet drei Zweige (Entwicklung, Nicht-Produktion und Produktion), die die entsprechenden Umgebungen widerspiegeln.

Sicherheitskontrollen

Der Blueprint für generative KI und ML für Unternehmen verwendet ein mehrstufiges Defense-in-Depth-Sicherheitsmodell, das Standardfunktionen von Google Cloud , Dienste vonGoogle Cloud und Sicherheitsfunktionen verwendet, die über den Blueprint zu Unternehmensgrundlagen konfiguriert werden. Das folgende Diagramm zeigt die Schichtung der verschiedenen Sicherheitskontrollen für den Blueprint.

Die Sicherheitskontrollen des Blueprints.

Die Funktionen der Schichten sind:

  • Schnittstelle: bietet Data Scientists Dienste, mit denen sie kontrolliert mit dem Blueprint interagieren können.
  • Bereitstellung: bietet eine Reihe von Pipelines, die Infrastruktur bereitstellen, Container erstellen und Modelle erstellen. Die Verwendung von Pipelines ermöglicht Prüfbarkeit, Rückverfolgbarkeit und Wiederholbarkeit.
  • Netzwerk: Bietet Schutz vor Daten-Exfiltration für die Blueprint-Ressourcen auf der API- und IP-Ebene.
  • Zugriffsverwaltung: steuert, wer auf welche Ressourcen zugreifen kann, und verhindert den nicht autorisierten Zugriff auf Ihre Ressourcen.
  • Verschlüsselung: Sie können Ihre Verschlüsselungsschlüssel und Secrets steuern und Ihre Daten durch die Standardverschlüsselung ruhender Daten und die Verschlüsselung während der Übertragung schützen.
  • Detektiv: Hilft Ihnen, Fehlkonfigurationen und schädliche Aktivitäten zu erkennen.
  • Präventiv: Sie erhalten die Möglichkeit, die Bereitstellung Ihrer Infrastruktur zu steuern und einzuschränken.

In der folgenden Tabelle werden die Sicherheitskontrollen beschrieben, die den einzelnen Ebenen zugeordnet sind.

Layer Ressource Sicherheitskontrollen
Schnittstelle Vertex AI Workbench Bietet eine verwaltete Notebook-Umgebung mit Nutzerzugriffssteuerung, Netzwerkzugriffssteuerung, IAM-Zugriffssteuerung und deaktivierten Dateidownloads. Diese Funktionen sorgen für eine sicherere Nutzung.
Git-Repositories Bietet Nutzerzugriffssteuerung zum Schutz Ihrer Repositories.
Service Catalog Stellt Data Scientists eine ausgewählte Liste von Ressourcen zur Verfügung, die nur in genehmigten Konfigurationen bereitgestellt werden können.
Bereitstellung Infrastrukturpipeline Bietet einen sicheren Ablauf zum Bereitstellen der Blueprint-Infrastruktur mithilfe von Terraform.
Interaktive Pipeline Bietet einen sicheren Ablauf zum Übertragen von Vorlagen aus einem Git-Repository in einen Bucket innerhalb Ihrer Google Cloud -Organisation.
Container-Pipeline Bietet einen sicheren Ablauf zum Erstellen von Containern, die von der operativen Pipeline verwendet werden.
Betriebspipeline Bietet einen kontrollierten Ablauf zum Trainieren, Testen, Validieren und Bereitstellen von Modellen.
Artifact Registry Sicheres Speichern von Container-Images mithilfe der Zugriffssteuerung für Ressourcen
Netzwerk Private Service Connect Ermöglicht die Kommunikation mit Google Cloud APIs über private IP-Adressen, sodass Sie keinen Traffic gegenüber dem Internet exponieren.
VPC mit privaten IP-Adressen Der Blueprint verwendet VPCs mit privaten IP-Adressen, um die Anfälligkeit gegenüber Bedrohungen im Internet zu senken.
VPC Service Controls Trägt zum Schutz geschützter Ressourcen vor Daten-Exfiltration bei.
Firewall Schützt das VPC-Netzwerk vor unbefugtem Zugriff.
Zugriffsverwaltung Cloud Identity Bietet eine zentrale Nutzerverwaltung, wodurch das Risiko unbefugter Zugriffe verringert wird.
IAM Bietet eine detaillierte Kontrolle darüber, wer was mit welchen Ressourcen tun kann, und ermöglicht so die geringste Berechtigung in der Zugriffsverwaltung.
Verschlüsselung Cloud KMS Ermöglicht Ihnen, die Verschlüsselungsschlüssel zu steuern, die in IhrerGoogle Cloud -Organisation verwendet werden.
Secret Manager Bietet einen Secret-Speicher für Ihre Modelle, der von IAM gesteuert wird.
Verschlüsselung ruhender Daten Standardmäßig verschlüsselt Google Cloud inaktive Daten.
Verschlüsselung während der Übertragung Standardmäßig werden Daten bei der Übertragung in Google Cloud verschlüsselt.
Erkennung Security Command Center Bietet Bedrohungsdetektoren, die zum Schutz Ihrer Google Cloud-Organisation beitragen.
Kontinuierliche Architektur Prüft Ihre Google Cloud -Organisation kontinuierlich anhand einer Reihe von OPA-Richtlinien (Open Policy Agent), die Sie definiert haben.
IAM Recommender Analysiert Nutzerberechtigungen und bietet Vorschläge zur Reduzierung von Berechtigungen, um das Prinzip der geringsten Berechtigung durchzusetzen.
Firewall Insights Analysiert Firewallregeln, identifiziert zu moderate Firewallregeln und schlägt restriktivere Firewalls vor, um Ihren Sicherheitsstatus insgesamt zu verbessern.
Cloud Logging Bietet Einblick in die Systemaktivität und hilft bei der Erkennung von Anomalien und schädlichen Aktivitäten.
Cloud Monitoring Verfolgt wichtige Signale und Ereignisse, die helfen können, verdächtige Aktivitäten zu erkennen.
Prävention Organisationsrichtliniendienst Hiermit können Sie Aktionen innerhalb Ihrer Organisation einschränken. Google Cloud

Nächste Schritte