Vertex ML Metadata organizza le risorse in modo gerarchico, dove ogni risorsa appartiene a un MetadataStore. Prima di poter creare risorse di metadati, devi avere un MetadataStore.
Terminologia di Vertex ML Metadata
Di seguito viene presentato il modello dei dati e la terminologia utilizzati per descrivere le risorse e i componenti di Vertex ML Metadata.
MetadataStore
- Un MetadataStore è il contenitore di primo livello per le risorse di metadati. MetadataStore è regionalizzato e associato a un progetto Google Cloud specifico. In genere, un'organizzazione utilizza un MetadataStore condiviso per le risorse di metadati all'interno di ogni progetto.
elemento
- Un elemento è un'entità discreta o un insieme di dati prodotti e utilizzati da un flusso di lavoro di machine learning. Esempi di elementi includono set di dati, modelli, file di input e log di addestramento.
context
- Un contesto viene utilizzato per raggruppare elementi ed esecuzioni in una singola categoria, interrogabile e con tipo. I contesti possono essere utilizzati per rappresentare insiemi di metadati. Un esempio di contesto è l'esecuzione di una pipeline di machine learning.
Un'esecuzione della pipeline di Vertex AI Pipelines. In questo caso, il contesto rappresenta un'esecuzione e ogni esecuzione rappresenta un passaggio nella pipeline ML.
Un'esecuzione di un esperimento da un notebook. In questo caso, il contesto potrebbe rappresentare il notebook e ogni esecuzione potrebbe rappresentare una cella in quel notebook.
event
- Un evento descrive la relazione tra elementi ed esecuzioni. Ogni elemento può essere prodotto da un'esecuzione e utilizzato da altre esecuzioni. Gli eventi ti aiutano a determinare la provenienza degli elementi nei flussi di lavoro ML concatenando elementi ed esecuzioni.
execution
- Un'esecuzione è un record di un singolo passaggio del flusso di lavoro di machine learning, in genere annotato con i relativi parametri di runtime. Esempi di esecuzioni includono l'importazione dati, la convalida dei dati, l'addestramento del modello, la valutazione del modello e il deployment del modello.
MetadataSchema
- Un MetadataSchema descrive lo schema per tipi specifici di elementi, esecuzioni o contesti. I MetadataSchema vengono utilizzati per convalidare le coppie chiave-valore durante la creazione delle risorse di metadati corrispondenti. La convalida dello schema viene eseguita solo sui campi corrispondenti tra la risorsa e il MetadataSchema. Gli schemi di tipo sono rappresentati utilizzando gli oggetti schema OpenAPI, che devono essere descritti utilizzando YAML.
Esempio di MetadataSchema
Gli schemi di tipo sono rappresentati utilizzando gli oggetti schema OpenAPI, che devono essere descritti utilizzando YAML.
Di seguito è riportato un esempio di come il tipo di sistema Model predefinito viene specificato in formato YAML.
title: system.Model
type: object
properties:
framework:
type: string
description: "The framework type, for example 'TensorFlow' or 'Scikit-Learn'."
framework_version:
type: string
description: "The framework version, for example '1.15' or '2.1'"
payload_format:
type: string
description: "The format of the Model payload, for example 'SavedModel' or 'TFLite'"
Il titolo dello schema deve utilizzare il formato <namespace>.<type name>.
Vertex ML Metadata pubblica e gestisce schemi definiti dal sistema per rappresentare i tipi comuni ampiamente utilizzati nei flussi di lavoro ML. Questi schemi si trovano nello spazio dei nomi system e sono accessibili come risorse MetadataSchema nell'API. Gli schemi sono sempre versionati.
Per saperne di più sugli schemi, consulta Schemi di sistema. Inoltre, Vertex ML Metadata ti consente di creare schemi personalizzati definiti dall'utente. Per saperne di più sugli schemi di sistema, consulta Come registrare i tuoi schemi personalizzati.
Le risorse di metadati esposte rispecchiano da vicino quelle dell'implementazione open source di ML Metadata (MLMD).