Questo documento fornisce una panoramica della pipeline e dei componenti del flusso di lavoro tabulare per la previsione . Per scoprire come addestrare un modello, consulta Addestra un modello con il flusso di lavoro tabulare per la previsione.
Il flusso di lavoro tabulare per la previsione è la pipeline completa per le attività di previsione. È simile all' API AutoML, ma ti consente di scegliere cosa controllare e cosa automatizzare. Anziché avere controlli per l'intera pipeline, hai controlli per ogni passaggio della pipeline. Questi controlli della pipeline includono:
- Suddivisione dei dati
- Feature engineering
- Ricerca dell'architettura
- Addestramento del modello
- Assemblaggio dei modelli
Vantaggi
Di seguito sono riportati alcuni vantaggi del flusso di lavoro tabulare per la previsione:
- Supporta set di dati di grandi dimensioni fino a 1 TB e con un massimo di 200 colonne.
- Ti consente di migliorare la stabilità e ridurre i tempi di addestramento limitando lo spazio di ricerca dei tipi di architettura o saltando la ricerca dell'architettura.
- Ti consente di migliorare la velocità di addestramento selezionando manualmente l'hardware utilizzato per l'addestramento e la ricerca dell'architettura.
- Ti consente di ridurre le dimensioni del modello e migliorare la latenza modificando le dimensioni dell'assemblaggio.
- Ogni componente può essere ispezionato in un'interfaccia grafica di pipeline potente che ti consente di visualizzare le tabelle dei dati trasformati, le architetture dei modelli valutati e molti altri dettagli.
- Ogni componente offre maggiore flessibilità e trasparenza, ad esempio la possibilità di personalizzare parametri, hardware, visualizzare lo stato del processo, i log e altro ancora.
Previsione sulle pipeline di Gemini Enterprise Agent Platform
Il flusso di lavoro tabulare per la previsione è un'istanza gestita delle pipeline di Gemini Enterprise Agent Platform.
Le pipeline di Gemini Enterprise Agent Platform sono un servizio serverless che esegue le pipeline di Kubeflow. Puoi utilizzare le pipeline per automatizzare e monitorare le attività di machine learning e preparazione dei dati. Ogni passaggio di una pipeline esegue una parte del flusso di lavoro della pipeline. Ad esempio, una pipeline può includere passaggi per suddividere i dati, trasformare i tipi di dati e addestrare un modello. Poiché i passaggi sono istanze di componenti della pipeline, hanno input, output e un'immagine container. Gli input dei passaggi possono essere impostati dagli input della pipeline o possono dipendere dall'output di altri passaggi all'interno di questa pipeline. Queste dipendenze definiscono il workflow della pipeline come un grafo diretto aciclico.
Panoramica della pipeline e dei componenti
Il seguente diagramma mostra la pipeline di modellazione per il flusso di lavoro tabulare per la previsione:
I componenti della pipeline sono:
training-configurator-and-validator: convalida la configurazione di addestramento e genera i metadati di addestramento.
Input:
instance_schema: schema dell'istanza nella specifica OpenAPI, che descrive i tipi di dati dei dati di inferenza.dataset_stats: statistiche che descrivono il set di dati non elaborato. Ad esempio,dataset_statsindica il numero di righe nel set di dati.training_schema: schema dei dati di addestramento nella specifica OpenAPI, che descrive i tipi di dati dei dati di addestramento.
split-materialized-data: suddivide i dati materializzati in un set di addestramento, un set di valutazione e un set di test.
Input:
materialized_data: dati materializzati.
Output:
materialized_train_split: suddivisione dell'addestramento materializzato.materialized_eval_split: suddivisione della valutazione materializzata.materialized_test_split: set di test materializzato.
calculate-training-parameters-2: calcola la durata di runtime prevista per automl-forecasting-stage-1-tuner.
get-hyperparameter-tuning-results - Facoltativo: se configuri la pipeline in modo da saltare la ricerca dell'architettura, carica i risultati dell'ottimizzazione degli iperparametri da un'esecuzione precedente della pipeline.
Esegui la ricerca dell'architettura del modello e ottimizza gli iperparametri (automl-forecasting-stage-1-tuner) oppure utilizza i risultati dell'ottimizzazione degli iperparametri di un'esecuzione precedente della pipeline (automl-forecasting-stage-2-tuner).
- Un'architettura è definita da un insieme di iperparametri.
- Gli iperparametri includono il tipo di modello e i parametri del modello.
- I tipi di modelli considerati sono le reti neurali e gli alberi potenziati.
- Viene addestrato un modello per ogni architettura considerata.
Input:
materialized_train_split: suddivisione dell'addestramento materializzato.materialized_eval_split: suddivisione della valutazione materializzata.artifact- risultati dell'ottimizzazione degli iperparametri di un'esecuzione precedente della pipeline. Questo artefatto è un input solo se configuri la pipeline in modo da saltare la ricerca dell'architettura.
Output:
tuning_result_output: output dell'ottimizzazione.
get-prediction-image-uri-2: genera l'URI dell'immagine di inferenza corretto in base al tipo di modello.
automl-forecasting-ensemble-2: assembla le architetture migliori per produrre un modello finale.
Input:
tuning_result_output: output dell'ottimizzazione.
Output:
unmanaged_container_model: modello di output.
model-upload-2 - carica il modello.
Input:
unmanaged_container_model: modello di output.
Output:
model: modello di Agent Platform.
should_run_model_evaluation - Facoltativo: utilizza il test set per calcolare le metriche di valutazione.