Panoramica del monitoraggio del modello

Il monitoraggio dei modelli di machine learning (ML) in BigQuery ML consente di valutare e confrontare i dati utilizzati dai modelli per fare previsioni. Ciò include il confronto dei dati di distribuzione di un modello con i relativi dati di addestramento e il confronto dei nuovi dati di distribuzione con quelli utilizzati in precedenza.

Comprendere i dati utilizzati dai modelli è un aspetto fondamentale del ML, perché questi dati influiscono sulle prestazioni del modello. Comprendere eventuali differenze tra i dati di addestramento e quelli di pubblicazione è particolarmente importante per garantire che i modelli rimangano accurati nel tempo. Un modello offre prestazioni ottimali sui dati di distribuzione simili ai dati di addestramento. Quando i dati di distribuzione si discostano dai dati utilizzati per addestrare il modello, le prestazioni del modello possono peggiorare, anche se il modello stesso non è cambiato.

BigQuery ML fornisce funzioni per aiutarti ad analizzare i dati di addestramento e di distribuzione per rilevare la distorsione dei dati e la deviazione dei dati:

  • La distorsione dei dati si verifica quando la distribuzione dei valori delle caratteristiche per i dati di addestramento è significativamente diversa dai dati di distribuzione in produzione. Le statistiche di addestramento per il modello vengono salvate durante l'addestramento del modello, pertanto i dati di addestramento originali non sono necessari per utilizzare il rilevamento della deviazione.
  • La deviazione dei dati si verifica quando la distribuzione dei dati delle caratteristiche in produzione cambia in modo significativo nel tempo. Il rilevamento della deviazione è supportato per intervalli di dati consecutivi, ad esempio tra giorni diversi di dati di pubblicazione. In questo modo, riceverai una notifica se i dati di pubblicazione cambiano nel tempo, prima che i set di dati divergano troppo per riaddestrare il modello.

Utilizza le seguenti funzioni per monitorare i modelli in BigQuery ML:

  • ML.DESCRIBE_DATA: calcola le statistiche descrittive per un insieme di dati di addestramento o di distribuzione.
  • ML.VALIDATE_DATA_SKEW: calcola le statistiche per un insieme di dati di distribuzione e poi le confronta con le statistiche dei dati di addestramento calcolate durante l'addestramento di un modello BigQuery ML, al fine di identificare differenze anomale tra i due set di dati. Le statistiche vengono calcolate solo per le colonne delle caratteristiche nei dati di distribuzione che corrispondono alle colonne delle caratteristiche nei dati di addestramento, al fine di ottenere prestazioni migliori e costi inferiori.
  • ML.VALIDATE_DATA_DRIFT: calcola e confronta le statistiche per due set di dati di distribuzione per identificare differenze anomale tra i due set di dati.
  • ML.TFDV_DESCRIBE: calcola statistiche descrittive dettagliate per un insieme di dati di addestramento o di distribuzione. Questa funzione fornisce lo stesso comportamento dell'API TensorFlow tfdv.generate_statistics_from_csv.
  • ML.TFDV_VALIDATE: confronta le statistiche dei dati di addestramento e di distribuzione o due insiemi di statistiche dei dati di distribuzione per identificare differenze anomale tra i due set di dati. Questa funzione fornisce lo stesso comportamento dell'API TensorFlow validate_statistics.

Casi d'uso di Monitoring

Questa sezione descrive come utilizzare le funzioni di monitoraggio del modello BigQuery ML in casi d'uso di monitoraggio comuni.

Monitoraggio di base della distorsione dei dati

Questo caso d'uso è appropriato quando vuoi sviluppare e monitorare rapidamente un modello per la distorsione dei dati e non hai bisogno di statistiche di distorsione granulari da integrare con una soluzione di monitoraggio esistente.

I passaggi tipici per questo caso d'uso sono i seguenti:

  1. Esegui la funzione ML.DESCRIBE_DATA sui dati di addestramento e di distribuzione per assicurarti che entrambi i set di dati siano confrontati in modo appropriato e rientrino nei parametri previsti.
  2. Crea un modello BigQuery ML e addestralo sui dati di addestramento.
  3. Esegui la funzione ML.VALIDATE_DATA_SKEW per confrontare le statistiche dei dati di distribuzione con le statistiche dei dati di addestramento calcolate durante la creazione del modello per verificare se esiste una distorsione dei dati.
  4. Se è presente una distorsione dei dati, indaga sulla causa principale, modifica i dati di addestramento in modo appropriato e poi addestra nuovamente il modello.

Monitoraggio di base della deviazione dei dati

Questo caso d'uso è appropriato quando vuoi sviluppare e monitorare rapidamente un modello per la deviazione dei dati e non hai bisogno di statistiche di deviazione dettagliate da integrare con una soluzione di monitoraggio esistente.

I passaggi tipici per questo caso d'uso sono i seguenti:

  1. Esegui la funzione ML.DESCRIBE_DATA sui dati di addestramento e di pubblicazione per assicurarti che entrambi i set di dati siano confrontati in modo appropriato e rientrino nei parametri previsti.
  2. Crea un modello BigQuery ML e addestralo sui dati di addestramento.
  3. Esegui la funzione ML.VALIDATE_DATA_DRIFT per confrontare le statistiche di due diversi set di dati di pubblicazione per verificare se è presente un disallineamento dei dati. Ad esempio, potresti voler confrontare i dati di erogazione delle caratteristiche attuali con i dati di erogazione delle caratteristiche storici di uno snapshot della tabella o con le caratteristiche erogate in un determinato momento, che puoi ottenere utilizzando la funzione ML.FEATURES_AT_TIME.
  4. Se si verifica una deviazione dei dati, indaga sulla causa principale, modifica i dati di addestramento in modo appropriato e poi addestra nuovamente il modello.

Monitoraggio avanzato della deviazione o della distorsione dei dati

Questo caso d'uso è appropriato quando vuoi integrare statistiche dettagliate su disallineamento o deviazione con una soluzione di monitoraggio esistente o per altri scopi.

I passaggi tipici per questo caso d'uso sono i seguenti:

  1. Esegui la funzione ML.TFDV_DESCRIBE sui dati di addestramento e di distribuzione a intervalli appropriati per la tua soluzione di monitoraggio e salva i risultati della query. Questo passaggio ti consente di confrontare i dati di distribuzione futuri con i dati di addestramento e distribuzione di momenti precedenti.
  2. Esegui la funzione ML.TFDV_VALIDATE sulle statistiche dei dati di addestramento e di distribuzione o su due insiemi di statistiche dei dati di distribuzione per valutare rispettivamente la distorsione dei dati o la deviazione delle caratteristiche. I dati di addestramento e di distribuzione devono essere forniti come buffer di protocollo DatasetFeatureStatisticsList di TensorFlow in formato JSON. Puoi generare un buffer di protocollo nel formato corretto eseguendo la funzione ML.TFDV_DESCRIBE oppure puoi caricarlo dall'esterno di BigQuery. L'esempio seguente mostra come valutare lo skew delle caratteristiche:

    DECLARE stats1 JSON;
    DECLARE stats2 JSON;
    
    SET stats1 = (
      SELECT * FROM ML.TFDV_DESCRIBE(TABLE `myproject.mydataset.training`)
    );
    SET stats2 = (
      SELECT * FROM ML.TFDV_DESCRIBE(TABLE `myproject.mydataset.serving`)
    );
    
    SELECT ML.TFDV_VALIDATE(stats1, stats2, 'SKEW');
    
    INSERT `myproject.mydataset.serve_stats`
      (t, dataset_feature_statistics_list)
    SELECT CURRENT_TIMESTAMP() AS t, stats1;
  3. Se si verifica una distorsione o una deviazione dei dati, indaga sulla causa principale, modifica i dati di addestramento in modo appropriato e poi addestra nuovamente il modello.

Visualizzazione del monitoraggio

Alcune funzioni di monitoraggio offrono l'integrazione con il monitoraggio dei modelli di Gemini Enterprise Agent Platform, in modo da poter utilizzare grafici e diagrammi per analizzare l'output della funzione di monitoraggio dei modelli.

L'utilizzo delle visualizzazioni di Agent Platform offre i seguenti vantaggi:

  • Visualizzazioni interattive: esplora le distribuzioni dei dati, le metriche di asimmetria e le metriche di deviazione utilizzando grafici e diagrammi nella console della piattaforma Agent.
  • Analisi storica: monitora i risultati del monitoraggio dei modelli nel tempo utilizzando le visualizzazioni di Agent Platform. In questo modo puoi identificare tendenze e pattern nelle modifiche ai dati, in modo da poter aggiornare e gestire i modelli in modo proattivo.
  • Gestione centralizzata: gestisci il monitoraggio di tutti i modelli BigQuery ML e Agent Platform nella dashboard unificata di Agent Platform.

Puoi attivare la visualizzazione dell'output della funzione ML.VALIDATE_DATA_DRIFT utilizzando l'argomento MODEL della funzione. Puoi attivare la visualizzazione dell'output della funzione ML.VALIDATE_DATA_SKEW utilizzando l'argomento enable_visualization_link di questa funzione.

Puoi utilizzare la visualizzazione del monitoraggio solo con i modelli registrati su Agent Platform. Puoi registrare un modello esistente utilizzando l'istruzione ALTER MODEL.

Automazione del monitoraggio

Puoi automatizzare il monitoraggio utilizzando una query pianificata per eseguire la funzione di monitoraggio, valutare l'output e riaddestrare il modello se vengono rilevate anomalie. Devi attivare le notifiche via email durante la configurazione della query pianificata.

Per un esempio che mostra come automatizzare la funzione ML.VALIDATE_DATA_SKEW, consulta Automatizza il rilevamento dello sfasamento.

Passaggi successivi

Per saperne di più sulle istruzioni e sulle funzioni SQL supportate per i modelli ML, consulta Percorso dell'utente end-to-end per i modelli ML.