Uma parte essencial do método científico é registrar as observações e os parâmetros de um experimento. Na ciência de dados, também é essencial acompanhar os parâmetros, artefatos e métricas usados em um experimento de machine learning (ML). Esses metadados ajudam a:
- analisar as execuções de um sistema de ML de produção para entender as alterações na qualidade das previsões;
- analisar experimentos de ML para comparar a eficácia de diferentes conjuntos de hiperparâmetros;
- acompanhe a linhagem dos artefatos de ML, como conjuntos de dados e modelos, para entender apenas o que contribuiu para a criação de um artefato ou como esse artefato foi usado para criar artefatos descendentes.
- executar novamente um fluxo de trabalho de ML com os mesmos artefatos e parâmetros;
- rastrear o uso downstream de artefatos de ML para fins de governança.
Com os metadados de ML da plataforma do agente, é possível registrar os metadados e artefatos produzidos pelo sistema de ML e consultar esses metadados para ajudar a analisar, depurar e auditar o desempenho do sistema de ML ou os artefatos que ele produz.
Os metadados de ML da plataforma de agentes usam os conceitos da biblioteca de código aberto ML Metadata (MLMD), desenvolvida pela equipe do TensorFlow Extended do Google.
Visão geral dos metadados de ML da plataforma do agente
O Agent Platform ML Metadata descreve os metadados do seu sistema de ML como um gráfico.
No gráfico de metadados, os artefatos e execuções são nós, e os eventos são arestas que vinculam artefatos como entradas ou saídas de execuções. Os contextos representam subgráficos que são usados para agrupar logicamente conjuntos de artefatos e execuções.
É possível aplicar metadados de pares de chave-valor a artefatos, execuções e contextos. Por exemplo, um modelo pode ter metadados que descrevem o framework usado para treinar o modelo e as métricas de desempenho, como precisão, precisão e recall.
Saiba mais sobre como rastrear os metadados do seu sistema de ML. Se você tiver interesse em analisar os metadados do Agent Platform Pipelines, confira este tutorial passo a passo.
Linhagem de artefato de ML
Para entender as alterações no desempenho do sistema de ML, você precisa analisar os metadados produzidos pelo fluxo de trabalho de ML e a linhagem dos artefatos. A linhagem de um artefato inclui todos os fatores que contribuíram para sua criação, bem como os artefatos e metadados descendentes do artefato.
Por exemplo, a linhagem de um modelo pode incluir o seguinte:
- Os dados de treinamento, teste e avaliação usados para criar o modelo.
- Os hiperparâmetros usados durante o treinamento do modelo.
- O código usado para treinar o modelo.
- Os metadados gravados do processo de treinamento e avaliação, como a acurácia do modelo.
- Artefatos descendentes desse modelo, como os resultados de predições em lote.
Ao rastrear os metadados do sistema de ML usando o Agent Platform ML Metadata, você pode responder a perguntas como estas:
- Qual conjunto de dados foi usado para treinar um determinado modelo?
- Quais modelos da minha organização foram treinados com um determinado conjunto de dados?
- Qual execução produziu o modelo mais preciso e quais hiperparâmetros foram usados para treiná-lo?
- Quais destinos de implantação foram de um determinado modelo implantado e quando ele foi implantado?
- Qual versão do seu modelo foi usada para criar uma previsão em um determinado momento?
Saiba mais sobre como analisar os metadados do seu sistema de ML.