Visão geral dos plug-ins

Os plug-ins do Cloud Data Fusion permitem mover e gerenciar dados à medida que eles fluem da origem para o coletor em um pipeline de dados. Cada estágio, conhecido como nó, consiste em um módulo personalizável que estende os recursos do fluxo de trabalho. Na interface da Web do Cloud Data Fusion, é possível acessar os plug-ins padrão na página Studio , navegar pelo Hub para outras integrações ou conferir todos os plug-ins do Cloud Data Fusion.

Plug-ins na interface da Web.

Tipos de plug-ins

Os plug-ins são categorizados da seguinte maneira:

  • Fontes
  • Transformações
  • Analytics
  • Coletores
  • Condições e ações
  • Gerenciadores de erro e alertas

Fontes

Os plug-ins de origem se conectam a bancos de dados, arquivos ou streams em tempo real dos quais o pipeline lê dados. Configure as origens do pipeline de dados usando a interface da Web para não precisar programar conexões de baixo nível.

Transformações

Os plug-ins de transformação mudam os dados depois que eles são ingeridos de uma origem. Por exemplo, é possível clonar um registro, mudar o formato do arquivo para JSON ou usar o plug-in JavaScript para criar uma transformação personalizada.

Analytics

Os plug-ins de analytics realizam agregações, como unir dados de diferentes origens e executar operações de analytics e machine learning.

Coletores

Os plug-ins de coletor gravam dados em recursos, como Cloud Storage, BigQuery, Spanner, bancos de dados relacionais, sistemas de arquivos e mainframes. É possível consultar os dados gravados no coletor usando a interface da Web do Cloud Data Fusion ou a API REST.

Condições e ações

Use plug-ins de condição e ação para programar ações agendadas que ocorrem durante um fluxo de trabalho, mas não manipulam dados diretamente nele. Por exemplo:

  • Use o plug-in do banco de dados para programar um comando de banco de dados a ser executado no final do pipeline.
  • Use o plug-in de movimentação de arquivos para acionar uma ação que move arquivos no Cloud Storage.

Gerenciadores de erro e alertas

Quando os estágios encontram valores nulos, erros de lógica ou outras fontes de erros, é possível usar um plug-in de gerenciador de erros para detectar erros. Use esses plug-ins para encontrar erros na saída após um plug-in de transformação ou analytics. É possível gravar os erros em um banco de dados para análise.

A seguir