Visão geral dos plug-ins

Ao criar um pipeline de dados no Cloud Data Fusion, você usa uma série de etapas, conhecidas como nós, para mover e gerenciar os dados à medida que eles fluem da origem para o coletor. Cada nó consiste em um plug-in, um módulo personalizável que amplia os recursos do Cloud Data Fusion.

Para encontrar os plug-ins na interface da Web do Cloud Data Fusion, acesse a página Studio. Para mais plug-ins, clique em Hub.

Plug-ins na interface da Web.

Tipos de plug-ins

Os plug-ins são categorizados da seguinte forma:

  • Fontes
  • Transformações
  • Analytics
  • Coletores
  • Condições e ações
  • Gerenciadores de erros e alertas

Fontes

Os plug-ins de origem se conectam a bancos de dados, arquivos ou streams em tempo real de onde seu pipeline lê dados. Você configura fontes para seu pipeline de dados usando a interface da Web. Assim, não precisa se preocupar com a codificação de conexões de baixo nível.

Transformações

Os plug-ins de transformação mudam os dados depois que eles são ingeridos de uma fonte. Por exemplo, é possível clonar um registro, mudar o formato do arquivo para JSON ou usar o plug-in Javascript para criar uma transformação personalizada.

Analytics

Os plug-ins de análise fazem agregações, como unir dados de diferentes fontes e executar operações de análise e machine learning.

Coletores

Os plug-ins de coletor gravam dados em recursos, como Cloud Storage, BigQuery, Spanner, bancos de dados relacionais, sistemas de arquivos e mainframes. É possível consultar os dados gravados no gravador usando a interface da Web ou a API REST do Cloud Data Fusion.

Condições e ações

Use plug-ins de condição e ação para programar ações que ocorrem durante um fluxo de trabalho, mas não manipulam dados diretamente nele. Exemplo:

  • Use o plug-in de banco de dados para programar a execução de um comando no final do pipeline.
  • Use o plug-in "Mover arquivo" para acionar uma ação que mova arquivos no Cloud Storage.

Gerenciadores de erros e alertas

Quando as etapas encontram valores nulos, erros lógicos ou outras fontes de erros, use um plug-in de gerenciador de erros para detectar problemas. Use esses plug-ins para encontrar erros na saída após um plug-in de transformação ou análise. Você pode gravar os erros em um banco de dados para análise.

A seguir