Vista geral dos plug-ins

Quando cria um pipeline de dados no Cloud Data Fusion, usa uma série de fases, conhecidas como nós, para mover e gerir dados à medida que fluem da origem para o destino. Cada nó consiste num plug-in, um módulo personalizável que expande as capacidades do Cloud Data Fusion.

Pode encontrar os plug-ins na interface Web do Cloud Data Fusion acedendo à página Studio. Para mais plug-ins, clique em Hub.

Plug-ins na interface Web.

Tipos de plugins

Os plug-ins estão categorizados nas seguintes categorias:

  • Fontes
  • Transformações
  • Google Analytics
  • Lava-louças
  • Condições e ações
  • Processadores de erros e alertas

Fontes

Os plug-ins de origem estabelecem ligação a bases de dados, ficheiros ou streams em tempo real a partir dos quais o seu pipeline lê dados. Configura origens para o seu pipeline de dados através da interface Web, pelo que não tem de se preocupar com a programação de ligações de baixo nível.

Transformações

Os plug-ins de transformação alteram os dados depois de serem carregados a partir de uma origem. Por exemplo, pode clonar um registo, alterar o formato do ficheiro para JSON ou usar o plug-in Javascript para criar uma transformação personalizada.

Google Analytics

Os plug-ins do Analytics fazem agregações, como juntar dados de diferentes origens e executar operações de estatísticas e aprendizagem automática.

Lava-louças

Os plug-ins de destino escrevem dados em recursos, como o Cloud Storage, o BigQuery, o Spanner, bases de dados relacionais, sistemas de ficheiros e mainframes. Pode consultar os dados que são escritos no destino através da interface Web ou da API REST do Cloud Data Fusion.

Condições e ações

Use plug-ins de condição e ação para agendar ações que ocorrem durante um fluxo de trabalho que não manipulam diretamente os dados no fluxo de trabalho. Por exemplo:

  • Use o plugin de base de dados para agendar a execução de um comando de base de dados no final do pipeline.
  • Use o plug-in de movimento de ficheiros para acionar uma ação que move ficheiros no Google Cloud Storage.

Processadores de erros e alertas

Quando as fases encontram valores nulos, erros lógicos ou outras origens de erros, pode usar um plug-in de controlador de erros para detetar erros. Use estes plug-ins para encontrar erros no resultado após uma transformação ou um plug-in de estatísticas. Pode escrever os erros numa base de dados para análise.

O que se segue?