Gerenciar a administração do Studio

Esta página explica os recursos de administração que o Cloud Data Fusion Studio oferece para gerenciar configurações. O Cloud Data Fusion segue uma hierarquia em que cada instância pode ter vários namespaces. No Cloud Data Fusion Studio, os administradores podem gerenciar todos os namespaces de maneira centralizada ou individual. O Cloud Data Fusion Studio oferece os seguintes controles de sistema e namespace.

Administração do sistema

Ao clicar em Administrador do sistema no Cloud Data Fusion Studio, as seguintes guias são exibidas:

  • A guia Gerenciamento: mostra o status de integridade de vários serviços do Cloud Data Fusion. Também é possível conferir os registros de cada um dos serviços.

  • A guia Configuração: permite criar, visualizar e editar os seguintes controles:

Os provisionadores são responsáveis por criar, inicializar e destruir o ambiente de nuvem em que os pipelines são executados. Cada provisionador expõe um conjunto de configurações usadas para controlar o tipo de cluster criado e excluído. Provisionadores diferentes criam tipos diferentes de clusters.

Cada perfil de computação tem um escopo: sistema ou usuário. É possível usar um perfil de computação do sistema para qualquer namespace abaixo dele. Os perfis de computação do usuário existem em um namespace, e apenas os pipelines nesse namespace podem usar os perfis de computação do usuário.

Na guia Configurações do administrador do sistema, é possível criar um perfil de computação do sistema que é aplicado a todos os namespaces. O Cloud Data Fusion atribui um perfil de computação padrão.

Ao criar um perfil de computação, você seleciona o provisionador que o perfil usa para criar e configurar os detalhes do ambiente de execução da nuvem.

Preferências do sistema

As preferências são configurações predefinidas que se aplicam a vários níveis no Cloud Data Fusion, incluindo o próprio sistema, namespaces, aplicativos (que contêm pipelines) e programas individuais em pipelines. As preferências oferecem uma maneira de definir valores padrão para configurações usadas com frequência. Esses padrões podem ser herdados por pipelines e programas em níveis mais baixos, reduzindo tarefas de configuração repetitivas. Para mais informações, consulte Gerenciar macros, preferências e argumentos de ambiente de execução.

Ação de chamada HTTP

A ação de chamada HTTP na página Administrador do sistema permite interagir diretamente com a API do Cloud Data Fusion ou com outras APIs de Google Cloud serviço na interface do Cloud Data Fusion Studio. No entanto, para criar pipelines de processamento de dados com fontes de dados externas, use o plug-in HTTP e o executor de chamadas HTTP nos pipelines para uma solução mais abrangente. Ele difere um pouco da ação de chamada HTTP, mas os conceitos subjacentes são semelhantes.

Configurações e casos de uso

A ação de chamada HTTP é usada principalmente para tarefas administrativas ou fins de configuração no Cloud Data Fusion. Ela permite interagir com a API Data Fusion ou outros Google Cloud serviços que expõem uma API HTTP diretamente do Cloud Data Fusion Studio.

Configurações

É possível definir os seguintes detalhes para uma chamada HTTP:

  • URL: o endpoint de destino do serviço da Web que você quer chamar.
  • Método: o método HTTP a ser usado, como GET, POST, ou PUT.
  • Opcional: Cabeçalhos: todos os cabeçalhos personalizados necessários para a solicitação.
  • Opcional: Corpo: dados a serem enviados no corpo da solicitação, como para POST e PUT chamadas.

Em seguida, é possível executar a chamada HTTP definida e visualizar a resposta do serviço da Web no Cloud Data Fusion Studio.

Casos de uso
  • Testar chamadas da API Data Fusion. É possível usar a ação de chamada HTTP para testar ou explorar as funcionalidades da API Data Fusion diretamente na interface da Web. Essa ação pode ser útil para entender o comportamento da API ou solucionar possíveis problemas.
  • Gerenciar namespaces (avançado). Embora haja uma UI dedicada para o gerenciamento de namespaces, a ação de chamada HTTP pode ser usada para tarefas avançadas fazendo chamadas diretamente para a API do Cloud Data Fusion para criação, exclusão ou configuração de namespaces.
  • Interagir com outros Google Cloud serviços (limitado). Se outros Google Cloud serviços que você usa tiverem uma API HTTP documentada publicamente, é possível usar a ação de chamada HTTP para interagir com esses serviços, embora esse seja um caso de uso incomum.
Considerações importantes
  • Segurança: tenha cuidado ao usar a ação de chamada HTTP, especialmente com dados sensíveis ou chamadas de API Data Fusion que possam afetar seu ambiente. Confira se você entende as implicações de cada chamada de API antes de executá-la.
  • Limitações: a ação de chamada HTTP é principalmente para tarefas administrativas e fins de teste. Ela não foi projetada para criar pipelines complexos de processamento de dados que envolvam a manipulação de dados no Cloud Data Fusion.
  • Alternativa para pipelines: para integrar fontes de dados ou serviços externos aos pipelines de dados, use o plug-in HTTP e o executor de chamadas HTTP associado nas definições de pipeline. Isso oferece uma maneira mais robusta e controlada de gerenciar interações HTTP nos fluxos de trabalho de processamento de dados.

Administração de namespace

Ao clicar em Administrador de namespace no Cloud Data Fusion Studio, é possível gerenciar as configurações do namespace específico. Para cada namespace, é possível definir os seguintes aspectos:

  • Perfis de computação: os perfis configurados no Administrador de namespace são perfis de computação do usuário. Apenas os pipelines nesse namespace podem usar esses perfis de computação do usuário. Para mais informações, consulte Gerenciar perfis de computação.
  • Preferências: as preferências definidas no nível do namespace são aplicáveis a o namespace, aos aplicativos (que contêm pipelines) e aos programas individuais em pipelines. Para mais informações, consulte Gerenciar macros, preferências e argumentos de ambiente de execução.
  • Conexões: o Cloud Data Fusion permite reutilizar conexões com fontes e coletores em pipelines de dados. É possível adicionar conexões na página Administrador de namespace. Para mais informações, consulte Criar e gerenciar conexões.
  • Drivers: alguns plug-ins no Cloud Data Fusion exigem que um driver JDBC seja adicionado ao namespace. Por exemplo, antes de executar um pipeline com um plug-in de fonte de lote do MySQL, é necessário adicionar o driver do MySQL com suporte ao namespace. É possível fazer upload ou remover drivers JDBC de um namespace na página Administrador de namespace ou diretamente no Hub. Para mais informações, consulte Drivers de plug-in.
  • Gerenciamento de controle de origem: para gerenciar com eficiência o processo de desenvolvimento de pipelines implantados, o gerenciamento de controle de origem permite conectar um namespace ao repositório do sistema de controle de origem. Para mais informações, consulte Gerenciar pipelines usando o gerenciamento de controle de origem.
  • Conta de serviço: para controlar o acesso a Google Cloud recursos, os namespaces no Cloud Data Fusion usam o agente de serviço da API Cloud Data Fusion por padrão.

Para um melhor isolamento de dados, é possível associar uma conta de serviço personalizada do Identity and Access Management (IAM, na sigla em inglês), conhecida como conta de serviço por namespace, a cada namespace. A conta de serviço personalizada do IAM , que pode ser diferente para namespaces diferentes, permite controlar o acesso a Google Cloud recursos entre namespaces para operações de tempo de design de pipeline no Cloud Data Fusion, como visualização de pipeline, Wrangler e validação de pipeline. Para mais informações, consulte Controle de acesso com conta de serviço de namespace.

A seguir