O Datastream é um serviço de replicação e captura de dados de alterações (CDC) sem servidor e fácil de usar que lhe permite sincronizar dados de forma fiável e com uma latência mínima.
O Datastream oferece uma replicação perfeita de dados de bases de dados operacionais para o BigQuery. Além disso, o Datastream suporta a escrita da stream de eventos de alteração no Cloud Storage e oferece uma integração simplificada com modelos do Dataflow para criar fluxos de trabalho personalizados para carregar dados num vasto conjunto de destinos, como o Cloud SQL e o Spanner. Também pode usar o Datastream para tirar partido da stream de eventos diretamente do Cloud Storage para implementar arquiteturas orientadas por eventos. O Datastream suporta origens Oracle, MySQL, SQL Server, PostgreSQL (incluindo o AlloyDB para PostgreSQL), MongoDB e Salesforce.
Seguem-se algumas vantagens do Datastream:
- Configuração integrada de pipelines ELT (extração, carregamento e transformação) para replicação de dados de baixa latência, de modo a permitir estatísticas quase em tempo real no BigQuery.
- Ser sem servidor, pelo que não existem recursos para aprovisionar nem gerir, e o serviço é dimensionado automaticamente para cima e para baixo, conforme necessário, com um tempo de inatividade mínimo.
- Experiências de configuração e monitorização fáceis de usar que alcançam um tempo de rentabilização super-rápido.
- Integração no melhor portefólio de Google Cloud serviços de dados' para integração de dados no Datastream, Dataflow, Pub/Sub, BigQuery e muito mais.
- Sincronizar e unificar streams de dados em bases de dados e aplicações heterogéneas.
- Segurança, com opções de conetividade privada e a segurança que espera da Google Cloud.
- Ser precisos e fiáveis, com relatórios de estado transparentes e flexibilidade de processamento robusta perante alterações de dados e esquemas.
- Suportar vários exemplos de utilização, incluindo estatísticas, replicação de bases de dados e sincronização para migrações e configurações de nuvem híbrida, bem como para criar arquiteturas orientadas por eventos.
Exemplos de utilização
As capacidades de streaming do Datastream permitem uma variedade de exemplos de utilização:
Replicar e sincronizar dados na sua organização com uma latência mínima
Pode sincronizar dados em bases de dados e aplicações heterogéneas de forma fiável, com baixa latência e com um impacto mínimo no desempenho da sua origem. Desbloqueie o poder das streams de dados para análise, replicação de bases de dados, migração para a nuvem e arquiteturas orientadas por eventos em ambientes híbridos.
Aumente ou diminua a escala com uma arquitetura sem servidor de forma integrada
Comece a usar rapidamente um serviço sem servidor e fácil de usar que é dimensionado de forma integrada à medida que os volumes de dados mudam. Concentre-se em obter estatísticas atualizadas dos seus dados e responder a problemas de alta prioridade, em vez de gerir a infraestrutura, a otimização do desempenho ou o aprovisionamento de recursos.
Faça a integração com o Google Cloud conjunto de integração de dados
Associe dados em toda a sua organização com o conjunto de produtos de Google Cloud integração de dados. Integre o Datastream com modelos de tarefas do Dataflow para ler dados de um contentor do Cloud Storage e carregá-los em vários destinos, como o BigQuery, o Spanner e o Cloud SQL.
Elementos da experiência
Existem três elementos principais no fluxo de dados:
- As configurações de conetividade privada permitem que o Datastream comunique com uma origem de dados através de uma rede privada (internamente noGoogle Cloudou com origens externas ligadas através de VPN ou Interconnect). Esta comunicação ocorre através de uma ligação de intercâmbio de nuvem virtual privada (VPC).
- Os perfis de associação representam informações de conetividade a uma origem e a um destino. Estas informações vão ser usadas por uma stream.
- Os streams usam as informações nos perfis de associação para transferir dados de CDC e de preenchimento a partir da origem para o destino.
O que se segue?
- Comece a replicar os seus dados de uma base de dados de origem para conjuntos de dados do BigQuery.
- Saiba mais sobre os conceitos e as funcionalidades principais do Datastream.
- Saiba como criar configurações de conetividade privada, perfis de associação e streams.