Neste documento, descrevemos a recuperação de desastres (DR) e o planejamento de continuidade de negócios no contexto da integração e entrega contínua (CI/CD). Ele também fornece orientações sobre como identificar e mitigar dependências ao desenvolver um plano abrangente de continuidade de negócios (BCP, na sigla em inglês). O documento inclui práticas recomendadas que podem ser aplicadas ao seu BCP, independentemente das ferramentas e dos processos que você usa. O documento pressupõe que você conhece os conceitos básicos do ciclo de entrega de software e operações, CI/CD e DR.
Os pipelines de CI/CD são responsáveis por criar e implantar seus aplicativos essenciais para os negócios. Assim, como a infraestrutura do aplicativo, o processo de CI/CD requer planejamento para DR e continuidade de negócios. Ao pensar em DR e continuidade de negócios para CI/CD, é importante entender cada fase do ciclo de entrega de software e operações, e entender como elas funcionam juntas como um processo holístico.
O diagrama a seguir é uma visualização simplificada do ciclo de desenvolvimento e operações de software, que inclui as três fases a seguir:
- Loop interno de desenvolvimento: programar, testar e confirmar
- Integração contínua: criação, teste e segurança
- Entrega contínua: promoção, lançamento, reversão e métricas
Este diagrama também mostra que o Google Kubernetes Engine (GKE), o Cloud Run e o Google Distributed Cloud são possíveis destinos de implantação do ciclo de desenvolvimento e operações de software.
Durante todo o ciclo de desenvolvimento e operações de software, é preciso considerar o impacto de um desastre na capacidade das equipes de operar e manter aplicativos essenciais para os negócios. Isso vai ajudar você a determinar o objetivo de tempo de recuperação (RTO) e o objetivo de ponto de recuperação (RPO) para as ferramentas no seu conjunto de ferramentas de CI/CD.
Além disso, a maioria das organizações tem muitos pipelines de CI/CD diferentes para vários aplicativos e conjuntos de infraestrutura, e cada pipeline tem requisitos exclusivos para DR e planejamento de continuidade de negócios. A estratégia de recuperação escolhida para um pipeline varia de acordo com o RTO e o RPO das suas ferramentas. Por exemplo, alguns pipelines são mais críticos do que outros e terão requisitos de RTO e RPO mais baixos. É importante identificar os pipelines essenciais para os negócios no seu BCP, e eles também devem receber mais atenção quando você implementar as práticas recomendadas para testar e executar procedimentos de recuperação.
Como cada processo de CI/CD e o conjunto de ferramentas dele são diferentes, os objetivos deste guia são ajudar você a identificar pontos únicos de falha no processo de CI/CD e desenvolver um BCP abrangente. As seções a seguir ajudam você a:
- Entenda o que é necessário para se recuperar de um evento de DR que afeta seu processo de CI/CD.
- Determine o RTO e o RPO das ferramentas no processo de CI/CD.
- Entenda os modos de falha e as dependências do seu processo de CI/CD.
- Escolha uma estratégia de recuperação adequada para as ferramentas no seu conjunto de ferramentas.
- Entender as práticas recomendadas gerais para implementar um plano de recuperação DR no processo de CI/CD.
Entender o processo de continuidade de negócios
Criar um BCP é crucial para garantir que sua organização possa continuar as operações em caso de interrupções e emergências. Ele ajuda sua organização a retornar rapidamente a um estado de operações normais para o processo de CI/CD.
As seções a seguir descrevem as etapas gerais que incluem as etapas envolvidas na criação de um BCP eficaz. Embora muitas dessas etapas se apliquem amplamente ao gerenciamento de programas e à DR, algumas são mais relevantes para o planejamento da continuidade de negócios do seu processo de CI/CD. As etapas especificamente relevantes para o planejamento da continuidade de negócios para CI/CD são destacadas nas seções a seguir e também formam a base para as orientações no restante deste documento.
Iniciação e planejamento
Nessa etapa inicial, as equipes técnicas e de negócios trabalham juntas para estabelecer as bases do processo de planejamento de continuidade de negócios e a manutenção contínua dele. As principais etapas dessa fase incluem:
- Apoio da liderança: garanta que a alta gerência apoie e promova o desenvolvimento do BCP. Atribua uma equipe dedicada ou um indivíduo que seja responsável por supervisionar o plano.
- Alocação de recursos: aloque o orçamento, o pessoal e os recursos necessários para desenvolver e implementar o BCP.
- Escopo e objetivos: defina o escopo do seu BCP e os objetivos dele. Determine quais processos de negócios são críticos e precisam ser abordados no plano.
- Avaliação de riscos: identifique possíveis riscos e ameaças que podem interromper seus negócios, como desastres naturais, violações de segurança cibernética ou interrupções na cadeia de suprimentos.
- Análise de impacto: avalie as possíveis consequências das descobertas da avaliação de risco nas operações comerciais, finanças, reputação e satisfação do cliente.
Análise de impacto nos negócios
Nessa etapa, as equipes de negócios e técnicas analisam o impacto comercial das interrupções para os clientes e a organização e priorizam a recuperação de funções comerciais críticas. Essas funções de negócios são executadas por diferentes ferramentas durante as diferentes fases de um processo de criação e implantação.
A análise de impacto nos negócios é uma etapa importante no processo de planejamento de continuidade de negócios para CI/CD, especialmente as etapas para identificar funções de negócios críticas e dependências de ferramentas. Além disso, entender o conjunto de ferramentas de CI/CD, incluindo as dependências e como ele funciona no ciclo de vida do DevOps, é um elemento fundamental para desenvolver um BCP para o processo de CI/CD.
As principais etapas da análise de impacto nos negócios incluem:
- Funções críticas: determine as principais funções e processos de negócios que precisam ser priorizados para recuperação. Por exemplo, se você determinar que a implantação de aplicativos é mais crítica do que a execução de testes de unidade, priorize a recuperação de processos e ferramentas de implantação de aplicativos.
- Dependências: identifique dependências internas e externas que podem afetar a recuperação das suas funções críticas. As dependências são especialmente relevantes para garantir a operação contínua do processo de CI/CD por meio do conjunto de ferramentas.
- RTO e RPO: defina limites aceitáveis de inatividade e perda de dados para cada função crítica. Essas metas de RTO e RPO estão vinculadas à importância de uma função de negócios para operações contínuas e envolvem ferramentas específicas necessárias para que a função de negócios opere sem problemas.
Desenvolvimento da estratégia
Nessa etapa, a equipe técnica desenvolve estratégias de recuperação para funções de negócios críticas, como restaurar operações e dados e se comunicar com fornecedores e partes interessadas. O desenvolvimento de estratégias também é uma parte fundamental do planejamento de continuidade de negócios para seu processo de CI/CD, especialmente a etapa de seleção de estratégias de recuperação de alto nível para funções críticas.
As principais etapas do estágio de desenvolvimento da estratégia incluem:
- Estratégias de recuperação: desenvolva estratégias para restaurar funções críticas. Essas estratégias podem envolver locais alternativos, trabalho remoto ou sistemas de backup. Essas estratégias estão vinculadas às metas de RTO e RPO de cada função crítica.
- Relacionamentos com fornecedores: estabeleça planos de comunicação e coordenação com os principais fornecedores para manter a cadeia de suprimentos funcionando durante interrupções.
- Recuperação de dados e TI: crie planos para backup de dados, recuperação de sistemas de TI e medidas de cibersegurança.
- Plano de comunicação: desenvolva um plano de comunicação claro para as partes interessadas internas e externas durante e após uma interrupção.
Desenvolvimento de planos
Nessa fase, a principal etapa é documentar o BCP. A equipe técnica documenta as ferramentas, os processos, as estratégias de recuperação, a lógica e os procedimentos para cada função crítica. O desenvolvimento do plano também inclui a elaboração de instruções detalhadas para os funcionários seguirem durante uma interrupção. Durante a implementação e a manutenção contínua, talvez seja necessário introduzir mudanças no plano, que deve ser tratado como um documento dinâmico.
Implementação
Nesta etapa, você implementa o plano para sua organização usando o BCP criado pela equipe técnica. A implementação inclui o treinamento de funcionários e os testes iniciais do BCP. A implementação também inclui o uso do plano se ocorrer uma interrupção para recuperar as operações regulares. As principais etapas de implementação incluem:
- Testes e treinamento iniciais: depois que o BPC for documentado, teste-o com simulações e exercícios para identificar lacunas e melhorar a eficácia. Treine os funcionários sobre as funções e responsabilidades deles durante uma interrupção.
- Ativação: quando ocorre uma interrupção, inicie o BCP de acordo com os gatilhos e procedimentos predefinidos.
- Comunicação: mantenha as partes interessadas informadas sobre a situação e os esforços de recuperação.
Manutenção e revisão
Essa etapa não é um processo definido que ocorre apenas uma vez. Em vez disso, ela representa um esforço contínuo que deve se tornar uma parte normal das suas operações de CI/CD. É importante revisar, testar e atualizar regularmente o BCP na sua organização para que ele permaneça relevante e acionável em caso de interrupção. As principais etapas de manutenção e revisão incluem o seguinte:
- Atualizações regulares: revise e atualize o BCP periodicamente para que ele permaneça atualizado e eficaz. Atualize-o sempre que houver mudanças em pessoal, tecnologia ou processos de negócios.
- Lições aprendidas: após cada interrupção ou teste, faça uma reunião para identificar as lições aprendidas e as áreas de melhoria.
- Conformidade regulatória: alinhe seu BCP com as regulamentações e os padrões do setor.
- Conscientização dos funcionários: instrua continuamente os funcionários sobre o BCP e as funções deles na execução.
Criar um processo de continuidade de negócios para CI/CD
Nesta seção, fornecemos diretrizes específicas para criar um BCP focado especificamente na restauração das operações de CI/CD. O processo de planejamento da continuidade de negócios para CI/CD começa com uma compreensão completa do conjunto de ferramentas de CI/CD e como ele se relaciona com o ciclo de vida de entrega de software e operações. Com esse entendimento como base, é possível planejar como sua organização vai recuperar as operações de CI/CD de uma interrupção.
Para criar um processo robusto de continuidade de negócios para seu processo de CI/CD, siga estas etapas principais:
- Noções básicas sobre o conjunto de ferramentas
- Identificar dados e dependências
- Determinar as metas de RTO e RPO
- Escolher uma estratégia de alto nível para continuidade de negócios
- Documentar o BCP e implementar as práticas recomendadas
- Testar cenários de falha e manter o plano
As seções a seguir dão mais detalhes sobre cada uma dessas etapas.
Entender o conjunto de ferramentas
Os conjuntos de ferramentas de CI/CD são compostos por muitas ferramentas individuais diferentes, e as possíveis combinações de ferramentas podem parecer infinitas. No entanto, entender o conjunto de ferramentas de CI/CD e as dependências dele é fundamental para o planejamento de continuidade de negócios para CI/CD. A principal missão do processo de CI/CD é entregar código aos sistemas de produção para consumo do usuário final. Durante esse processo, muitos sistemas e fontes de dados diferentes são usados. Conhecer essas fontes de dados e dependências é fundamental para desenvolver um BCP. Para começar a criar sua estratégia de DR, primeiro você precisa entender as diferentes ferramentas envolvidas no processo de CI/CD.
Para ajudar você a entender como avaliar seu próprio conjunto de ferramentas e desenvolver seu BCP, este documento usa o exemplo de um aplicativo Java empresarial executado no GKE. O diagrama a seguir mostra a primeira camada de dados e sistemas no conjunto de ferramentas. Essa primeira camada estaria sob seu controle direto e inclui o seguinte:
- A origem dos seus aplicativos
- Ferramentas na plataforma de CI/CD, como o Cloud Build ou o Cloud Deploy
- Interconexões básicas das diferentes ferramentas
Conforme mostrado no diagrama, o fluxo principal do aplicativo de exemplo é o seguinte:
- Os eventos de desenvolvimento de código no acionador de loop interno de desenvolvimento acionam o Cloud Build.
- O Cloud Build extrai o código-fonte do aplicativo do repositório de controle de origem.
- O Cloud Build identifica todas as dependências necessárias especificadas nos arquivos de configuração do build, como arquivos JAR de terceiros do repositório Java no Artifact Registry. Em seguida, o Cloud Build extrai essas dependências dos locais de origem.
- O Cloud Build executa o build e faz a validação necessária, como análise estática e teste de unidade.
- Se a criação for bem-sucedida, o Cloud Build vai criar a imagem de contêiner e enviá-la para o repositório de contêineres no Artifact Registry.
- Um pipeline do Cloud Deploy é acionado, extrai a imagem do contêiner do repositório e a implanta em um ambiente do GKE.
Para entender as ferramentas usadas no processo de CI/CD, sugerimos criar um diagrama que mostre o processo de CI/CD e as ferramentas usadas nele, semelhante ao exemplo neste documento. Em seguida, use o diagrama para criar uma tabela que capture as principais informações sobre o conjunto de ferramentas de CI/CD, como a fase do processo, a finalidade da ferramenta, a ferramenta em si e as equipes afetadas por uma falha da ferramenta. Esta tabela fornece um mapeamento das ferramentas no seu conjunto de ferramentas e identifica as ferramentas com fases específicas do processo de CI/CD. Assim, a tabela pode ajudar você a ter uma visão geral do seu conjunto de ferramentas e de como ele funciona.
As tabelas a seguir mapeiam o exemplo mencionado anteriormente de um aplicativo empresarial para cada ferramenta no diagrama. Para fornecer um exemplo completo de como pode ser um mapeamento de conjunto de ferramentas, essas tabelas também incluem outras ferramentas que não são mencionadas no diagrama, como ferramentas de segurança ou de teste.
A primeira tabela é mapeada para ferramentas usadas na fase de CI do processo de CI/CD:
| Integração contínua | Código- | Ferramentas usadas | Usuários principais | Uso |
|---|---|---|---|---|
| Fase: controle de origem |
|
|
|
|
| Fase: criação |
|
Desenvolvedores |
|
|
| Fase: teste |
|
Desenvolvedores |
Execute testes de unidade e integração em uma plataforma consistente e sob demanda. |
|
| Fase: segurança |
|
|
Verificar se há problemas de segurança no código. |
A segunda tabela se concentra nas ferramentas usadas na fase de CD do processo de CI/CD:
| Implantação contínua | Código- | Ferramentas usadas | Usuários principais | Uso |
|---|---|---|---|---|
| Fase: implantação | Arquivos de configuração de implantação |
|
Automatize implantações para promover, aprovar e gerenciar o tráfego em uma plataforma segura e consistente. |
|
| Fase: teste |
|
|
Desenvolvedores |
Testar a integração e o desempenho para garantir a qualidade e a usabilidade. |
| Fase: geração de registros |
|
|
Manter registros para observabilidade e solução de problemas. |
|
| Fase: monitoramento | Monitoramento de arquivos de configuração, incluindo:
|
|
|
|
À medida que você continua trabalhando no BCP e seu entendimento do conjunto de ferramentas de CI/CD aumenta, é possível atualizar o diagrama e a tabela de mapeamento.
Identificar dados e dependências
Depois de concluir o inventário básico e o mapa do conjunto de ferramentas de CI/CD, a próxima etapa é capturar todas as dependências de metadados ou configurações. Ao implementar o BCP, é fundamental entender claramente as dependências no conjunto de ferramentas de CI/CD. As dependências geralmente se enquadram em uma de duas categorias: dependências internas (de primeira ordem) e dependências externas (de segunda ou terceira ordem).
Dependências internas
As dependências internas são sistemas que o conjunto de ferramentas usa e que você controla diretamente. As dependências internas também são selecionadas pelas equipes. Esses sistemas incluem sua ferramenta de CI, o armazenamento de gerenciamento de chaves e o sistema de controle de origem. Esses sistemas estão na camada abaixo do conjunto de ferramentas.
Por exemplo, o diagrama a seguir mostra como as dependências internas se encaixam em um conjunto de ferramentas. O diagrama expande o diagrama anterior do conjunto de ferramentas de primeira camada para o aplicativo Java de exemplo, incluindo também as dependências internas do conjunto de ferramentas: credenciais do aplicativo, o arquivo deploy.yaml e o arquivo cloudbuild.yaml.
O diagrama mostra que, para funcionar corretamente no aplicativo Java de exemplo, ferramentas como
o Cloud Build, o Cloud Deploy e o GKE precisam de acesso a dependências que não são do conjunto de ferramentas, como cloudbuild.yaml, deploy.yaml e credenciais do aplicativo. Ao analisar seu próprio conjunto de ferramentas de CI/CD, você avalia se uma ferramenta pode ser executada por conta própria ou se precisa chamar outro recurso.
Considere as dependências internas documentadas para o aplicativo Java de exemplo.
As credenciais são armazenadas no Secret Manager, que não faz parte do
conjunto de ferramentas, mas são necessárias para que o aplicativo seja iniciado na
implantação. Assim, as credenciais do aplicativo são incluídas como uma dependência do
GKE. Também é importante incluir os arquivos deploy.yaml e
cloudbuild.yaml como dependências, mesmo que estejam armazenados no controle de
origem com o código do aplicativo, porque eles definem o pipeline de CI/CD para
esse aplicativo.
O BCP do aplicativo Java de exemplo precisa considerar essas dependências
nos arquivos deploy.yaml e cloudbuild.yaml, porque eles recriam o
pipeline de CI/CD depois que as ferramentas são implementadas durante o processo de recuperação.
Além disso, se essas dependências forem comprometidas, a função geral do pipeline será afetada, mesmo que as ferramentas ainda estejam operacionais.
Dependências externas
As dependências externas são sistemas externos de que seu conjunto de ferramentas depende para funcionar e que não estão sob seu controle direto. As dependências externas resultam das ferramentas e dos frameworks de programação que você selecionou. Pense nas dependências externas como outra camada abaixo das dependências internas. Exemplos de dependências externas incluem repositórios npm ou Maven e serviços de monitoramento.
Embora as dependências externas estejam fora do seu controle, é possível incorporá-las ao seu BCP. O diagrama a seguir atualiza o aplicativo Java de exemplo, incluindo dependências externas além das internas: bibliotecas Java no Maven Central e imagens do Docker no Docker Hub. As bibliotecas Java são usadas pelo Artifact Registry, e as imagens Docker são usadas pelo Cloud Build.
O diagrama mostra que as dependências externas podem ser importantes para o processo de CI/CD: o Cloud Build e o GKE dependem de dois serviços externos (Maven e Docker) para funcionar. Ao avaliar seu conjunto de ferramentas, documente as dependências externas que suas ferramentas precisam acessar e os procedimentos para lidar com interrupções de dependência.
No exemplo de aplicativo Java, as bibliotecas Java e as imagens Docker não podem ser controladas diretamente, mas você ainda pode incluí-las e os procedimentos de recuperação delas no BCP. Por exemplo, considere as bibliotecas Java no Maven. Embora as bibliotecas sejam armazenadas em uma fonte externa, é possível estabelecer um processo para baixar e atualizar periodicamente as bibliotecas Java em um repositório local do Maven ou no Artifact Registry. Dessa forma, o processo de recuperação não precisa depender da disponibilidade da origem de terceiros.
Além disso, é importante entender que as dependências externas podem ter mais de uma camada. Por exemplo, é possível pensar nos sistemas usados pelas dependências internas como dependências de segunda ordem. Essas dependências de segunda ordem podem ter as próprias dependências, que podem ser consideradas dependências de terceira ordem. Talvez seja necessário documentar e contabilizar as dependências externas de segunda e terceira ordem no BCP para recuperar as operações durante uma interrupção.
Determinar as metas de RTO e RPO
Depois de entender o conjunto de ferramentas e as dependências, defina as metas de RTO e RPO para as ferramentas. As ferramentas no processo de CI/CD executam uma ação diferente que pode ter um impacto diferente nos negócios. Portanto, é importante corresponder a prioridade das metas de RTO e RPO da função de negócios ao impacto dela nos negócios. Por exemplo, criar novas versões de aplicativos por meio do estágio de CI pode ser menos impactante do que implantar aplicativos por meio do estágio de CD. Assim, as ferramentas de implantação podem ter metas de RTO e RPO mais longas do que outras funções.
O gráfico de quatro quadrantes a seguir é um exemplo geral de como determinar as metas de RTO e RPO para cada componente do conjunto de ferramentas de CI/CD. O conjunto de ferramentas mapeado neste gráfico inclui ferramentas como um pipeline de IaC e fontes de dados de teste. As ferramentas não foram mencionadas nos diagramas anteriores do aplicativo Java, mas estão incluídas aqui para fornecer um exemplo mais completo.
O gráfico mostra quadrantes baseados no nível de impacto para desenvolvedores e operações. No gráfico, os componentes estão posicionados da seguinte forma:
- Impacto moderado para desenvolvedores, baixo impacto para operações: fontes de dados de teste
- Impacto moderado para desenvolvedores, impacto moderado para operações: Cloud Key Management Service, Cloud KMS
- Impacto moderado para desenvolvedores, alto impacto para operações: pipeline de implantação
- Alto impacto para desenvolvedores, baixo impacto para operações: loop interno de desenvolvimento
- Alto impacto para desenvolvedores, impacto moderado para operações: pipeline de CI, pipeline de infraestrutura como código (IaC)
- Alto impacto para desenvolvedores, alto impacto para operações: gerenciamento de controle de origem (SCM, na sigla em inglês), Artifact Registry
Componentes como o gerenciamento de controle de origem e o Artifact Registry, que têm um alto impacto no desenvolvedor e nas operações, têm o maior impacto nos negócios. Esses componentes precisam ter os objetivos de RTO e RPO mais baixos. Os componentes nos outros quadrantes têm uma prioridade menor, o que significa que os objetivos de RTO e RPO serão maiores. Em geral, os objetivos de RTO e RPO para os componentes do conjunto de ferramentas precisam ser definidos de acordo com a quantidade de dados ou perda de configuração que pode ser tolerada em comparação com o tempo necessário para restaurar o serviço para esse componente.
Por exemplo, considere os diferentes locais do Artifact Registry e do pipeline de IaC no gráfico. Uma comparação dessas duas ferramentas mostra que uma interrupção do Artifact Registry tem um impacto maior nas operações comerciais do que uma interrupção no pipeline de IaC. Como uma interrupção do Artifact Registry afeta significativamente sua capacidade de implantar ou escalonar automaticamente o aplicativo, ele teria metas de RTO e RPO mais baixas em comparação com outras ferramentas. Por outro lado, o gráfico mostra que uma interrupção do pipeline de IaC tem um impacto menor nas operações comerciais do que outras ferramentas. O pipeline de IaC teria objetivos de RTO e RPO mais altos, porque é possível usar outros métodos para implantar ou atualizar a infraestrutura durante uma interrupção.
Escolher uma estratégia de alto nível para a continuidade dos negócios
Os processos de continuidade de negócios para aplicativos de produção geralmente dependem de uma das três estratégias comuns de DR. No entanto, para CI/CD, é possível escolher entre duas estratégias de alto nível para continuidade de negócios: ativa/passiva ou backup/restauração. A estratégia escolhida depende dos seus requisitos e orçamento. Cada estratégia tem vantagens e desvantagens com complexidade e custo, e você tem considerações diferentes para seu processo de CI/CD. As seções a seguir fornecem mais detalhes sobre cada estratégia e as vantagens e desvantagens delas.
Além disso, quando ocorrem eventos de interrupção de serviço, eles podem afetar mais do que a implementação de CI/CD. Também é preciso considerar toda a infraestrutura necessária, incluindo rede, computação e armazenamento. É preciso ter um plano de DR para esses componentes e testá-lo regularmente para garantir que seja eficaz.
Ativo/passivo
Com a estratégia ativa/passiva (ou de espera ativa), seus aplicativos e o pipeline de CI/CD passivo são espelhos. No entanto, o pipeline passivo não está processando a carga de trabalho do cliente e qualquer build ou implantação, então ele está em um estado reduzido. Essa estratégia é mais adequada para aplicativos essenciais aos negócios, em que um pequeno período de inatividade é tolerável.
O diagrama a seguir mostra uma configuração ativa/passiva para o exemplo de aplicativo Java usado neste documento. O pipeline passivo duplica totalmente o conjunto de ferramentas do aplicativo em uma região diferente.
Neste exemplo, region1 hospeda o pipeline de CI/CD ativo, e region2 tem a contraparte passiva. O código é hospedado em um provedor de serviços Git externo, como o GitHub ou o GitLab. Um evento de repositório (como uma mesclagem de uma solicitação de envio) pode acionar o pipeline de CI/CD na região 1 para criar, testar e implantar no ambiente de produção multirregional.
Se ocorrer um problema crítico no pipeline region1, como uma interrupção regional de um produto, o resultado poderá ser falhas nas implantações ou nas versões. Para se recuperar rapidamente do problema, atualize o gatilho do repositório do Git e mude para o pipeline region2, que se torna o ativo. Depois que o problema for resolvido na região 1, será possível manter o pipeline na região 1 como passivo.
As vantagens da estratégia ativa/passiva incluem:
- Baixo tempo de inatividade: como o pipeline passivo foi implantado, mas tem a escala reduzida, o tempo de inatividade é limitado ao tempo necessário para escalonar o pipeline.
- Tolerância configurável para perda de dados: com essa estratégia, a configuração e o artefato precisam ser sincronizados periodicamente. No entanto, o valor é configurável com base nos seus requisitos, o que pode reduzir a complexidade.
As desvantagens dessa estratégia incluem:
- Custo: com a infraestrutura duplicada, essa estratégia aumenta o custo geral da infraestrutura de CI/CD.
Backup/restauração
Com a estratégia de backup/restauração, você cria o pipeline de failover apenas quando necessário durante a recuperação de incidentes. Essa estratégia é mais adequada para casos de uso de menor prioridade. O diagrama a seguir mostra uma configuração de backup/restauração para o aplicativo Java de exemplo. A configuração de backup duplica apenas parte do pipeline de CI/CD do aplicativo em uma região diferente.
Semelhante ao exemplo anterior, region1 hospeda o pipeline de CI/CD ativo. Em vez de ter um pipeline passivo na região2, ela tem apenas backups dos dados regionais necessários, como os pacotes Maven e as imagens de contêiner. Se você hospedar seus repositórios de origem na região 1, também precisará sincronizar os dados com os locais de DR.
Da mesma forma, se ocorrer um problema crítico no pipeline da region1, como uma falha temporária regional do produto, será possível restaurar a implementação de CI/CD na region2. Se o código de infraestrutura estiver armazenado no repositório de código de infraestrutura, será possível executar o script de automação no repositório e recriar o pipeline de CI/CD na região 2.
Se a interrupção for um evento de grande escala, talvez você precise competir com outros clientes por
recursos de nuvem. Uma maneira de mitigar essa situação é ter várias opções
para o local de DR. Por exemplo, se o pipeline da região 1 estiver em us-east1,
a região de failover poderá ser us-east4, us-central1 ou us-west1.
As vantagens da estratégia de backup/restauração incluem:
- Custo: essa estratégia gera o menor custo porque você implanta o pipeline de backup apenas durante cenários de DR.
As desvantagens dessa estratégia incluem:
- Tempo de inatividade: essa estratégia leva mais tempo para ser implementada porque você cria o pipeline de failover quando precisa dele. Em vez de ter um pipeline pré-criado, os serviços precisam ser criados e configurados durante a recuperação de incidentes. O tempo de criação do artefato e o tempo para recuperar dependências externas também podem ser significativamente maiores.
Documentar o BCP e implementar as práticas recomendadas
Depois de mapear o conjunto de ferramentas de CI/CD, identificar as dependências e determinar as metas de RTO e RPO para funções críticas, a próxima etapa é documentar todas as informações relevantes em um BCP escrito. Ao criar o BCP, documente as estratégias, os processos e os procedimentos para restaurar cada função crítica. Esse processo de documentação inclui a criação de procedimentos detalhados para que os funcionários em funções específicas sigam durante uma interrupção.
Depois de definir o BCP, implante ou atualize o conjunto de ferramentas de CI/CD usando as práticas recomendadas para atingir as metas de RTO e RPO. Embora os conjuntos de ferramentas de CI/CD possam ser muito diferentes, dois padrões principais de práticas recomendadas são comuns, independentemente do conjunto de ferramentas: uma compreensão abrangente das dependências e a implementação da automação.
Em relação às dependências, a maioria dos BCPs aborda os sistemas diretamente sob seu controle. No entanto, lembre-se de que as dependências externas de segunda ou terceira ordem podem ser tão impactantes quanto as outras. Por isso, é importante implementar práticas recomendadas e medidas de redundância para essas dependências críticas também. As bibliotecas Java externas no aplicativo de exemplo são um exemplo de dependências de terceira ordem. Se você não tiver um repositório local ou backup para essas bibliotecas, talvez não seja possível criar o aplicativo se a fonte externa de onde você extrai as bibliotecas estiver desconectada.
Em termos de automação, a implementação de práticas recomendadas precisa ser incorporada à sua estratégia geral de IaC na nuvem. A solução de IaC precisa usar ferramentas como o Terraform para provisionar automaticamente os recursos necessários da implementação de CI/CD e configurar os processos. As práticas de IaC são procedimentos de recuperação altamente eficazes porque são incorporadas ao funcionamento diário dos pipelines de CI/CD. Além disso, a IaC promove o armazenamento dos arquivos de configuração no controle de origem, o que, por sua vez, promove a adoção das práticas recomendadas para backups.
Depois de implementar o conjunto de ferramentas de acordo com o BCP e as práticas recomendadas para dependências e automação, o processo de CI/CD e as estratégias de recuperação podem mudar. Documente todas as mudanças nas estratégias, processos e procedimentos de recuperação que resultam da revisão do BCP e da implementação das práticas recomendadas.
Testar cenários de falha e manter o plano
É fundamental revisar, testar e atualizar regularmente o BCP de forma contínua. O teste do BCP e dos procedimentos de recuperação verifica se o plano ainda é válido e se as metas de RPO e RTO documentadas são aceitáveis. No entanto, o mais importante é que os testes, as atualizações e a manutenção regulares tornam a execução do BCP parte das operações normais. Usando o Google Cloud, é possível testar cenários de recuperação a um custo mínimo. Recomendamos que você faça o seguinte para ajudar nos testes:
- Automatizar o provisionamento de infraestrutura com uma ferramenta de IaC: é possível usar ferramentas como o Terraform para automatizar o provisionamento da infraestrutura de CI/CD.
- Monitore e depure seus testes com o Cloud Logging e o Cloud Monitoring: o Google Cloud Observability oferece ferramentas de geração de registros e monitoramento que podem ser acessadas por chamadas de API. Isso significa que é possível automatizar a implantação de cenários de recuperação reagindo às métricas. Ao elaborar testes, verifique se você tem monitoramento e alertas adequados que possam acionar ações de recuperação apropriadas.
- Realize os testes no seu BCP: por exemplo, teste se as permissões e o acesso do usuário funcionam no ambiente de DR da mesma forma que no ambiente de produção. É possível realizar testes funcionais e de integração no ambiente de DR. Também é possível realizar um teste em que o caminho de acesso normal ao Google Cloud não funciona.
No Google, testamos regularmente nosso BCP por meio de um processo chamado DiRT (teste de recuperação de desastres). Esse teste ajuda o Google a verificar impactos, automação e expor riscos não contabilizados. As mudanças na automação e no BCP que precisam ser implementadas são um resultado importante do DiRT.
Práticas recomendadas
Nesta seção, você vai aprender sobre algumas práticas recomendadas que podem ser implementadas para alcançar seus objetivos de RTO e RPO. Essas práticas recomendadas se aplicam de maneira geral à DR para CI/CD, e não a ferramentas específicas. Independentemente da implementação, teste o BCP regularmente para garantir que a alta disponibilidade, o RTO e o RPO atendam aos seus requisitos. Se um incidente ou desastre acontecer, faça uma retrospectiva e analise seu processo para melhorá-lo.
Alta disponibilidade
Para cada ferramenta, você precisa implementar as práticas recomendadas de alta disponibilidade. Seguir as práticas recomendadas de alta disponibilidade coloca seu processo de CI/CD em uma posição mais proativa, porque essas práticas o tornam mais resiliente a falhas. Essas estratégias proativas devem ser usadas com controles e procedimentos mais reativos para recuperação e backup.
Confira a seguir algumas práticas recomendadas para alcançar alta disponibilidade. No entanto, consulte a documentação detalhada de cada ferramenta na CI/CD para ver práticas recomendadas mais detalhadas:
- Serviços gerenciados: o uso de serviços gerenciados transfere a responsabilidade operacional para o Google Cloud.
- Escalonamento automático: sempre que possível, use o escalonamento automático. Um aspecto importante do escalonamento automático é que as instâncias de worker são criadas dinamicamente, de modo que a recuperação de nós com falha é automática.
- Implantações globais e multirregionais: quando possível, use implantações globais e multirregionais em vez de implantações regionais. Por exemplo, é possível configurar o Artifact Registry para armazenamento multirregional.
- Dependências: entenda todas as dependências das suas ferramentas e garanta que elas tenham alta disponibilidade. Por exemplo, é possível armazenar em cache todas as bibliotecas de terceiros no Artifact Registry.
Procedimentos de backup
Ao implementar a DR para CI/CD, algumas ferramentas e processos são mais adequados para estratégias de backup/restauração. Uma estratégia de backup abrangente é o primeiro passo para controles reativos eficazes. Os backups permitem recuperar o pipeline de CI/CD com o mínimo de interrupção em caso de agentes nocivos ou cenários de desastre.
Para começar, implemente as três práticas recomendadas a seguir. No entanto, para práticas recomendadas de backup mais detalhadas, consulte a documentação de cada ferramenta no processo de CI/CD.
- Controle de origem: armazene arquivos de configuração e tudo o que você codificar, como
scripts e políticas de automação, no controle de origem. Os exemplos incluem
arquivos YAML do
cloudbuild.yamle do Kubernetes. - Redundância: garanta que não haja um ponto único de falha no acesso a secrets, como senhas, certificados e chaves de API. Exemplos de práticas a serem evitadas incluem apenas uma pessoa saber a senha ou armazenar a chave de API em apenas um servidor em uma região específica.
- Backups: verifique com frequência a integridade e a precisão dos seus backups. Serviços gerenciados como o Backup para GKE ajudam a simplificar o processo de verificação.
Procedimentos de recuperação
A DR também exige procedimentos de recuperação para complementar os processos de backup. Seus procedimentos de recuperação, combinados com backups completos, vão determinar a rapidez com que você poderá responder a cenários de desastre.
Gerenciamento de dependências
Seu pipeline de CI/CD pode ter muitas dependências, que também podem ser fontes de falhas. Uma lista completa das dependências precisa ser identificada conforme descrito anteriormente neste documento em Identificar dados e dependências. No entanto, as duas fontes mais comuns de dependências são as seguintes:
- Artefatos de aplicativos: por exemplo, pacotes, bibliotecas e imagens
- Sistemas externos: por exemplo, sistemas de tíquetes e notificações
Uma maneira de reduzir os riscos de dependências é adotar a prática de vendoring. A venda de pacotes ou imagens de aplicativos é o processo de criar e armazenar cópias deles em um repositório particular. A venda remove a dependência de fontes externas para esses pacotes ou imagens e também pode ajudar a evitar que malware seja inserido na cadeia de suprimentos de software.
Alguns dos benefícios de vender pacotes ou imagens de aplicativos incluem:
- Segurança: o vendoring remove a dependência de fontes externas para pacotes ou imagens de aplicativos, o que pode ajudar a evitar ataques de inserção de malware.
- Controle: ao vender os próprios pacotes ou imagens, as organizações podem ter mais controle sobre a origem desses pacotes e imagens.
- Conformidade: a disponibilização de pacotes de terceiros pode ajudar as organizações a obedecer às regulamentações do setor, como a Certificação do modelo de maturidade em cibersegurança.
Se a equipe decidir vender pacotes ou imagens de aplicativos, siga estas etapas principais:
- Identifique os pacotes ou as imagens de aplicativos que precisam ser fornecidos.
- Crie um repositório particular para armazenar os pacotes ou as imagens de fornecedores.
- Faça o download dos pacotes ou das imagens da fonte original e armazene-os no repositório particular.
- Verifique a integridade dos pacotes ou das imagens.
- Atualize os pacotes ou as imagens de fornecedores conforme necessário.
Os pipelines de CI/CD geralmente chamam sistemas de terceiros para realizar ações como executar verificações, registrar tíquetes ou enviar notificações. Na maioria dos casos, esses sistemas de terceiros têm as próprias estratégias de DR que precisam ser implementadas. No entanto, em alguns casos, eles podem não ter um plano de DR adequado, e essas instâncias precisam ser claramente documentadas no BCP. Em seguida, decida se esses estágios no pipeline podem ser ignorados por motivos de disponibilidade ou se é aceitável causar inatividade no pipeline de CI/CD.
Monitoramento e notificações
A CI/CD é como os sistemas de produção de aplicativos. Por isso, você também precisa implementar técnicas de monitoramento e notificação para as ferramentas de CI/CD. Como prática recomendada, recomendamos que você implemente painéis e notificações de alerta. O repositório de amostra do GitHub para o Cloud Monitoring tem muitos exemplos de painéis e políticas de alertas.
Também é possível implementar outros níveis de monitoramento, como indicadores de nível de serviço (SLIs) e objetivos de nível de serviço (SLOs). Esses níveis de monitoramento ajudam a acompanhar a integridade e o desempenho gerais dos pipelines de CI/CD. Por exemplo, os SLOs podem ser implementados para rastrear a latência dos estágios de build e implantação. Esses SLOs ajudam as equipes a criar e lançar aplicativos na taxa e frequência que você quiser.
Procedimentos de acesso de emergência
Durante um desastre, pode ser necessário que as equipes de operações entrem em ação fora dos procedimentos padrão e tenham acesso de emergência a sistemas e ferramentas. Essas ações de emergência às vezes são chamadas de procedimentos de implantação forçada. Para começar, implemente estas três práticas recomendadas:
- Tenha um plano e um procedimento claros de encaminhamento para um supervisor. Um plano claro ajuda a equipe de operações a saber quando usar os procedimentos de acesso de emergência.
- Garanta que várias pessoas tenham acesso a informações críticas, como configurações e secrets.
- Desenvolva métodos de auditoria automatizados para acompanhar quando os procedimentos de acesso de emergência foram usados e quem os usou.
A seguir
- Saiba mais sobre os produtos do Google Cloud usados neste documento:
- Consulte o guia de planejamento de recuperação de desastres.
- Conclua nossos tutoriais para testar outros recursos do Google Cloud .
- Para mais arquiteturas de referência, diagramas e práticas recomendadas, confira a Central de arquitetura do Cloud.
Colaboradores
Autores:
- Ben Good | Arquiteto de soluções
- Xiang Shen | Arquiteto de soluções
Outros colaboradores:
- Marco Ferrari | Arquiteto de soluções do Cloud
- Anuradha Bajpai | Arquiteto de soluções
- Rodd Zurcher | Arquiteto de soluções