Ce document décrit la reprise après sinistre et la planification de la continuité de l'activité dans le contexte de l'intégration continue et de la livraison continue (CI/CD). Il fournit également des conseils sur l'identification et l'atténuation des dépendances lorsque vous développez un plan de continuité d'activité (PCA) complet. Ce document inclut des bonnes pratiques que vous pouvez appliquer à votre PCA, quels que soient les outils et les processus que vous utilisez. Ce document part du principe que vous maîtrisez les principes de base du cycle de livraison et d'exploitation des logiciels, de l'intégration et du déploiement continus (CI/CD) et de la reprise après sinistre (DR).
Les pipelines de CI/CD sont chargés de créer et de déployer vos applications stratégiques. Ainsi, comme votre infrastructure d'application, votre processus CI/CD nécessite une planification de la reprise après sinistre et de la continuité d'activité. Lorsque vous réfléchissez à la reprise après sinistre et à la continuité d'activité pour l'intégration et la livraison continues, il est important de comprendre chaque phase du cycle de livraison et d'exploitation des logiciels, ainsi que leur fonctionnement en tant que processus global.
Le schéma suivant est une vue simplifiée du cycle de développement et d'exploitation des logiciels, qui comprend les trois phases suivantes :
- Boucle interne de développement : coder, essayer et valider
- Intégration continue : compilation, test et sécurité
- Livraison continue : promotion, déploiement, rollback et métriques
Ce diagramme montre également que Google Kubernetes Engine (GKE), Cloud Run et Google Distributed Cloud sont des cibles de déploiement possibles pour le cycle de développement et d'exploitation des logiciels.
Tout au long du cycle de développement et d'exploitation des logiciels, vous devez tenir compte de l'impact d'un sinistre sur la capacité des équipes à exploiter et à gérer les applications critiques. Cela vous aidera à déterminer l'objectif de temps de récupération (RTO) et l'objectif de point de récupération (RPO) pour les outils de votre chaîne d'outils CI/CD.
En outre, la plupart des organisations disposent de nombreux pipelines CI/CD différents pour différentes applications et ensembles d'infrastructure, et chaque pipeline présente des exigences uniques en matière de planification de la reprise après sinistre et de la continuité des activités. La stratégie de récupération que vous choisissez pour un pipeline varie en fonction du RTO et du RPO de vos outils. Par exemple, certains pipelines sont plus critiques que d'autres et ont des exigences de RTO et de RPO plus faibles. Il est important d'identifier les pipelines critiques pour l'entreprise dans votre PCA. Ils doivent également faire l'objet d'une attention particulière lorsque vous mettez en œuvre les bonnes pratiques pour tester et exécuter les procédures de récupération.
Étant donné que chaque processus CI/CD et sa chaîne d'outils sont différents, l'objectif de ce guide est de vous aider à identifier les points de défaillance uniques de votre processus CI/CD et à développer un PCA complet. Les sections suivantes vous aident à effectuer les opérations suivantes :
- Comprendre ce qu'il faut faire pour récupérer après un événement de reprise après sinistre qui affecte votre processus CI/CD.
- Déterminez le RTO et le RPO pour les outils de votre processus CI/CD.
- Comprendre les modes de défaillance et les dépendances de votre processus de CI/CD.
- Choisissez une stratégie de récupération appropriée pour les outils de votre chaîne d'outils.
- Comprendre les bonnes pratiques générales pour mettre en œuvre un plan de reprise après sinistre pour votre processus CI/CD.
Comprendre le processus de continuité de l'activité
Il est essentiel de créer un plan de continuité d'activité pour vous assurer que votre organisation peut poursuivre ses opérations en cas d'interruption ou d'urgence. Il aide votre organisation à revenir rapidement à un état de fonctionnement normal pour son processus de CI/CD.
Les sections suivantes décrivent les principales étapes de la création d'un plan de continuité d'activité efficace. Bien que bon nombre de ces étapes s'appliquent de manière générale à la gestion des programmes et à la reprise après sinistre, certaines étapes sont plus pertinentes pour planifier la continuité de l'activité de votre processus CI/CD. Les étapes spécifiquement pertinentes pour la planification de la continuité de l'activité pour l'intégration et le déploiement continus sont mises en évidence dans les sections suivantes. Elles constituent également la base des conseils fournis dans le reste de ce document.
Lancement et planification
Au cours de cette étape initiale, les équipes techniques et commerciales collaborent pour établir les bases du processus de planification de la continuité d'activité et de sa maintenance continue. Les principales étapes de cette phase sont les suivantes :
- Adhésion de la direction : assurez-vous que la direction soutient et promeut le développement du PCA. Désignez une équipe ou une personne dédiée chargée de superviser le plan.
- Allocation des ressources : allouez le budget, le personnel et les ressources nécessaires au développement et à la mise en œuvre du plan de continuité d'activité.
- Champ d'application et objectifs : définissez le champ d'application de votre PCA et ses objectifs. Déterminez quels processus métier sont critiques et doivent être pris en compte dans le plan.
- Évaluation des risques : identifiez les risques et les menaces potentiels susceptibles de perturber votre activité, tels que les catastrophes naturelles, les failles de cybersécurité ou les interruptions de la chaîne d'approvisionnement.
- Analyse d'impact : évaluez les conséquences potentielles de ces résultats d'évaluation des risques sur vos opérations commerciales, vos finances, votre réputation et la satisfaction client.
Analyse d'impact sur l'entreprise
À ce stade, les équipes commerciales et techniques analysent l'impact commercial des perturbations sur vos clients et votre organisation, et hiérarchisent la récupération des fonctions commerciales critiques. Ces fonctions d'entreprise sont exécutées par différents outils au cours des différentes phases d'un processus de compilation et de déploiement.
L'analyse de l'impact sur l'entreprise est une étape importante du processus de planification de la continuité d'activité pour l'intégration et le déploiement continus, en particulier les étapes d'identification des fonctions métier critiques et des dépendances des outils. De plus, comprendre votre chaîne d'outils CI/CD, y compris ses dépendances et son fonctionnement au sein de votre cycle de vie DevOps, est un élément fondamental pour développer un plan de continuité d'activité pour votre processus CI/CD.
Voici les principales étapes de l'analyse de l'impact sur l'entreprise :
- Fonctions critiques : déterminez les fonctions et processus métier clés qui doivent être priorisés pour la récupération. Par exemple, si vous déterminez que le déploiement d'applications est plus critique que l'exécution de tests unitaires, vous devez prioriser la récupération des processus et des outils de déploiement d'applications.
- Dépendances : identifiez les dépendances internes et externes susceptibles d'affecter la récupération de vos fonctions critiques. Les dépendances sont particulièrement importantes pour assurer le fonctionnement continu de votre processus CI/CD via sa chaîne d'outils.
- RTO et RPO : définissez des limites acceptables pour les temps d'arrêt et les pertes de données pour chaque fonction critique. Ces objectifs de RTO et de RPO sont liés à l'importance d'une fonction métier pour la continuité des opérations, et impliquent des outils spécifiques nécessaires au bon fonctionnement de la fonction métier.
Développement de stratégie
À ce stade, l'équipe technique développe des stratégies de reprise pour les fonctions d'entreprise critiques, telles que la restauration des opérations et des données, et la communication avec les fournisseurs et les parties prenantes. Le développement de stratégies est également un élément clé de la planification de la continuité des activités pour votre processus CI/CD, en particulier l'étape de sélection de stratégies de récupération de haut niveau pour les fonctions critiques.
Voici les principales étapes de la phase d'élaboration de la stratégie :
- Stratégies de récupération : développez des stratégies pour restaurer les fonctions critiques. Ces stratégies peuvent impliquer des sites alternatifs, le télétravail ou des systèmes de sauvegarde. Ces stratégies sont liées aux objectifs de RTO et de RPO pour chaque fonction critique.
- Relations avec les fournisseurs : établissez des plans de communication et de coordination avec les principaux fournisseurs pour maintenir la chaîne d'approvisionnement en cas de perturbation.
- Récupération des données et de l'infrastructure informatique : créez des plans pour la sauvegarde des données, la récupération des systèmes informatiques et les mesures de cybersécurité.
- Plan de communication : élaborez un plan de communication clair pour les parties prenantes internes et externes pendant et après une interruption.
Élaboration du plan
À ce stade, l'étape principale consiste à documenter le PCA. L'équipe technique documente les outils, les processus, les stratégies de récupération, la logique et les procédures pour chaque fonction critique. L'élaboration du plan comprend également la rédaction d'instructions détaillées que les employés doivent suivre en cas d'interruption. Pendant la mise en œuvre et la maintenance continue, des modifications peuvent être apportées au plan, qui doit être traité comme un document évolutif.
Implémentation
Au cours de cette étape, vous mettez en œuvre le plan pour votre organisation à l'aide du PCA créé par l'équipe technique. La mise en œuvre comprend la formation des employés et les tests initiaux du PCA. La mise en œuvre inclut également l'utilisation du plan en cas de perturbation pour rétablir les opérations normales. Les principales étapes de mise en œuvre sont les suivantes :
- Tests et entraînements initiaux : une fois le plan de continuité d'activité documenté, testez-le par le biais de simulations et d'exercices afin d'identifier les lacunes et d'améliorer l'efficacité. Formez les employés à leurs rôles et responsabilités en cas d'interruption.
- Activation : en cas de perturbation, lancez le PCA conformément aux déclencheurs et procédures prédéfinis.
- Communication : tenez les parties prenantes informées de la situation et des efforts de récupération.
Maintenance et examen
Cette étape n'est pas un processus défini qui ne se produit qu'une seule fois. Elle représente plutôt un effort continu qui doit devenir une partie normale de vos opérations CI/CD. Il est important de vérifier, de tester et de mettre à jour régulièrement le PCA au sein de votre organisation afin qu'il reste pertinent et exploitable en cas de perturbation. Les principales étapes de maintenance et d'examen sont les suivantes :
- Mises à jour régulières : examinez et mettez à jour régulièrement le plan de continuité d'activité pour qu'il reste pertinent et efficace. Mettez-le à jour chaque fois que des changements surviennent au niveau du personnel, de la technologie ou des processus métier.
- Enseignements tirés : après chaque interruption ou test, organisez un débriefing pour identifier les enseignements tirés et les points à améliorer.
- Conformité réglementaire : alignez votre PCA sur les réglementations et les normes du secteur.
- Sensibilisation des employés : formez en continu les employés au PCA et à leur rôle dans son exécution.
Créer un processus de continuité d'activité pour l'intégration et la livraison continues (CI/CD)
Cette section fournit des consignes spécifiques pour créer un PCA axé sur la restauration de vos opérations de CI/CD. Le processus de planification de la continuité de l'activité pour l'intégration et la livraison continues (CI/CD) commence par une compréhension approfondie de votre chaîne d'outils CI/CD et de la manière dont elle s'intègre au cycle de vie de la livraison de logiciels et des opérations. En vous appuyant sur ces connaissances, vous pouvez ensuite planifier la manière dont votre organisation récupérera ses opérations de CI/CD après une interruption.
Pour créer un processus de continuité d'activité robuste pour votre processus CI/CD, vous devez suivre les étapes principales suivantes :
- Comprendre la chaîne d'outils
- Identifier les données et les dépendances
- Déterminer les objectifs de RTO et de RPO
- Choisir une stratégie de haut niveau pour la continuité d'activité
- Documenter votre PCA et mettre en œuvre les bonnes pratiques
- Tester les scénarios de défaillance et gérer le plan
Les sections suivantes fournissent plus de détails sur chacune de ces étapes.
Comprendre la chaîne d'outils
Les chaînes d'outils CI/CD sont composées de nombreux outils individuels différents, et les combinaisons d'outils possibles peuvent sembler infinies. Cependant, il est essentiel de comprendre votre chaîne d'outils CI/CD et ses dépendances pour planifier la continuité de l'activité pour l'intégration et le déploiement continus. La mission principale de votre processus CI/CD est de fournir du code aux systèmes de production pour que les utilisateurs finaux puissent l'utiliser. Tout au long de ce processus, de nombreux systèmes et sources de données sont utilisés. Il est essentiel de connaître ces sources de données et ces dépendances pour développer un plan de continuité d'activité. Pour commencer à créer votre stratégie de reprise après sinistre, vous devez d'abord comprendre les différents outils impliqués dans votre processus CI/CD.
Pour vous aider à comprendre comment évaluer votre propre chaîne d'outils et développer votre plan de continuité d'activité, ce document utilise l'exemple d'une application Java d'entreprise qui s'exécute sur GKE. Le diagramme suivant montre la première couche de données et de systèmes de la chaîne d'outils. Cette première couche serait sous votre contrôle direct et inclut les éléments suivants :
- La source de vos applications
- Outils de votre plate-forme CI/CD, tels que Cloud Build ou Cloud Deploy
- Interconnexions de base des différents outils
Comme illustré dans le schéma, le flux principal de l'exemple d'application est le suivant :
- Les événements de développement de code dans la boucle interne de développement déclenchent Cloud Build.
- Cloud Build extrait le code source de l'application du dépôt de contrôle source.
- Cloud Build identifie toutes les dépendances nécessaires spécifiées dans les fichiers de configuration de compilation, telles que les fichiers JAR tiers du dépôt Java dans Artifact Registry. Cloud Build extrait ensuite ces dépendances de leurs emplacements sources.
- Cloud Build exécute la compilation et effectue la validation nécessaire, comme l'analyse statique et les tests unitaires.
- Si la compilation réussit, Cloud Build crée l'image de conteneur et la transfère vers le dépôt de conteneurs dans Artifact Registry.
- Un pipeline Cloud Deploy est déclenché. Il extrait l'image de conteneur du dépôt et la déploie dans un environnement GKE.
Pour comprendre les outils utilisés dans votre processus CI/CD, nous vous suggérons de créer un diagramme illustrant votre processus CI/CD et les outils utilisés, comme dans l'exemple de ce document. Vous pouvez ensuite utiliser votre diagramme pour créer un tableau qui capture les informations clés sur votre chaîne d'outils CI/CD, telles que la phase du processus, l'objectif de l'outil, l'outil lui-même et les équipes concernées par une défaillance de l'outil. Ce tableau fournit un mappage des outils de votre chaîne d'outils et identifie les outils avec des phases spécifiques du processus CI/CD. Ainsi, le tableau peut vous aider à obtenir une vue d'ensemble de votre chaîne d'outils et de son fonctionnement.
Les tableaux suivants mettent en correspondance l'exemple d'application d'entreprise mentionné précédemment avec chaque outil du diagramme. Pour fournir un exemple plus complet de ce à quoi pourrait ressembler un mappage de chaîne d'outils, ces tableaux incluent également d'autres outils qui ne sont pas mentionnés dans le schéma, tels que des outils de sécurité ou de test.
Le premier tableau correspond aux outils utilisés lors de la phase d'intégration continue du processus CI/CD :
| Intégration continue | Source | Outils utilisés | Utilisateurs principaux | Utilisation |
|---|---|---|---|---|
| Phase : Contrôle des sources |
|
|
|
|
| Phase : Compilation |
|
Développeurs |
|
|
| Phase : Test |
|
Développeurs |
Exécutez des tests unitaires et d'intégration sur une plate-forme cohérente et à la demande. |
|
| Phase : Sécurité |
|
|
Analyser le code pour identifier les problèmes de sécurité |
Le deuxième tableau se concentre sur les outils utilisés lors de la phase de CD du processus CI/CD :
| Déploiement continu | Source | Outils utilisés | Utilisateurs principaux | Utilisation |
|---|---|---|---|---|
| Phase : Déploiement | Fichiers de configuration du déploiement |
|
Automatisez les déploiements pour promouvoir, approuver et gérer le trafic sur une plate-forme sécurisée et cohérente. |
|
| Phase : Test |
|
|
Développeurs |
Testez l'intégration et les performances pour vérifier la qualité et la facilité d'utilisation. |
| Phase : Journalisation |
|
|
Conservez les journaux pour l'observabilité et le dépannage. |
|
| Phase : Surveillance | Surveillance des fichiers de configuration, y compris les éléments suivants :
|
|
|
|
À mesure que vous travaillez sur votre plan de continuité d'activité et que vous comprenez mieux votre chaîne d'outils CI/CD, vous pouvez mettre à jour votre diagramme et votre table de mappage.
Identifier les données et les dépendances
Une fois que vous avez terminé l'inventaire de base et la cartographie de votre chaîne d'outils CI/CD, l'étape suivante consiste à capturer toutes les dépendances sur les métadonnées ou les configurations. Lorsque vous mettez en œuvre votre PCA, il est essentiel que vous compreniez clairement les dépendances au sein de votre chaîne d'outils CI/CD. Les dépendances se divisent généralement en deux catégories : les dépendances internes (de premier ordre) et les dépendances externes (de deuxième ou troisième ordre).
Dépendances internes
Les dépendances internes sont des systèmes que votre chaîne d'outils utilise et que vous contrôlez directement. Les dépendances internes sont également sélectionnées par vos équipes. Ces systèmes incluent votre outil CI, votre magasin de gestion des clés et votre système de contrôle de code source. Vous pouvez considérer ces systèmes comme se trouvant dans la couche située juste en dessous de la chaîne d'outils elle-même.
Par exemple, le schéma suivant montre comment les dépendances internes s'intègrent dans une chaîne d'outils. Le diagramme développe le diagramme de la chaîne d'outils de première couche précédent pour l'exemple d'application Java afin d'inclure également les dépendances internes de la chaîne d'outils : les identifiants de l'application, le fichier deploy.yaml et le fichier cloudbuild.yaml.
Le schéma montre que pour fonctionner correctement dans l'exemple d'application Java, des outils tels que Cloud Build, Cloud Deploy et GKE ont besoin d'accéder à des dépendances non liées à la chaîne d'outils, telles que cloudbuild.yaml, deploy.yaml et les identifiants de l'application. Lorsque vous analysez votre propre chaîne d'outils CI/CD, vous évaluez si un outil peut s'exécuter seul ou s'il doit appeler une autre ressource.
Examinez les dépendances internes documentées pour l'exemple d'application Java.
Les identifiants sont stockés dans Secret Manager, qui ne fait pas partie de la chaîne d'outils, mais ils sont nécessaires au démarrage de l'application lors du déploiement. Ainsi, les identifiants de l'application sont inclus en tant que dépendance pour GKE. Il est également important d'inclure les fichiers deploy.yaml et cloudbuild.yaml en tant que dépendances, même s'ils sont stockés dans le contrôle de code source avec le code de l'application, car ils définissent le pipeline CI/CD pour cette application.
Le plan de continuité des activités de l'exemple d'application Java doit tenir compte de ces dépendances sur les fichiers deploy.yaml et cloudbuild.yaml, car ils recréent le pipeline CI/CD une fois les outils en place pendant le processus de récupération.
De plus, si ces dépendances sont compromises, le fonctionnement global du pipeline sera affecté, même si les outils eux-mêmes sont toujours opérationnels.
Dépendances externes
Les dépendances externes sont des systèmes externes sur lesquels votre chaîne d'outils s'appuie pour fonctionner et qui ne sont pas sous votre contrôle direct. Les dépendances externes résultent des outils et des frameworks de programmation que vous avez sélectionnés. Vous pouvez considérer les dépendances externes comme une couche inférieure aux dépendances internes. Les dépôts npm ou Maven et les services de surveillance sont des exemples de dépendances externes.
Bien que les dépendances externes échappent à votre contrôle, vous pouvez les intégrer à votre plan de continuité d'activité. Le diagramme suivant met à jour l'exemple d'application Java en incluant des dépendances externes en plus des dépendances internes : bibliothèques Java dans Maven Central et images Docker dans Docker Hub. Les bibliothèques Java sont utilisées par Artifact Registry, et les images Docker sont utilisées par Cloud Build.
Le diagramme montre que les dépendances externes peuvent être importantes pour votre processus de CI/CD : Cloud Build et GKE s'appuient tous deux sur deux services externes (Maven et Docker) pour fonctionner correctement. Lorsque vous évaluez votre propre chaîne d'outils, documentez les dépendances externes auxquelles vos outils doivent accéder, ainsi que les procédures de gestion des pannes de dépendance.
Dans l'exemple d'application Java, les bibliothèques Java et les images Docker ne peuvent pas être contrôlées directement, mais vous pouvez toujours les inclure, ainsi que leurs procédures de récupération, dans le PCA. Prenons l'exemple des bibliothèques Java dans Maven. Bien que les bibliothèques soient stockées sur une source externe, vous pouvez établir un processus pour télécharger et actualiser régulièrement les bibliothèques Java dans un dépôt Maven local ou Artifact Registry. Ainsi, votre processus de récupération n'a pas besoin de dépendre de la disponibilité de la source tierce.
En outre, il est important de comprendre que les dépendances externes peuvent comporter plusieurs couches. Par exemple, vous pouvez considérer les systèmes utilisés par vos dépendances internes comme des dépendances de second ordre. Ces dépendances de second ordre peuvent avoir leurs propres dépendances, que vous pouvez considérer comme des dépendances de troisième ordre. Sachez que vous devrez peut-être documenter et prendre en compte les dépendances externes de deuxième et troisième ordre dans votre plan de continuité d'activité afin de rétablir les opérations en cas d'interruption.
Déterminer les objectifs de RTO et de RPO
Une fois que vous avez compris votre chaîne d'outils et vos dépendances, vous définissez les objectifs de RTO et de RPO pour vos outils. Les outils du processus CI/CD effectuent chacun une action différente qui peut avoir un impact différent sur l'entreprise. Par conséquent, il est important de faire correspondre la priorité des objectifs de RTO et de RPO de la fonction métier à son impact sur l'entreprise. Par exemple, la création de nouvelles versions d'applications via l'étape d'intégration continue peut avoir moins d'impact que le déploiement d'applications via l'étape de livraison continue. Ainsi, les outils de déploiement peuvent avoir des objectifs de RTO et de RPO plus longs que d'autres fonctions.
Le graphique à quatre quadrants suivant est un exemple général de la façon dont vous pouvez déterminer vos objectifs de RTO et de RPO pour chaque composant de la chaîne d'outils CI/CD. La chaîne d'outils mappée dans ce graphique inclut des outils tels qu'un pipeline IaC et des sources de données de test. Les outils n'ont pas été mentionnés dans les diagrammes précédents pour l'application Java, mais ils sont inclus ici pour fournir un exemple plus complet.
Le graphique montre des quadrants basés sur le niveau d'impact sur les développeurs et les opérations. Dans le graphique, les composants sont positionnés comme suit :
- Impact modéré sur les développeurs, faible impact sur les opérations : tester les sources de données
- Impact modéré sur les développeurs, impact modéré sur les opérations : Cloud Key Management Service, Cloud KMS
- Impact modéré sur les développeurs, impact élevé sur les opérations : pipeline de déploiement
- Impact élevé sur les développeurs, faible impact sur les opérations : boucle interne de développement
- Impact élevé sur les développeurs, impact modéré sur les opérations : pipeline d'intégration continue, pipeline d'infrastructure as code (IaC)
- Impact élevé sur les développeurs, impact élevé sur les opérations : gestion du contrôle des sources (SCM), Artifact Registry
Les composants tels que la gestion du contrôle des sources et Artifact Registry, qui ont un impact élevé sur les développeurs et les opérations, ont le plus d'impact sur l'entreprise. Ces composants doivent avoir les objectifs de RTO et de RPO les plus bas. Les composants des autres quadrants ont une priorité plus faible, ce qui signifie que les objectifs de RTO et de RPO seront plus élevés. En général, les objectifs de RTO et de RPO pour les composants de votre chaîne d'outils doivent être définis en fonction de la quantité de données ou de pertes de configuration pouvant être tolérée par rapport au temps nécessaire pour restaurer le service pour ce composant.
Par exemple, tenez compte des différents emplacements d'Artifact Registry et du pipeline IaC dans le graphique. Une comparaison de ces deux outils montre qu'une panne d'Artifact Registry a un impact plus important sur les opérations commerciales qu'une panne du pipeline IaC. Étant donné qu'une panne d'Artifact Registry a un impact significatif sur votre capacité à déployer ou à effectuer l'autoscaling de votre application, elle aura des objectifs de RTO et de RPO inférieurs à ceux d'autres outils. En revanche, le graphique montre qu'une panne de pipeline IaC a un impact plus faible sur les opérations commerciales que les autres outils. Le pipeline IaC aurait alors des objectifs de RTO et de RPO plus élevés, car vous pouvez utiliser d'autres méthodes pour déployer ou mettre à jour l'infrastructure pendant une panne.
Choisir une stratégie de haut niveau pour la continuité de l'activité
Les processus de continuité d'activité pour les applications de production reposent souvent sur l'une des trois stratégies de reprise après sinistre courantes. Toutefois, pour l'intégration et le déploiement continus, vous pouvez choisir entre deux stratégies de haut niveau pour la continuité d'activité : active/passive ou sauvegarde/restauration. La stratégie que vous choisissez dépend de vos exigences et de votre budget. Chaque stratégie présente des compromis en termes de complexité et de coût, et vous devez prendre en compte différentes considérations pour votre processus de CI/CD. Les sections suivantes fournissent plus de détails sur chaque stratégie et leurs compromis.
En outre, lorsque des événements d'interruption de service se produisent, ils peuvent avoir un impact plus important que votre implémentation CI/CD. Vous devez également prendre en compte l'ensemble de l'infrastructure dont vous avez besoin, y compris le réseau, le calcul et le stockage. Vous devez disposer d'un plan de reprise après sinistre pour ces composants de base et le tester régulièrement pour vous assurer de son efficacité.
Actif/Passif
Avec la stratégie actif/passif (ou de secours à chaud), vos applications et le pipeline CI/CD passif sont des miroirs. Cependant, le pipeline passif ne gère pas réellement la charge de travail du client, ni les compilations ou les déploiements. Il est donc dans un état de scaling à la baisse. Cette stratégie est la plus appropriée pour les applications stratégiques pour lesquelles un temps d'arrêt court est tolérable.
Le schéma suivant illustre une configuration active/passive pour l'exemple d'application Java utilisé dans ce document. Le pipeline passif duplique entièrement la chaîne d'outils de l'application dans une autre région.
Dans cet exemple, region1 héberge le pipeline CI/CD actif et region2 héberge l'équivalent passif. Le code est hébergé sur un fournisseur de services Git externe, tel que GitHub ou GitLab. Un événement de dépôt (comme une fusion à partir d'une demande d'extraction d'extraction) peut déclencher le pipeline CI/CD dans la région 1 pour créer, tester et déployer l'environnement de production multirégional.
Si un problème critique survient dans le pipeline region1, comme une panne régionale d'un produit, cela peut entraîner l'échec des déploiements ou des builds. Pour résoudre rapidement le problème, vous pouvez mettre à jour le déclencheur du dépôt Git et passer au pipeline de la région 2, qui devient alors le pipeline actif. Une fois le problème résolu dans la région 1, vous pouvez conserver le pipeline de la région 1 en tant que pipeline passif.
La stratégie actif/passif présente les avantages suivants :
- Temps d'arrêt faible : étant donné que le pipeline passif a été déployé, mais que sa capacité a été réduite, le temps d'arrêt est limité au temps nécessaire pour augmenter la capacité du pipeline.
- Tolérance configurable pour la perte de données : avec cette stratégie, la configuration et l'artefact doivent être synchronisés régulièrement. Toutefois, vous pouvez configurer ce nombre en fonction de vos besoins, ce qui peut réduire la complexité.
Cette stratégie présente les inconvénients suivants :
- Coût : avec une infrastructure dupliquée, cette stratégie augmente le coût global de votre infrastructure CI/CD.
Sauvegarder/Restaurer
Avec la stratégie de sauvegarde/restauration, vous ne créez votre pipeline de basculement qu'en cas de besoin lors de la récupération après incident. Cette stratégie est la plus appropriée pour les cas d'utilisation de priorité inférieure. Le schéma suivant montre une configuration de sauvegarde/restauration pour l'exemple d'application Java. La configuration de sauvegarde ne duplique qu'une partie du pipeline CI/CD de l'application dans une autre région.
Comme dans l'exemple précédent, region1 héberge le pipeline CI/CD actif. Au lieu d'avoir un pipeline passif dans la région 2, celle-ci ne dispose que de sauvegardes des données régionales nécessaires, telles que les packages Maven et les images de conteneurs. Si vous hébergez vos dépôts sources dans la région 1, vous devez également synchroniser les données avec vos emplacements de DR.
De même, si un problème critique se produit dans le pipeline region1, tel qu'une panne régionale du produit, vous pouvez restaurer votre implémentation CI/CD dans region2. Si le code d'infrastructure est stocké dans le dépôt de code d'infrastructure, vous pouvez exécuter votre script d'automatisation à partir du dépôt et recompiler le pipeline CI/CD dans la région 2.
Si la panne est un événement à grande échelle, vous pouvez être en concurrence avec d'autres clients pour les ressources cloud. Une façon d'atténuer ce problème consiste à disposer de plusieurs options pour l'emplacement de DR. Par exemple, si votre pipeline region1 se trouve dans us-east1, votre région de basculement peut être us-east4, us-central1 ou us-west1.
La stratégie de sauvegarde/restauration présente les avantages suivants :
- Coût : cette stratégie entraîne le coût le plus bas, car vous ne déployez le pipeline de sauvegarde que lors des scénarios de reprise après sinistre.
Cette stratégie présente les inconvénients suivants :
- Temps d'arrêt : cette stratégie prend plus de temps à mettre en œuvre, car vous créez le pipeline de basculement lorsque vous en avez besoin. Au lieu de disposer d'un pipeline prédéfini, les services doivent être créés et configurés lors de la récupération après incident. Le temps de compilation des artefacts et le temps de récupération des dépendances externes peuvent également être considérablement plus longs.
Documenter votre plan de continuité d'activité et mettre en œuvre les bonnes pratiques
Après avoir mappé votre chaîne d'outils CI/CD, identifié ses dépendances et déterminé les objectifs de RTO et de RPO pour les fonctions critiques, l'étape suivante consiste à documenter toutes les informations pertinentes dans un plan de continuité d'activité écrit. Lorsque vous créez votre PCA, documentez les stratégies, les processus et les procédures de restauration de chaque fonction critique. Ce processus de documentation inclut la rédaction de procédures détaillées que les employés occupant des rôles spécifiques doivent suivre en cas de perturbation.
Après avoir défini votre plan de continuité des activités, vous déployez ou mettez à jour votre chaîne d'outils CI/CD en suivant les bonnes pratiques pour atteindre vos objectifs de RTO et de RPO. Bien que les chaînes d'outils CI/CD puissent être très différentes, deux modèles clés de bonnes pratiques sont courants, quelle que soit la chaîne d'outils : une compréhension complète des dépendances et la mise en œuvre de l'automatisation.
En ce qui concerne les dépendances, la plupart des plans de continuité d'activité traitent les systèmes directement sous votre contrôle. Cependant, n'oubliez pas que les dépendances externes de deuxième ou troisième ordre peuvent avoir un impact tout aussi important. Il est donc essentiel de mettre en œuvre des bonnes pratiques et des mesures de redondance pour ces dépendances critiques également. Les bibliothèques Java externes de l'exemple d'application sont un exemple de dépendances de troisième ordre. Si vous ne disposez pas d'un dépôt local ou d'une sauvegarde pour ces bibliothèques, vous ne pourrez peut-être pas compiler votre application si la source externe d'où vous extrayez les bibliothèques est déconnectée.
En termes d'automatisation, l'implémentation des bonnes pratiques doit être intégrée à votre stratégie IaC cloud globale. Votre solution IaC doit utiliser des outils tels que Terraform pour provisionner automatiquement les ressources nécessaires à votre implémentation CI/CD et configurer les processus. Les pratiques IaC sont des procédures de récupération très efficaces, car elles sont intégrées au fonctionnement quotidien de vos pipelines CI/CD. De plus, l'IaC favorise le stockage de vos fichiers de configuration dans un système de contrôle des sources, ce qui favorise l'adoption des bonnes pratiques pour les sauvegardes.
Une fois que vous avez implémenté votre chaîne d'outils conformément à votre plan de continuité d'activité et aux bonnes pratiques concernant les dépendances et l'automatisation, votre processus CI/CD et vos stratégies de récupération peuvent changer. Veillez à documenter toutes les modifications apportées aux stratégies, processus et procédures de récupération qui résultent de l'examen du PCA et de la mise en œuvre des bonnes pratiques.
Tester les scénarios de défaillance et maintenir le plan
Il est essentiel de régulièrement examiner, tester et mettre à jour votre PCA. Tester le plan de continuité d'activité et les procédures de récupération permet de vérifier que le plan est toujours valide et que les objectifs de point de récupération (RPO) et de temps de récupération (RTO) documentés sont acceptables. Plus important encore, les tests, les mises à jour et la maintenance réguliers permettent d'intégrer l'exécution du PCA aux opérations normales. Google Cloudvous permet de tester des scénarios de reprise à moindre coût. Nous vous recommandons d'effectuer les opérations suivantes afin de faciliter vos tests :
- Automatisez le provisionnement de l'infrastructure avec un outil IaC : vous pouvez utiliser des outils tels que Terraform pour automatiser le provisionnement de l'infrastructure CI/CD.
- Surveillez et déboguez vos tests avec Cloud Logging et Cloud Monitoring : Google Cloud Observability fournit des outils de journalisation et de surveillance auxquels vous pouvez accéder via des appels d'API. Vous pouvez ainsi automatiser le déploiement de scénarios de récupération en réagissant aux métriques. Lorsque vous concevez des tests, assurez-vous de disposer d'un système de surveillance et d'alerte approprié, capable de déclencher les actions de reprise appropriées.
- Effectuez les tests dans votre plan de continuité d'activité : par exemple, vous pouvez vérifier si les autorisations et l'accès des utilisateurs fonctionnent dans l'environnement de reprise après sinistre comme dans l'environnement de production. Vous pouvez effectuer des tests d'intégration et des tests fonctionnels sur votre environnement de reprise après sinistre. Vous pouvez également effectuer un test dans lequel votre chemin d'accès habituel à Google Cloud ne fonctionne pas.
Chez Google, nous testons régulièrement notre plan de continuité d'activité via un processus appelé DiRT (Disaster Recovery Testing). Ces tests aident Google à vérifier les impacts et l'automatisation, et à identifier les risques non pris en compte. Les modifications à apporter à l'automatisation et au plan de continuité d'activité sont un résultat important des tests DiRT.
Bonnes pratiques
Dans cette section, vous allez découvrir quelques bonnes pratiques que vous pouvez mettre en œuvre pour atteindre vos objectifs de RTO et de RPO. Ces bonnes pratiques s'appliquent de manière générale à la reprise après sinistre pour l'intégration et le déploiement continus, et non à des outils spécifiques. Quelle que soit votre implémentation, vous devez tester régulièrement votre plan de continuité d'activité pour vous assurer que la haute disponibilité, le RTO et le RPO répondent à vos exigences. En cas d'incident ou de sinistre, vous devez également effectuer une rétrospective et analyser votre processus afin de l'améliorer.
Haute disponibilité
Pour chaque outil, vous devez vous efforcer de mettre en œuvre les bonnes pratiques de haute disponibilité. Suivre les bonnes pratiques de haute disponibilité permet d'adopter une approche plus proactive pour votre processus de CI/CD, car ces pratiques rendent le processus de CI/CD plus résilient aux défaillances. Ces stratégies proactives doivent être utilisées avec des contrôles et des procédures plus réactifs pour la récupération et la sauvegarde.
Voici quelques bonnes pratiques pour atteindre une haute disponibilité. Toutefois, consultez la documentation détaillée de chaque outil de votre pipeline CI/CD pour obtenir des bonnes pratiques plus détaillées :
- Services gérés : l'utilisation de services gérés transfère la responsabilité opérationnelle à Google Cloud.
- Autoscaling : dans la mesure du possible, utilisez l'autoscaling. Un aspect clé de l'autoscaling est que les instances de nœuds de calcul sont créées de manière dynamique, de sorte que la récupération des nœuds défaillants est automatique.
- Déploiements mondiaux et multirégionaux : dans la mesure du possible, utilisez des déploiements mondiaux et multirégionaux plutôt que des déploiements régionaux. Par exemple, vous pouvez configurer Artifact Registry pour le stockage multirégional.
- Dépendances : comprenez toutes les dépendances de vos outils et assurez-vous qu'elles sont disponibilité élevée. Par exemple, vous pouvez mettre en cache toutes les bibliothèques tierces dans votre registre d'artefacts.
Procédures de sauvegarde
Lorsque vous mettez en œuvre la reprise après sinistre pour l'intégration et le déploiement continus, certains outils et processus sont plus adaptés aux stratégies de sauvegarde/restauration. Une stratégie de sauvegarde complète est la première étape vers des contrôles réactifs efficaces. Les sauvegardes vous permettent de récupérer votre pipeline CI/CD avec un minimum d'interruption en cas d'acteurs malveillants ou de scénarios de sinistre.
Pour commencer, vous devez mettre en œuvre les trois bonnes pratiques suivantes. Toutefois, pour obtenir des bonnes pratiques de sauvegarde plus détaillées, consultez la documentation de chaque outil de votre processus CI/CD.
- Contrôle de code source : stockez les fichiers de configuration et tout ce que vous codifiez, comme les scripts d'automatisation et les règles, dans le contrôle de code source. Par exemple,
cloudbuild.yamlet les fichiers YAML Kubernetes. - Redondance : assurez-vous qu'il n'existe aucun point de défaillance unique concernant l'accès aux secrets tels que les mots de passe, les certificats et les clés API. Par exemple, évitez qu'une seule personne connaisse le mot de passe ou que la clé API soit stockée sur un seul serveur dans une région donnée.
- Sauvegardes : vérifiez fréquemment l'exhaustivité et l'exactitude de vos sauvegardes. Les services gérés tels que Sauvegarde pour GKE vous aideront à simplifier votre processus de validation.
Procédures de récupération
La reprise après sinistre nécessite également des procédures de récupération pour compléter les processus de sauvegarde. Vos procédures de reprise, combinées à des sauvegardes complètes, détermineront la rapidité avec laquelle vous pourrez réagir aux scénarios de sinistre.
Gestion des dépendances
Votre pipeline CI/CD peut avoir de nombreuses dépendances, qui peuvent également être des sources d'échecs. Une liste complète des dépendances doit être identifiée comme décrit précédemment dans ce document, dans la section Identifier les données et les dépendances. Toutefois, les deux sources de dépendances les plus courantes sont les suivantes :
- Artefacts d'application : par exemple, des packages, des bibliothèques et des images
- Systèmes externes : par exemple, systèmes de suivi des demandes d'assistance et de notification
Pour limiter les risques liés aux dépendances, vous pouvez adopter la pratique du vendoring. La mise en cache des packages ou des images d'application consiste à créer et à stocker des copies de ces packages ou images dans un dépôt privé. La mise en cache supprime la dépendance vis-à-vis des sources externes pour ces packages ou images, et peut également aider à empêcher l'insertion de logiciels malveillants dans la chaîne d'approvisionnement logicielle.
Voici quelques-uns des avantages de la mise en cache des packages ou des images d'application :
- Sécurité : le vendoring supprime la dépendance vis-à-vis de sources externes pour les packages ou les images d'application, ce qui peut aider à prévenir les attaques par insertion de logiciels malveillants.
- Contrôle : en vendant leurs propres packages ou images, les organisations peuvent mieux contrôler la source de ces packages et images.
- Conformité : le vendoring peut aider les organisations à se conformer aux réglementations du secteur, telles que la certification du modèle de maturité de la cybersécurité.
Si votre équipe décide de vendre des packages ou des images d'application, procédez comme suit :
- Identifiez les packages ou les images d'application qui doivent être vendus.
- Créez un dépôt privé pour stocker les packages ou les images du fournisseur.
- Téléchargez les packages ou les images à partir de la source d'origine et stockez-les dans le dépôt privé.
- Vérifiez l'intégrité des packages ou des images.
- Mettez à jour les packages ou les images du fournisseur si nécessaire.
Les pipelines de CI/CD appellent souvent des systèmes tiers pour effectuer des actions telles que l'exécution d'analyses, la journalisation de tickets ou l'envoi de notifications. Dans la plupart des cas, ces systèmes tiers disposent de leurs propres stratégies de reprise après sinistre, qui doivent être mises en œuvre. Toutefois, dans certains cas, il se peut qu'ils ne disposent pas d'un plan de reprise après sinistre adapté. Ces instances doivent être clairement documentées dans le plan de continuité d'activité. Vous devez ensuite décider si ces étapes du pipeline peuvent être ignorées pour des raisons de disponibilité, ou s'il est acceptable de provoquer un temps d'arrêt pour le pipeline CI/CD.
Surveillance et notifications
Votre CI/CD est semblable à vos systèmes de production d'applications. Vous devez donc également mettre en œuvre des techniques de surveillance et de notification pour vos outils CI/CD. Nous vous recommandons d'implémenter des tableaux de bord et des notifications d'alerte. L'exemple de dépôt GitHub pour Cloud Monitoring contient de nombreux exemples de tableaux de bord et de règles d'alerte.
Vous pouvez également mettre en œuvre des niveaux de surveillance supplémentaires, tels que des indicateurs de niveau de service (SLI) et des objectifs de niveau de service (SLO). Ces niveaux de surveillance permettent de suivre l'état et les performances globales de vos pipelines CI/CD. Par exemple, vous pouvez implémenter des SLO pour suivre la latence des étapes de compilation et de déploiement. Ces SLO aident les équipes à créer et à publier des applications au rythme et à la fréquence de votre choix.
Procédures d'accès d'urgence
En cas de sinistre, il peut être nécessaire que les équipes opérationnelles prennent des mesures en dehors des procédures standards et obtiennent un accès d'urgence aux systèmes et aux outils. Ces actions d'urgence sont parfois appelées procédures d'accès d'urgence. Pour commencer, vous devez mettre en œuvre ces trois bonnes pratiques :
- Mettez en place un plan et une procédure d'escalade clairs. Un plan clair aide l'équipe des opérations à savoir quand elle doit utiliser les procédures d'accès d'urgence.
- Assurez-vous que plusieurs personnes ont accès aux informations critiques, telles que la configuration et les secrets.
- Développez des méthodes d'audit automatisées afin de pouvoir suivre l'utilisation des procédures d'accès d'urgence et l'identité des personnes qui les ont utilisées.
Étapes suivantes
- Découvrez les produits Google Cloud utilisés dans ce document :
- Consultez le guide de planification de la reprise après sinistre.
- Essayez d'autres fonctionnalités Google Cloud en suivant nos tutoriels.
- Pour découvrir d'autres architectures de référence, schémas et bonnes pratiques, consultez le Centre d'architecture cloud.
Contributeurs
Auteurs :
- Ben Good | Architecte de solutions
- Xiang Shen | Architecte de solutions
Autres contributeurs :
- Marco Ferrari | Architecte de solutions cloud
- Anuradha Bajpai | Architecte de solutions
- Rodd Zurcher | Architecte de solutions