Geschäftskontinuität mit CI/CD in Google Cloud

Last reviewed 2024-09-27 UTC

In diesem Dokument werden die Notfallwiederherstellung (DR) und die Geschäftskontinuitätsplanung im Kontext von Continuous Integration und Continuous Delivery (CI/CD) beschrieben. Außerdem erhalten Sie eine Anleitung, wie Sie Abhängigkeiten identifizieren und minimieren, wenn Sie einen umfassenden Notfallplan zur Aufrechterhaltung des Geschäftsbetriebs (Business Continuity Plan, BCP) entwickeln. Das Dokument enthält Best Practices, die Sie unabhängig von den verwendeten Tools und Prozessen auf Ihren BCP anwenden können. In diesem Dokument wird davon ausgegangen, dass Sie mit den Grundlagen des Softwarebereitstellungs- und Betriebszyklus, CI/CD und DR vertraut sind.

CI/CD-Pipelines sind für das Erstellen und Bereitstellen Ihrer geschäftskritischen Anwendungen verantwortlich. Daher erfordert Ihr CI/CD-Prozess wie Ihre Anwendungsinfrastruktur eine Planung für die Notfallwiederherstellung und die Geschäftskontinuität. Wenn Sie über DR und Geschäftskontinuität für CI/CD nachdenken, ist es wichtig, jede Phase des Softwarebereitstellungs- und Betriebszyklus zu verstehen und zu wissen, wie sie als ganzheitlicher Prozess zusammenarbeiten.

Das folgende Diagramm ist eine vereinfachte Ansicht des Softwareentwicklungs- und Betriebszyklus, der die folgenden drei Phasen umfasst:

  • Inner-Loop-Entwicklung: Code schreiben, ausprobieren und committen
  • Continuous Integration: Erstellung, Tests und Sicherheit
  • Continuous Delivery: Hochstufen, Roll-out, Rollback und Messwerte

Dieses Diagramm zeigt auch, dass die Google Kubernetes Engine (GKE), Cloud Run und Google Distributed Cloud mögliche Bereitstellungsziele des Softwareentwicklungs- und Betriebszyklus sind.

Übersicht über den Softwareentwicklungs- und Betriebszyklus.

Während des gesamten Softwareentwicklungs- und Betriebszyklus müssen Sie die Auswirkungen eines Notfalls auf die Fähigkeit von Teams berücksichtigen, geschäftskritische Anwendungen zu betreiben und zu verwalten. So können Sie das Recovery Time Objective (RTO) und das Recovery Point Objective (RPO) für die Tools in Ihrer CI/CD-Toolchain bestimmen.

Darüber hinaus haben die meisten Organisationen viele verschiedene CI/CD-Pipelines für unterschiedliche Anwendungen und Infrastrukturen. Jede Pipeline hat eigene Anforderungen an die Notfallwiederherstellung und die Planung der Geschäftskontinuität. Die Wiederherstellungsstrategie, die Sie für eine Pipeline auswählen, hängt von der RTO und dem RPO Ihrer Tools ab. Einige Pipelines sind beispielsweise wichtiger als andere und haben niedrigere RTO- und RPO-Anforderungen. Es ist wichtig, die geschäftskritischen Pipelines in Ihrem BCP zu identifizieren. Sie sollten auch mehr Aufmerksamkeit erhalten, wenn Sie Best Practices für das Testen und Ausführen von Wiederherstellungsverfahren implementieren.

Da jeder CI/CD-Prozess und die zugehörige Toolchain unterschiedlich sind, soll Ihnen dieser Leitfaden helfen, Single Points of Failure in Ihrem CI/CD-Prozess zu identifizieren und einen umfassenden BCP zu entwickeln. In den folgenden Abschnitten wird Folgendes beschrieben:

  • Verstehen, was erforderlich ist, um sich von einem DR-Ereignis zu erholen, das sich auf Ihren CI/CD-Prozess auswirkt.
  • Bestimmen Sie das RTO und das RPO für die Tools in Ihrem CI/CD-Prozess.
  • Machen Sie sich mit den Fehlermodi und Abhängigkeiten Ihres CI/CD-Prozesses vertraut.
  • Wählen Sie eine geeignete Wiederherstellungsstrategie für die Tools in Ihrer Toolchain aus.
  • Allgemeine Best Practices für die Implementierung eines Notfallwiederherstellungsplans für Ihren CI/CD-Prozess kennenlernen.

Prozess zur Geschäftskontinuität verstehen

Die Erstellung eines BCP ist entscheidend, um sicherzustellen, dass Ihre Organisation im Falle von Störungen und Notfällen den Betrieb fortsetzen kann. So kann Ihre Organisation schnell wieder zum Normalbetrieb für den CI/CD-Prozess zurückkehren.

In den folgenden Abschnitten werden die allgemeinen Phasen mit den Schritten beschrieben, die zum Erstellen eines effektiven BCP erforderlich sind. Viele dieser Schritte gelten allgemein für das Programmmanagement und die Notfallwiederherstellung, aber bestimmte Schritte sind für die Planung der Geschäftskontinuität für Ihren CI/CD-Prozess relevanter. Die Schritte, die für die Planung der Geschäftskontinuität für CI/CD relevant sind, werden in den folgenden Abschnitten hervorgehoben und bilden auch die Grundlage für die Anleitung im Rest dieses Dokuments.

Initiierung und Planung

In dieser ersten Phase arbeiten sowohl technische als auch geschäftliche Teams zusammen, um die Grundlage für den Planungsprozess für die Geschäftskontinuität und die kontinuierliche Wartung zu schaffen. Die wichtigsten Schritte für diese Phase sind:

  • Unterstützung durch die Führungsebene: Sorgen Sie dafür, dass die Geschäftsleitung die Entwicklung des BCP unterstützt und fördert. Weisen Sie ein dediziertes Team oder eine Person zu, die für die Überwachung des Plans verantwortlich ist.
  • Ressourcenzuweisung: Weisen Sie das erforderliche Budget, Personal und die Ressourcen für die Entwicklung und Implementierung des BCP zu.
  • Umfang und Ziele: Definieren Sie den Umfang Ihres BCP und seine Ziele. Bestimmen Sie, welche Geschäftsprozesse kritisch sind und im Plan berücksichtigt werden müssen.
  • Risikobewertung: Identifizieren Sie potenzielle Risiken und Bedrohungen, die Ihr Unternehmen beeinträchtigen könnten, z. B. Naturkatastrophen, Cybersicherheitsverletzungen oder Unterbrechungen der Lieferkette.
  • Auswirkungsanalyse: Bewerten Sie die potenziellen Folgen dieser Risikobewertungsergebnisse für Ihre Geschäftsabläufe, Finanzen, Ihren Ruf und die Kundenzufriedenheit.

Geschäftsauswirkungsanalyse

In dieser Phase analysieren die Geschäfts- und technischen Teams die geschäftlichen Auswirkungen von Störungen auf Ihre Kunden und Ihr Unternehmen und priorisieren die Wiederherstellung kritischer Geschäftsfunktionen. Diese Geschäftsfunktionen werden von verschiedenen Tools in den verschiedenen Phasen eines Build- und Bereitstellungsprozesses ausgeführt.

Die Geschäftsauswirkungsanalyse ist eine wichtige Phase im Planungsprozess für die Geschäftskontinuität für CI/CD, insbesondere die Schritte zur Identifizierung kritischer Geschäftsfunktionen und Toolabhängigkeiten. Darüber hinaus ist das Verständnis Ihrer CI/CD-Toolchain, einschließlich ihrer Abhängigkeiten und ihrer Funktionsweise innerhalb Ihres DevOps-Lebenszyklus, ein grundlegender Baustein für die Entwicklung eines BCP für Ihren CI/CD-Prozess.

Die wichtigsten Schritte in der Phase der Geschäftsauswirkungsanalyse sind:

  • Kritische Funktionen: Bestimmen Sie die wichtigsten Geschäftsfunktionen und -prozesse, die für die Wiederherstellung priorisiert werden müssen. Wenn Sie beispielsweise feststellen, dass die Bereitstellung von Anwendungen wichtiger ist als die Ausführung von Unittests, sollten Sie die Wiederherstellung von Prozessen und Tools für die Anwendungsbereitstellung priorisieren.
  • Abhängigkeiten: Identifizieren Sie interne und externe Abhängigkeiten, die sich auf die Wiederherstellung Ihrer kritischen Funktionen auswirken könnten. Abhängigkeiten sind besonders wichtig, um den kontinuierlichen Betrieb Ihres CI/CD-Prozesses über die Toolchain sicherzustellen.
  • RTO und RPO: Definieren Sie akzeptable Limits für Ausfallzeiten und Datenverlust für jede kritische Funktion. Diese RTO- und RPO-Ziele sind mit der Bedeutung einer Geschäftsfunktion für den fortlaufenden Betrieb verknüpft und umfassen bestimmte Tools, die für den reibungslosen Betrieb der Geschäftsfunktion erforderlich sind.

Strategieentwicklung

In dieser Phase entwickelt das technische Team Wiederherstellungsstrategien für kritische Geschäftsfunktionen, z. B. die Wiederherstellung von Vorgängen und Daten sowie die Kommunikation mit Anbietern und Stakeholdern. Die Strategieentwicklung ist auch ein wichtiger Teil der Planung der Geschäftskontinuität für Ihren CI/CD-Prozess, insbesondere der Schritt der Auswahl von übergeordneten Wiederherstellungsstrategien für kritische Funktionen.

Die wichtigsten Schritte in der Phase der Strategieentwicklung sind:

  • Wiederherstellungsstrategien: Entwickeln Sie Strategien zur Wiederherstellung kritischer Funktionen. Diese Strategien können alternative Standorte, Remote-Arbeit oder Sicherungssysteme umfassen. Diese Strategien sind an die RTO- und RPO-Ziele für jede kritische Funktion gebunden.
  • Beziehungen zu Anbietern und Lieferanten: Erstellen Sie Kommunikations- und Koordinationspläne mit wichtigen Anbietern und Lieferanten, um die Lieferkette bei Störungen aufrechtzuerhalten.
  • Daten- und IT-Wiederherstellung: Erstellen Sie Pläne für die Datensicherung, die Wiederherstellung von IT-Systemen und Cybersicherheitsmaßnahmen.
  • Kommunikationsplan: Entwickeln Sie einen klaren Kommunikationsplan für interne und externe Stakeholder während und nach einer Störung.

Planentwicklung

In dieser Phase besteht der Hauptschritt darin, den BCP zu dokumentieren. Das technische Team dokumentiert die Tools, Prozesse, Wiederherstellungsstrategien, Begründungen und Verfahren für jede kritische Funktion. Die Entwicklung des Plans umfasst auch das Schreiben von detaillierten Anleitungen, die die Mitarbeitenden während einer Störung befolgen müssen. Während der Implementierung und der laufenden Wartung müssen möglicherweise Änderungen am Plan vorgenommen werden. Der Plan sollte als dynamisches Dokument behandelt werden.

Implementierung

In dieser Phase implementieren Sie den Plan für Ihre Organisation mithilfe des BCP, den das technische Team erstellt hat. Die Implementierung umfasst die Schulung der Mitarbeiter und erste Tests des BCP. Zur Implementierung gehört auch, den Plan im Falle einer Störung zu verwenden, um den regulären Betrieb wiederherzustellen. Wichtige Implementierungsschritte:

  • Erste Tests und Schulungen: Nachdem der BPC dokumentiert wurde, testen Sie ihn durch Simulationen und Übungen, um Lücken zu identifizieren und die Effektivität zu verbessern. Mitarbeiter in Bezug auf ihre Rollen und Verantwortlichkeiten während einer Störung schulen.
  • Aktivierung: Wenn eine Störung auftritt, wird der BCP gemäß den vordefinierten Auslösern und Verfahren aktiviert.
  • Kommunikation: Stakeholder über die Situation und die Wiederherstellungsmaßnahmen auf dem Laufenden halten.

Wartung und Überprüfung

Diese Phase ist kein definierter Prozess, der nur einmal stattfindet. Sie ist vielmehr ein kontinuierlicher, fortlaufender Aufwand, der zu einem normalen Bestandteil Ihrer CI/CD-Vorgänge werden sollte. Es ist wichtig, den BCP in Ihrer Organisation regelmäßig zu überprüfen, zu testen und zu aktualisieren, damit er relevant und umsetzbar bleibt, wenn es zu einer Störung kommt. Die wichtigsten Schritte der Wartung und Überprüfung sind:

  • Regelmäßige Aktualisierungen: Überprüfen und aktualisieren Sie den BCP regelmäßig, damit er aktuell und effektiv bleibt. Aktualisieren Sie ihn, wenn sich Personal, Technologie oder Geschäftsprozesse ändern.
  • Lessons Learned: Führen Sie nach jeder Störung oder jedem Test eine Nachbesprechung durch, um die gewonnenen Erkenntnisse und Verbesserungsmöglichkeiten zu ermitteln.
  • Einhaltung regulatorischer Anforderungen: Richten Sie Ihren BCP an Branchenvorschriften und -standards aus.
  • Mitarbeiterbewusstsein: Informieren Sie Ihre Mitarbeiter kontinuierlich über den BCP und ihre Rollen bei der Ausführung.

Prozess zur Aufrechterhaltung des Geschäftsbetriebs für CI/CD erstellen

In diesem Abschnitt finden Sie spezifische Richtlinien für die Erstellung eines BCP, der sich speziell auf die Wiederherstellung Ihrer CI/CD-Vorgänge konzentriert. Die Planung der Geschäftskontinuität für CI/CD beginnt mit einem gründlichen Verständnis Ihrer CI/CD-Toolchain und ihrer Einbindung in den Lebenszyklus der Softwarebereitstellung und des Betriebs. Auf dieser Grundlage können Sie dann planen, wie Ihre Organisation ihre CI/CD-Vorgänge nach einer Störung wiederherstellt.

Wenn Sie einen robusten Geschäftskontinuitätsprozess für Ihren CI/CD-Prozess erstellen möchten, müssen Sie die folgenden wichtigen Schritte ausführen:

In den folgenden Abschnitten finden Sie weitere Informationen zu den einzelnen Schritten.

Toolchain

CI/CD-Toolchains bestehen aus vielen verschiedenen einzelnen Tools und die möglichen Kombinationen von Tools können endlos erscheinen. Das Verständnis Ihrer CI/CD-Toolchain und ihrer Abhängigkeiten ist jedoch entscheidend für die Planung der Geschäftskontinuität für CI/CD. Die Hauptaufgabe Ihres CI/CD-Prozesses besteht darin, Code für Produktionssysteme zur Nutzung durch Endnutzer bereitzustellen. Während dieses Prozesses werden viele verschiedene Systeme und Datenquellen verwendet. Die Kenntnis dieser Datenquellen und Abhängigkeiten ist für die Entwicklung eines BCP von entscheidender Bedeutung. Bevor Sie mit der Erstellung Ihrer DR-Strategie beginnen, müssen Sie sich mit den verschiedenen Tools vertraut machen, die in Ihrem CI/CD-Prozess verwendet werden.

In diesem Dokument wird am Beispiel einer Java-Anwendung für Unternehmen, die in der GKE ausgeführt wird, erläutert, wie Sie Ihre eigene Toolchain bewerten und Ihren BCP entwickeln können. Das folgende Diagramm zeigt die erste Ebene von Daten und Systemen in der Toolchain. Diese erste Ebene unterliegt Ihrer direkten Kontrolle und umfasst Folgendes:

  • Die Quelle für Ihre Anwendungen
  • Tools in Ihrer CI/CD-Plattform, z. B. Cloud Build oder Cloud Deploy
  • Grundlegende Verknüpfungen der verschiedenen Tools

Architektur für die Java-Beispielanwendung.

Wie im Diagramm dargestellt, sieht der Hauptablauf für die Beispielanwendung so aus:

  1. Codeentwicklungsereignisse in der inneren Entwicklungsschleife lösen Cloud Build aus.
  2. Cloud Build ruft den Quellcode der Anwendung aus dem Quellcode-Repository ab.
  3. Cloud Build identifiziert alle erforderlichen Abhängigkeiten, die in Build-Konfigurationsdateien angegeben sind, z. B. JAR-Dateien von Drittanbietern aus dem Java-Repository in Artifact Registry. Cloud Build ruft diese Abhängigkeiten dann von ihren Quellspeicherorten ab.
  4. Cloud Build führt den Build aus und nimmt die erforderliche Validierung vor, z. B. statische Analyse und Unittests.
  5. Wenn der Build erfolgreich ist, erstellt Cloud Build das Container-Image und überträgt es per Push in das Container-Repository in Artifact Registry.
  6. Eine Cloud Deploy-Pipeline wird ausgelöst. Die Pipeline ruft das Container-Image aus dem Repository ab und stellt es in einer GKE-Umgebung bereit.

Um die in Ihrem CI/CD-Prozess verwendeten Tools zu verstehen, empfehlen wir, ein Diagramm zu erstellen, das Ihren CI/CD-Prozess und die darin verwendeten Tools zeigt, ähnlich dem Beispiel in diesem Dokument. Anhand des Diagramms können Sie dann eine Tabelle erstellen, die wichtige Informationen zu Ihrer CI/CD-Toolchain enthält, z. B. die Phase des Prozesses, den Zweck des Tools, das Tool selbst und die Teams, die von einem Ausfall des Tools betroffen sind. Diese Tabelle enthält eine Zuordnung der Tools in Ihrer Toolchain und identifiziert die Tools mit bestimmten Phasen des CI/CD-Prozesses. So erhalten Sie einen Gesamtüberblick über Ihre Toolchain und ihre Funktionsweise.

In den folgenden Tabellen wird das zuvor erwähnte Beispiel einer Unternehmensanwendung den einzelnen Tools im Diagramm zugeordnet. Um ein vollständigeres Beispiel für eine Toolchain-Zuordnung zu geben, enthalten diese Tabellen auch andere Tools, die im Diagramm nicht erwähnt werden, z. B. Sicherheitstools oder Testtools.

Die erste Tabelle enthält Tools, die in der CI-Phase des CI/CD-Prozesses verwendet werden:

Continuous Integration Quelle Verwendete Tools Hauptnutzer Nutzung
Phase: Versionsverwaltung
  • Anwendungscode
  • Anwendungskonfigurationsdateien
  • Secrets, Passwörter und API-Schlüssel
  • Entwickler
  • Site Reliability Engineers (SREs)
  • Kontrollieren Sie die Version aller Quellen, einschließlich Code, Konfigurationsdateien und Dokumentation, in einem verteilten Tool zur Versionsverwaltung.
  • Sicherung und Replikation durchführen
  • Speichern Sie alle Secrets (einschließlich Schlüssel, Zertifikate und Passwörter) in einem Secret-Verwaltungstool.
Phase: Build
  • Build-Dateien für Container-Images
  • Build-Konfigurationsdateien

Entwickler

  • Wiederholbare Builds auf einer konsistenten On-Demand-Plattform ausführen.
  • Build-Artefakte in einem zuverlässigen und sicheren Repository prüfen und speichern.
Phase: Testen
  • Testläufe
  • Code testen
  • Konfigurationsdateien testen

Entwickler

Unit- und Integrationstests auf einer einheitlichen On-Demand-Plattform ausführen.

Phase: Sicherheit
  • Sicherheitsregeln
  • Sicherheitskonfigurationsdateien

Sicherheitsscanner

  • Plattformadministratoren
  • SREs

Code auf Sicherheitsprobleme prüfen.

Die zweite Tabelle konzentriert sich auf Tools, die in der CD-Phase des CI/CD-Prozesses verwendet werden:

Kontinuierliche Bereitstellung Quelle Verwendete Tools Hauptnutzer Nutzung
Phase: Bereitstellung

Bereitstellungskonfigurationsdateien

Cloud Deploy

  • Anwendungsoperatoren
  • SREs

Automatisieren Sie Bereitstellungen, um Traffic auf einer sicheren und konsistenten Plattform zu fördern, zu genehmigen und zu verwalten.

Phase: Testen
  • Testläufe
  • Code testen
  • Testdaten
  • Konfigurationsdateien

Entwickler

Testen Sie die Integration und Leistung auf Qualität und Nutzerfreundlichkeit.

Phase: Logging
  • Logkonfigurationsdateien
  • Abfragen
  • Playbooks
  • Anwendungsoperatoren
  • SREs

Logs für Beobachtbarkeit und Fehlerbehebung aufbewahren.

Phase: Monitoring

Monitoring von Konfigurationsdateien, einschließlich:

  • Abfragen
  • Playbooks
  • Dashboard-Quellen
  • Anwendungsoperatoren
  • SREs
  • Messwerte für Monitoring, Beobachtbarkeit und Benachrichtigungen verwenden
  • Verteiltes Tracing verwenden
  • Benachrichtigungen senden

Wenn Sie weiter an Ihrem BCP arbeiten und Ihr Verständnis der CI/CD-Toolchain wächst, können Sie Ihr Diagramm und Ihre Zuordnungstabelle aktualisieren.

Daten und Abhängigkeiten identifizieren

Nachdem Sie Ihr Basis-Inventar und die Zuordnung Ihrer CI/CD-Toolchain erstellt haben, müssen Sie im nächsten Schritt alle Abhängigkeiten von Metadaten oder Konfigurationen erfassen. Wenn Sie Ihren BCP implementieren, ist es wichtig, dass Sie die Abhängigkeiten innerhalb Ihrer CI/CD-Toolchain genau kennen. Abhängigkeiten fallen in der Regel in eine von zwei Kategorien: interne Abhängigkeiten (erster Ordnung) und externe Abhängigkeiten (zweiter oder dritter Ordnung).

Interne Abhängigkeiten

Interne Abhängigkeiten sind Systeme, die von Ihrer Toolchain verwendet werden und die Sie direkt steuern können. Interne Abhängigkeiten werden ebenfalls von Ihren Teams ausgewählt. Zu diesen Systemen gehören Ihr CI-Tool, der Schlüsselspeicher und das Quellcodeverwaltungssystem. Diese Systeme befinden sich auf der Ebene unterhalb der Toolchain.

Das folgende Diagramm zeigt beispielsweise, wie interne Abhängigkeiten in eine Toolchain passen. Das Diagramm erweitert das vorherige Diagramm der Toolchain der ersten Ebene für die Java-Beispielanwendung, um auch die internen Abhängigkeiten der Toolchain einzubeziehen: Anmeldedaten der Anwendung, die Datei deploy.yaml und die Datei cloudbuild.yaml.

Architektur der Java-Beispielanwendung mit internen Abhängigkeiten.

Das Diagramm zeigt, dass Tools wie Cloud Build, Cloud Deploy und GKE Zugriff auf Abhängigkeiten außerhalb der Toolchain wie cloudbuild.yaml, deploy.yaml und Anwendungsanmeldedaten benötigen, um in der Java-Beispielanwendung erfolgreich zu funktionieren. Wenn Sie Ihre eigene CI/CD-Toolchain analysieren, prüfen Sie, ob ein Tool eigenständig ausgeführt werden kann oder ob es eine andere Ressource aufrufen muss.

Sehen Sie sich die dokumentierten internen Abhängigkeiten für die Java-Beispielanwendung an. Anmeldedaten werden in Secret Manager gespeichert, der nicht Teil der Toolchain ist. Die Anmeldedaten sind jedoch erforderlich, damit die Anwendung bei der Bereitstellung gestartet werden kann. Daher sind die Anmeldedaten der Anwendung als Abhängigkeit für GKE enthalten. Es ist auch wichtig, die Dateien deploy.yaml und cloudbuild.yaml als Abhängigkeiten einzubeziehen, obwohl sie in der Versionsverwaltung mit dem Anwendungscode gespeichert sind, da sie die CI/CD-Pipeline für diese Anwendung definieren.

Der BCP für die Java-Beispielanwendung sollte diese Abhängigkeiten von den Dateien deploy.yaml und cloudbuild.yaml berücksichtigen, da sie die CI/CD-Pipeline neu erstellen, nachdem die Tools während des Wiederherstellungsprozesses vorhanden sind. Wenn diese Abhängigkeiten kompromittiert werden, wird außerdem die Gesamtfunktion der Pipeline beeinträchtigt, auch wenn die Tools selbst noch funktionieren.

Externe Abhängigkeiten

Externe Abhängigkeiten sind externe Systeme, auf die Ihre Toolchain angewiesen ist, um zu funktionieren, und die nicht unter Ihrer direkten Kontrolle stehen. Externe Abhängigkeiten ergeben sich aus den von Ihnen ausgewählten Tools und Programmier-Frameworks. Externe Abhängigkeiten können Sie sich als eine weitere Ebene unter den internen Abhängigkeiten vorstellen. Beispiele für externe Abhängigkeiten sind npm- oder Maven-Repositories und Monitoring-Dienste.

Externe Abhängigkeiten liegen zwar außerhalb Ihrer Kontrolle, Sie können sie jedoch in Ihren BCP einbeziehen. Das folgende Diagramm aktualisiert die Java-Beispielanwendung, indem zusätzlich zu den internen Abhängigkeiten auch externe Abhängigkeiten einbezogen werden: Java-Bibliotheken in Maven Central und Docker-Images in Docker Hub. Die Java-Bibliotheken werden von Artifact Registry und die Docker-Images von Cloud Build verwendet.

Architektur der Java-Beispielanwendung mit externen Abhängigkeiten.

Das Diagramm zeigt, dass externe Abhängigkeiten für Ihren CI/CD-Prozess wichtig sein können: Sowohl Cloud Build als auch GKE sind auf zwei externe Dienste (Maven und Docker) angewiesen, um erfolgreich zu funktionieren. Wenn Sie Ihre eigene Toolchain bewerten, dokumentieren Sie sowohl externe Abhängigkeiten, auf die Ihre Tools zugreifen müssen, als auch Verfahren für den Umgang mit Ausfällen von Abhängigkeiten.

In der Java-Beispielanwendung können die Java-Bibliotheken und Docker-Images nicht direkt gesteuert werden. Sie können sie und ihre Wiederherstellungsverfahren jedoch in den BCP aufnehmen. Sehen Sie sich beispielsweise die Java-Bibliotheken in Maven an. Obwohl die Bibliotheken in einer externen Quelle gespeichert sind, können Sie einen Prozess einrichten, um Java-Bibliotheken regelmäßig herunterzuladen und in einem lokalen Maven-Repository oder in Artifact Registry zu aktualisieren. Dadurch ist der Wiederherstellungsprozess nicht von der Verfügbarkeit der Drittanbieterquelle abhängig.

Außerdem ist es wichtig zu wissen, dass externe Abhängigkeiten mehr als eine Ebene haben können. Sie können sich die Systeme, die von Ihren internen Abhängigkeiten verwendet werden, beispielsweise als Abhängigkeiten zweiter Ordnung vorstellen. Diese Abhängigkeiten zweiter Ordnung können eigene Abhängigkeiten haben, die Sie sich als Abhängigkeiten dritter Ordnung vorstellen können. Beachten Sie, dass Sie möglicherweise sowohl externe Abhängigkeiten zweiter als auch dritter Ordnung in Ihrem BCP dokumentieren und berücksichtigen müssen, um den Betrieb während einer Störung wiederherzustellen.

RTO- und RPO-Ziele festlegen

Nachdem Sie sich ein Bild von Ihrer Toolchain und Ihren Abhängigkeiten gemacht haben, definieren Sie die RTO- und RPO-Ziele für Ihre Tools. Die Tools im CI/CD-Prozess führen jeweils eine andere Aktion aus, die sich unterschiedlich auf das Unternehmen auswirken kann. Daher ist es wichtig, die Priorität der RTO- und RPO-Ziele der Geschäftsfunktion an ihre Auswirkungen auf das Unternehmen anzupassen. Beispielsweise könnte das Erstellen neuer Versionen von Anwendungen in der CI-Phase weniger Auswirkungen haben als das Bereitstellen von Anwendungen in der CD-Phase. Daher könnten Bereitstellungstools längere RTO- und RPO-Ziele als andere Funktionen haben.

Das folgende Vier-Quadranten-Diagramm ist ein allgemeines Beispiel dafür, wie Sie Ihre RTO- und RPO-Ziele für jede Komponente der CI/CD-Toolchain bestimmen können. Die in diesem Diagramm dargestellte Toolchain umfasst Tools wie eine IaC-Pipeline und Testdatenquellen. Die Tools wurden in den vorherigen Diagrammen für die Java-Anwendung nicht erwähnt, sind hier aber enthalten, um ein vollständigeres Beispiel zu bieten.

Das Diagramm zeigt Quadranten, die auf dem Grad der Auswirkungen auf Entwickler und Betrieb basieren. Im Diagramm sind die Komponenten so positioniert:

  • Moderate Auswirkungen auf Entwickler, geringe Auswirkungen auf den Betrieb: Testdatenquellen
  • Moderate Auswirkungen auf Entwickler, moderate Auswirkungen auf den Betrieb: Cloud Key Management Service, Cloud KMS
  • Moderate Auswirkungen auf Entwickler, hohe Auswirkungen auf den Betrieb: Bereitstellungspipeline
  • Hohe Auswirkungen auf Entwickler, geringe Auswirkungen auf den Betrieb: Innere Entwicklungs-Schleife
  • Starke Auswirkungen auf die Entwicklung, mäßige Auswirkungen auf den Betrieb: CI-Pipeline, IaC-Pipeline (Infrastructure as Code)
  • Hohe Auswirkungen auf Entwickler, hohe Auswirkungen auf den Betrieb: Quellcodeverwaltung (SCM), Artifact Registry

Quadrant, der Tools nach ihren Auswirkungen auf Entwickler und Vorgänge abbildet.

Komponenten wie die Quellcodeverwaltung und Artifact Registry, die sich stark auf Entwickler und Betrieb auswirken, haben den größten Einfluss auf das Unternehmen. Diese Komponenten sollten die niedrigsten RTO- und RPO-Ziele haben. Die Komponenten in den anderen Quadranten haben eine niedrigere Priorität, was bedeutet, dass die RTO- und RPO-Ziele höher sind. Im Allgemeinen sollten die RTO- und RPO-Ziele für Ihre Toolchain-Komponenten danach festgelegt werden, wie viel Daten- oder Konfigurationsverlust toleriert werden kann, im Vergleich zu der Zeit, die für die Wiederherstellung des Dienstes für diese Komponente benötigt werden sollte.

Sehen Sie sich beispielsweise die verschiedenen Standorte von Artifact Registry und der IaC-Pipeline im Diagramm an. Ein Vergleich dieser beiden Tools zeigt, dass ein Ausfall der Artifact Registry größere Auswirkungen auf die Geschäftstätigkeiten hat als ein Ausfall der IaC-Pipeline. Da ein Ausfall von Artifact Registry die Bereitstellung oder automatische Skalierung Ihrer Anwendung erheblich beeinträchtigt, gelten für Artifact Registry im Vergleich zu anderen Tools niedrigere RTO- und RPO-Ziele. Im Gegensatz dazu zeigt die Grafik, dass ein Ausfall der IaC-Pipeline geringere Auswirkungen auf die Geschäftsabläufe hat als andere Tools. Die IaC-Pipeline hätte dann höhere RTO- und RPO-Ziele, da Sie während eines Ausfalls andere Methoden zum Bereitstellen oder Aktualisieren der Infrastruktur verwenden können.

Allgemeine Strategie für die Geschäftskontinuität auswählen

Prozesse zur Aufrechterhaltung der Geschäftskontinuität für Produktionsanwendungen basieren häufig auf einer von drei gängigen DR-Strategien. Für CI/CD können Sie jedoch zwischen zwei allgemeinen Strategien für die Geschäftskontinuität wählen: Aktiv/Passiv oder Sicherung/Wiederherstellung. Die von Ihnen gewählte Strategie hängt von Ihren Anforderungen und Ihrem Budget ab. Jede Strategie hat Vor- und Nachteile in Bezug auf Komplexität und Kosten und Sie müssen verschiedene Aspekte für Ihren CI/CD-Prozess berücksichtigen. In den folgenden Abschnitten finden Sie weitere Informationen zu den einzelnen Strategien und ihren Vor- und Nachteilen.

Außerdem können Vorfälle, die den Dienst unterbrechen, mehr als nur Ihre CI/CD-Implementierung beeinträchtigen. Sie sollten auch die gesamte erforderliche Infrastruktur berücksichtigen, einschließlich Netzwerk, Computing und Speicher. Sie sollten einen DR-Plan für diese Bausteine haben und ihn regelmäßig testen, um sicherzustellen, dass er effektiv ist.

Aktiv/Passiv

Bei der Aktiv/Passiv-Strategie (oder Warm-Standby-Strategie) sind Ihre Anwendungen und die passive CI/CD-Pipeline Spiegel. Die passive Pipeline verarbeitet jedoch nicht die Kundenarbeitslast und keine Builds oder Deployments. Sie befindet sich daher in einem herunterskalierten Zustand. Diese Strategie eignet sich am besten für geschäftskritische Anwendungen, bei denen eine geringe Ausfallzeit tolerierbar ist.

Das folgende Diagramm zeigt eine Aktiv/Passiv-Konfiguration für die in diesem Dokument verwendete Java-Beispielanwendung. Die passive Pipeline dupliziert die Anwendungstoolchain vollständig in einer anderen Region.

Architektur für eine beispielhafte Aktiv/Passiv-Konfiguration.

In diesem Beispiel hostet region1 die aktive CI/CD-Pipeline und region2 das passive Gegenstück. Der Code wird bei einem externen Git-Dienstanbieter wie GitHub oder GitLab gehostet. Ein Repository-Ereignis (z. B. ein Zusammenführen aus einer Pull-Anfrage) kann die CI/CD-Pipeline in region1 auslösen, um die multiregionale Produktionsumgebung zu erstellen, zu testen und bereitzustellen.

Wenn ein kritisches Problem für die Pipeline in region1 auftritt, z. B. ein regionaler Ausfall eines Produkts, kann dies zu fehlgeschlagenen Bereitstellungen oder Builds führen. Um das Problem schnell zu beheben, können Sie den Trigger für das Git-Repository aktualisieren und zur Pipeline in region2 wechseln, die dann aktiv wird. Nachdem das Problem in region1 behoben wurde, können Sie die Pipeline in region1 als passiv beibehalten.

Die Aktiv/Passiv-Strategie bietet folgende Vorteile:

  • Geringe Ausfallzeit: Da die passive Pipeline bereitgestellt, aber herunterskaliert wurde, ist die Ausfallzeit auf die Zeit beschränkt, die zum Hochskalieren der Pipeline erforderlich ist.
  • Konfigurierbare Toleranz für Datenverlust: Bei dieser Strategie müssen die Konfiguration und das Artefakt regelmäßig synchronisiert werden. Die Anzahl ist jedoch je nach Ihren Anforderungen konfigurierbar, was die Komplexität reduzieren kann.

Zu den Nachteilen dieser Strategie gehören:

  • Kosten: Durch die duplizierte Infrastruktur erhöht diese Strategie die Gesamtkosten Ihrer CI/CD-Infrastruktur.

Sicherung/Wiederherstellung

Bei der Sicherungs-/Wiederherstellungsstrategie erstellen Sie Ihre Failover-Pipeline nur dann, wenn sie während der Wiederherstellung nach einem Vorfall benötigt wird. Diese Strategie eignet sich am besten für Anwendungsfälle mit niedrigerer Priorität. Das folgende Diagramm zeigt eine Sicherungs-/Wiederherstellungskonfiguration für die Java-Beispielanwendung. Bei der Sicherungskonfiguration wird nur ein Teil der CI/CD-Pipeline der Anwendung in einer anderen Region dupliziert.

Architektur für eine Beispielkonfiguration für Sicherung und Wiederherstellung.

Ähnlich wie im vorherigen Beispiel hostet region1 die aktive CI/CD-Pipeline. Anstatt eine passive Pipeline in region2 zu haben, gibt es in region2 nur Sicherungen der erforderlichen regionalen Daten, z. B. der Maven-Pakete und Container-Images. Wenn Sie Ihre Quell-Repositories in Region 1 hosten, sollten Sie die Daten auch mit Ihren Notfallwiederherstellungsstandorten synchronisieren.

Wenn in der Pipeline von region1 ein kritisches Problem auftritt, z. B. ein regionaler Produktausfall, können Sie Ihre CI/CD-Implementierung in region2 wiederherstellen. Wenn der Infrastrukturcode im Infrastrukturcode-Repository gespeichert ist, können Sie Ihr Automatisierungsskript aus dem Repository ausführen und die CI/CD-Pipeline in region2 neu erstellen.

Wenn es sich um einen großflächigen Ausfall handelt, konkurrieren Sie möglicherweise mit anderen Kunden um Cloud-Ressourcen. Eine Möglichkeit, diese Situation zu entschärfen, besteht darin, mehrere Optionen für den DR-Standort zu haben. Wenn sich Ihre Pipeline für region1 beispielsweise in us-east1 befindet, kann Ihre Failover-Region us-east4, us-central1 oder us-west1 sein.

Die Sicherungs-/Wiederherstellungsstrategie bietet folgende Vorteile:

  • Kosten: Diese Strategie verursacht die geringsten Kosten, da Sie die Sicherungspipeline nur in DR-Szenarien bereitstellen.

Zu den Nachteilen dieser Strategie gehören:

  • Ausfallzeit: Die Implementierung dieser Strategie dauert länger, da Sie die Failover-Pipeline erst erstellen, wenn Sie sie benötigen. Anstatt eine vordefinierte Pipeline zu haben, müssen die Dienste während der Wiederherstellung nach einem Vorfall erstellt und konfiguriert werden. Die Artefakterstellungszeit und die Zeit zum Abrufen externer Abhängigkeiten können ebenfalls erheblich länger sein.

BCP dokumentieren und Best Practices implementieren

Nachdem Sie Ihre CI/CD-Toolchain zugeordnet, ihre Abhängigkeiten identifiziert und RTO- und RPO-Ziele für kritische Funktionen festgelegt haben, besteht der nächste Schritt darin, alle relevanten Informationen in einem schriftlichen BCP zu dokumentieren. Dokumentieren Sie beim Erstellen Ihres BCP die Strategien, Prozesse und Verfahren zur Wiederherstellung der einzelnen kritischen Funktionen. Dieser Dokumentationsprozess umfasst das Schreiben von Schritt-für-Schritt-Anleitungen für Mitarbeitende in bestimmten Rollen, die sie während einer Störung befolgen müssen.

Nachdem Sie Ihren BCP definiert haben, stellen Sie Ihre CI/CD-Toolchain bereit oder aktualisieren sie mithilfe von Best Practices, um Ihre RTO- und RPO-Ziele zu erreichen. Obwohl CI/CD-Toolchains sehr unterschiedlich sein können, gibt es zwei wichtige Best Practices, die unabhängig von der Toolchain gelten: ein umfassendes Verständnis von Abhängigkeiten und die Implementierung von Automatisierung.

In Bezug auf Abhängigkeiten werden in den meisten BCPs die Systeme direkt in Ihrer Kontrolle behandelt. Denken Sie jedoch daran, dass externe Abhängigkeiten zweiter oder dritter Ordnung genauso wichtig sein können. Daher ist es wichtig, Best Practices und Redundanzmaßnahmen auch für diese kritischen Abhängigkeiten zu implementieren. Die externen Java-Bibliotheken in der Beispielanwendung sind ein Beispiel für Abhängigkeiten dritter Ordnung. Wenn Sie kein lokales Repository oder keine Sicherung für diese Bibliotheken haben, können Sie Ihre Anwendung möglicherweise nicht erstellen, wenn die externe Quelle, aus der Sie die Bibliotheken abrufen, nicht verbunden ist.

In Bezug auf die Automatisierung sollte die Implementierung von Best Practices in Ihre allgemeine Cloud-IaC-Strategie einbezogen werden. Ihre IaC-Lösung sollte Tools wie Terraform verwenden, um die erforderlichen Ressourcen Ihrer CI/CD-Implementierung automatisch bereitzustellen und die Prozesse zu konfigurieren. IaC-Verfahren sind hocheffektive Wiederherstellungsverfahren, da sie in die tägliche Funktionsweise Ihrer CI/CD-Pipelines integriert sind. Außerdem fördert IaC die Speicherung Ihrer Konfigurationsdateien in der Versionsverwaltung, was wiederum die Übernahme der Best Practices für Sicherungen fördert.

Nachdem Sie Ihre Toolchain gemäß Ihrem BCP und den Best Practices für Abhängigkeiten und Automatisierung implementiert haben, können sich Ihr CI/CD-Prozess und Ihre Wiederherstellungsstrategien ändern. Dokumentieren Sie alle Änderungen an Wiederherstellungsstrategien, Prozessen und Verfahren, die sich aus der Überprüfung des BCP und der Implementierung von Best Practices ergeben.

Fehlerszenarien testen und Plan pflegen

Es ist wichtig, dass Sie Ihren BCP regelmäßig überprüfen, testen und aktualisieren. Durch das Testen des BCP und der Wiederherstellungsverfahren wird überprüft, ob der Plan noch gültig ist und ob die dokumentierten RPO- und RTO-Ziele akzeptabel sind. Am wichtigsten ist jedoch, dass durch regelmäßige Tests, Aktualisierungen und Wartung die Ausführung des Notfallplans zur Aufrechterhaltung des Geschäftsbetriebs zu einem Teil des normalen Betriebs wird. Mit Google Cloudkönnen Sie Wiederherstellungsszenarien besonders kostengünstig testen. Folgende empfohlene Maßnahmen unterstützen Sie beim Testen:

  • Infrastrukturbereitstellung mit einem IaC-Tool automatisieren: Sie können Tools wie Terraform verwenden, um die Bereitstellung der CI/CD-Infrastruktur zu automatisieren.
  • Tests mit Cloud Logging und Cloud Monitoring überwachen und debuggen: Google Cloud Observability bietet Logging- und Monitoring-Tools, auf die Sie über API-Aufrufe zugreifen können. So können Sie die Bereitstellung von Wiederherstellungsszenarien automatisieren, indem Sie auf Messwerte reagieren. Achten Sie beim Entwerfen von Tests darauf, dass Sie ein geeignetes Monitoring und entsprechende Benachrichtigungen eingerichtet haben, die die entsprechenden Wiederherstellungsaktionen auslösen können.
  • Führen Sie die Tests in Ihrem BCP durch: Sie können beispielsweise testen, ob Berechtigungen und Nutzerzugriff in der DR-Umgebung wie in der Produktionsumgebung funktionieren. Sie können Integrations- und Funktionstests in Ihrer DR-Umgebung durchführen. Sie können auch einen Test durchführen, bei dem Ihr üblicher Zugriffspfad auf Google Cloud nicht funktioniert.

Bei Google testen wir unseren Notfallplan zur Aufrechterhaltung des Geschäftsbetriebs regelmäßig im Rahmen eines Prozesses namens DiRT (Notfallwiederherstellungstest). Diese Tests helfen Google, Auswirkungen und Automatisierung zu prüfen und nicht berücksichtigte Risiken aufzudecken. Änderungen an der Automatisierung und am BCP, die implementiert werden müssen, sind ein wichtiges Ergebnis von DiRT.

Best Practices

In diesem Abschnitt erfahren Sie mehr über einige Best Practices, die Sie implementieren können, um Ihre RTO- und RPO-Ziele zu erreichen. Diese Best Practices gelten allgemein für DR für CI/CD und nicht für bestimmte Tools. Unabhängig von Ihrer Implementierung sollten Sie Ihren BCP regelmäßig testen, um sicherzustellen, dass Hochverfügbarkeit, RTO und RPO Ihren Anforderungen entsprechen. Wenn ein Vorfall oder eine Katastrophe eintritt, sollten Sie auch eine Retrospektive durchführen und Ihren Prozess analysieren, um ihn zu verbessern.

Hochverfügbarkeit

Für jedes Tool sollten Sie Best Practices für Hochverfügbarkeit implementieren. Wenn Sie die Best Practices für Hochverfügbarkeit befolgen, wird Ihr CI/CD-Prozess proaktiver, da diese Best Practices den CI/CD-Prozess widerstandsfähiger gegen Fehler machen. Diese proaktiven Strategien sollten mit reaktiveren Kontrollen und Verfahren für die Wiederherstellung und Sicherung kombiniert werden.

Im Folgenden finden Sie einige Best Practices, um Hochverfügbarkeit zu erreichen. In der detaillierten Dokumentation zu den einzelnen Tools in Ihrer CI/CD finden Sie jedoch weitere Best Practices:

  • Verwaltete Dienste: Bei verwalteten Diensten wird die operative Verantwortung auf Google Cloudübertragen.
  • Autoscaling: Verwenden Sie nach Möglichkeit Autoscaling. Ein wichtiger Aspekt des Autoscalings ist, dass Worker-Instanzen dynamisch erstellt werden, sodass fehlgeschlagene Knoten automatisch wiederhergestellt werden.
  • Globale und multiregionale Bereitstellungen: Verwenden Sie nach Möglichkeit globale und multiregionale Bereitstellungen anstelle von regionalen Bereitstellungen. Sie können Artifact Registry beispielsweise für multiregionalen Speicher konfigurieren.
  • Abhängigkeiten: Machen Sie sich mit allen Abhängigkeiten Ihrer Tools vertraut und sorgen Sie dafür, dass diese Abhängigkeiten hochverfügbar sind. Sie können beispielsweise alle Drittanbieterbibliotheken in Ihrer Artefakt-Registry im Cache speichern.

Sicherungsverfahren

Wenn Sie DR für CI/CD implementieren, eignen sich einige Tools und Prozesse besser für Sicherungs-/Wiederherstellungsstrategien. Eine umfassende Sicherungsstrategie ist der erste Schritt zu effektiven reaktiven Kontrollen. Mit Sicherungen können Sie Ihre CI/CD-Pipeline im Falle von böswilligen Akteuren oder Notfallszenarien mit minimaler Unterbrechung wiederherstellen.

Als Ausgangspunkt sollten Sie die folgenden drei Best Practices implementieren. Ausführlichere Best Practices für Sicherungen finden Sie in der Dokumentation zu den einzelnen Tools in Ihrem CI/CD-Prozess.

  • Quellcodeverwaltung: Speichern Sie Konfigurationsdateien und alles, was Sie codieren, z. B. Automatisierungsskripts und Richtlinien, in der Quellcodeverwaltung. Beispiele hierfür sind cloudbuild.yaml und Kubernetes-YAML-Dateien.
  • Redundanz: Achten Sie darauf, dass es keinen Single Point of Failure beim Zugriff auf Secrets wie Passwörter, Zertifikate und API-Schlüssel gibt. Beispiele für Praktiken, die vermieden werden sollten, sind, dass nur eine Person das Passwort kennt oder dass der API-Schlüssel nur auf einem einzigen Server in einer bestimmten Region gespeichert wird.
  • Sicherungen: Prüfen Sie regelmäßig die Vollständigkeit und Richtigkeit Ihrer Sicherungen. Verwaltete Dienste wie Backup for GKE vereinfachen den Überprüfungsprozess.

Bergungsverfahren

Für die Notfallwiederherstellung sind außerdem Wiederherstellungsverfahren erforderlich, die die Sicherungsprozesse ergänzen. Ihre Wiederherstellungsverfahren bestimmen in Kombination mit vollständigen Sicherungen, wie schnell Sie auf Notfallszenarien reagieren können.

Abhängigkeitsverwaltung

Ihre CI/CD-Pipeline kann viele Abhängigkeiten haben, die auch Fehlerquellen sein können. Eine vollständige Liste der Abhängigkeiten sollte wie zuvor in diesem Dokument unter Daten und Abhängigkeiten identifizieren beschrieben identifiziert werden. Die beiden häufigsten Quellen für Abhängigkeiten sind jedoch:

  • Anwendungsartefakte: z. B. Pakete, Bibliotheken und Images
  • Externe Systeme: z. B. Ticket- und Benachrichtigungssysteme

Eine Möglichkeit, die Risiken von Abhängigkeiten zu minimieren, ist die Verwendung von Vendoring. Beim Vendoring von Anwendungspaketen oder Images werden Kopien davon in einem privaten Repository erstellt und gespeichert. Durch Vendoring wird die Abhängigkeit von externen Quellen für diese Pakete oder Images entfernt. Außerdem kann es dazu beitragen, dass keine Malware in die Softwarelieferkette eingefügt wird.

Die Bereitstellung von Anwendungspaketen oder Images bietet unter anderem folgende Vorteile:

  • Sicherheit: Durch Vendoring wird die Abhängigkeit von externen Quellen für Anwendungspakete oder Images entfernt. Dadurch können Angriffe durch das Einfügen von Malware verhindert werden.
  • Kontrolle: Durch die Bereitstellung eigener Pakete oder Images können Organisationen die Quelle dieser Pakete und Images besser kontrollieren.
  • Compliance: Vendoring kann Unternehmen dabei helfen, Branchenvorschriften wie die Cybersecurity Maturity Model Certification einzuhalten.

Wenn Ihr Team beschließt, Anwendungspakete oder Images von Drittanbietern zu verwenden, führen Sie die folgenden Hauptschritte aus:

  1. Identifizieren Sie die Anwendungspakete oder Images, die bereitgestellt werden müssen.
  2. Erstellen Sie ein privates Repository zum Speichern der Vendoring-Pakete oder -Images.
  3. Laden Sie die Pakete oder Images aus der ursprünglichen Quelle herunter und speichern Sie sie im privaten Repository.
  4. Prüfen Sie die Integrität der Pakete oder Images.
  5. Aktualisieren Sie die bereitgestellten Pakete oder Images nach Bedarf.

CI/CD-Pipelines rufen häufig Systeme von Drittanbietern auf, um Aktionen wie das Ausführen von Scans, das Protokollieren von Tickets oder das Senden von Benachrichtigungen auszuführen. In den meisten Fällen haben diese Systeme von Drittanbietern eigene DR-Strategien, die implementiert werden sollten. In einigen Fällen haben sie jedoch möglicherweise keinen geeigneten Notfallwiederherstellungsplan. Diese Fälle sollten im BCP klar dokumentiert werden. Sie müssen dann entscheiden, ob diese Phasen in der Pipeline aus Verfügbarkeitsgründen übersprungen werden können oder ob es akzeptabel ist, dass die CI/CD-Pipeline ausfällt.

Monitoring und Benachrichtigungen

Ihre CI/CD-Pipeline ist wie Ihre Anwendungsproduktionssysteme. Daher müssen Sie auch Monitoring- und Benachrichtigungstechniken für Ihre CI/CD-Tools implementieren. Als Best Practice empfehlen wir, Dashboards und Benachrichtigungen zu implementieren. Das GitHub-Beispiel-Repository für Cloud Monitoring enthält viele Beispiele für Dashboards und Benachrichtigungsrichtlinien.

Sie können auch zusätzliche Monitoring-Ebenen wie Service Level Indicators (SLIs) und Service Level Objectives (SLOs) implementieren. Mit diesen Monitoring-Ebenen können Sie den Gesamtzustand und die Leistung Ihrer CI/CD-Pipelines im Blick behalten. Beispielsweise können SLOs implementiert werden, um die Latenz von Build- und Bereitstellungsphasen zu verfolgen. Diese SLOs helfen Teams, Anwendungen in der gewünschten Geschwindigkeit und Häufigkeit zu erstellen und zu veröffentlichen.

Notfallzugriffsverfahren

Während einer Katastrophe kann es erforderlich sein, dass Betriebsteams Maßnahmen außerhalb der Standardverfahren ergreifen und Notfallzugriff auf Systeme und Tools erhalten. Solche Notfallmaßnahmen werden manchmal als Breakglass-Verfahren bezeichnet. Als Ausgangspunkt sollten Sie diese drei Best Practices implementieren:

  1. Erstellen Sie einen klaren Eskalationsplan und ein klares Eskalationsverfahren. Ein klarer Plan hilft dem Betriebsteam, zu wissen, wann es die Notfallzugriffsverfahren verwenden muss.
  2. Sorgen Sie dafür, dass mehrere Personen Zugriff auf wichtige Informationen wie Konfigurationen und Secrets haben.
  3. Entwickeln Sie automatisierte Auditmethoden, damit Sie nachvollziehen können, wann und von wem Notfallzugriffsverfahren verwendet wurden.

Nächste Schritte

Beitragende

Autor*innen:

Weitere Beitragende: