Managed Airflow の責任共有モデル

Managed Airflow(第 3 世代) | Managed Airflow(第 2 世代) | 以前の Managed Airflow(第 1 世代)

Managed Airflow でビジネス クリティカルなアプリケーションを実行するには、複数の当事者がそれぞれ異なる責任を果たす必要があります。すべてが網羅されたリストではありませんが、このドキュメントでは Google とお客様サイドの両方の責任を列挙します。

Google の責任

お客様の責任

  • マネージド Airflow サービスが問題に対処するマネージド Airflow バージョンを公開したら、プロダクトのサポートを維持し、セキュリティの問題を解決するために、新しい Managed Airflow および Airflow バージョンにアップグレードします。

  • 使用している Airflow バージョンとの互換性を維持するために、DAG コードを管理します。

  • 環境の GKE クラスタ構成をそのまま維持します(特に自動アップグレード機能を含む)。

  • 環境のサービス アカウントに対して IAM で適切な権限を維持します。特に、 Managed Airflow Agent環境のサービス アカウントに必要な権限を維持します。マネージド Airflow 環境の暗号化に使用される CMEK 鍵に対して必要な権限を維持し、必要に応じてローテーションします。

  • マネージド Airflow のコンポーネント イメージが保存されている環境のバケットと Artifact Registry リポジトリに対する IAM の適切な権限を維持します。

  • PyPI パッケージのインストールを実行するサービス アカウントに適切な IAM 権限を維持します。詳細については、 アクセス制御をご覧ください。

  • IAM と Airflow UI のアクセス制御構成で適切なエンドユーザー権限を維持します。

  • メンテナンス DAG を使用して、Airflow データベースのサイズを 16 GB 未満に保ちます。

  • サポートケースを Cloud カスタマーケアに提出する前に、DAG の解析に関するすべての問題を解決します。

  • DAG の指標を正しくレポートできるように、DAG に適切な名前を付けます(DAG 名にスペースやタブなどの目に見えない文字を使用しないようにするなど)。

  • 非推奨の演算子を使用しないように DAG のコードをアップグレードし、最新の代替手段に移行します。非推奨の演算子は Airflow プロバイダから削除される場合があり、Managed Airflow または Airflow の新しいバージョンにアップグレードする計画に影響を及ぼす可能性があります。非推奨の演算子はメンテナンスも行われず、「そのまま」使用する必要があります。

  • Secret Manager などのシークレット バックエンドを使用するときには適切な IAM 権限を構成し、環境のサービス アカウントがそれにアクセスできるようにします。

  • マネージド Airflow 最適化ガイドと環境スケーリング ガイドを使用して、マネージド Airflow 環境のパフォーマンスと負荷の想定に合わせて、マネージド Airflow 環境パラメータ(Airflow コンポーネントの CPU や メモリなど)と Airflow 構成を調整します。

  • マネージド Airflow エージェントと環境のサービス アカウントに必要な権限の削除を回避します(これらの権限を削除すると、管理オペレーションの失敗や DAG とタスクの失敗が発生する可能性があります)。

  • マネージド Airflow に必要なすべてのサービスと API を常に有効に保ちます。これらの依存関係には、Managed Airflow に必要なレベルで割り当てが構成されている必要があります。

  • Managed Airflow 環境で使用されるコンテナ イメージをホストする Artifact Registry リポジトリを保持します。

  • DAG を実装するための 推奨事項とベスト プラクティスに従います。

  • スケジューラのトラブルシューティング 、DAG のトラブルシューティング 、トリガーのトラブルシューティングの手順を使用して 、DAG とタスクの障害を診断します

  • 環境の GKE クラスタで、Managed Airflow コンポーネントと干渉して正常に機能しなくなる追加コンポーネントをインストールまたは実行しないようにします。

  • データの保持とビジネス継続性のニーズを満たすようにスナップショットを構成して管理するなど、障害復旧計画を維持します。Google は、削除された環境やそのデータベース バックアップを復元しません。

  • お客様がインストールしたパッケージの Python 依存関係サプライ チェーンを維持します。これには、インストールのトラブルシューティング エラー (Python 依存関係の不一致によって発生) や、これらのパッケージを追加または変更する際の特定のバージョン制約の定義が含まれます。

次のステップ