安装自定义插件

Managed Airflow（第 3 代） | Managed Airflow（第 2 代） | Managed Airflow（旧版第 1 代）

本页介绍如何在 Managed Service for Apache Airflow 环境中安装自定义插件。

通过 Apache Airflow 的插件管理器，您可以编写自定义的内部 Apache Airflow 运算符、钩子、传感器或接口。 如需了解详情，请参阅 自定义插件 在 Airflow 文档中。

自定义插件简介

当您创建环境时，Managed Airflow 会创建一个 Cloud Storage 存储桶，并将该 存储桶与您的环境关联。您可以使用环境存储桶中的 plugins 文件夹来安装自定义插件。

准备工作

安装插件

如需将自定义插件安装到您的 Managed Airflow 环境中，请将插件代码复制到环境存储桶中的 plugins 文件夹。

如需安装插件，请按照以下所述操作：

控制台

  1. 在 Google Cloud 控制台中，前往 环境 页面。

    转到“环境”

  2. 找到您的环境，然后点击 DAG 链接。

  3. 转到上一级文件夹，然后导航到 plugins/ 文件夹。

  4. 上传插件文件。如需详细了解如何上传对象， 请参阅上传对象。

gcloud

使用以下 gcloud 命令：

gcloud composer environments storage plugins import \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

替换：

  • ENVIRONMENT_NAME 替换为环境的名称。
  • LOCATION 替换为环境所在的区域。
  • PATH_TO_LOCAL_FILE 替换为要上传的文件的路径。
  • （可选）PATH_IN_SUBFOLDER 替换为子文件夹路径。使用 --destination 实参将插件上传到 plugins 文件夹中的子文件夹。否则，请省略 --destination 实参。

查看插件列表

控制台

  1. 在 Google Cloud 控制台中，前往 环境 页面。

    转到“环境”

  2. 找到您的环境，然后点击 DAG 链接。

  3. 转到上一级文件夹，然后导航到 plugins/ 文件夹。

  4. 查看插件文件。

gcloud

使用以下 gcloud 命令：

gcloud composer environments storage plugins list \
    --environment ENVIRONMENT_NAME \
    --location LOCATION

替换：

  • ENVIRONMENT_NAME 替换为环境的名称。
  • LOCATION 替换为环境所在的区域。

删除插件

如需从 Managed Airflow 环境中删除插件，请从该环境存储分区内的 plugins 文件夹中删除插件代码。

如需删除插件，请按照以下所述操作：

控制台

  1. 在 Google Cloud 控制台中，前往 环境 页面。

    转到“环境”

  2. 找到您的环境，然后点击 DAG 链接。

  3. 转到上一级文件夹，然后导航到 plugins/ 文件夹。

  4. 删除插件文件。如需详细了解如何删除对象， 请参阅删除对象。

gcloud

使用以下 gcloud 命令：

gcloud composer environments storage plugins delete \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    PLUGIN_TO_DELETE

下载插件

要下载插件，请选择以下方式之一：

控制台

  1. 在 Google Cloud 控制台中，前往 环境 页面。

    转到“环境”

  2. 找到您的环境，然后点击 DAG 链接。

  3. 转到上一级文件夹，然后导航到 plugins/ 文件夹。

  4. 下载插件文件。如需详细了解如何删除对象， 请参阅下载对象。

gcloud

使用以下 gcloud 命令：

gcloud composer environments storage plugins export \
  --environment ENVIRONMENT_NAME \
  --location LOCATION \
  --destination PATH_TO_LOCAL_DESTINATION \
  --source PATH_IN_FOLDER

替换：

  • ENVIRONMENT_NAME 替换为环境的名称。
  • LOCATION 替换为环境所在的区域。
  • PATH_TO_LOCAL_DESTINATION 替换为下载文件的目标位置。
  • （可选）--source 选项用于仅下载一个插件。 PATH_IN_FOLDER 是文件夹路径。

排查插件问题

新上传的插件在 Airflow 界面中不可见

如果您使用 Airflow 界面访问权限控制，则新 上传的插件可能在 Airflow 界面中不可见。如需解决此问题，请让 Airflow 界面管理员配置对新上传插件的访问权限，或在 Airflow 界面中为您分配 Admin 角色。

后续步骤