Repositorio de código de Airflow de Managed Airflow

En esta página, se describe el repositorio que almacena el código de Apache Airflow con parches que se usa en Managed Airflow.

Acerca del repositorio

El repositorio de Composer de Airflow es un repositorio de solo lectura que contiene el código de Apache Airflow con parches que se ejecuta en Managed Airflow.

Advertencia: Managed Airflow no admite el uso local ni de producción de este código. Recomendamos evitar el uso del código de este repositorio en la producción. En su lugar, consulta Ejemplos de uso para conocer algunas formas en las que puedes usar este repositorio.

Una versión particular de Apache Airflow que se encuentra en Managed Airflow no siempre es una coincidencia exacta de la versión correspondiente en Airflow ascendente porque Managed Airflow usa una versión con parche de Airflow. Este repositorio contiene el código para cada versión con parche de Airflow que se usa en Managed Airflow. Para obtener información sobre qué versiones de Airflow se encuentran en Managed Airflow, consulta la lista de versiones de Managed Airflow.

Contribuyendo

Este código no es una bifurcación de Apache Airflow. El código que se encuentra en este repositorio proviene directamente del repositorio de Apache Airflow, pero en un cronograma diferente al de las versiones normales de Apache Airflow.

Si deseas contribuir a esta base de código, entonces contribuye directamente a Airflow en su lugar. No lo hagas en este repositorio porque no se aceptan solicitudes de extracción.

Problemas y asistencia

• Si tienes problemas con el código que se encuentra en este repositorio, puedes crear un problema directamente en el repositorio de Airflow.
• Si tienes problemas con Managed Airflow, usa los canales de asistencia de Managed Airflow.

Navega por el repositorio

El repositorio tiene una rama para cada versión de Airflow disponible en Managed Service para Apache Airflow. No todas las versiones de Airflow son compatibles con Managed Airflow. Puedes ver qué versiones de Airflow son compatibles con una versión particular de Managed Airflow en la lista de versiones de Managed Airflow.

Ejemplos de uso

En esta sección, se enumeran ejemplos de uso para el repositorio.

¿Esta confirmación es del repositorio de Airflow en mi versión de Managed Airflow?

Los SHA1 de las confirmaciones en el repositorio de Composer de Airflow no corresponden a los SHA1 de las confirmaciones en el repositorio de Airflow ascendente. Una de las formas de buscar una confirmación específica es buscar el mensaje de confirmación correspondiente.

No es posible usar la IU de GitHub para buscar mensajes de confirmación en ramas que no sean la rama predeterminada; sin embargo, es posible hacerlo con la CLI de git. Para buscar una confirmación en particular en este repositorio, necesitas tener git instalado.

Para buscar un mensaje de confirmación con la CLI de git, haz lo siguiente:

1. Clona el repositorio y cambia al directorio del repositorio mediante el siguiente comando:

   git clone [e-mail]:GoogleCloudPlatform/composer-airflow.git && \
   cd composer-airflow
   

2. Busca el mensaje de confirmación:

   git log --source --grep="COMMIT_MESSAGE" --all
   

   Con este comando, tendrás que hacer lo siguiente:

   • --source muestra la rama en la que se encuentra la confirmación
   • --grep especifica el mensaje que se debe buscar en el registro
   • --all busca en todas las ramas

3. La rama se encuentra junto al hash de confirmación en la primera línea de cada resultado. Si el comando muestra una confirmación, esto significa que está en tu versión de Managed Airflow. Además, si la versión de Airflow en tu entorno es posterior a la versión de rama, la confirmación se usa en la versión de Airflow de tu entorno.

Por ejemplo, si deseas buscar el mensaje de confirmación Force explicit choice on GPL dependency, el comando sería el siguiente:

git log --source --grep="Force explicit choice on GPL dependency" --all

Si hay una confirmación coincidente, entonces los resultados se verán como el siguiente ejemplo de resultado. Puede haber más de un resultado.

commit 64ff1089e30e80b08bf5155edd9e49f5293ebbe4 refs/heads/<strong>1.10.2</strong>
Author: example_airflow_committer <[e-mail]>
Date:   Wed Aug 1 11:25:31 2018 +0200

    [AIRFLOW-2817] Force explicit choice on GPL dependency (#3660)

    By default one of Apache Airflow's dependencies pulls in a GPL
    library. Airflow should not install (and upgrade) without an explicit choice.

    This is part of the Apache requirements as we cannot depend on Category X
    software.

    (cherry picked from commit c37fc0b6ba19e3fe5656ae37cef9b59cef3c29e8)
    Signed-off-by: Example Airflow Committer  <[e-mail]>
    (cherry picked from commit b39e4532d9d1086c60b31553d08972bcc68df641)
    Signed-off-by: Example Airflow Committer  <[e-mail]>
    GitOrigin-RevId: cefcf4c61f64be3792cbfed509b82a9eb4cc47be

¿Cómo se ve este operador de Airflow en mi versión de Managed Airflow?

Los operadores de Airflow y el código que los acompaña se empaquetan y lanzan por separado de Airflow principal en paquetes de PyPI llamados paquetes de proveedores.

Algunos de estos paquetes están instalados de forma predeterminada en Managed Airflow. Para saber qué versión está instalada en tu entorno, consulta la lista de paquetes para la versión de Managed Airflow de tu entorno en la lista de versiones.

IU de GitHub

Para ver el código de un operador en una versión particular del paquete de proveedores, haz lo siguiente:

1. Ve al repositorio de Airflow ascendente.

2. Ingresa el nombre del operador que buscas en la barra de búsqueda de GitHub.

3. Si se muestra más de un archivo, haz clic en el archivo de código con una ruta de acceso que comience en airflow/providers.

   Por ejemplo, si buscas GoogleCloudStorageCreateBucketOperator, elige airflow/providers/google/cloud/operators/gcs.py.

4. Haz clic en el selector de rama, que abre la lista desplegable Cambiar ramas o etiquetas.

5. Haz clic en la pestaña Etiquetas.

6. Para los paquetes providers, busca el nombre de tu proveedor y la versión escribiendo providers-PROVIDER_NAME/PROVIDER_VERSION en la barra de búsqueda de la lista desplegable, donde PROVIDER_NAME es el nombre de el proveedor y PROVIDER_VERSION es el nombre de la versión que buscas.

   Por ejemplo, si deseas ver la versión 10.0.0 del apache-airflow-providers-google paquete, busca providers-google/10.0.0.

7. Para los paquetes backport-providers, que se usan en Airflow 1, busca backport-providers-PROVIDER_VERSION en la barra de búsqueda de la lista desplegable.

   Por ejemplo, si deseas ver la versión 2021.3.3 del apache-airflow-backport-providers-google paquete, busca backport-providers-2021.3.3.

8. Haz clic en el resultado que coincida con tu consulta.

9. El código en pantalla es lo que se ejecuta en tu versión de ese operador. También puedes hacer clic en Historial para ver el historial de confirmaciones hasta este punto.

CLI de git

Para ver el código de un operador en una versión particular del paquete de proveedores, haz lo siguiente:

1. Clona el repositorio de Airflow ascendente.

2. Para los paquetes providers, ejecuta git checkout providers-PROVIDER_NAME/PROVIDER_VERSION, donde PROVIDER_NAME es el nombre del proveedor y PROVIDER_VERSION es el nombre de la versión que buscas.

   Por ejemplo, si deseas ver la versión 10.0.0 del apache-airflow-providers-google paquete, ejecuta git checkout providers-google/10.0.0.

3. Para los paquetes backport-providers, que se usan en Airflow 1, ejecuta git checkout backport-providers-PROVIDER_VERSION.

   Por ejemplo, si deseas ver la versión 2021.3.3 del apache-airflow-backport-providers-google paquete,ejecuta git checkout backport-providers-2021.3.3.

4. Si no conoces la ruta de acceso al archivo del operador, puedes buscarla con el comando git grep. En el siguiente ejemplo, se muestra cómo buscar GoogleCloudStorageCreateBucketOperator.

   git grep GoogleCloudStorageCreateBucketOperator
   

   El resultado es una lista de archivos en los que se puede encontrar la cadena (en este caso, el nombre del operador). Desde esa lista, navega al archivo y examina su contenido.

   airflow/contrib/operators/gcs_operator.py:class
   GoogleCloudStorageCreateBucketOperator(BaseOperator):
   
   airflow/contrib/operators/gcs_operator.py:            CreateBucket =
   GoogleCloudStorageCreateBucketOperator(
   
   airflow/contrib/operators/gcs_operator.py:        super(
   GoogleCloudStorageCreateBucketOperator, self).__init__(*args, **kwargs)
   docs/code.rst:.. autoclass:: airflow.contrib.operators.gcs_operator.Google
   CloudStorageCreateBucketOperator
   docs/integration.rst:- :ref:`GoogleCloudStorageCreateBucketOperator` :
   Creates a new cloud storage bucket.
   docs/integration.rst:.. _GoogleCloudStorageCreateBucketOperator:
   docs/integration.rst:GoogleCloudStorageCreateBucketOperator
   docs/integration.rst:.. autoclass:: airflow.contrib.operators.gcs_operator
   .GoogleCloudStorageCreateBucketOperator
   tests/contrib/operators/test_gcs_operator.py:from
   airflow.contrib.operators.gcs_operator import
   GoogleCloudStorageCreateBucketOperator
   tests/contrib/operators/test_gcs_operator.py:        operator =
   GoogleCloudStorageCreateBucketOperator(
   

Nota: Cuando ejecutas estos comandos, se cambia el repositorio local a esta etiqueta y se deja en un estado de 'desconectado'. Esto es lo esperado. Sigue las instrucciones de la terminal para volver a una rama.

¿Qué sigue?

• Ejecuta un entorno de Airflow local con la herramienta de la CLI de desarrollo local de Composer.