Para aproveitar ainda mais o sucesso e a crescente preferência dos clientes por soluções de código aberto, o Cloud Composer está evoluindo para se tornar o Serviço gerenciado para Apache Airflow. Essa mudança de nome melhora o entendimento do cliente sobre nosso portfólio e reforça nosso compromisso de ser o ecossistema de nuvem mais aberto.

Google uses AI technology to translate content into your preferred language. AI translations can contain errors.

Repositório de código do Airflow Gerenciado

Esta página descreve o repositório que armazena o código do Apache Airflow com patch usado no Airflow gerenciado.

Sobre o repositório

O repositório Composer-Airflow é um repositório somente leitura que contém o código do Apache Airflow com patch em execução no Airflow gerenciado.

Uma versão específica do Apache Airflow encontrada no Airflow gerenciado nem sempre é uma correspondência exata com a versão correspondente no upstream do Airflow porque ele usa uma versão com patch do Airflow. Esse repositório contém o código para cada versão com patch do Airflow usada no Airflow gerenciado. Para informações sobre quais versões do Airflow são encontradas no Airflow gerenciado, consulte a lista de versões do Airflow gerenciado.

Contribuição

Esse código não é uma bifurcação do Apache Airflow. O código encontrado nesse repositório vem diretamente do repositório Apache Airflow, mas está em uma linha do tempo diferente das versões normais do Apache Airflow.

Se você quiser contribuir para essa base de código, então contribua diretamente para o Airflow em vez disso. Não faça isso nesse repositório porque as solicitações de envio não são aceitas nele.

Problemas e suporte

Se você tiver um problema com o código encontrado nesse repositório, crie um problema diretamente no repositório do Airflow.
Se você tiver um problema com o Airflow gerenciado, use os canais de suporte do Airflow gerenciado.

Como navegar no repositório

O repositório tem uma ramificação para cada versão do Airflow disponível no Serviço gerenciado para Apache Airflow. Nem todas as versões do Airflow são compatíveis com o Airflow gerenciado. É possível conferir quais versões do Airflow são compatíveis com uma versão específica do Airflow gerenciado na lista de versões do Airflow gerenciado.

Exemplos de uso

Esta seção lista exemplos de uso do repositório.

Esta confirmação está disponível no repositório do Airflow na minha versão do Airflow gerenciado?

Os SHA1s de confirmações no repositório Composer-Airflow não correspondem aos SHA1s de confirmações no repositório upstream do Airflow. Uma das maneiras de pesquisar uma confirmação específica é procurar a mensagem de confirmação correspondente.

Não é possível usar a interface do GitHub para pesquisar mensagens de confirmação em ramificações diferentes da padrão. No entanto, é possível fazer isso usando a CLI git. Para pesquisar uma confirmação específica nesse repositório, você precisa ter o git instalado.

Para pesquisar uma mensagem de confirmação usando a CLI git:

Clone o repositório e altere para o diretório do repositório usando o comando a seguir:

git clone git@github.com:GoogleCloudPlatform/composer-airflow.git && \
cd composer-airflow

Procure a mensagem de confirmação:
```
git log --source --grep="COMMIT_MESSAGE" --all
```
Nesse comando:
- --source mostra a ramificação em que a confirmação foi encontrada;
- --grep especifica a mensagem que precisa ser pesquisada no registro;
- --all pesquisa em todas as ramificações.
A ramificação está localizada ao lado do hash de confirmação na primeira linha de cada resultado. Se o comando retornar uma confirmação, isso significa que ela está na sua versão do Airflow gerenciado. Além disso, se a versão do Airflow no seu ambiente for posterior à versão da ramificação, a confirmação será usada na versão do Airflow do ambiente.

Por exemplo, se você quiser pesquisar a mensagem de confirmação Force explicit choice on GPL dependency, o comando será:

git log --source --grep="Force explicit choice on GPL dependency" --all

Se houver uma confirmação correspondente, então os resultados serão semelhantes ao exemplo de saída a seguir. Pode haver mais de um resultado.

commit 64ff1089e30e80b08bf5155edd9e49f5293ebbe4 refs/heads/<strong>1.10.2</strong>
Author: example_airflow_committer <example_airflow_committer@users.noreply.github.com>
Date:   Wed Aug 1 11:25:31 2018 +0200

    [AIRFLOW-2817] Force explicit choice on GPL dependency (#3660)

    By default one of Apache Airflow's dependencies pulls in a GPL
    library. Airflow should not install (and upgrade) without an explicit choice.

    This is part of the Apache requirements as we cannot depend on Category X
    software.

    (cherry picked from commit c37fc0b6ba19e3fe5656ae37cef9b59cef3c29e8)
    Signed-off-by: Example Airflow Committer  <example_airflow_committer@users.noreply.github.com>
    (cherry picked from commit b39e4532d9d1086c60b31553d08972bcc68df641)
    Signed-off-by: Example Airflow Committer  <example_airflow_committer@users.noreply.github.com>
    GitOrigin-RevId: cefcf4c61f64be3792cbfed509b82a9eb4cc47be

Como é esse operador do Airflow na minha versão do Airflow gerenciado?

Os operadores do Airflow e o código que os acompanha são empacotados e lançados separadamente do Airflow principal em pacotes PyPI chamados de pacotes de provedor.

Alguns desses pacotes são instalados por padrão no Airflow gerenciado. Para saber qual versão está instalada no seu ambiente, consulte a lista de pacotes da versão do Airflow gerenciado do seu ambiente na lista de versões.

Interface do GitHub

Para analisar o código de um operador em uma versão específica do pacote do provedor:

Acesse o repositório upstream do Airflow.
Digite o nome do operador que você está procurando na barra de pesquisa do GitHub.
Se mais de um arquivo for retornado, clique no arquivo de código com um caminho que começa em airflow/providers.

Por exemplo, se você pesquisar o GoogleCloudStorageCreateBucketOperator, escolha airflow/providers/google/cloud/operators/gcs.py.
Clique no seletor de ramificação, que abre a lista suspensa Alternar ramificações/tags.
Clique na guia Tags.
Para pacotes providers, pesquise o nome do seu provedor e a versão digitando providers-PROVIDER_NAME/PROVIDER_VERSION na barra de pesquisa da lista suspensa, em que PROVIDER_NAME é o nome do provedor e PROVIDER_VERSION é o nome da versão que você está procurando.

Por exemplo, se você quiser conferir a versão 10.0.0 do apache-airflow-providers-google pacote, pesquise providers-google/10.0.0.
Para pacotes backport-providers, que são usados no Airflow 1, pesquise backport-providers-PROVIDER_VERSION na barra de pesquisa da lista suspensa.

Por exemplo, se você quiser conferir a versão 2021.3.3 do apache-airflow-backport-providers-google pacote, pesquise backport-providers-2021.3.3.
Clique no resultado que corresponde à consulta.
O código na tela é o que está sendo executado na sua versão desse operador. Também é possível clicar em Histórico para ver o histórico de confirmações até esse ponto.

CLI do git