Diretrizes para nomear um recurso do Knowledge Catalog

Um recurso do Google Cloud é qualquer componente que você cria ou usa noGoogle Cloud. Esses recursos formam os elementos básicos dos seus aplicativos e sistemas em execução na plataforma.

Para mais informações sobre a nomenclatura geral de recursos do Google Cloud , consulte Nomes de recursos.

Formato de nomenclatura de recursos

A tabela a seguir lista os formatos de nome completo dos recursos do Knowledge Catalog:

Recurso Formato de nome de recurso completo
Grupo de entrada projects/{PROJECT_ID}/locations/{LOCATION}/entryGroups/{ENTRY_GROUP_ID}
Entrada projects/{PROJECT_ID}/locations/{LOCATION}/entryGroups/{ENTRY_GROUP_ID}/entries/{ENTRY_ID}
Tipo de entrada projects/{PROJECT_ID}/locations/{LOCATION}/entryTypes/{ENTRY_TYPE_ID}
Tipo de aspecto projects/{PROJECT_ID}/locations/{LOCATION}/aspectTypes/{ASPECT_TYPE_ID}
Link de entrada projects/{PROJECT_ID}/locations/{LOCATION}/entryGroups/{ENTRY_GROUP_ID}/entryLinks/{ENTRY_LINK_ID}
Job de metadados projects/{PROJECT_ID}/locations/{LOCATION}/metadataJobs/{METADATA_JOB_ID}
Feed de metadados projects/{PROJECT_ID}/locations/{LOCATION}/metadataFeeds/{METADATA_FEED_ID}
Glossário projects/{PROJECT_ID}/locations/{LOCATION}/glossaries/{GLOSSARY_ID}
Categoria do glossário projects/{PROJECT_ID}/locations/{LOCATION}/glossaries/{GLOSSARY_ID}/categories/{GLOSSARY_CATEGORY_ID}
Termo do glossário projects/{PROJECT_ID}/locations/{LOCATION}/glossaries/{GLOSSARY_ID}/terms/{GLOSSARY_TERM_ID}
Produto de dados projects/{PROJECT_ID}/locations/{LOCATION}/dataProducts/{DATA_PRODUCT_ID}
Domínio de dados projects/{PROJECT_ID}/locations/{LOCATION}/dataDomains/{DATA_DOMAIN_ID}
Processo de linhagem projects/{PROJECT_ID}/locations/{LOCATION}/processes/{PROCESS_ID}
Execução de linhagem projects/{PROJECT_ID}/locations/{LOCATION}/processes/{PROCESS_ID}/runs/{RUN_ID}
Evento de linhagem projects/{PROJECT_ID}/locations/{LOCATION}/processes/{PROCESS_ID}/runs/{RUN_ID}/lineageEvents/{LINEAGE_EVENT_ID}

Componentes de nome de recurso

As seções a seguir detalham cada componente.

ID do projeto

O valor precisa ser o ID do projeto ou o número do projeto, disponível no Google Cloud console. Por exemplo, my-cool-project é um ID do projeto, enquanto 123456789123 é um número do projeto.

Local

O valor precisa ser um dos locais aceitos do Knowledge Catalog. Para uma lista de locais disponíveis, consulte Locais do Knowledge Catalog.

ID do recurso

Os caminhos de recursos contêm segmentos de identificador exclusivo (ID) para cada recurso e os recursos pai dele na hierarquia. As seções a seguir explicam as diretrizes de nomenclatura e os requisitos de formatação para cada tipo de ID de recurso.

IDs de recursos padrão

Com exceção dos IDs de entrada e dos IDs de recurso de linhagem de dados, todas as variáveis de ID de recurso, como {ENTRY_GROUP_ID} e {GLOSSARY_ID}, precisam seguir as diretrizes abaixo:

  • Comece com uma letra minúscula.
  • Ter entre 1 e 63 caracteres.
  • Conter apenas letras minúsculas, números, hífens e sublinhados.
  • Terminar com um número ou uma letra minúscula.

Grupos de entrada do sistema

IDs de entrada

As diretrizes de nomenclatura para um {ENTRY_ID} são diferentes:

  • Ter até 4.000 caracteres.

  • Use um formato de ID de entrada com base no Google Cloud nome completo do recurso. O formato é o nome completo do recurso sem as barras duplas de prefixo na parte do nome do serviço da API. Isso permite recuperar entradas usando o nome do recurso associado.

    Exemplo:

    • Se o nome completo do recurso de uma instância do Looker for //looker.googleapis.com/projects/my-project/locations/us-central1/instances/my-instance, o {ENTRY_ID} sugerido será looker.googleapis.com/projects/my-project/locations/us-central1/instances/my-instance.

IDs de recursos da linhagem de dados

Os recursos de linhagem de dados representam uma hierarquia de operações de transformação de dados:

  • ID do processo ({PROCESS_ID}): identifica a definição de uma transformação de dados (como uma consulta SQL específica ou um pipeline de ETL).
  • ID de execução ({RUN_ID}): identifica uma única instância de execução de um processo pai.
  • ID do evento de linhagem ({LINEAGE_EVENT_ID}): identifica um evento de movimento de dados discreto entre origens e destinos que ocorreu durante uma execução.

Ao criar recursos de linhagem personalizados usando a API, as variáveis {PROCESS_ID}, {RUN_ID} e {LINEAGE_EVENT_ID} precisam estar em conformidade com as seguintes diretrizes:

  • Ter até 200 caracteres.
  • Conter apenas letras (que diferenciam maiúsculas de minúsculas), números, hifens, sublinhados, dois-pontos e pontos.

Para linhagem automatizada (como consultas do BigQuery, Serviço Gerenciado para Apache Spark ou ingestão do OpenLineage), o Knowledge Catalog gera esses IDs automaticamente.

Nomes de entrada do BigQuery

Ao interagir com os recursos do BigQuery usando a API Dataplex, é preciso usar uma formatação específica para o ID do grupo de entrada e o ID da entrada.

  • ID do grupo de entrada: @bigquery
  • ID de entrada: bigquery.googleapis.com/projects/{PROJECT_ID}/datasets/{DATASET_ID}/tables/{TABLE_ID}

Exemplo

Se a tabela do BigQuery for projects/test-project/datasets/test_dataset/tables/test_table, o nome totalmente qualificado da entrada do Knowledge Catalog será o seguinte:

projects/{PROJECT_ID}/locations/{LOCATION}/entryGroups/@bigquery/entries/bigquery.googleapis.com/projects/test-project/datasets/test_dataset/tables/test_table