Importe metadados através de um pipeline personalizado

Este documento descreve como importar metadados de um sistema de terceiros para o catálogo universal do Dataplex através dos métodos da API de importação de metadados e do seu próprio pipeline. Os metadados do Dataplex Universal Catalog consistem em entradas e os respetivos aspetos.

Se, em alternativa, quiser usar um Google Cloudpipeline de orquestração gerido para extrair e importar metadados, sugerimos que use um pipeline de conetividade gerido. Com um pipeline de conetividade gerido, traz o seu próprio conetor que extrai metadados e gera resultados num formato que pode ser usado como entrada pelos métodos da API de importação de metadados (o ficheiro de importação de metadados). Em seguida, usa os fluxos de trabalho para orquestrar as tarefas do pipeline.

Pode executar os seguintes tipos de tarefas de importação de metadados:

  • Sincronização completa das entradas com importação incremental dos respetivos aspetos. Suportado para entradas personalizadas.
  • Importação incremental apenas de aspetos. Suportado para aspetos pertencentes a entradas personalizadas e entradas do sistema. Para entradas personalizadas, pode modificar os aspetos opcionais e os aspetos obrigatórios. Para as entradas do sistema, pode modificar aspetos opcionais.

Passos de alto nível

Para importar metadados através da API de importação de metadados, siga estes passos gerais:

  1. Determinar o âmbito do trabalho.

    Além disso, compreenda como o Dataplex Universal Catalog aplica a lógica de comparação e o modo de sincronização para entradas e aspetos.

  2. Crie um ou mais ficheiros de importação de metadados que definam os dados a importar.

  3. Guarde os ficheiros de importação de metadados num contentor do Cloud Storage.

  4. Execute uma tarefa de importação de metadados.

Os passos nesta página pressupõem que está familiarizado com os conceitos de metadados do catálogo universal do Dataplex, incluindo grupos de entradas, tipos de entradas e tipos de aspetos. Para mais informações, consulte o artigo Acerca da gestão de metadados no Dataplex Universal Catalog.

Antes de começar

Antes de importar metadados, conclua as tarefas nesta secção.

Funções necessárias

Para garantir que a conta de serviço do Dataplex Universal Catalog tem as autorizações necessárias para aceder ao contentor do Cloud Storage, peça ao administrador para conceder à conta de serviço do Dataplex Universal Catalog a função do IAM de leitor de objetos de armazenamento (roles/storage.objectViewer) e a autorização storage.buckets.get no contentor.

Para receber as autorizações de que precisa para gerir tarefas de importação de metadados, peça ao seu administrador que lhe conceda as seguintes funções do IAM:

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Crie Google Cloud recursos

Prepare os seguintes Google Cloud recursos:

  1. Crie grupos de entradas para as entradas que quer importar.
  2. Crie tipos de aspetos para os aspetos que quer importar.
  3. Crie tipos de entradas para as entradas que quer importar.
  4. Se estiver a executar uma tarefa de metadados apenas de aspetos, crie entradas para os aspetos que quer importar.
  5. Crie um contentor do Google Cloud Storage para armazenar os ficheiros de importação de metadados.

Componentes de uma tarefa de importação de metadados

Quando importa metadados, considere os seguintes componentes de uma tarefa de metadados:

  • Âmbito da tarefa: os grupos de entradas, os tipos de entradas e os tipos de aspetos a incluir na tarefa.
  • Modo de sincronização: como as entradas e os aspetos na tarefa são atualizados.
  • Ficheiro de importação de metadados: um ficheiro que define os valores a definir para as entradas e os aspetos na tarefa. Pode fornecer vários ficheiros de importação de metadados no mesmo trabalho de metadados. Guarda os ficheiros no Cloud Storage.
  • Lógica de comparação: como o Dataplex Universal Catalog determina que entradas e aspetos modificar.

Âmbito do trabalho

O âmbito da tarefa define os grupos de entradas, os tipos de entradas e os tipos de aspetos que quer incluir numa tarefa de importação de metadados. Quando importa metadados, modifica as entradas e os aspetos que pertencem aos recursos no âmbito da tarefa.

Para definir o âmbito do trabalho, siga estas diretrizes:

  • Grupos de entrada: especifique um ou mais grupos de entrada a incluir na tarefa. A tarefa modifica apenas as entradas e os aspetos que pertencem a estes grupos de entradas. Os grupos de entradas e a tarefa têm de estar na mesma região.

  • Tipos de entradas: especifique um ou mais tipos de entradas a incluir na tarefa. A tarefa modifica apenas as entradas e os aspetos que pertencem a estes tipos de entradas. A localização de um tipo de entrada tem de corresponder à localização da tarefa ou o tipo de entrada tem de ser global.

  • Tipos de aspetos: especifique um ou mais tipos de aspetos a incluir no trabalho. A tarefa modifica apenas os aspetos que pertencem a estes tipos de aspetos. A localização de um tipo de aspeto tem de corresponder à localização da tarefa ou o tipo de aspeto tem de ser global.

O âmbito da tarefa tem de incluir todos os tipos de entradas e tipos de aspetos que especificar no ficheiro de importação de metadados.

Especifica o âmbito da tarefa quando cria uma tarefa de metadados.

Modo de sincronização

O modo de sincronização especifica como as entradas e os aspetos numa tarefa de importação de metadados são atualizados. Fornece um modo de sincronização para entradas e aspetos. Consoante os recursos que quer importar, as seguintes combinações de modos de sincronização são suportadas.

Objetivo Modo de sincronização de entradas Modo de sincronização de aspeto Resultados
Importe entradas e respetivos aspetos FULL INCREMENTAL

Todas as entradas no âmbito da tarefa são modificadas.

Se existir uma entrada no catálogo universal do Dataplex, mas não estiver incluída no ficheiro de importação de metadados, a entrada é eliminada quando executa a tarefa de metadados.

Um aspeto só é modificado se o ficheiro de importação de metadados incluir uma referência ao aspeto no campo updateMask e no campo aspectKeys. Consulte a estrutura de um item de importação.
Importe apenas aspetos NONE INCREMENTAL

Os aspetos são modificados se fizerem parte do âmbito da tarefa e se o ficheiro de importação de metadados incluir uma referência aos aspetos no campo aspectKeys. Consulte a estrutura de um item de importação.

Outros metadados pertencentes a entradas no âmbito da tarefa não são modificados.

Especifica o modo de sincronização quando cria uma tarefa de metadados.

Ficheiro de importação de metadados

O ficheiro de importação de metadados é uma coleção das entradas e dos aspetos que quer modificar. Define os valores a definir para todos os campos pertencentes a estas entradas e aspetos. Prepara o ficheiro antes de executar uma tarefa de importação de metadados.

Aplicam-se estas diretrizes gerais:

  • Pode fornecer vários ficheiros de importação de metadados na mesma tarefa de metadados.

  • Quando executa uma tarefa de metadados de sincronização de entradas completa, as entradas que fornece no ficheiro substituem completamente todas as entradas existentes de quaisquer recursos que estejam no âmbito da tarefa. Isto significa que tem de incluir valores para todas as entradas numa tarefa e não apenas os valores que quer adicionar ou atualizar. Para obter uma lista das entradas atuais no seu projeto para usar como ponto de partida, use o método da API entries.list.

  • Tem de fornecer um ficheiro de importação de metadados como parte de uma tarefa de metadados. Se quiser eliminar todos os dados existentes das entradas que estão no âmbito da tarefa, forneça um ficheiro de importação de metadados vazio.

  • Todas as entradas e os aspetos que incluir no ficheiro têm de pertencer aos grupos de entradas, aos tipos de entradas e aos tipos de aspetos que definir no âmbito da tarefa.

Use as diretrizes detalhadas nas secções seguintes para criar um ficheiro de importação de metadados.

Estrutura do ficheiro

Cada linha no ficheiro de importação de metadados contém um objeto JSON que corresponde a um item de importação. Um item de importação é um objeto que descreve os valores a modificar para uma entrada e os respetivos aspetos anexados.

Pode fornecer vários itens de importação num único ficheiro de importação de metadados. No entanto, não forneça o mesmo item de importação mais do que uma vez numa tarefa de metadados. Use um caráter de nova linha (0x0a) para separar cada item de importação.

Um ficheiro de importação de metadados com um caráter de nova linha entre cada item de importação tem o seguinte aspeto:

{ "entry": { "name": "entry 1", #Information about entry 1 }
{ "entry": { "name": "entry 2", #Information about entry 2 }

Estrutura de um item de importação

Cada item de importação no ficheiro de importação de metadados pode incluir os seguintes campos (consulte ImportItem). O exemplo seguinte está formatado com quebras de linha para facilitar a leitura, mas quando guarda o ficheiro, inclua um caráter de nova linha apenas após cada item de importação. Não inclua quebras de linha entre os campos de um único item de importação.

{
  "entry": {
    "name": "ENTRY_NAME",
    "entryType": "ENTRY_TYPE",
    "entrySource": {
      "resource": "RESOURCE",
      "system": "SYSTEM",
      "platform": "PLATFORM",
      "displayName": "DISPLAY_NAME",
      "description": "DESCRIPTION",
      "createTime": "ENTRY_CREATE_TIMESTAMP",
      "updateTime": "ENTRY_UPDATE_TIMESTAMP"
    },
    "aspects": {
      "ASPECT": {
        "data": {
          "KEY": "VALUE"
        },
        "aspectSource": {
          "createTime": "ASPECT_CREATE_TIMESTAMP",
          "updateTime": "ASPECT_UPDATE_TIMESTAMP"
        }
      },
      # Additional aspect maps
    },
    "parentEntry": "PARENT_ENTRY",
    "fullyQualifiedName": "FULLY_QUALIFIED_NAME"
  },
  "updateMask": "UPDATE_MASK_FIELDS",
  "aspectKeys": [
    "ASPECT_KEY",
    # Additional aspect keys
  ],
}

Substitua o seguinte:

  • entry: informações sobre uma entrada e os respetivos aspetos anexos. Num trabalho de importação de metadados apenas de aspetos, o Dataplex Universal Catalog ignora todos os campos opcionais de uma entrada, exceto os mapeamentos de aspetos.

    • ENTRY_NAME: o nome do recurso relativo da entrada, no formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID/entries/ENTRY_ID.
    • ENTRY_TYPE: o nome do recurso relativo do tipo de entrada que foi usado para criar esta entrada, no formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID.
    • entrySource: informações do sistema de origem sobre o recurso de dados representado pela entrada:
      • RESOURCE: o nome do recurso no sistema de origem.
      • SYSTEM: o nome do sistema de origem.
      • PLATFORM: a plataforma que contém o sistema de origem.
      • DISPLAY_NAME: um nome a apresentar intuitivo.
      • DESCRIPTION: uma descrição da entrada.
      • ENTRY_CREATE_TIMESTAMP: a hora em que a entrada foi criada no sistema de origem.
      • ENTRY_UPDATE_TIMESTAMP: a hora em que a entrada foi atualizada no sistema de origem.

    • aspects: os aspetos anexados à entrada. O objeto aspect e os respetivos dados são denominados um mapa de aspetos.

      • ASPECT: um aspeto que está anexado à entrada. Consoante a forma como o aspeto está anexado à entrada, use um dos seguintes formatos:

        • Se o aspeto estiver anexado diretamente à entrada, indique o nome do recurso relativo do respetivo tipo de aspeto, no formato PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID.
        • Se o aspeto estiver anexado ao caminho da entrada, indique o caminho do tipo de aspeto no formato PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@PATH.

      • KEY e VALUE: o conteúdo do aspeto, de acordo com o respetivo modelo de metadados do tipo de aspeto. O conteúdo tem de estar codificado como UTF-8. O tamanho máximo do campo é de 120 KB. O dicionário data é obrigatório, mesmo que esteja vazio.

      • ASPECT_CREATE_TIMESTAMP: a hora em que o aspeto foi criado no sistema de origem.

      • ASPECT_UPDATE_TIMESTAMP: a hora em que o aspeto foi atualizado no sistema de origem.

    • PARENT_ENTRY: o nome do recurso da entrada principal.

    • FULLY_QUALIFIED_NAME: um nome para a entrada que pode ser referenciado por um sistema externo. Consulte a secção Nomes totalmente qualificados.

  • UPDATE_MASK_FIELDS: os campos a atualizar, em caminhos relativos ao recurso Entry. Separe cada campo com uma vírgula.

    Num trabalho de sincronização de entradas completo, o Dataplex Universal Catalog inclui os caminhos de todos os campos de uma entrada que podem ser modificados, incluindo aspetos. O campo updateMask é ignorado quando uma entrada é criada ou recriada.

    Numa tarefa de metadados apenas de aspetos, defina este valor como aspects.

  • ASPECT_KEY: os aspetos a modificar. Suporta as seguintes sintaxes:

    • ASPECT_TYPE_REFERENCE: corresponde ao tipo de aspeto para aspetos que estão anexados diretamente à entrada.
    • ASPECT_TYPE_REFERENCE@PATH: corresponde ao tipo de aspeto e ao caminho especificado.
    • ASPECT_TYPE_REFERENCE@*: corresponde ao tipo de formato para todos os caminhos.
    • *@PATH: corresponde a todos os tipos de aspetos no caminho especificado.

    Substitua ASPECT_TYPE_REFERENCE por uma referência ao tipo de aspeto, no formato PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID.

    Num trabalho de sincronização de entradas completo, se deixar este campo vazio, é tratado como se estivesse a especificar exatamente os aspetos presentes na entrada especificada. O Dataplex Universal Catalog adiciona implicitamente as chaves para todos os aspetos necessários de uma entrada.

Requisitos de ficheiros

O ficheiro de importação de metadados tem os seguintes requisitos:

  • O ficheiro tem de estar formatado como um ficheiro JSON Lines, que é um ficheiro JSON delimitado por newline. Use um caráter de nova linha (0x0a) para separar cada item de importação.
  • O ficheiro tem de usar a codificação de carateres UTF-8.
  • As extensões de ficheiros suportadas são .jsonl e .json.
  • O tamanho de cada ficheiro de importação de metadados tem de ser inferior a 1 GiB. O tamanho total máximo de todos os dados na tarefa de metadados é de 3 GB. Isto inclui todos os ficheiros e metadados associados à tarefa.
  • Os tipos de entradas e os tipos de aspetos que especificar no ficheiro têm de fazer parte do âmbito da tarefa de metadados.
  • O ficheiro tem de ser carregado para um contentor do Cloud Storage. Não guarde o ficheiro numa pasta denominada CLOUD_STORAGE_URI/deletions/.

Lógica de comparação

O catálogo universal do Dataplex determina as entradas e os aspetos a modificar comparando os valores e as datas/horas que fornece no ficheiro de importação de metadados com os valores e as datas/horas existentes no seu projeto.

A um nível elevado, o catálogo universal do Dataplex atualiza os valores no seu projeto quando, pelo menos, uma alteração proposta no ficheiro de importação de metadados altera o estado do seu projeto quando a tarefa é executada, sem introduzir dados desatualizados. A alteração proposta tem de ser referenciada no campo update_mask ou no campo aspect_keys no ficheiro de importação de metadados.

A lógica de comparação varia consoante o tipo de tarefa de importação de metadados que executar.

Tarefa de sincronização de entradas completa

Num trabalho de sincronização de metadados de entrada completa, para cada entrada que faça parte do âmbito do trabalho, o catálogo universal do Dataplex faz uma das seguintes ações:

  • Cria uma entrada e aspetos anexos. Se o ficheiro de importação de metadados incluir uma entrada que não existe no seu projeto, o catálogo universal do Dataplex cria a entrada e os aspetos anexados.
  • Elimina uma entrada e os aspetos anexados. Se existir uma entrada no seu projeto, mas o ficheiro de importação de metadados não incluir a entrada, o catálogo universal do Dataplex elimina a entrada e os respetivos aspetos anexados do seu projeto.

  • Atualiza uma entrada e os aspetos anexados. Se existir uma entrada no ficheiro de importação de metadados e no seu projeto, o catálogo universal do Dataplex avalia as datas/horas de origem da entrada e as datas/horas de origem do aspeto associadas à entrada para determinar que valores modificar. Em seguida, o Dataplex Universal Catalog faz uma ou mais das seguintes ações:

    • Recria a entrada. Se a data/hora de criação da origem da entrada no ficheiro de importação de metadados for mais recente do que a data/hora correspondente no seu projeto, o catálogo universal do Dataplex recria a entrada no seu projeto.
    • Atualiza a entrada. Se a data/hora da atualização da origem da entrada no ficheiro de importação de metadados for mais recente do que a data/hora correspondente no seu projeto, o catálogo universal do Dataplex atualiza a entrada no seu projeto.
    • Cria um aspeto. Se um aspeto não existir no seu projeto e for incluído num mapeamento de aspetos, no campo de máscara de atualização e no campo de chaves de aspetos no ficheiro de importação de metadados, o catálogo universal do Dataplex cria o aspeto.
    • Elimina um aspeto. Se um aspeto existir no seu projeto e estiver incluído no campo de máscara de atualização e no campo de chaves de aspetos no ficheiro de importação de metadados, mas não estiver incluído num mapa de aspetos, o catálogo universal do Dataplex elimina o aspeto.

    • Atualiza um aspeto. Se um aspeto existir no seu projeto e estiver incluído num mapa de aspetos, no campo da máscara de atualização e no campo das chaves de aspetos no ficheiro de importação de metadados, e a data/hora de atualização da origem do aspeto no ficheiro de importação de metadados for mais recente do que a data/hora correspondente no seu projeto, o catálogo universal do Dataplex atualiza o aspeto.

      Se não for fornecida uma data/hora de atualização da origem do aspeto no ficheiro de importação de metadados, mas a entrada correspondente estiver marcada para uma atualização, o Dataplex Universal Catalog também atualiza o aspeto.

      No entanto, se pelo menos um aspeto no ficheiro de importação de metadados tiver uma data/hora mais antiga do que a data/hora correspondente no seu projeto, o Dataplex Universal Catalog não faz atualizações para a entrada anexada.

Tarefa apenas de aspeto

Num trabalho de metadados apenas de aspetos, para cada aspeto que faça parte do âmbito do trabalho, o Dataplex Universal Catalog faz uma das seguintes ações:

  • Cria um aspeto. Se um aspeto não existir no seu projeto e for incluído num mapeamento de aspetos, no campo de máscara de atualização e no campo de chaves de aspetos no ficheiro de importação de metadados, o catálogo universal do Dataplex cria o aspeto.

  • Elimina um aspeto. Para aspetos opcionais, se o aspeto existir no seu projeto e estiver incluído no campo de máscara de atualização e no campo de chaves de aspetos no ficheiro de importação de metadados, mas não estiver incluído num mapa de aspetos, o catálogo universal do Dataplex elimina o aspeto.

    Não é possível eliminar os aspetos obrigatórios.

  • Atualiza um aspeto. Se um aspeto existir no seu projeto e estiver incluído num mapa de aspetos, no campo da máscara de atualização e no campo das chaves de aspetos no ficheiro de importação de metadados, e a data/hora de atualização da origem do aspeto no ficheiro de importação de metadados for mais recente do que a data/hora correspondente no seu projeto, o catálogo universal do Dataplex atualiza o aspeto.

    Se não for fornecida uma data/hora de atualização da origem do aspeto no ficheiro de importação de metadados, o Dataplex Universal Catalog também atualiza o aspeto.

    O Dataplex Universal Catalog atualiza os aspetos com base na data/hora da atualização da origem do aspeto, independentemente da data/hora da atualização da origem da entrada correspondente.

Crie um ficheiro de importação de metadados

Antes de importar metadados, crie um ficheiro de importação de metadados para o seu trabalho. Siga estes passos:

  1. Prepare um ficheiro de importação de metadados seguindo as diretrizes descritas anteriormente neste documento.
  2. Carregue o ficheiro para um contentor do Cloud Storage.

Pode fornecer vários ficheiros de importação de metadados na mesma tarefa de metadados. Para fornecer vários ficheiros, guarde-os no mesmo contentor do Cloud Storage. Quando executa a tarefa, especifica um contentor e não um ficheiro específico. O catálogo universal do Dataplex importa metadados de todos os ficheiros guardados no contentor, incluindo ficheiros que se encontram em subpastas.

Execute uma tarefa de importação de metadados

Depois de criar um ficheiro de importação de metadados, execute uma tarefa de importação de metadados através da API.

REST

Para importar metadados, use o método metadataJobs.create.

Antes de usar qualquer um dos dados do pedido, faça as seguintes substituições:

  • PROJECT_NUMBER: o seu Google Cloud número do projeto ou ID do projeto.
  • LOCATION_ID: a localização Google Cloud , como us-central1.
  • METADATA_JOB_ID: opcional. O ID da tarefa de metadados.

  • CLOUD_STORAGE_URI: o URI do contentor ou da pasta do Cloud Storage que contém os ficheiros de importação de metadados. Para mais informações sobre os requisitos dos ficheiros, consulte o artigo Ficheiro de importação de metadados.

  • ENTRY_GROUP: o nome do recurso relativo dos grupos de entradas que estão no âmbito da tarefa, no formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryGroups/ENTRY_GROUP_ID. Para mais informações, consulte o artigo Âmbito do trabalho.

  • ENTRY_TYPE: o nome do recurso relativo de um tipo de entrada que está no âmbito da tarefa, no formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/entryTypes/ENTRY_TYPE_ID. Para mais informações, consulte o artigo Âmbito do trabalho.

  • ASPECT_TYPE: o nome do recurso relativo de um tipo de aspeto que está no âmbito da tarefa, no formato projects/PROJECT_ID_OR_NUMBER/locations/LOCATION_ID/aspectTypes/ASPECT_TYPE_ID. Opcional quando cria uma tarefa de sincronização de entradas completa, obrigatório quando cria uma tarefa apenas de aspetos. Para mais informações, consulte o artigo Âmbito do trabalho.
  • ENTRY_SYNC_MODE: o modo de sincronização de entrada, como FULL ou NONE. Para mais informações, consulte o artigo Modo de sincronização.
  • LOG_LEVEL: o nível de registos a captar, como INFO ou DEBUG. Para mais informações, consulte o artigo Veja registos de tarefas e resolva problemas.

Método HTTP e URL: 

POST https://dataplex.googleapis.com/v1/projects/PROJECT_NUMBER/locations/LOCATION_ID/metadataJobs?metadataJobId=METADATA_JOB_ID

Corpo JSON do pedido: 

{
  "type": "IMPORT",
  "import_spec": {
    "source_storage_uri": "gs://CLOUD_STORAGE_URI/",
    "scope": {
      "entryGroups": [
        "ENTRY_GROUP"
      ],
      "entry_types": [
        "ENTRY_TYPE"
      ],
      "aspect_types": [
        "ASPECT_TYPE"
      ]
    },
    "entry_sync_mode": "ENTRY_SYNC_MODE",
    "aspect_sync_mode": "INCREMENTAL",
    "log_level": "LOG_LEVEL"
  }
}

Para enviar o seu pedido, expanda uma destas opções:

A resposta identifica uma operação de longa duração.

Veja detalhes sobre uma tarefa de metadados

Para obter informações sobre uma tarefa de metadados, como o estado da tarefa e o número de entradas que foram modificadas, siga os passos abaixo. Para mais informações sobre como resolver problemas de uma tarefa com falhas, consulte a secção Veja os registos de tarefas e resolva problemas deste documento.

REST

Para obter informações sobre uma tarefa de metadados, use o método metadataJobs.get.

Aceda a uma lista de tarefas de metadados

Pode obter uma lista das tarefas de metadados mais recentes. As tarefas mais antigas que atingiram um estado terminal são eliminadas periodicamente do sistema.

REST

Para obter uma lista das tarefas de metadados mais recentes, use o método metadataJobs.list.

Cancele uma tarefa de metadados

Pode cancelar uma tarefa de metadados que não quer executar.

REST

Para cancelar uma tarefa de metadados, use o método metadataJobs.cancel.

Veja registos de tarefas e resolva problemas

Use o Cloud Logging para ver os registos de uma tarefa de metadados. Para mais informações, consulte o artigo Monitorize os registos do Dataplex Universal Catalog.

Configura o nível do registo quando cria uma tarefa de metadados. Estão disponíveis os seguintes níveis de registo:

  • INFO: fornece registos ao nível geral da tarefa. Inclui registos agregados sobre os itens de importação, mas não especifica que item de importação tem um erro.

  • DEBUG: fornece registos detalhados para cada item de importação. Use o registo ao nível de depuração para resolver problemas com itens de importação específicos. Por exemplo, use o registo ao nível de depuração para identificar recursos que faltam no âmbito da tarefa, entradas ou aspetos que não estão em conformidade com o tipo de entrada ou o tipo de aspeto associado, ou outras configurações incorretas com o ficheiro de importação de metadados.

Erros de validação

O Dataplex Universal Catalog valida os ficheiros de importação de metadados em função dos metadados atuais no seu projeto. Se existir um problema de validação, o estado da tarefa pode devolver um dos seguintes estados:

  • FAILED: ocorre quando o ficheiro de importação de metadados tem um erro. O Dataplex Universal Catalog não importa metadados e a tarefa falha. Seguem-se alguns exemplos de erros no ficheiro de importação de metadados:
    • Não é possível analisar um item no ficheiro num item de importação válido
    • Uma entrada ou um aspeto no ficheiro pertence a um grupo de entradas, a um tipo de entrada ou a um tipo de aspeto que não faz parte do âmbito da tarefa
    • O mesmo nome de entrada é especificado mais do que uma vez na tarefa
    • Um tipo de aspeto especificado num mapa de aspetos ou nas chaves de aspetos não usa o formato PROJECT_ID_OR_NUMBER.LOCATION_ID.ASPECT_TYPE_ID@OPTIONAL_PATH
    • Um aspeto obrigatório está marcado para eliminação
  • SUCCEEDED_WITH_ERRORS: ocorre quando o ficheiro de importação de metadados pode ser analisado com êxito, mas a importação de um item no ficheiro faria com que uma entrada no seu projeto ficasse num estado inconsistente. O Dataplex Universal Catalog ignora essas entradas, mas importa o resto dos metadados do ficheiro.

Use registos de tarefas para resolver o erro.

O que se segue?