Importar metadados do Oracle

O Knowledge Catalog (antigo Dataplex Universal Catalog) permite extrair e importar metadados de bancos de dados Oracle usando um conector gerenciado. Em seguida, é possível pesquisar e descobrir seus recursos da Oracle junto com os outros dados catalogados e recuperar o contexto para cargas de trabalho de modelo de linguagem grande (LLM).

Esse conector é compatível com instâncias do Oracle hospedadas no local, no Google Cloudou em outros ambientes de nuvem. Para mais informações sobre como os conectores funcionam, consulte Sobre os conectores de metadados.

Antes de começar

Antes de importar metadados do Oracle, conclua as seguintes tarefas:

  1. Conceda os papéis e as permissões necessários.
  2. Ative a API Dataplex e a API do serviço de transferência de dados do BigQuery.
  3. Atenda aos pré-requisitos do Oracle.
  4. Atenda aos pré-requisitos de rede.

Permissões e papéis do IAM

Para criar e gerenciar um job do conector do Knowledge Catalog, você precisa de papéis do Identity and Access Management (IAM) que concedem permissões para o Knowledge Catalog e o serviço de transferência de dados do BigQuery.

Para receber as permissões necessárias para configurar um conector do Oracle, peça ao administrador para conceder a você os seguintes papéis do IAM:

Além disso, é preciso conceder ao agente de serviço do serviço de transferência de dados do BigQuery (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) a permissão dataplex.entryGroups.import ou o papel de Importador de grupo de entrada do Dataplex (roles/dataplex.entryGroupImporter). É possível conceder esse papel no nível do projeto ou do grupo de entrada.

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Ativar APIs

Ative a API Dataplex e a API serviço de transferência de dados do BigQuery.

Ativar as APIs

Pré-requisitos do Oracle

Verifique se você atende aos pré-requisitos para transferências do Oracle. Para mais detalhes, consulte Pré-requisitos do Oracle na documentação do serviço de transferência de dados do BigQuery.

Além dos pré-requisitos do serviço de transferência de dados do BigQuery, sua instância do Oracle precisa atender aos seguintes requisitos:

  • Versão mínima:é necessário ter o Oracle versão 12 ou mais recente para oferecer suporte a atributos de metadados de banco de dados, como type e parentContainer.

  • Privilégios mínimos:é necessário conceder os seguintes privilégios ao usuário do banco de dados:

    Permissões básicas (necessárias para todas as configurações):

    GRANT SELECT_CATALOG_ROLE TO USER_NAME;
GRANT CREATE SESSION TO USER_NAME;
GRANT SELECT ON SYS.COL$ TO USER_NAME;

    Permissões para acessar um esquema específico (Oracle versão 23 e mais recentes):

    GRANT SELECT ANY TABLE ON SCHEMA TARGET_SCHEMA TO USER_NAME;
GRANT EXECUTE ANY PROCEDURE ON SCHEMA TARGET_SCHEMA TO USER_NAME;
GRANT EXECUTE ANY TYPE ON SCHEMA TARGET_SCHEMA TO USER_NAME;
GRANT ALTER ANY TRIGGER ON SCHEMA TARGET_SCHEMA TO USER_NAME;

    Permissões para acessar todos os outros esquemas:

    GRANT SELECT ANY TABLE TO USER_NAME;
GRANT EXECUTE ANY PROCEDURE TO USER_NAME;
GRANT EXECUTE ANY TYPE TO USER_NAME;
GRANT ALTER ANY TRIGGER TO USER_NAME;

    Substitua:

    • USER_NAME: o usuário do banco de dados que você quer configurar.
    • TARGET_SCHEMA: o nome do esquema do Oracle que você quer acessar.

Pré-requisitos de rede

É necessário um anexo de rede para conexão pelo Private Service Connect ao se conectar com segurança a bancos de dados externos ou fontes de dados de nuvem de terceiros com um endereço IP privado em uma rede privada, para permitir que o serviço de transferência de dados do BigQuery acesse seu banco de dados.

Se você se conectar a um ambiente local ou a uma instância hospedada na nuvem usando um endereço IP público, não será necessário um anexo de rede.

Configurar um conector do Oracle

Configure um conector do Oracle usando o console do Google Cloud ou a API.

Console

  1. No console do Google Cloud , acesse a página Knowledge Catalog.

    Acessar o Knowledge Catalog

  2. No menu de navegação, na seção Gerenciar, clique em Conectores.

  3. Clique em Adicionar conexão.

  4. Na lista Conectores, selecione o card Oracle.

  5. Na seção Detalhes da fonte de dados, forneça os detalhes de conexão da sua instância do Oracle:

    • Em Anexo de rede, selecione um anexo de rede existente, se necessário, ou crie um.
    • Insira o Host, a Porta, o Nome do banco de dados, o Tipo de conexão, o Nome de usuário e a Senha.
    • Se estiver usando TLS, selecione um Modo TLS e forneça um Certificado PEM confiável. Para mais informações, consulte Configuração do TLS.
    • Em Objetos de metadados do Oracle para importar, clique em Procurar para selecionar objetos.

  6. Na seção Configurações de destino:

    • Clique em Procurar e selecione um grupo de entradas do Knowledge Catalog para armazenar os metadados importados ou clique em Criar novo grupo de entradas.
    • Escolha se você quer definir as permissões no grupo de entrada agora ou mais tarde. Recomendamos definir permissões para que os usuários possam visualizar os metadados importados. Se você não concedeu o papel Importador de grupo de entrada do Dataplex (roles/dataplex.entryGroupImporter) ou a permissão dataplex.entryGroups.import ao agente de serviço do serviço de transferência de dados do BigQuery (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) no nível do projeto, conceda-o no nível do grupo de entrada.

  7. Na seção Nome da configuração do conector, em Nome de exibição, insira um nome para o job de importação de metadados.

  8. Na seção Opções de programação, configure a frequência do job de importação de metadados. Se você selecionar Sob demanda, o job será executado apenas quando você o acionar manualmente.

  9. Opcional: na seção Opções de notificação, configure notificações por e-mail ou do Pub/Sub para falhas de jobs.

  10. Opcional: na seção Opções avançadas, defina as configurações de criptografia. Se você selecionar uma chave de criptografia gerenciada pelo cliente (CMEK), ela será usada para criptografar todos os dados temporários preparados antes de iniciar os jobs de importação de metadados do Knowledge Catalog. Ela não é usada para criptografar os metadados no grupo de entrada de destino do Knowledge Catalog.

  11. Clique em Salvar.

REST

Use o método projects.locations.transferConfigs.create. No recurso TransferConfig, configure os seguintes campos:

  • Defina o campo dataSourceId como "oracle"
  • No campo metadataDestination, preencha o objeto dataplexConfiguration com o caminho do recurso do grupo de entrada de destino do Knowledge Catalog: projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>

Depois de criar o job, o Knowledge Catalog programa a primeira execução de acordo com sua configuração, ou você pode iniciá-lo manualmente.

Pesquisar e visualizar metadados do Oracle

  1. No console do Google Cloud , acesse a página Pesquisa do Knowledge Catalog.

    Acesse Pesquisar

  2. No painel Filtros, é possível filtrar os recursos da Oracle usando as seções Projeto, Sistema e Aliases de tipo. Na seção Sistema, selecione Contexto importado. Ao selecionar esse filtro, uma subseção Conectores gerenciados é aberta. Selecione Oracle para filtrar todos os metadados da Oracle.

  3. Use o campo de pesquisa para realizar consultas de pesquisa. É possível fazer uma pesquisa por palavra-chave ou pesquisa com linguagem natural. Por exemplo, para ver todas as tabelas do Oracle por meio da pesquisa de palavras-chave, digite system=ORACLE AND type=TABLE.

    Para saber mais sobre como pesquisar recursos, consulte Pesquisar recursos no Knowledge Catalog. Para saber mais sobre as expressões que podem ser usadas no campo de pesquisa, consulte Sintaxe de pesquisa do Knowledge Catalog.

  4. Também é possível usar a API LookupContext para recuperar o contexto do LLM para recursos específicos do Oracle.

A seguir