Crie um perfil dos seus dados

Este documento explica como usar as análises de perfis de dados para compreender melhor os seus dados. O BigQuery usa o catálogo universal do Dataplex para analisar as características estatísticas dos seus dados, como valores médios, valores únicos e valores máximos. O Dataplex Universal Catalog também usa estas informações para recomendar regras para verificações de qualidade de dados.

Para mais informações sobre a criação de perfis de dados, consulte o artigo Acerca da criação de perfis de dados.

Antes de começar

Enable the Dataplex API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

Funções necessárias

Para receber as autorizações de que precisa para criar e gerir análises de perfis de dados, peça ao seu administrador que lhe conceda as seguintes funções de IAM no seu recurso, como o projeto ou a tabela:

  • Para criar, executar, atualizar e eliminar análises de perfis de dados: Função Editor do DataScan do Dataplex (roles/dataplex.dataScanEditor) no projeto que contém a análise de dados.
  • Para permitir que o catálogo universal do Dataplex execute análises de perfis de dados em dados do BigQuery, conceda as seguintes funções à conta de serviço do catálogo universal do Dataplex: Função de Utilizador da tarefa do BigQuery (roles/bigquery.jobUser) no projeto que executa a análise; função de Visualizador de dados do BigQuery (roles/bigquery.dataViewer) nas tabelas que estão a ser analisadas.
  • Para executar análises de perfis de dados para tabelas externas do BigQuery que usam dados do Cloud Storage: conceda à conta de serviço do Dataplex Universal Catalog as funções Visualizador de objetos de armazenamento (roles/storage.objectViewer) e Leitor de contentores antigos de armazenamento (roles/storage.legacyBucketReader) no contentor do Cloud Storage.
  • Para ver os resultados, as tarefas e o histórico da análise do perfil de dados: Função de visualizador de DataScans do Dataplex (roles/dataplex.dataScanViewer) no projeto que contém a análise de dados.
  • Para exportar os resultados da análise do perfil de dados para uma tabela do BigQuery: Função de editor de dados do BigQuery (roles/bigquery.dataEditor) na tabela.
  • Para publicar resultados da análise de perfis de dados no Dataplex Universal Catalog: Função Dataplex Catalog Editor (roles/dataplex.catalogEditor) no grupo de entradas @bigquery.
  • Para ver os resultados da análise do perfil de dados publicados no BigQuery no separador Perfil de dados: Função de Visualizador de dados do BigQuery (roles/bigquery.dataViewer) na tabela.

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Autorizações necessárias

Se usar funções personalizadas, tem de conceder as seguintes autorizações de IAM:

  • Para criar, executar, atualizar e eliminar análises de perfis de dados:
    • dataplex.datascans.create no projeto: crie um DataScan
    • dataplex.datascans.update na análise de dados: atualize a descrição de um DataScan
    • dataplex.datascans.delete na análise de dados: elimine um DataScan
    • dataplex.datascans.run na análise de dados: execute uma DataScan
    • dataplex.datascans.get na análise de dados: veja os detalhes DataScan excluindo os resultados
    • dataplex.datascans.list no projeto: lista de DataScans
    • dataplex.dataScanJobs.get no trabalho de análise de dados: leia os recursos do trabalho de análise de dados
    • dataplex.dataScanJobs.list na análise de dados: liste os recursos de tarefas DataScan num projeto
  • Para permitir que o catálogo universal do Dataplex execute análises de perfis de dados em dados do BigQuery:
    • bigquery.jobs.create no projeto: executar tarefas
    • bigquery.tables.get na tabela: obter metadados da tabela
    • bigquery.tables.getData na tabela: obter dados da tabela
  • Para executar análises de perfis de dados para tabelas externas do BigQuery que usam dados do Cloud Storage:
    • storage.buckets.get no contentor: ler metadados do contentor
    • storage.objects.get no objeto: ler dados do objeto
  • Para ver os resultados, as tarefas e o histórico da análise do perfil de dados:
    • dataplex.datascans.getData na análise de dados: veja os detalhes DataScan, incluindo os resultados
    • dataplex.datascans.list no projeto: lista de DataScans
    • dataplex.dataScanJobs.get no trabalho de análise de dados: leia os recursos do trabalho de análise de dados
    • dataplex.dataScanJobs.list na análise de dados: liste os recursos de tarefas DataScan num projeto
  • Para exportar os resultados da análise de perfis de dados para uma tabela do BigQuery:
    • bigquery.tables.create no conjunto de dados: criar tabelas
    • bigquery.tables.updateData na tabela: escreva dados nas tabelas
  • Para publicar resultados da análise de perfis de dados no Dataplex Universal Catalog:
    • dataplex.entryGroups.useDataProfileAspect no grupo de entradas: permite que as análises de perfis de dados do Dataplex Universal Catalog guardem os respetivos resultados no Dataplex Universal Catalog
    • Além disso, precisa de uma das seguintes autorizações:
      • bigquery.tables.update na tabela: atualize os metadados da tabela
      • dataplex.entries.update na entrada: atualize as entradas
  • Para ver os resultados do perfil de dados publicados de uma tabela no BigQuery ou no catálogo universal do Dataplex:
    • bigquery.tables.get na tabela: obter metadados da tabela
    • bigquery.tables.getData na tabela: obtenha dados da tabela

Se uma tabela usar a segurança ao nível da linha do BigQuery, o Dataplex Universal Catalog só pode analisar linhas visíveis para a conta de serviço do Dataplex Universal Catalog. Para permitir que o Dataplex Universal Catalog analise todas as linhas, adicione a respetiva conta de serviço a um filtro de linhas em que o predicado seja TRUE.

Se uma tabela usar a segurança ao nível da coluna do BigQuery, o catálogo universal do Dataplex requer acesso para analisar colunas protegidas. Para conceder acesso, atribua à conta de serviço do Dataplex Universal Catalog a função de Leitor detalhado do Data Catalog (roles/datacatalog.fineGrainedReader) em todas as etiquetas de políticas usadas na tabela. O utilizador que cria ou atualiza uma análise de dados também precisa de autorizações nas colunas protegidas.

Conceda funções à conta de serviço do Dataplex Universal Catalog

Para executar análises de perfis de dados, o catálogo universal do Dataplex usa uma conta de serviço que requer autorizações para executar tarefas do BigQuery e ler dados de tabelas do BigQuery. Para conceder as funções necessárias, siga estes passos:

  1. Obtenha o endereço de email da conta de serviço do Dataplex Universal Catalog. Se não tiver criado um perfil de dados ou uma análise de qualidade de dados neste projeto anteriormente, execute o seguinte comando gcloud para gerar a identidade do serviço:

    gcloud beta services identity create --service=dataplex.googleapis.com

    O comando devolve o email da conta de serviço, que tem o seguinte formato: service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com.

    Se a conta de serviço já existir, pode encontrar o respetivo email ao ver os diretores com o nome Dataplex na página IAM na consola Google Cloud .

  2. Conceda à conta de serviço a função Utilizador da tarefa do BigQuery (roles/bigquery.jobUser) no seu projeto. Esta função permite que a conta de serviço execute tarefas do BigQuery para a análise.

    gcloud projects add-iam-policy-binding PROJECT_ID \
    --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" \
    --role="roles/bigquery.jobUser"

    Substitua o seguinte:

    • PROJECT_ID: o ID do seu Google Cloud projeto.
    • service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com: o email da conta de serviço do Dataplex Universal Catalog.

  3. Conceda à conta de serviço a função de visualizador de dados do BigQuery (roles/bigquery.dataViewer) para cada tabela que quer criar perfis. Esta função concede acesso só de leitura às tabelas.

    gcloud bigquery tables add-iam-policy-binding DATASET_ID.TABLE_ID \
    --member="serviceAccount:service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com" \
    --role="roles/bigquery.dataViewer"

    Substitua o seguinte:

    • DATASET_ID: o ID do conjunto de dados que contém a tabela.
    • TABLE_ID: o ID da tabela a analisar.
    • service-PROJECT_NUMBER@gcp-sa-dataplex.iam.gserviceaccount.com: o email da conta de serviço do Dataplex Universal Catalog.

      Crie uma análise do perfil de dados

      Consola

      1. Na Google Cloud consola, na página de Organização de metadados do BigQuery, aceda ao separador Perfil e qualidade dos dados.

        Aceda a Criação de perfis e qualidade dos dados

      2. Clique em Criar análise do perfil de dados.

      3. Opcional: introduza um Nome a apresentar.

      4. Introduza um ID. Consulte as Convenções de nomenclatura de recursos.

      5. Opcional: introduza uma Descrição.

      6. No campo Tabela, clique em Procurar. Escolha a tabela a digitalizar e, de seguida, clique em Selecionar.

        Para tabelas em conjuntos de dados multirregionais, escolha uma região onde criar a análise de dados.

        Para procurar as tabelas organizadas nos lagos do Dataplex Universal Catalog, clique em Procurar nos lagos do Dataplex.

      7. No campo Âmbito, escolha Incremental ou Dados completos.

        • Se escolher Dados incrementais, no campo Coluna de data/hora, selecione uma coluna do tipo DATE ou TIMESTAMP na tabela do BigQuery que aumenta à medida que são adicionados novos registos e que pode ser usada para identificar novos registos. Para tabelas particionadas numa coluna do tipo DATE ou TIMESTAMP, recomendamos que use a coluna de partição como o campo de data/hora.

      8. Opcional: para filtrar os dados, faça qualquer uma das seguintes ações:

        • Para filtrar por linhas, clique na caixa de verificação Filtrar linhas. Introduza uma expressão SQL válida que possa ser usada numa cláusula WHERE na sintaxe GoogleSQL. Por exemplo: col1 >= 0.

          O filtro pode ser uma combinação de condições SQL em várias colunas. Por exemplo: col1 >= 0 AND col2 < 10.

        • Para filtrar por colunas, selecione a caixa de verificação Filtrar colunas.

          • Para incluir colunas na análise do perfil, no campo Incluir colunas, clique em Procurar. Selecione as colunas a incluir e, de seguida, clique em Selecionar.

          • Para excluir colunas da análise do perfil, no campo Excluir colunas, clique em Procurar. Selecione as colunas a excluir e, de seguida, clique em Selecionar.

      9. Para aplicar a amostragem à análise do perfil de dados, na lista Tamanho da amostragem, selecione uma percentagem de amostragem. Escolha um valor percentual entre 0,0% e 100,0% com um máximo de 3 dígitos decimais.

        • Para conjuntos de dados maiores, escolha uma percentagem de amostragem mais baixa. Por exemplo, para uma tabela de 1 PB, se introduzir um valor entre 0,1% e 1,0%, o perfil de dados faz a amostragem entre 1 e 10 TB de dados.

        • Tem de haver, pelo menos, 100 registos nos dados com amostragem para devolver um resultado.

        • Para verificações de dados incrementais, a verificação do perfil de dados aplica a amostragem ao incremento mais recente.

      10. Opcional: publique os resultados da análise do perfil de dados nas páginas do catálogo universal do BigQuery e Dataplex na consola para a tabela de origem.Google Cloud Selecione a caixa de verificação Publicar resultados no BigQuery e no catálogo do Dataplex.

        Pode ver os resultados da análise mais recentes no separador Perfil de dados nas páginas do catálogo universal do BigQuery e do Dataplex para a tabela de origem. Para permitir que os utilizadores acedam aos resultados da análise publicados, consulte a secção Conceda acesso aos resultados da análise do perfil de dados deste documento.

        A opção de publicação pode não estar disponível nos seguintes casos:

        • Não tem as autorizações necessárias na tabela.
        • Outra análise da qualidade de dados está definida para publicar resultados.

      11. Na secção Programação, escolha uma das seguintes opções:

        • Repetir: execute a análise do perfil de dados de acordo com um agendamento: de hora a hora, diariamente, semanalmente, mensalmente ou personalizado. Especifique a frequência com que a análise deve ser executada e a que horas. Se escolher a opção personalizada, use o formato cron para especificar a agenda.

        • A pedido: execute a análise do perfil de dados a pedido.

      12. Clique em Continuar.

      13. Opcional: exporte os resultados da análise para uma tabela padrão do BigQuery. Na secção Exporte os resultados da análise para a tabela do BigQuery, faça o seguinte:

        1. No campo Selecionar conjunto de dados do BigQuery, clique em Procurar. Selecione um conjunto de dados do BigQuery para armazenar os resultados da análise do perfil de dados.

        2. No campo Tabela do BigQuery, especifique a tabela para armazenar os resultados da análise do perfil de dados. Se estiver a usar uma tabela existente, certifique-se de que é compatível com o esquema da tabela de exportação. Se a tabela especificada não existir, o catálogo universal do Dataplex cria-a para si.

      14. Opcional: adicione etiquetas. As etiquetas são pares de chave-valor que lhe permitem agrupar objetos relacionados ou agrupá-los a outros Google Cloud recursos.

      15. Para criar a análise, clique em Criar.

        Se definir a programação como a pedido, também pode executar a análise agora clicando em Executar análise.

      gcloud

      Para criar uma análise de perfil de dados, use o comando gcloud dataplex datascans create data-profile.

      Se os dados de origem estiverem organizados num lake do catálogo universal do Dataplex, inclua a flag --data-source-entity:

      gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-entity=DATA_SOURCE_ENTITY

      Se os dados de origem não estiverem organizados num lake do catálogo universal do Dataplex, inclua a flag --data-source-resource:

      gcloud dataplex datascans create data-profile DATASCAN \
--location=LOCATION \
--data-source-resource=DATA_SOURCE_RESOURCE

      Substitua as seguintes variáveis:

      • DATASCAN: o nome da análise do perfil de dados.
      • LOCATION: A Google Cloud região na qual criar a análise do perfil de dados.
      • DATA_SOURCE_ENTITY: a entidade do Dataplex Universal Catalog que contém os dados para a análise do perfil de dados. Por exemplo, projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity.
      • DATA_SOURCE_RESOURCE: O nome do recurso que contém os dados para a análise do perfil de dados. Por exemplo, //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table.

      C#

      C#

      Antes de experimentar este exemplo, siga as C#instruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API C# Dataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      using Google.Api.Gax.ResourceNames;
using Google.Cloud.Dataplex.V1;
using Google.LongRunning;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for CreateDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void CreateDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        CreateDataScanRequest request = new CreateDataScanRequest
        {
            ParentAsLocationName = LocationName.FromProjectLocation("[PROJECT]", "[LOCATION]"),
            DataScan = new DataScan(),
            DataScanId = "",
            ValidateOnly = false,
        };
        // Make the request
        Operation<DataScan, OperationMetadata> response = dataScanServiceClient.CreateDataScan(request);

        // Poll until the returned long-running operation is complete
        Operation<DataScan, OperationMetadata> completedResponse = response.PollUntilCompleted();
        // Retrieve the operation result
        DataScan result = completedResponse.Result;

        // Or get the name of the operation
        string operationName = response.Name;
        // This name can be stored, then the long-running operation retrieved later by name
        Operation<DataScan, OperationMetadata> retrievedResponse = dataScanServiceClient.PollOnceCreateDataScan(operationName);
        // Check if the retrieved long-running operation has completed
        if (retrievedResponse.IsCompleted)
        {
            // If it has completed, then access the result
            DataScan retrievedResult = retrievedResponse.Result;
        }
    }
}

      Ir

      Go

      Antes de experimentar este exemplo, siga as Goinstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Go do catálogo universal do Dataplex.

      Para se autenticar no catálogo universal do Dataplex, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      
package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.CreateDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#CreateDataScanRequest.
	}
	op, err := c.CreateDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}

	resp, err := op.Wait(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

      Java

      Java

      Antes de experimentar este exemplo, siga as Javainstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API JavaDataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      import com.google.cloud.dataplex.v1.CreateDataScanRequest;
import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.LocationName;

public class SyncCreateDataScan {

  public static void main(String[] args) throws Exception {
    syncCreateDataScan();
  }

  public static void syncCreateDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      CreateDataScanRequest request =
          CreateDataScanRequest.newBuilder()
              .setParent(LocationName.of("[PROJECT]", "[LOCATION]").toString())
              .setDataScan(DataScan.newBuilder().build())
              .setDataScanId("dataScanId1260787906")
              .setValidateOnly(true)
              .build();
      DataScan response = dataScanServiceClient.createDataScanAsync(request).get();
    }
  }
}

      Python

      Python

      Antes de experimentar este exemplo, siga as Pythoninstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API PythonDataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      # This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_create_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    data_scan = dataplex_v1.DataScan()
    data_scan.data_quality_spec.rules.dimension = "dimension_value"
    data_scan.data.entity = "entity_value"

    request = dataplex_v1.CreateDataScanRequest(
        parent="parent_value",
        data_scan=data_scan,
        data_scan_id="data_scan_id_value",
    )

    # Make the request
    operation = client.create_data_scan(request=request)

    print("Waiting for operation to complete...")

    response = operation.result()

    # Handle the response
    print(response)

      Ruby

      Ruby

      Antes de experimentar este exemplo, siga as Rubyinstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API RubyDataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      require "google/cloud/dataplex/v1"

##
# Snippet for the create_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#create_data_scan.
#
def create_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::CreateDataScanRequest.new

  # Call the create_data_scan method.
  result = client.create_data_scan request

  # The returned object is of type Gapic::Operation. You can use it to
  # check the status of an operation, cancel it, or wait for results.
  # Here is how to wait for a response.
  result.wait_until_done! timeout: 60
  if result.response?
    p result.response
  else
    puts "No response received."
  end
end

      REST

      Para criar uma análise de perfil de dados, use o método dataScans.create.

      Crie várias análises de perfis de dados

      Pode configurar análises de perfis de dados para várias tabelas num conjunto de dados do BigQuery em simultâneo através da Google Cloud consola.

      1. Na Google Cloud consola, na página de Organização de metadados do BigQuery, aceda ao separador Perfil e qualidade dos dados.

        Aceda a Criação de perfis e qualidade dos dados

      2. Clique em Criar análise do perfil de dados.

      3. Selecione a opção Várias análises do perfil de dados.

      4. Introduza um prefixo do ID. O Dataplex Universal Catalog gera automaticamente IDs de análise através do prefixo fornecido e de sufixos únicos.

      5. Introduza uma Descrição para todas as análises do perfil de dados.

      6. No campo Conjunto de dados, clique em Procurar. Selecione um conjunto de dados para escolher tabelas. Clique em Selecionar.

      7. Se o conjunto de dados for multirregional, selecione uma Região na qual criar as análises de perfil de dados.

      8. Configure as definições comuns para as análises:

        1. No campo Âmbito, escolha Incremental ou Dados completos.

        2. Para aplicar a amostragem às análises do perfil de dados, na lista Tamanho da amostragem, selecione uma percentagem de amostragem.

          Escolha um valor percentual entre 0,0% e 100,0% com até 3 casas decimais.

        3. Opcional: publique os resultados da análise do perfil de dados nas páginas do catálogo universal do BigQuery e Dataplex na consola para a tabela de origem.Google Cloud Selecione a caixa de verificação Publicar resultados no BigQuery e no catálogo do Dataplex.

          Pode ver os resultados da análise mais recentes no separador Perfil de dados nas páginas do catálogo universal do BigQuery e do Dataplex para a tabela de origem. Para permitir que os utilizadores acedam aos resultados da análise publicados, consulte a secção Conceda acesso aos resultados da análise do perfil de dados deste documento.

        4. Na secção Programação, escolha uma das seguintes opções:

          • Repetir: execute as análises de perfil de dados de acordo com uma programação: de hora em hora, diariamente, semanalmente, mensalmente ou de forma personalizada. Especifique a frequência com que as análises devem ser executadas e a que horas. Se escolher a opção personalizada, use o formato cron para especificar a agenda.

          • A pedido: execute as análises de perfis de dados a pedido.

      9. Clique em Continuar.

      10. No campo Escolher tabelas, clique em Procurar. Escolha uma ou mais tabelas para analisar e, de seguida, clique em Selecionar.

      11. Clique em Continuar.

      12. Opcional: exporte os resultados da análise para uma tabela padrão do BigQuery. Na secção Exporte os resultados da análise para a tabela do BigQuery, faça o seguinte:

        1. No campo Selecionar conjunto de dados do BigQuery, clique em Procurar. Selecione um conjunto de dados do BigQuery para armazenar os resultados da análise do perfil de dados.

        2. No campo Tabela do BigQuery, especifique a tabela para armazenar os resultados da análise do perfil de dados. Se estiver a usar uma tabela existente, certifique-se de que é compatível com o esquema da tabela de exportação. Se a tabela especificada não existir, o Dataplex Universal Catalog cria-a para si.

          O Dataplex Universal Catalog usa a mesma tabela de resultados para todas as análises de perfil de dados.

      13. Opcional: adicione etiquetas. As etiquetas são pares de chave-valor que lhe permitem agrupar objetos relacionados ou agrupá-los a outros Google Cloud recursos.

      14. Para criar as digitalizações, clique em Criar.

        Se definir a programação como a pedido, também pode executar as análises agora clicando em Executar análise.

      Execute uma análise do perfil de dados

      Consola

      1. Na Google Cloud consola, na página de Organização de metadados do BigQuery, aceda ao separador Perfil e qualidade dos dados.

        Aceda a Criação de perfis e qualidade dos dados

      2. Clique na análise do perfil de dados para executar.
      3. Clique em Executar agora.

      gcloud

      Para executar uma análise do perfil de dados, use o comando gcloud dataplex datascans run:

      gcloud dataplex datascans run DATASCAN \
--location=LOCATION

      Substitua as seguintes variáveis:

      • DATASCAN: o nome da análise do perfil de dados.
      • LOCATION: A Google Cloud região em que a análise do perfil de dados foi criada.

      C#

      C#

      Antes de experimentar este exemplo, siga as C#instruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API C# do catálogo universal do Dataplex.

      Para se autenticar no catálogo universal do Dataplex, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for RunDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void RunDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        RunDataScanRequest request = new RunDataScanRequest
        {
            DataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
        };
        // Make the request
        RunDataScanResponse response = dataScanServiceClient.RunDataScan(request);
    }
}

      Ir

      Go

      Antes de experimentar este exemplo, siga as Goinstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Go do catálogo universal do Dataplex.

      Para se autenticar no catálogo universal do Dataplex, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      
package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.RunDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#RunDataScanRequest.
	}
	resp, err := c.RunDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

      Java

      Java

      Antes de experimentar este exemplo, siga as Javainstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Java do catálogo universal do Dataplex.

      Para se autenticar no catálogo universal do Dataplex, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.RunDataScanRequest;
import com.google.cloud.dataplex.v1.RunDataScanResponse;

public class SyncRunDataScan {

  public static void main(String[] args) throws Exception {
    syncRunDataScan();
  }

  public static void syncRunDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      RunDataScanRequest request =
          RunDataScanRequest.newBuilder()
              .setName(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .build();
      RunDataScanResponse response = dataScanServiceClient.runDataScan(request);
    }
  }
}

      Python

      Python

      Antes de experimentar este exemplo, siga as Pythoninstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Python do catálogo universal do Dataplex.

      Para se autenticar no catálogo universal do Dataplex, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      # This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_run_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.RunDataScanRequest(
        name="name_value",
    )

    # Make the request
    response = client.run_data_scan(request=request)

    # Handle the response
    print(response)

      Ruby

      Ruby

      Antes de experimentar este exemplo, siga as Rubyinstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Ruby do catálogo universal do Dataplex.

      Para se autenticar no catálogo universal do Dataplex, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      require "google/cloud/dataplex/v1"

##
# Snippet for the run_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#run_data_scan.
#
def run_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::RunDataScanRequest.new

  # Call the run_data_scan method.
  result = client.run_data_scan request

  # The returned object is of type Google::Cloud::Dataplex::V1::RunDataScanResponse.
  p result
end

      REST

      Para executar uma análise de perfil de dados, use o método dataScans.run.

      Veja os resultados da análise do perfil de dados

      Consola

      1. Na Google Cloud consola, na página Organização de metadados do BigQuery, aceda ao separador Perfil e qualidade dos dados.

        Aceda a Criação de perfis e qualidade dos dados

      2. Clique no nome de uma análise de perfil de dados.

        • A secção Vista geral apresenta informações sobre as tarefas mais recentes, incluindo a data de execução da análise, o número de registos de tabelas analisados e o estado da tarefa.

        • A secção Configuração da análise do perfil de dados apresenta detalhes sobre a análise.

      3. Para ver informações detalhadas sobre uma tarefa, como as colunas da tabela analisada, as estatísticas sobre as colunas encontradas na análise e os registos de tarefas, clique no separador Histórico de tarefas. Em seguida, clique num ID da tarefa.

      gcloud

      Para ver os resultados de uma tarefa de análise de perfil de dados, use o comando gcloud dataplex datascans jobs describe:

      gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

      Substitua as seguintes variáveis:

      • JOB: o ID da tarefa de análise do perfil de dados.
      • LOCATION: A Google Cloud região em que a análise do perfil de dados foi criada.
      • DATASCAN: o nome da análise do perfil de dados a que a tarefa pertence.
      • --view=FULL: para ver o resultado da tarefa de análise, especifique FULL.

      C#

      C#

      Antes de experimentar este exemplo, siga as C#instruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API C#Dataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      using Google.Cloud.Dataplex.V1;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for GetDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void GetDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        GetDataScanRequest request = new GetDataScanRequest
        {
            DataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
            View = GetDataScanRequest.Types.DataScanView.Unspecified,
        };
        // Make the request
        DataScan response = dataScanServiceClient.GetDataScan(request);
    }
}

      Ir

      Go

      Antes de experimentar este exemplo, siga as Goinstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API GoDataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      
package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.GetDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#GetDataScanRequest.
	}
	resp, err := c.GetDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

      Java

      Java

      Antes de experimentar este exemplo, siga as Javainstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API JavaDataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.GetDataScanRequest;

public class SyncGetDataScan {

  public static void main(String[] args) throws Exception {
    syncGetDataScan();
  }

  public static void syncGetDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      GetDataScanRequest request =
          GetDataScanRequest.newBuilder()
              .setName(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .build();
      DataScan response = dataScanServiceClient.getDataScan(request);
    }
  }
}

      Python

      Python

      Antes de experimentar este exemplo, siga as Pythoninstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API PythonDataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      # This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_get_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.GetDataScanRequest(
        name="name_value",
    )

    # Make the request
    response = client.get_data_scan(request=request)

    # Handle the response
    print(response)

      Ruby

      Ruby

      Antes de experimentar este exemplo, siga as Rubyinstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Ruby Dataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      require "google/cloud/dataplex/v1"

##
# Snippet for the get_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#get_data_scan.
#
def get_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::GetDataScanRequest.new

  # Call the get_data_scan method.
  result = client.get_data_scan request

  # The returned object is of type Google::Cloud::Dataplex::V1::DataScan.
  p result
end

      REST

      Para ver os resultados de uma análise de perfil de dados, use o método dataScans.get.

      Veja os resultados publicados

      Se os resultados da análise do perfil de dados forem publicados nas páginas do BigQuery e do catálogo universal do Dataplex na consola, pode ver os resultados da análise mais recentes no separador Perfil de dados da tabela de origem. Google Cloud

      1. Na Google Cloud consola, aceda à página do BigQuery.

        Aceda ao BigQuery

      2. No painel esquerdo, clique em Explorador:

        Botão realçado para o painel do explorador.

        Se não vir o painel do lado esquerdo, clique em Expandir painel do lado esquerdo para o abrir.

      3. No painel Explorador, clique em Conjuntos de dados e, de seguida, clique no seu conjunto de dados.

      4. Clique em Vista geral > Tabelas e, de seguida, selecione a tabela cujos resultados da análise do perfil de dados quer ver.

      5. Clique no separador Perfil de dados.

        São apresentados os resultados publicados mais recentes.

      Veja a tarefa de análise do perfil de dados mais recente

      Consola

      1. Na Google Cloud consola, na página de Organização de metadados do BigQuery, aceda ao separador Perfil e qualidade dos dados.

        Aceda a Criação de perfis e qualidade dos dados

      2. Clique no nome de uma análise de perfil de dados.

      3. Clique no separador Resultados de tarefas mais recentes.

        O separador Resultados da tarefa mais recente, quando existe, pelo menos, uma execução concluída com êxito, fornece informações sobre a tarefa mais recente. Apresenta as colunas da tabela analisada e as estatísticas sobre as colunas encontradas na análise.

      gcloud

      Para ver a análise bem-sucedida mais recente do perfil de dados, use o comando gcloud dataplex datascans describe:

      gcloud dataplex datascans describe DATASCAN \
--location=LOCATION \
--view=FULL

      Substitua as seguintes variáveis:

      • DATASCAN: o nome da análise do perfil de dados para ver o trabalho mais recente.
      • LOCATION: A Google Cloud região em que a análise do perfil de dados foi criada.
      • --view=FULL: para ver o resultado da tarefa de análise, especifique FULL.

      REST

      Para ver a tarefa de análise mais recente, use o método dataScans.get.

      Veja os resultados da análise do histórico

      O catálogo universal do Dataplex guarda o histórico de análise do perfil de dados dos últimos 300 trabalhos ou durante o último ano, consoante o que ocorrer primeiro.

      Consola

      1. Na Google Cloud consola, na página de Organização de metadados do BigQuery, aceda ao separador Perfil e qualidade dos dados.

        Aceda a Criação de perfis e qualidade dos dados

      2. Clique no nome de uma análise de perfil de dados.

      3. Clique no separador Histórico de trabalhos.

        O separador Histórico de tarefas fornece informações sobre tarefas anteriores, como o número de registos analisados em cada tarefa, o estado da tarefa e a hora em que a tarefa foi executada.

      4. Para ver informações detalhadas sobre uma tarefa, clique em qualquer uma das tarefas na coluna ID da tarefa.

      gcloud

      Para ver tarefas de análise do perfil de dados do histórico, use o comando gcloud dataplex datascans jobs list:

      gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN

      Substitua as seguintes variáveis:

      • LOCATION: A Google Cloud região em que a análise do perfil de dados foi criada.
      • DATASCAN: o nome da análise do perfil de dados para ver trabalhos.

      C#

      C#

      Antes de experimentar este exemplo, siga as C#instruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API C#Dataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      using Google.Api.Gax;
using Google.Cloud.Dataplex.V1;
using System;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for ListDataScanJobs</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void ListDataScanJobsRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        ListDataScanJobsRequest request = new ListDataScanJobsRequest
        {
            ParentAsDataScanName = DataScanName.FromProjectLocationDataScan("[PROJECT]", "[LOCATION]", "[DATASCAN]"),
            Filter = "",
        };
        // Make the request
        PagedEnumerable<ListDataScanJobsResponse, DataScanJob> response = dataScanServiceClient.ListDataScanJobs(request);

        // Iterate over all response items, lazily performing RPCs as required
        foreach (DataScanJob item in response)
        {
            // Do something with each item
            Console.WriteLine(item);
        }

        // Or iterate over pages (of server-defined size), performing one RPC per page
        foreach (ListDataScanJobsResponse page in response.AsRawResponses())
        {
            // Do something with each page of items
            Console.WriteLine("A page of results:");
            foreach (DataScanJob item in page)
            {
                // Do something with each item
                Console.WriteLine(item);
            }
        }

        // Or retrieve a single page of known size (unless it's the final page), performing as many RPCs as required
        int pageSize = 10;
        Page<DataScanJob> singlePage = response.ReadPage(pageSize);
        // Do something with the page of items
        Console.WriteLine($"A page of {pageSize} results (unless it's the final page):");
        foreach (DataScanJob item in singlePage)
        {
            // Do something with each item
            Console.WriteLine(item);
        }
        // Store the pageToken, for when the next page is required.
        string nextPageToken = singlePage.NextPageToken;
    }
}

      Ir

      Go

      Antes de experimentar este exemplo, siga as Goinstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API GoDataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      
package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
	"google.golang.org/api/iterator"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.ListDataScanJobsRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#ListDataScanJobsRequest.
	}
	it := c.ListDataScanJobs(ctx, req)
	for {
		resp, err := it.Next()
		if err == iterator.Done {
			break
		}
		if err != nil {
			// TODO: Handle error.
		}
		// TODO: Use resp.
		_ = resp

		// If you need to access the underlying RPC response,
		// you can do so by casting the `Response` as below.
		// Otherwise, remove this line. Only populated after
		// first call to Next(). Not safe for concurrent access.
		_ = it.Response.(*dataplexpb.ListDataScanJobsResponse)
	}
}

      Java

      Java

      Antes de experimentar este exemplo, siga as Javainstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API JavaDataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      import com.google.cloud.dataplex.v1.DataScanJob;
import com.google.cloud.dataplex.v1.DataScanName;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.ListDataScanJobsRequest;

public class SyncListDataScanJobs {

  public static void main(String[] args) throws Exception {
    syncListDataScanJobs();
  }

  public static void syncListDataScanJobs() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      ListDataScanJobsRequest request =
          ListDataScanJobsRequest.newBuilder()
              .setParent(DataScanName.of("[PROJECT]", "[LOCATION]", "[DATASCAN]").toString())
              .setPageSize(883849137)
              .setPageToken("pageToken873572522")
              .setFilter("filter-1274492040")
              .build();
      for (DataScanJob element : dataScanServiceClient.listDataScanJobs(request).iterateAll()) {
        // doThingsWith(element);
      }
    }
  }
}

      Python

      Python

      Antes de experimentar este exemplo, siga as Pythoninstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Python do catálogo universal do Dataplex.

      Para se autenticar no catálogo universal do Dataplex, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      # This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_list_data_scan_jobs():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    request = dataplex_v1.ListDataScanJobsRequest(
        parent="parent_value",
    )

    # Make the request
    page_result = client.list_data_scan_jobs(request=request)

    # Handle the response
    for response in page_result:
        print(response)

      Ruby

      Ruby

      Antes de experimentar este exemplo, siga as Rubyinstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Ruby do catálogo universal do Dataplex.

      Para se autenticar no catálogo universal do Dataplex, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      require "google/cloud/dataplex/v1"

##
# Snippet for the list_data_scan_jobs call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#list_data_scan_jobs.
#
def list_data_scan_jobs
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::ListDataScanJobsRequest.new

  # Call the list_data_scan_jobs method.
  result = client.list_data_scan_jobs request

  # The returned object is of type Gapic::PagedEnumerable. You can iterate
  # over elements, and API calls will be issued to fetch pages as needed.
  result.each do |item|
    # Each element is of type ::Google::Cloud::Dataplex::V1::DataScanJob.
    p item
  end
end

      REST

      Para ver tarefas de análise do perfil de dados do histórico, use o método dataScans.jobs.list.

      Veja as análises do perfil de dados de uma tabela

      Para ver as análises do perfil de dados que se aplicam a uma tabela específica, faça o seguinte:

      1. Na Google Cloud consola, na página Organização de metadados do BigQuery, aceda ao separador Perfil e qualidade dos dados.

        Aceda a Criação de perfis e qualidade dos dados

      2. Filtre a lista por nome da tabela e tipo de análise.

      Conceda acesso aos resultados da análise do perfil de dados

      Para permitir que os utilizadores na sua organização vejam os resultados da análise, faça o seguinte:

      1. Na Google Cloud consola, na página de Organização de metadados do BigQuery, aceda ao separador Perfil e qualidade dos dados.

        Aceda a Criação de perfis e qualidade dos dados

      2. Clique na análise de qualidade de dados cujos resultados quer partilhar.

      3. Clique no separador Autorizações.

      4. Faça o seguinte:

        • Para conceder acesso a um principal, clique em Conceder acesso. Conceda a função Dataplex DataScan DataViewer ao principal associado.
        • Para remover o acesso de um principal, selecione o principal do qual quer remover a função Dataplex DataScan DataViewer. Clique em Remover acesso e, de seguida, confirme quando lhe for pedido.

      Faça a gestão das análises de perfis de dados para uma tabela específica

      Os passos neste documento mostram como gerir as análises de perfis de dados no seu projeto através da página Organização de metadados > Criação de perfis e qualidade dos dados do BigQuery na Google Cloud consola.

      Também pode criar e gerir análises de perfis de dados quando trabalha com uma tabela específica. Na Google Cloud consola, na página do BigQuery para a tabela, use o separador Perfil de dados. Faça o seguinte:

      1. Na Google Cloud consola, aceda à página BigQuery.

        Aceda ao BigQuery

        No painel Explorador (no painel esquerdo), clique em Conjuntos de dados e, de seguida, clique no seu conjunto de dados. Agora, clique em Vista geral > Tabelas e selecione a tabela cujos resultados da análise do perfil de dados quer ver.

      2. Clique no separador Perfil de dados.

      3. Consoante a tabela tenha uma análise do perfil de dados cujos resultados são publicados, pode trabalhar com as análises do perfil de dados da tabela das seguintes formas:

        • Os resultados da análise do perfil de dados são publicados: os resultados da análise publicados mais recentemente são apresentados na página.

          Para gerir as análises do perfil de dados desta tabela, clique em Análise do perfil de dados e, de seguida, selecione uma das seguintes opções:

          • Criar nova análise: crie uma nova análise do perfil de dados. Para mais informações, consulte a secção Crie uma análise de perfil de dados deste documento. Quando cria uma análise a partir da página de detalhes de uma tabela, a tabela é pré-selecionada.

          • Executar agora: execute a análise.

          • Editar configuração da análise: edite as definições, incluindo o nome a apresentar, os filtros, o tamanho da amostragem e a programação.

          • Faça a gestão das autorizações de análise: controle quem pode aceder aos resultados da análise. Para mais informações, consulte a secção Conceda acesso aos resultados da análise do perfil de dados deste documento.

          • Ver resultados do histórico: veja informações detalhadas sobre tarefas de análise de perfis de dados anteriores. Para mais informações, consulte as secções Ver resultados da análise do perfil de dados e Ver resultados da análise do histórico deste documento.

          • Ver todas as análises: veja uma lista de análises do perfil de dados que se aplicam a esta tabela.

        • Os resultados da análise do perfil de dados não são publicados: clique no menu junto a Perfil de dados rápido e, de seguida, selecione uma das seguintes opções:

          • Personalize a criação de perfis de dados: crie uma nova análise de perfis de dados. Para mais informações, consulte a secção Crie uma análise de perfil de dados deste documento. Quando cria uma análise a partir da página de detalhes de uma tabela, a tabela é pré-selecionada.

          • Ver perfis anteriores: veja uma lista de análises de perfis de dados que se aplicam a esta tabela.

      Atualize uma análise do perfil de dados

      Consola

      1. Na Google Cloud consola, na página Organização de metadados do BigQuery, aceda ao separador Perfil e qualidade dos dados.

        Aceda a Criação de perfis e qualidade dos dados

      2. Clique no nome de uma análise de perfil de dados.

      3. Clique em Editar e, de seguida, edite os valores.

      4. Clique em Guardar.

      gcloud

      Para atualizar uma análise de um perfil de dados, use o comando gcloud dataplex datascans update data-profile:

      gcloud dataplex datascans update data-profile DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

      Substitua as seguintes variáveis:

      • DATASCAN: o nome da análise do perfil de dados a atualizar.
      • LOCATION: A Google Cloud região em que a análise do perfil de dados foi criada.
      • DESCRIPTION: a nova descrição da análise do perfil de dados.

      C#

      C#

      Antes de experimentar este exemplo, siga as C#instruções de configuração no início rápido do catálogo universal do Dataplex usando bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API C#Dataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      using Google.Cloud.Dataplex.V1;
using Google.LongRunning;
using Google.Protobuf.WellKnownTypes;

public sealed partial class GeneratedDataScanServiceClientSnippets
{
    /// <summary>Snippet for UpdateDataScan</summary>
    /// <remarks>
    /// This snippet has been automatically generated and should be regarded as a code template only.
    /// It will require modifications to work:
    /// - It may require correct/in-range values for request initialization.
    /// - It may require specifying regional endpoints when creating the service client as shown in
    ///   https://cloud.google.com/dotnet/docs/reference/help/client-configuration#endpoint.
    /// </remarks>
    public void UpdateDataScanRequestObject()
    {
        // Create client
        DataScanServiceClient dataScanServiceClient = DataScanServiceClient.Create();
        // Initialize request argument(s)
        UpdateDataScanRequest request = new UpdateDataScanRequest
        {
            DataScan = new DataScan(),
            UpdateMask = new FieldMask(),
            ValidateOnly = false,
        };
        // Make the request
        Operation<DataScan, OperationMetadata> response = dataScanServiceClient.UpdateDataScan(request);

        // Poll until the returned long-running operation is complete
        Operation<DataScan, OperationMetadata> completedResponse = response.PollUntilCompleted();
        // Retrieve the operation result
        DataScan result = completedResponse.Result;

        // Or get the name of the operation
        string operationName = response.Name;
        // This name can be stored, then the long-running operation retrieved later by name
        Operation<DataScan, OperationMetadata> retrievedResponse = dataScanServiceClient.PollOnceUpdateDataScan(operationName);
        // Check if the retrieved long-running operation has completed
        if (retrievedResponse.IsCompleted)
        {
            // If it has completed, then access the result
            DataScan retrievedResult = retrievedResponse.Result;
        }
    }
}

      Ir

      Go

      Antes de experimentar este exemplo, siga as Goinstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Go Dataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      
package main

import (
	"context"

	dataplex "cloud.google.com/go/dataplex/apiv1"
	dataplexpb "cloud.google.com/go/dataplex/apiv1/dataplexpb"
)

func main() {
	ctx := context.Background()
	// This snippet has been automatically generated and should be regarded as a code template only.
	// It will require modifications to work:
	// - It may require correct/in-range values for request initialization.
	// - It may require specifying regional endpoints when creating the service client as shown in:
	//   https://pkg.go.dev/cloud.google.com/go#hdr-Client_Options
	c, err := dataplex.NewDataScanClient(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	defer c.Close()

	req := &dataplexpb.UpdateDataScanRequest{
		// TODO: Fill request struct fields.
		// See https://pkg.go.dev/cloud.google.com/go/dataplex/apiv1/dataplexpb#UpdateDataScanRequest.
	}
	op, err := c.UpdateDataScan(ctx, req)
	if err != nil {
		// TODO: Handle error.
	}

	resp, err := op.Wait(ctx)
	if err != nil {
		// TODO: Handle error.
	}
	// TODO: Use resp.
	_ = resp
}

      Java

      Java

      Antes de experimentar este exemplo, siga as Javainstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Java Dataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      import com.google.cloud.dataplex.v1.DataScan;
import com.google.cloud.dataplex.v1.DataScanServiceClient;
import com.google.cloud.dataplex.v1.UpdateDataScanRequest;
import com.google.protobuf.FieldMask;

public class SyncUpdateDataScan {

  public static void main(String[] args) throws Exception {
    syncUpdateDataScan();
  }

  public static void syncUpdateDataScan() throws Exception {
    // This snippet has been automatically generated and should be regarded as a code template only.
    // It will require modifications to work:
    // - It may require correct/in-range values for request initialization.
    // - It may require specifying regional endpoints when creating the service client as shown in
    // https://cloud.google.com/java/docs/setup#configure_endpoints_for_the_client_library
    try (DataScanServiceClient dataScanServiceClient = DataScanServiceClient.create()) {
      UpdateDataScanRequest request =
          UpdateDataScanRequest.newBuilder()
              .setDataScan(DataScan.newBuilder().build())
              .setUpdateMask(FieldMask.newBuilder().build())
              .setValidateOnly(true)
              .build();
      DataScan response = dataScanServiceClient.updateDataScanAsync(request).get();
    }
  }
}

      Python

      Python

      Antes de experimentar este exemplo, siga as Pythoninstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API PythonDataplex Universal Catalog.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      # This snippet has been automatically generated and should be regarded as a
# code template only.
# It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
#   client as shown in:
#   https://googleapis.dev/python/google-api-core/latest/client_options.html
from google.cloud import dataplex_v1


def sample_update_data_scan():
    # Create a client
    client = dataplex_v1.DataScanServiceClient()

    # Initialize request argument(s)
    data_scan = dataplex_v1.DataScan()
    data_scan.data_quality_spec.rules.dimension = "dimension_value"
    data_scan.data.entity = "entity_value"

    request = dataplex_v1.UpdateDataScanRequest(
        data_scan=data_scan,
    )

    # Make the request
    operation = client.update_data_scan(request=request)

    print("Waiting for operation to complete...")

    response = operation.result()

    # Handle the response
    print(response)

      Ruby

      Ruby

      Antes de experimentar este exemplo, siga as Rubyinstruções de configuração no início rápido do Dataplex Universal Catalog com bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Ruby do catálogo universal do Dataplex.

      Para se autenticar no Dataplex Universal Catalog, configure as Credenciais padrão da aplicação. Para mais informações, consulte o artigo Configure a autenticação para um ambiente de desenvolvimento local. 

      require "google/cloud/dataplex/v1"

##
# Snippet for the update_data_scan call in the DataScanService service
#
# This snippet has been automatically generated and should be regarded as a code
# template only. It will require modifications to work:
# - It may require correct/in-range values for request initialization.
# - It may require specifying regional endpoints when creating the service
# client as shown in https://cloud.google.com/ruby/docs/reference.
#
# This is an auto-generated example demonstrating basic usage of
# Google::Cloud::Dataplex::V1::DataScanService::Client#update_data_scan.
#
def update_data_scan
  # Create a client object. The client can be reused for multiple calls.
  client = Google::Cloud::Dataplex::V1::DataScanService::Client.new

  # Create a request. To set request fields, pass in keyword arguments.
  request = Google::Cloud::Dataplex::V1::UpdateDataScanRequest.new

  # Call the update_data_scan method.
  result = client.update_data_scan request

  # The returned object is of type Gapic::Operation. You can use it to
  # check the status of an operation, cancel it, or wait for results.
  # Here is how to wait for a response.
  result.wait_until_done! timeout: 60
  if result.response?
    p result.response
  else
    puts "No response received."
  end
end

      REST

      Para editar uma análise de perfil de dados, use o método dataScans.patch.

      Elimine uma análise do perfil de dados

      Consola

      1. Na Google Cloud consola, na página de Organização de metadados do BigQuery, aceda ao separador Perfil e qualidade dos dados.

        Aceda a Criação de perfis e qualidade dos dados

      2. Clique na análise que quer eliminar.

      3. Clique em Eliminar e, de seguida, confirme quando lhe for pedido.

      gcloud

      Para eliminar uma análise de perfil de dados, use o comando gcloud dataplex datascans delete:

      gcloud dataplex datascans delete DATASCAN \
--location=LOCATION --async

      Substitua as seguintes variáveis:

      • DATASCAN: o nome da análise do perfil de dados a eliminar.
      • LOCATION: A Google Cloud região em que a análise do perfil de dados foi criada.

      REST

      Para eliminar uma análise de um perfil de dados, use o método dataScans.delete.

      O que se segue?