Conjuntos de dados públicos do BigQuery

Um conjunto de dados públicos é qualquer conjunto de dados armazenado no BigQuery e disponibilizado para o público em geral por meio do Programa de conjuntos de dados públicos do Google Cloud. Os conjuntos de dados públicos são hospedados no BigQuery e você pode acessá-los e integrá-los a seus aplicativos. O Google paga pelo armazenamento desses conjuntos de dados e oferece acesso público a eles usando um projeto. Você paga apenas pelas consultas realizadas nos dados. O primeiro terabyte (1 TB) por mês é sem custo financeiro, sujeito aos detalhes sobre o preço de consulta.

Os conjuntos de dados públicos estão disponíveis para análise usando consultas do SQL legado ou do GoogleSQL. Use um nome de tabela totalmente qualificado ao consultar conjuntos de dados públicos. Por exemplo, bigquery-public-data.bbc_news.fulltext. Se sua organização restringir o acesso aos dados, por exemplo, com perímetros de segurança, talvez seja necessário entrar em contato com o administrador para receber permissão para acessar conjuntos de dados públicos.

Para acessar os conjuntos de dados públicos do BigQuery, use o Google Cloud console, a ferramenta de linha de comando bq bq command-line tool ou faça chamadas para a API REST BigQuery usando várias bibliotecas de cliente, como Java, .NET ou Python. Também é possível conferir e consultar conjuntos de dados públicos no BigQuery Sharing (antigo Analytics Hub), uma plataforma de troca de dados que ajuda você a descobrir e acessar bibliotecas de dados.

Os conjuntos de dados públicos não são acessíveis por padrão dentro de um perímetro do VPC Service Controls. Não há contrato de nível de serviço (SLA) para o programa de conjunto de dados públicos.

Acessar o compartilhamento (Analytics Hub)

Encontre mais detalhes sobre cada conjunto de dados individual clicando no nome dele na seção "Conjuntos de dados" do Cloud Marketplace.

Acessar Conjuntos de dados no Cloud Marketplace

Antes de começar

Para começar a usar um conjunto de dados públicos do BigQuery, você precisa criar ou selecionar um projeto. O primeiro terabyte de dados processados por mês é sem custo financeiro. Assim, você pode começar a consultar conjuntos de dados públicos sem ativar o faturamento. Se quiser ir além do Nível sem custo financeiro, também é necessário ativar o faturamento.

  1. Faça login na sua Google Cloud conta do. Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. O BigQuery é ativado automaticamente em novos projetos. Para ativar o BigQuery em um projeto preexistente,

    Ative a API BigQuery.

    Funções necessárias para ativar APIs

    Para ativar as APIs, é necessário ter a permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pela função de proprietário (roles/owner). Caso contrário, você pode receber essa permissão pela função de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin). Saiba como conceder funções.

    Ativar a API

Locais de conjuntos de dados públicos

Cada conjunto de dados público é armazenado em um local específico, como US ou EU. Atualmente, as tabelas de amostra do BigQuery são armazenadas no local multirregional US. Ao consultar uma tabela de amostra, forneça a sinalização --location=US na linha de comando, escolha US como o local de processamento no Google Cloud console, ou especifique a propriedade location na jobReference seção do recurso de job ao usar a API. Como as tabelas de amostra são armazenadas nos EUA, não é possível gravar resultados de consulta de tabela de amostra em tabelas armazenadas em outras regiões e não é possível mesclar tabelas de amostra com tabelas armazenadas em outras regiões.

Acessar conjuntos de dados públicos no Google Cloud console

É possível acessar conjuntos de dados públicos no Google Cloud Console do Cloud usando os seguintes métodos:

Para descobrir quando uma tabela de dados foi atualizada pela última vez, acesse a seção Detalhes da tabela, conforme descrito em Receber informações sobre tabelas, e veja o campo Última modificação.

Outros conjuntos de dados públicos

Há muitos outros conjuntos de dados públicos disponíveis para consulta, alguns deles também hospedados pelo Google, mas muitos outros hospedados por terceiros. Entre outros conjuntos de dados estão:

Compartilhar um conjunto de dados com o público

Você pode compartilhar qualquer um de seus conjuntos de dados com o público ao mudar os controles de acesso do conjunto de dados e permitir o acesso de "Todos os usuários autenticados". Para mais informações sobre como configurar os controles de acesso de um conjunto de dados, consulte Como controlar o acesso aos conjuntos de dados.

Ao compartilhar um conjunto de dados com o público:

  • as cobranças de armazenamento são feitas na conta de faturamento anexada ao projeto que contém o conjunto de dados compartilhado publicamente;
  • as cobranças de consulta são feitas na conta de faturamento anexada ao projeto em que os jobs de consulta são executados.

Para mais informações, consulte Visão geral de análises do BigQuery.

Tabelas de amostra

Além dos conjuntos de dados públicos, o BigQuery fornece um número limitado de tabelas de amostra que você pode consultar. Essas tabelas ficam no conjunto de dados bigquery-public-data:samples.

Os requisitos para consultar as tabelas de amostra do BigQuery são iguais aos necessários para consultar os conjuntos de dados públicos.

O conjunto de dados bigquery-public-data:samples inclui as seguintes tabelas:

Nome Descrição
gsod Contém informações sobre clima, coletadas pela NOAA, como volume de precipitação e velocidade do vento desde 1929 até 2010.
github_nested Contém um cronograma de ações, como solicitações de pull e comentários nos repositórios GitHub com um esquema aninhado. Criado em setembro de 2012.
github_timeline Contém um cronograma de ações, como solicitações de pull e comentários nos repositórios GitHub com um esquema plano. Criado em maio de 2012.
natality Descreve todos os nascimentos nos Estados Unidos registrados nos 50 estados, no Distrito de Colúmbia e na cidade de Nova York de 1969 a 2008.
shakespeare Contém um índice de palavras das obras de Shakespeare com o número de vezes que cada palavra aparece em cada acervo.
trigrams Contém trigramas do idioma inglês de uma amostra de obras publicadas entre 1520 e 2008.
wikipedia Contém o histórico completo de revisões de todos os artigos da Wikipédia até abril de 2010.

Entre em contato

Se tiver alguma dúvida sobre o programa de conjunto de dados públicos do BigQuery, entre em contato conosco em bq-public-data@google.com.

A seguir

Aprenda a consultar uma tabela em um conjunto de dados públicos em Guia de início rápido usando o Google Cloud console.