Importer et exporter des données

Cette page répertorie les méthodes disponibles pour importer des données depuis Bigtable et les exporter vers ce service.

Importer des données dans Bigtable

Vous pouvez importer des données dans Bigtable de l'une des manières suivantes :

BigQuery
Pour importer des données BigQuery dans Bigtable, consultez la section Exporter des données vers Bigtable (ETL inversé) dans la documentation BigQuery.
Vous pouvez exécuter des requêtes continues sur vos données BigQuery et exporter les résultats vers Bigtable en temps réel à l'aide de l'ETL inversé. Pour en savoir plus, consultez la présentation des requêtes continues dans la documentation BigQuery.
Pub/Sub
Vous pouvez diffuser des messages depuis Pub/Sub directement vers une table Bigtable à l'aide des abonnements Pub/Sub Bigtable (aperçu). Cette méthode vous permet d'écrire des messages en flux continu dans Bigtable sans avoir besoin d'un abonné distinct comme Dataflow.

Déplacer ou copier des données à l'aide d'un modèle

Vous pouvez utiliser les modèles Dataflow suivants pour déplacer ou copier des données entre Bigtable et d'autres sources ou destinations.

BigQuery

Le modèle Dataflow suivant vous permet d'exporter des données de BigQuery vers Bigtable.

Apache Cassandra vers Bigtable

Le modèle Dataflow suivant vous permet d'exporter des données d'Apache Cassandra vers Bigtable.

Fichiers Avro

Les modèles Dataflow suivants vous permettent d'exporter des données depuis Bigtable sous forme de fichiers Avro, puis de les réimporter dans Bigtable. Vous pouvez exécuter ces modèles à l'aide de Google Cloud CLI ou de la Google Cloud console. Le code source est disponible sur GitHub.

Fichiers Parquet

Les modèles Dataflow suivants vous permettent d'exporter des données depuis Bigtable sous forme de fichiers Parquet, puis de les réimporter dans Bigtable. Vous pouvez exécuter ces modèles à l'aide de la gcloud CLI ou de la Google Cloud console. Le code source est disponible sur GitHub.

SequenceFiles

Les modèles Dataflow suivants vous permettent d'exporter des données depuis Bigtable sous forme de fichiers SequenceFiles, puis de les réimporter dans Bigtable. Vous pouvez exécuter ces modèles à l'aide de Google Cloud CLI ou de la Google Cloud console.

Importer depuis la page "Tables"

Vous pouvez exécuter la plupart des méthodes d'importation décrites sur cette page à l'aide de la Google Cloud console. Importez les types de données suivants depuis la page Tables :

  • Données CSV
  • Données BigQuery
  • Données que vous pouvez importer avec le générateur de jobs Dataflow. Cela inclut les types de données suivants :
    • Messages Pub/Sub
    • Données de table BigQuery
    • Fichiers CSV, fichiers JSON et fichiers texte dans Cloud Storage
    • Données de table PostgreSQL, MySQL, Oracle et SQL Server

  • Données que vous pouvez importer avec le modèle Dataflow. Cela inclut les types de données suivants :

    • Fichiers Avro
    • Espaces de clés et tables Cassandra
    • Fichiers Parquet
    • Fichiers SequenceFile

Console

  1. Ouvrez la liste des instances Bigtable dans la Google Cloud console.

    Ouvrir la liste des instances

  2. Cliquez sur l'instance contenant la table que vous souhaitez importer.

  3. Cliquez sur Tables dans le volet de gauche.

    La page Tables affiche une liste des tables de l'instance.

  4. À côté du nom de la table dans laquelle vous souhaitez importer des données, cliquez sur le menu Action sur la table.

  5. Cliquez sur Importer des données, puis sélectionnez le type de données que vous souhaitez importer :

    • Si vous sélectionnez CSV, la fenêtre de terminal de l'interface de ligne de commande cbt CLI s'ouvre. Pour en savoir plus, consultez la section Importer des données CSV de ce document.
    • Si vous sélectionnez BigQuery, BigQuery Studio s'ouvre. Remplissez la requête ETL inversée et exécutez-la.
    • Si vous sélectionnez le générateur de jobs Dataflow, celui-ci s'ouvre. Pour en savoir plus, consultez la présentation de l'interface utilisateur du générateur de jobs.
    • Si vous sélectionnez Avro, Parquet, SequenceFile ou Cassandra, la console affiche un modèle Dataflow partiellement rempli. Remplissez le modèle de job, puis cliquez sur Exécuter le job.

Exporter depuis la page "Tables"

Vous pouvez exécuter certaines des méthodes d'exportation décrites sur cette page à l'aide de la Google Cloud console. Exportez les types de données suivants depuis la page Tables :

  • Fichiers Avro
  • Fichiers Parquet

  • Fichiers SequenceFile

Console

  1. Ouvrez la liste des instances Bigtable dans la Google Cloud console.

    Ouvrir la liste des instances

  2. Cliquez sur l'instance contenant la table que vous souhaitez exporter.

  3. Cliquez sur Tables dans le volet de gauche.

    La page Tables affiche une liste des tables de l'instance.

  4. À côté du nom de la table, cliquez sur le menu Action sur la table.

  5. Cliquez sur Exporter des données, puis sélectionnez le type de fichier que vous souhaitez exporter.

    La console affiche un modèle Dataflow partiellement rempli.

  6. Remplissez le modèle de job, puis cliquez sur Exécuter le job.

Importer des données CSV

Vous pouvez importer des données d'un fichier CSV dans une table Bigtable à l'aide de l'CLI cbt . Pour ce faire, vous devez vous assurer que votre environnement, tel que Cloud Shell, peut accéder au fichier CSV. Vous pouvez importer votre fichier CSV dans Cloud Shell de l'une des manières suivantes :

Importer un fichier CSV local :

  1. Dans Cloud Shell, cliquez sur le Plus menu, puis sélectionnez Importer.
  2. Sélectionnez le fichier CSV sur votre machine locale.
  3. Une fois le fichier importé, faites-y référence par son nom dans la commande de l'interface de ligne de commande cbt CLI.

Copier un fichier CSV depuis Cloud Storage :

L'interface de ligne de commande cbt CLI n'est pas compatible avec l'importation directe depuis un bucket Cloud Storage. Vous devez d'abord copier le fichier CSV de Cloud Storage vers votre environnement Cloud Shell. Pour en savoir plus, consultez Importer un objet dans un bucket.

Une fois le fichier CSV disponible dans votre environnement, utilisez la commande de l'interface de ligne de commande cbt CLI pour importer les données. Pour obtenir un exemple de commande, consultez Écrire par lot de nombreuses lignes en fonction du fichier d'entrée.

Étape suivante