Pour diffuser des mises à jour de capture des données modifiées (CDC) vers des destinations compatibles, telles que BigQuery ou Cloud Storage, vous pouvez connecter une base de données Cloud SQL pour SQL Server à Datastream. Vous activez la CDC sur votre base de données et vos tables, activez l'isolation d'instantané et configurez un utilisateur Datastream. Si vous utilisez la méthode CDC des journaux de transactions, vous configurez également la conservation des journaux et activez la récupération à un moment précis.
Pour configurer votre instance source :
Connectez-vous à l'instance Cloud SQL. Vous pouvez le faire à l'aide de la
gcloud sql connectcommande dans l' invite Cloud Shell.Activez la CDC sur la base de données en exécutant la commande suivante :
EXEC msdb.dbo.gcloudsql_cdc_enable_db 'DATABASE_NAME'Remplacez
DATABASE_NAMEpar le nom de votre base de données source.Activez la CDC sur les tables pour lesquelles vous devez capturer les modifications :
USE [DATABASE_NAME] EXEC sys.sp_cdc_enable_table @source_schema = N'SCHEMA_NAME', @source_name = N'TABLE_NAME', @role_name = NULL GOActivez l'isolation d'instantané.
Lorsque vous remplissez les données de votre base de données SQL Server, il est important de vous assurer que les instantanés sont cohérents. Si vous n'appliquez pas les paramètres décrits dans cette section, les modifications apportées à la base de données pendant le processus de remplissage peuvent entraîner des doublons ou des résultats incorrects. L'application des paramètres d'isolation d'instantané est obligatoire si votre flux inclut des tables sans clé primaire.
L'activation de l'isolation d'instantané crée une vue temporaire de votre base de données au début du processus de remplissage. Cela garantit que les données copiées restent cohérentes, même si d'autres utilisateurs apportent des modifications aux tables en direct en même temps. L'activation de l'isolation d'instantané peut avoir un léger impact sur les performances, mais elle est essentielle pour une extraction fiable des données.
Pour activer l'isolation d'instantané :
- Connectez-vous à votre base de données à l'aide d'un client SQL Server.
- Exécutez la commande suivante :
ALTER DATABASE DATABASE_NAME SET ALLOW_SNAPSHOT_ISOLATION ON;Remplacez DATABASE_NAME par le nom de votre base de données.
Créez un utilisateur Datastream :
Dans la Google Cloud console, accédez à la page Instances Cloud SQL.
Créez un utilisateur et attribuez-lui les rôles
db_owneretdb_denydatawriter:
CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN;EXEC sp_addrolemember 'db_owner', 'USER_NAME'; EXEC sp_addrolemember 'db_denydatawriter', 'USER_NAME';
Étapes supplémentaires requises pour la méthode CDC des journaux de transactions
Les étapes décrites dans cette section ne sont requises que lorsque vous configurez votre base de données SQL Server source pour l'utiliser avec la méthode CDC des journaux de transactions.
Définissez l'intervalle d'interrogation pour lequel vous souhaitez que les modifications soient disponibles sur votre source.
USE [DATABASE_NAME] EXEC sys.sp_cdc_change_job @job_type = 'capture' , @pollinginterval = 86399 EXEC sp_cdc_stop_job 'capture' EXEC sp_cdc_start_job 'capture'Le paramètre
@pollingintervalest mesuré en secondes, avec une valeur recommandée définie sur86399. Cela signifie que le journal de transactions conserve les modifications pendant 86 399 secondes (un jour). L'exécution de la procéduresp_cdc_start_job 'capturelance les paramètres.Configurez une protection contre la troncation des journaux.
Pour vous assurer que le lecteur CDC dispose de suffisamment de temps pour lire les journaux tout en autorisant la troncation des journaux afin d'éviter d'utiliser l'espace de stockage, vous pouvez configurer une protection contre la troncation des journaux :
- Connectez-vous à la base de données à l'aide d'un client SQL Server.
Créez une table factice dans la base de données :
USE [DATABASE_NAME]; CREATE TABLE dbo.gcp_datastream_truncation_safeguard ( [id] INT IDENTITY(1,1) PRIMARY KEY, CreatedDate DATETIME DEFAULT GETDATE(), [char_column] CHAR(8) );Créez une procédure stockée qui exécute une transaction active pendant une période que vous spécifiez pour empêcher la troncation des journaux :
CREATE PROCEDURE [dbo].[DatastreamLogTruncationSafeguard] @transaction_logs_retention_time INT AS BEGIN -- Start a new transaction BEGIN TRANSACTION; INSERT INTO dbo.gcp_datastream_truncation_safeguard (char_column) VALUES ('a') DECLARE @formatted_time VARCHAR(5) SET @formatted_time = CONVERT(VARCHAR(5), DATEADD(MINUTE, @transaction_logs_retention_time, 0), 108); -- Wait for X minutes before ending the transaction WAITFOR DELAY @formatted_time; -- Commit the transaction COMMIT TRANSACTION; END;Créez une autre procédure stockée. Cette fois, vous créez un job qui exécute la procédure stockée que vous avez créée à l'étape précédente selon une cadence spécifiée :
CREATE PROCEDURE [dbo].[SetUpDatastreamJob] @transaction_logs_retention_time INT AS BEGIN DECLARE @database_name VARCHAR(MAX) SET @database_name = (SELECT DB_NAME());; DECLARE @command_str VARCHAR(MAX); SET @command_str = CONCAT('Use ', @database_name,'; exec dbo.DatastreamLogTruncationSafeguard @transaction_logs_retention_time = ' + CAST(@transaction_logs_retention_time AS VARCHAR(10))); DECLARE @job_name VARCHAR(MAX); SET @job_name = CONCAT(@database_name, '_', 'DatastreamLogTruncationSafeguardJob1') -- Add 3 schedules to the job to run again after specified time. IF NOT EXISTS( SELECT * FROM msdb.dbo.sysjobs WHERE name = @job_name ) BEGIN EXEC msdb.dbo.sp_add_job @job_name = @job_name, @enabled = 1, @description = N'Execute the procedure to run an active transaction for x minutes.'; EXEC msdb.dbo.sp_add_jobstep @job_name = @job_name, @step_name = N'Execute_DatastreamLogTruncationSafeguard', @subsystem = N'TSQL', @command = @command_str; -- Add a schedule that runs the stored procedure every given minutes starting now. DECLARE @schedule_name_1 VARCHAR(MAX); SET @schedule_name_1 = CONCAT(@database_name, '_', 'DatastreamEveryGivenMinutesFromNow') DECLARE @start_time_1 time; SET @start_time_1 = DATEADD(SECOND, 1, GETDATE()); DECLARE @formatted_start_time_1 INT; SET @formatted_start_time_1 = CONVERT(INT, REPLACE(CONVERT(VARCHAR(8), @start_time_1, 114), ':' ,'')); EXEC msdb.dbo.sp_add_schedule @schedule_name = @schedule_name_1, @freq_type = 4, -- daily start @freq_subday_type = 4, -- every X minutes daily @freq_interval = 1, @freq_subday_interval = @transaction_logs_retention_time, @active_start_time = @formatted_start_time_1; EXEC msdb.dbo.sp_attach_schedule @job_name = @job_name, @schedule_name = @schedule_name_1 ; -- Add a schedule that runs the stored procedure after every given minutes starting after some delay. DECLARE @schedule_name_2 VARCHAR(MAX); Set @schedule_name_2 = CONCAT(@database_name, '_', 'DatastreamEveryGivenMinutesAfterDelay'); DECLARE @start_time_2 time; SET @start_time_2 = DATEADD(MINUTE, @transaction_logs_retention_time / 2, GETDATE()); DECLARE @formatted_start_time_2 INT; SET @formatted_start_time_2 = CONVERT(INT, REPLACE(CONVERT(VARCHAR(8), @start_time_2, 114), ':' ,'')); EXEC msdb.dbo.sp_add_schedule @schedule_name = @schedule_name_2, @freq_type = 4, -- daily start @freq_subday_type = 4, -- every x minutes daily @freq_interval = 1, @freq_subday_interval = @transaction_logs_retention_time, @active_start_time = @formatted_start_time_2; EXEC msdb.dbo.sp_attach_schedule @job_name = @job_name, @schedule_name = @schedule_name_2 ; -- Add a schedule that runs the stored procedure on the SQL Server Agent startup. DECLARE @schedule_name_agent_startup VARCHAR(MAX); Set @schedule_name_agent_startup = CONCAT(@database_name, '_', 'DatastreamSqlServerAgentStartupSchedule') EXEC msdb.dbo.sp_add_schedule @schedule_name = @schedule_name_agent_startup, @freq_type = 64, -- start on SQL Server Agent startup @active_start_time = @formatted_start_time_1; EXEC msdb.dbo.sp_attach_schedule @job_name = @job_name, @schedule_name = @schedule_name_agent_startup ; EXEC msdb.dbo.sp_add_jobserver @job_name = @job_name, @server_name = @@servername ; END END;Exécutez la procédure stockée qui crée le job Datastream.
DECLARE @transaction_logs_retention_time INT = (INT) EXEC [dbo].[SetUpDatastreamJob] @transaction_logs_retention_timeRemplacez INT par le nombre de minutes pendant lesquelles vous souhaitez conserver les journaux. Exemple :
- La valeur
60définit la durée de conservation sur 1 heure. - La valeur
24 * 60définit la durée de conservation sur 1 jour. - La valeur
3 * 24 * 60définit la durée de conservation sur 3 jours.
- La valeur
Activez la récupération à un moment précis (PITR).
Étape suivante
- Découvrez comment Datastream fonctionne avec les sources SQL Server.