El reabastecimiento en Datastream te permite cargar una instantánea de los datos históricos de tus objetos de origen en tu destino junto con la captura de datos modificados en curso. Puedes iniciar de forma manual un reabastecimiento total o parcial si no seleccionaste Reabastecer datos históricos cuando configuraste tu fuente. Iniciar un reabastecimiento también te permite volver a sincronizar los objetos de destino si los datos se borran por accidente.
Mientras se ejecuta una transmisión, puedes supervisar los estados de los objetos y detener un reabastecimiento activo en cualquier momento. Detener una operación evita que se repliquen esquemas o datos dañados, y te permite ejecutar tareas paralelas de una en una para reducir la carga de origen.
Estados de los objetos
Los distintos estados en el ciclo de vida de inicio y detención del reabastecimiento de un objeto incluyen los siguientes:
Sin estado (se representa en la IU como
-): Algunos de los motivos por los que un objeto recibe este estado son los siguientes:- No se inició la transmisión.
- No se seleccionó la casilla de verificación Reabastecer datos históricos (por lo que el reabastecimiento se define como manual).
- El objeto se excluye explícitamente del reabastecimiento automático.
- La transmisión está configurada para incluir tablas futuras. Si esto sucede, cuando se agregan tablas nuevas al origen, no se crea una tarea de reabastecimiento automático para ellas (porque las tablas nuevas no suelen tener datos históricos para reabastecer).
Pending: El reabastecimiento aún no comenzó para el objeto.Active: El reabastecimiento está en curso para el objeto.Completed: Se completó el reabastecimiento del objeto.Stopped: Se detiene el reabastecimiento del objeto. Si se vuelve a iniciar el reabastecimiento para el objeto, Datastream transmitirá todos los datos existentes asociados con el objeto desde la fuente hasta el destino.Failed: Se produjo un error en el reabastecimiento del objeto y se debe volver a iniciar.
Iniciar reabastecimiento
Ve a la página Transmisiones en la consola de Google Cloud .
Haz clic en la transmisión que contiene los objetos para los que deseas iniciar el reabastecimiento.
Haz clic en la pestaña Objetos.
Selecciona la casilla de verificación de cada objeto para el que quieras iniciar el reabastecimiento.
Haz clic en Iniciar reabastecimiento.
Si seleccionaste solo un objeto, en el cuadro de diálogo, haz clic en INICIAR RELLENO DE DATOS DEL OBJETO. De lo contrario, si seleccionaste varios objetos, haz clic en INICIAR RELLENOS DE OBJETOS.
Datastream iniciará el reabastecimiento de los objetos que seleccionaste, y el estado de cada objeto cambiará de
PendingaActivey aCompleted. Cuando un objeto tiene el estadoCompleted, significa que Datastream leyó todos los datos del objeto, pero es posible que los datos aún se estén cargando en el destino.
Iniciar reabastecimiento parcial
Además de los reabastecimientos completos, puedes realizar un reabastecimiento parcial para cargar un
subconjunto específico de datos de la fuente al destino. Para ello, proporciona una cláusula WHERE de SQL como un filtro personalizado.
Datastream admite el reabastecimiento parcial para las siguientes fuentes:
- SQL Server
- Spanner
- Oracle
- PostgreSQL
- MySQL
Para iniciar un reabastecimiento parcial, sigue estos pasos:
Ve a la página Transmisiones en la consola de Google Cloud .
Haz clic en la transmisión que contiene los objetos para los que deseas iniciar el reabastecimiento.
Haz clic en la pestaña Objetos.
Selecciona el objeto para el que quieres iniciar el reabastecimiento.
Haz clic en Iniciar reabastecimiento.
En el panel que aparece, selecciona la casilla de verificación Habilitar filtro personalizado.
Ingresa tu cláusula
WHEREde SQL. Por ejemplo,product_id > 12 AND timestamp = '2025-01-06T22:00:00.00'Haz clic en Iniciar reabastecimiento.
Datastream valida el filtro. Si la validación falla, aparecerá un mensaje de error sobre el editor. Si la validación se completa correctamente, Datastream inicia el trabajo de reabastecimiento.
Sintaxis de filtro personalizado admitida
Cuando proporcionas un filtro personalizado, Datastream admite un subconjunto
fundamental de la sintaxis de la cláusula WHERE de SQL. Entre los elementos admitidos, se incluyen los siguientes:
- Operadores lógicos:
AND,OR - Operadores de comparación:
=,<,>,<=,>=,!= - Condiciones:
IN,NOT IN,IS NULL,IS NOT NULL - Agrupación: paréntesis
()para definir grupos de condiciones Valores:
- Cadenas: texto encerrado entre comillas simples, por ejemplo,
'value' - Números: enteros (
123), decimales (123.45), números negativos (-10) y números con exponentes (1.2e3). - Valores booleanos: palabras clave
TRUEoFALSEque distinguen mayúsculas de minúsculas.
- Cadenas: texto encerrado entre comillas simples, por ejemplo,
Identificadores:
- Calificación: Los nombres de las columnas se pueden calificar por completo con puntos para especificar
el esquema o la tabla, por ejemplo,
myColumn,myTable.myColumnomySchema.myTable.myColumn. - Identificadores sin comillas: pueden contener letras, números y guiones bajos, y deben comenzar con una letra o un guion bajo. La distinción entre mayúsculas y minúsculas para los nombres de columnas o tablas depende de la base de datos de destino.
- Identificadores entre comillas dobles: Deben estar entre comillas dobles (
").
- Calificación: Los nombres de las columnas se pueden calificar por completo con puntos para especificar
el esquema o la tabla, por ejemplo,
Limitaciones de la reabastecimiento parcial
Algunas declaraciones, operadores y palabras clave están explícitamente prohibidos y, si los usas, se producirá un error. Estos incluyen los siguientes:
- Comentarios, como
--o/* */. - Funciones, por ejemplo,
UPPER(column)yNOW(). - Expresiones aritméticas, por ejemplo,
column + 1 > 10. - El operador
LIKE. Los comodines como%o_no son compatibles conLIKE. - El operador
BETWEEN. En su lugar, usa>=y<=. - Subconsultas, por ejemplo,
(SELECT ...)dentro de la cláusulaWHERE. CASE, por ejemplo,CASE WHEN ... END.- Comparaciones de columnas, como
column1 = column2. Las comparaciones deben ser con literales. DATEyTIMEtipos o funciones específicos.- Operadores específicos de arrays o JSON.
- Conversión explícita: por ejemplo,
CAST(column AS INT).
Detener reabastecimiento
Ve a la página Transmisiones en la consola de Google Cloud .
Haz clic en el flujo que contiene los objetos para los que deseas detener el reabastecimiento.
Haz clic en la pestaña Objetos.
Selecciona la casilla de verificación de cada objeto para el que quieras detener el reabastecimiento.
Haz clic en Detener reabastecimiento.
Si seleccionaste solo un objeto, en el cuadro de diálogo, haz clic en Detener reabastecimiento de objetos. De lo contrario, si seleccionaste varios objetos, haz clic en Detener reabastecimientos de objetos.
Datastream detendrá el reabastecimiento de los objetos que seleccionaste, y el estado de cada objeto cambiará a
Stopped.Cuando un objeto tiene este estado, se detiene el reabastecimiento para él. Si se vuelve a iniciar el reabastecimiento para el objeto, Datastream transmitirá todos los datos existentes asociados con el objeto desde la fuente hasta el destino.
¿Qué sigue?
- Para obtener más información sobre las transmisiones, consulta Ciclo de vida de las transmisiones.
- Para obtener información sobre cómo ver los detalles de tu transmisión, consulta Visualiza una transmisión.
- Para aprender a modificar una transmisión, consulta Modifica una transmisión.
- Para aprender a supervisar una transmisión, consulta Supervisa una transmisión.
- Para aprender a recuperar una transmisión con errores, consulta Recupera una transmisión.