Cómo buscar linaje multirregión con fan-out del cliente

Recupera vínculos de linaje de datos en varias regiones de Google Cloud con un enfoque de fan-out. Usas la API de Data Lineage para recuperar y agregar datos de linaje de todas las regiones disponibles.

¿Por qué usar fan-out del lado del cliente?

El enfoque de fan-out del cliente es útil cuando tus activos de datos se distribuyen en diferentes ubicaciones y necesitas una vista unificada de su linaje.

Para obtener más información, consulta Acerca de la búsqueda de linaje en varias regiones.

Pseudocódigo paso a paso

El procedimiento realiza solicitudes paralelas al extremo de projects.locations.searchLinks en cada región. Recopilas los resultados, controlas la paginación en las regiones y agregas los vínculos encontrados. Para garantizar una paginación coherente en las llamadas posteriores, administra un regionalPageToken. Esto tiene en cuenta las regiones a las que no se puede llegar.

El siguiente pseudocódigo describe un procedimiento que puedes seguir con la API de Data Lineage para recuperar vínculos de linaje de datos de todas las regiones disponibles.

  1. Configuración de entrada:
    • linksToFetch = 5 (cantidad de vínculos que se recuperarán de todas las regiones)
    • regionalPageToken = "" (token de página regional recibido por última vez y que se usa para la paginación)
  2. Crear:
    1. Lista de todas las regiones para fan-out, llamada regions.
    2. lista de regiones inaccesibles llamada unreachable.
    3. una lista vacía de vínculos encontrados llamada foundLinks.
    4. una variable vacía nextPageToken y nextRegionalPageToken.
    5. una variable vacía lastRegion.
    6. una variable vacía lastRegionLinksCount.
  3. Ordenar regions alfabéticamente
  4. Analiza regionalPageToken.
    1. Si está vacío, continúa con el paso 5.
    2. Si no está vacío, entonces
      1. analiza regionalPageToken dividiéndolo por el primer punto en dos segmentos
      2. Filtrar las regiones tomando solo las que están después (en orden alfabético) del primer segmento de regionalPageToken analizado
      3. Almacena el segundo segmento aparte para usarlo en todas las llamadas a projects.locations.searchLinks.
  5. Realiza una llamada a projects.locations.searchLinks en cada región de la lista regions en paralelo.
  6. Espera a que se completen todas las solicitudes.
  7. Filtra las respuestas exitosas y almacena los nombres de las regiones con errores en la lista unreachable.
  8. Para cada una de las respuestas (comenzando con la primera región en orden alfabético)
    1. si no se devolvieron vínculos junto con un token de página no vacío
      1. Almacena el nombre de la región en lastRegion.
      2. Guarda el pageToken recibido en nextPageToken.
      3. ignorar las respuestas restantes
    2. De lo contrario,
      1. Almacena el nombre de la región en lastRegion.
      2. guardar los vínculos recibidos en foundLinks (hasta linksToFetch)
      3. Guarda el pageToken recibido en nextPageToken.
      4. Almacena la cantidad de vínculos tomados de la respuesta en lastRegionLinksCount.
      5. si foundLinks es menor que linksToFetch
        1. continuar el seudocódigo con la siguiente respuesta recibida en orden alfabético
      6. si foundLinks es igual a linksToFetch
        1. Realiza otra solicitud al endpoint projects.locations.searchLinks en la misma región, pero establece el parámetro pageSize en el valor de lastRegionLinksCount.
        2. Almacena pageToken en nextPageToken.
        3. continúa con el paso 9
  9. Antepone nextPageToken con lastRegion (es decir, [region].[receivedNextPageToken]) para crear nextRegionalPageToken y controlar la paginación en llamadas consecutivas.

¿Qué sigue?