Pruebas avanzadas con grandes expectativas

La calidad de los datos sigue siendo un problema persistente en las modernas canalizaciones de datos de hoy en día. La demanda de datos ha aumentado, al igual que el número de puntos de datos que se analizan. Las organizaciones tienen más sistemas de origen que nunca, y la calidad de los datos ya no es una ocurrencia tardía, hay una expectativa de construir la calidad de los datos en línea con el proyecto ETL. Esta presentación explorará la funcionalidad de prueba de dbt, las pruebas de calidad de datos con Great Expectations y otros paquetes de código abierto que pueden proporcionar una base para las pruebas de calidad de datos. También se profundizará en algunos temas de pruebas avanzadas, como las pruebas de restricciones y las pruebas a nivel de proyecto.

Temas de la presentación:

Visión general de las pruebas dbt Configuración, ejecución y almacenamiento de los resultados de las pruebas Pruebas de fuentes, modelos Visión general de Great Expectations Integración con dbt Configuración de múltiples pruebas Paquetes adicionales de código abierto para simplificar el desarrollo Pruebas avanzadas de calidad de datos Por tipo de datosPor tipo de tabla RestriccionesPruebas a nivel de proyecto Supervisión, informes y notificaciones