Des tests avancés avec de grandes attentes

La qualité des données est un problème persistant dans les pipelines de données modernes d'aujourd'hui. La demande de données a augmenté, tout comme le nombre de points de données analysés. Les organisations ont plus de systèmes sources que jamais, et la qualité des données n'est plus une réflexion après coup, il y a une attente pour construire la qualité des données en ligne avec le projet ETL. Cette présentation explorera les fonctionnalités de test prêtes à l'emploi de dbt, les tests de qualité des données à l'aide de Great Expectations et de divers autres packages open-source qui peuvent fournir une base pour les tests de qualité des données. Elle abordera également des sujets de tests avancés tels que les tests de contraintes et les tests au niveau du projet.

Sujets de la présentation :

Vue d'ensemble des tests dbt Configuration, exécution et stockage des résultats des tests Tester les sources, les modèles Aperçu de Great Expectations Intégration avec dbt Configuration de plusieurs tests Paquets open-source supplémentaires pour simplifier le développement Tests avancés de qualité des données Par type de donnéesPar type de table ContraintesTests au niveau du projet Surveillance, rapports et notifications