Intégrer les données pour mieux les comprendre
Alors que le volume de données double tous les 18 mois et que différents systèmes doivent vivre dans un écosystème hétéroclite, la simplicité d'intégration devient un besoin de plus en plus criant.
L'intégration de données permet d'avoir une vue unifiée sur les données, permettant de prendre des actions tactiques ou confirmer une stratégie.
Nous regarderons si les données doivent être intégrées en temps réel (data warehousing opérationnel) ou selon une autre fréquence.
La qualité est un enjeu? Nous pourrons regarder comment automatiser ces enjeux récurrents avant que la donnée 'nettoyée' se retrouve dans le Data Warehouse.
Les bénéfices d'une intégration réussie
Avoir des données unifiées et de qualité pour produire vos rapports, voici les promesses du Data warehousing. Donc plus besoin de se connecter partout et de devoir profiler les données pour chaque nouveau rapport. Des données intégrées vous feront gagner du temps pour faire ce que vous faites de mieux... faire avancer votre entreprise!
En automatisant la collecte des données et en y applicant des règles de qualité, plus besoin de plonger dans 25 chiffriers pour rechercher les erreurs... et recommencer le mois suivant! Une intégration de données dans les règles de l'art vous permettra de vous concentrer sur les données... et aussi souvent que désiré!
Une fois centralisée et amenée au niveau de qualité et d'enrichissement voulu, la valeur de la donnée s'en trouve bonifiée. Plus l'intégration est au rendez-vous, plus vos utilisateurs seront également au rendez-vous dans ce cercle vertueux.
Les étapes vers des données intégrées
Identifier les enjeux dans vos systèmes pour lesquels des enjeux existent (conformité, qualité, cohérence...). Cette 'photo' instantanée permettra de mettre en relief les améliorations à apporter à vos données, avant ou lors de leur intégration
Vos données peuvent se trouver à différents endroit dans vos écosystèmes. Que ce soit dans le Cloud, une plateforme propriétaire ou différentes bases de données. La première étape sera de voir comment extraire ou se connecter aux différentes sources de données.
- En réception automatique de fichiers?
- En se connectant à un API?
- En se connectant sur différentes bases de données?
- Combien de temps d'historique faut-il aller chercher?
- Dois-je persister les données 'brutes' extraites?
- Quand puis-je extraire mes données pour ne pas impacter la performance de mes systèmes opérationnels?
Lors de cette étape, différentes règles d'affaires peuvent être appliquées, que ce soit pour exclure certains enregistrements, en enrichir, appliquer des correctifs pour rehausser la qualité ou détecter des doublons...
C'est à cette étape que le résultat du profilage prend tout son sens. Lors de l'étape de transformation, il sera possible d'automatiser la correction des enregistrements extraits pour en rehausser la qualité et valeur.
Lors de cette étape, les données transformées, épurées, corrigées vont être stockées dans un entrepôt de données.
L'entrepôt devient une source de vérité pour des analyses poussées, sans impacter la performance des systèmes opérationnels
