Intégration de données: un seul processus d’import

Publié le mardi 21 avril 2020.

intégration de données

Nous présentons ici un cas d’application d’une solution ( IBM Planning Analytics ) qui industrialise et contrôle les données entrantes d’une application de reporting commercial automatisé. L’intégration des données est facilitée par un seul processus d’import des fichiers.

L’intégration des données: une tâche facilitée pour l’administrateur

Dans notre cas, la société vend des voitures à l’international. Le reporting est très simple : les différents pays transmettent mensuellement au serveur un fichier contenant les ventes et les unités par produit. Chaque produit enrichit la base, d’axes d’analyse différents, par l’utilisation d’attributs. On verra ainsi qu’il y  a des filtres par famille ou par couleurs.

Afin d’assister l’utilisateur dans l’administration de ses données, nous avons choisi de faciliter la tâche grâce à un menu d’administration fonctionnel. Que ce soit pour des datas ou des masterdatas, les fichiers utilisent un seul processus d’import pour l’intégration des données.

Un seul processus d’import pour faciliter l’intégration des données

Ce processus d’import va détecter les fichiers, les sources de données, les répertoires sources et le nombre de colonnes. Il va vérifier les entêtes de colonnes, les référentiels mentionnés et la complétude des données.

Une fois tous les contrôles passés, il exécutera le processus paramétré.

Une erreur dans le référentiel

Nous faisons une erreur sur le référentiel. Le Y de Hybrid a été remplacé par un « i » : Hibrid. Le processus d’import va alors contrôler le référentiel « types de moteurs » et va tout de suite constater qu’Hibrid n’existe pas. Il va donc, à l’intégration, me signaler immédiatement le rejet. Le processus de mise à jour a été exécuté. Le référentiel de la base de données n’a pas été perturbé. Si je corrige mon référentiel, je vais pouvoir tout de suite procéder à l’intégration des données et le process va m’indiquer que le fichier a été correctement intégré. Il a contrôlé les référentiels, le référentiel concerné a été mis à jour.

Nous pourrions choisir d’ajouter de nouvelles Masterdatas : par exemple la couleur violette, non existante aujourd’hui. Dans ce cas, c’est une action volontaire de l’administrateur et non une erreur.

L’intégration des données facilitée grâce au processus d’import

intégration de donnéesOn va vu que dans la base de données, on renseigne l’adresse d’un fichier d’archive. Les données sont en fait, une fois intégrées, automatiquement transférées dans ce répertoire, ce qui permet au processus maître d’aller chercher tous les fichiers qui commencent par le nom de fichiers mentionnés et de pouvoir les traiter les uns à la suite des autres.

C’est d’autant plus vrai quand on traite les données envoyées directement par les filiales locales. Elles nous envoient des fichiers de ventes avec les produits et les unités.

L’administrateur va pouvoir déclencher l’intégration de tous les fichiers en même temps et le contrôle simultané des fichiers, sans aucune action manuelle. Par exemple, le Danemark, la France et la Norvège ont déposé leurs fichiers. Nous allons procéder à l’intégration. Le process va les vérifier. Il nous montre qu’il y a des erreurs et nous indique que le fichier de la Norvège a renseigné un mauvais modèle de véhicule pour son fichier. On va pouvoir donc retravailler la data. Les fichiers traités ont été déplacés dans « archivés », les autres fichiers sont restés dans le répertoire.

Par ailleurs, le process est capable grâce au nom du fichier de traiter la période et le pays destinataire.

Découvrir toutes les fonctionnalités   Accéder à la démo IBM