Des erreurs de format de date aux perturbations des processus : les implications plus larges de la qualité des données

Dans cet article de blog, Stephen Koch, Responsable mondial de la qualité des données chez Smartstream, partage une expérience personnelle liée au refus de prise en charge d’une demande de remboursement d’assurance santé pour sa fille et établit un parallèle avec l’échec du Mars Climate Orbiter de la NASA. Le point commun entre ces deux situations est l’impact d’un format de données incorrect, soulignant le rôle crucial de la qualité des données. Stephen met en évidence comment une divergence apparemment mineure, telle qu’une erreur de format de date, peut perturber des processus, et rappelle l’importance de garantir l’exactitude des formats de données et des unités afin d’éviter des erreurs aux conséquences potentiellement graves. Ce blog aborde les implications plus larges de la qualité des données dans divers contextes, en particulier dans le secteur financier, où des erreurs peuvent entraîner une exposition au risque, des VNI de fonds mal calculées et des opportunités de trading manquées.

Pour celles et ceux qui ne vivent pas aux États-Unis, l’un des aspects marquants de notre système d’assurance santé est que votre assureur vous envoie une « explication des prestations », ou EOB, après une visite chez un médecin ou dans un établissement médical. L’EOB a pour fonction de vous indiquer quelle(s) procédure(s) l’assurance prendra en charge et lesquelles elle ne prendra pas en charge, selon les restrictions de votre contrat. À chaque refus ou approbation sont associés divers codes ainsi qu’une brève explication de la signification de chacun. En outre, l’EOB inclut une description détaillée de vos droits et des étapes à suivre pour contester tout refus de couverture.

Il y a environ une semaine, j’ai reçu un EOB de mon assureur santé. Je les mets généralement de côté pour les consulter plus tard mais, pour une raison quelconque, je l’ai ouvert immédiatement. Cet avis m’informait que le récent contrôle dentaire de ma fille n’avait pas été payé. La raison indiquée était qu’elle n’était pas couverte par mon contrat. Cela ne pouvait pas être vrai, me suis-je dit : j’avais la carte d’assurance sous les yeux et son nom y figurait clairement comme étant couvert.

Le contrat avait récemment changé ; pensant que je n’avais pas communiqué au dentiste les nouvelles informations du contrat, j’ai appelé le cabinet dentaire et confirmé les détails. Tout était en ordre : ils avaient les bonnes informations, il ne devait donc pas y avoir de problème.

Étape suivante : j’ai contacté l’assureur. Le représentant a rapidement confirmé que ma fille figurait bien sur le compte et que les actes réalisés étaient couverts par le contrat. Je ne devais rien. Le mystère s’épaississait ; il ne s’agissait manifestement pas d’une correction simple. Il devait y avoir un autre endroit où le processus avait été perturbé. Je devais creuser davantage.

J’ai supposé qu’il y avait trois endroits où la défaillance pouvait s’être produite. Le premier était le cabinet dentaire. Quelqu’un avait pu envoyer la demande de manière incorrecte. Ils avaient peut-être utilisé le mauvais code de demande de remboursement ; j’ai donc rappelé le cabinet. Nous avons passé la demande en revue et rien ne semblait pouvoir conduire à son rejet. Le motif de rejet indiquait qu’elle n’était « pas couverte par le contrat », mais tous les numéros de contrat étaient corrects. Le deuxième endroit était l’assureur. J’avais déjà confirmé qu’elle figurait sur le compte et j’avais vérifié sur leur site qu’elle était bien rattachée à mon contrat. J’ai parcouru le site de l’assureur pour voir si je pouvais trouver quelque chose qui avait fait échouer le processus.

Parallèlement, j’ai commencé à travailler avec le troisième interlocuteur : le service des avantages sociaux de mon entreprise. Ils ont eux aussi confirmé tout ce que j’avais déjà appris. Rien ne semblait expliquer l’échec de la demande, et pourtant elle avait échoué. À ce stade, j’étais aussi frustré que possible, mais je n’avais toujours aucune idée du véritable problème.

Tout le temps passé sur ce sujet m’a rappelé que j’avais un rendez-vous à venir et que je ne l’avais pas encore confirmé. J’ai pris un moment, en laissant de côté la recherche sur l’EOB, pour appeler mon médecin. L’infirmière a commencé la conversation, comme toujours, en confirmant qu’elle parlait bien à la bonne personne. « Pouvez-vous me donner votre nom complet et votre date de naissance ? » Date de naissance. DATE DE NAISSANCE ! J’ai rapidement confirmé mon rendez-vous, raccroché et rouvert le site de l’assureur. J’ai cliqué jusqu’à arriver sur la page du participant, et c’était là.

Les dates dans le système étaient erronées. Son anniversaire était au format européen (JJ/MM/AAAA) et non au format américain (MM/JJ/AAA). Cet attribut avait été saisi dans le système, il s’avère, en Europe, et la personne n’avait pas réalisé que le système utilisait le format de date américain. La date de naissance était un champ de rapprochement critique et, lorsqu’elle ne correspondait pas, elle déclenchait le rejet. Corriger cette seule date a suffi à relancer le traitement.

En décembre 1998, la NASA a lancé le Mars Climate Orbiter. Après 11 mois, la sonde devait atteindre Mars et commencer les préparatifs finaux pour accomplir sa mission. Le Mars Orbiter devait étudier plusieurs mesures liées au climat, notamment la quantité de vapeur d’eau présente dans l’atmosphère martienne. Malheureusement, sa mission a été interrompue par une défaillance catastrophique. L’orbiteur s’est écrasé sur la planète, détruisant une sonde valant des millions de dollars.

Au début, l’équipe de mission n’a pas réussi à trouver le problème. Quel système avait échoué ? Il semblait qu’aucun ne l’avait fait. Alors, pourquoi s’était-il écrasé ?

Contrôler un vaisseau spatial à des millions de kilomètres est une tâche délicate. Les humains sont très bons pour réagir aux changements de conditions en temps réel, mais réagir à des changements se produisant à environ 34 millions de miles est extrêmement risqué. D’abord, les données provenant du vaisseau mettent entre 3 et 5 minutes à arriver, selon la position relative des planètes. Une fois ces données reçues, les équipes sur Terre doivent élaborer une réponse, puis renvoyer des instructions, ce qui prend à nouveau 3 à 5 minutes. Ensuite, elles doivent attendre le même laps de temps pour savoir si les instructions ont fonctionné et, si ce n’est pas le cas, déterminer ce qu’il faut faire de plus.

De nombreux systèmes sont donc automatisés autant que possible afin de limiter la nécessité de ces interactions. Seules les instructions les plus critiques sont réservées à une intervention humaine. Comme moi avec la demande de ma fille, l’agence spatiale a examiné tous les points de défaillance. Un système automatisé particulier avait-il échoué ? Une personne avait-elle omis d’envoyer une commande manuelle ? Le signal radio avait-il échoué ? Y avait-il une défaillance matérielle ?

Comme pour la demande de ma fille, le problème tenait à une différence entre les États-Unis et le reste du monde. La NASA avait changé son unité de mesure de base, passant du système impérial (pouces et pieds) au système métrique (centimètres et mètres) afin de s’aligner sur le reste du monde. Le système de la sonde utilisé pour la ralentir afin de la mettre en orbite autour de Mars était programmé avec des mesures du système métrique. Malheureusement, l’un des fournisseurs qui fournissait les instructions effectives à la sonde a envoyé ses instructions dans le système impérial. Il a été déterminé que ces instructions, interprétées comme des mesures métriques, ont conduit la sonde à passer en dessous de son orbite cible, puis à s’écraser à la surface de Mars.

Il s’agit de deux situations radicalement différentes. Pourtant, elles mettent en évidence un problème commun qui affecte tous les ensembles de données : les valeurs peuvent être correctes, mais le format est mauvais. Dans le premier cas, quelque chose d’aussi simple que la manière d’afficher une date peut corrompre un processus par ailleurs robuste. Il en va de même pour les dates saisies pour les instruments financiers. Les dérivés comme les titres à revenu fixe utilisent largement les dates, des dates d’expiration et d’échéance aux dates d’émission et de coupon. Saisir une date erronée pour l’une d’entre elles peut entraîner toutes sortes d’expositions. Les prix évalués, utilisés pour calculer la valeur des obligations, qui ont rarement des offres d’achat et de vente actives, dépendent fortement des dates pour réaliser ces évaluations. Les comptables de fonds s’appuient sur des dates fiables pour le calcul des coupons courus. Les traders s’appuient sur les dates pour comprendre les différents rendements, par exemple le rendement au rappel (yield to call) et le rendement à l’échéance (yield to maturity), nécessaires pour choisir quelles obligations acheter.

Les mauvaises unités sont le fléau des dérivés. Par exemple, si vous achetez un contrat à terme sur le pétrole basé sur 1000 gallons, mais qu’il est incorrectement indiqué comme 1000 barils, la valeur de règlement sera 42 fois supérieure à la valeur réelle. Si le calcul de la valeur d’un contrat à terme est en cents par boisseau et qu’il est indiqué en dollars par boisseau, le client peut recevoir un appel de marge erroné.

Les données ne se résument pas à des valeurs. Des valeurs sans contexte ne valent rien. Comme le montrent ces exemples, se tromper sur le format ou sur la taille de l’unité peut aller d’une simple contrariété, comme dans le cas du dentiste de ma fille, à une perte catastrophique, comme la destruction d’une sonde spatiale valant plusieurs millions de dollars. Dans le monde financier, de telles erreurs peuvent entraîner une exposition au risque, des VNI recalculées pour les hedge funds et les fonds communs de placement, ainsi que des opportunités de trading manquées.