De erros de formato de data a perturbações de processos: As implicações mais amplas da qualidade dos dados

Neste artigo de blogue, Stephen Koch, Diretor Global de Qualidade de Dados na Smartstream, partilha uma experiência pessoal com a recusa de um pedido de reembolso do seguro médico da sua filha e estabelece um paralelo com a falha do Mars Climate Orbiter da NASA. O denominador comum em ambas as situações é o impacto de um formato de dados incorreto, enfatizando o papel crítico da qualidade dos dados. Stephen destaca como uma discrepância aparentemente menor, tal como um erro de formato de data, pode perturbar processos, sublinhando a importância de garantir formatos de dados e unidades precisos para prevenir erros com consequências potencialmente graves. Este blogue aborda as implicações mais amplas da qualidade dos dados em vários contextos, particularmente na indústria financeira, onde os erros podem levar à exposição ao risco, NAVs mal calculados para fundos e oportunidades de negociação perdidas.

Para aqueles que não vivem nos EUA, um dos destaques do nosso sistema de seguro médico é que a sua seguradora envia uma “explicação de benefícios”, ou EOB, após visitar um médico ou instalação médica. A função da EOB é informá-lo sobre qual procedimento ou procedimentos o seguro pagará e quais não pagará, dependendo das restrições da sua apólice. Anexados a cada recusa, ou aprovação, estão vários códigos, bem como uma breve explicação do que cada código significa. Além disso, incluída com a EOB está uma descrição detalhada dos seus direitos e passos para recorrer de qualquer recusa de cobertura.

Há cerca de uma semana, recebi uma EOB da minha seguradora de saúde. Normalmente, coloco-as de lado para rever mais tarde mas, por alguma razão, abri-a imediatamente. Esta notificação específica informava-me que o recente exame dentário da minha filha não tinha sido pago. A razão apresentada era que ela não estava coberta pelo meu plano. Isto não podia estar certo, pensei, tinha o cartão do seguro à minha frente e o nome dela estava claramente impresso como estando coberta.

O plano tinha mudado recentemente, portanto, pensando que não tinha atualizado o dentista da minha filha com as novas informações do plano, liguei ao consultório do dentista e confirmei os detalhes. Estava tudo bem, tinham a informação correta, pelo que não deveria haver qualquer problema.

Próxima paragem, contactei a seguradora. O representante da seguradora confirmou rapidamente que a minha filha estava, de facto, listada na conta e os procedimentos realizados estavam cobertos pelo plano. Não deveria dever nada. O mistério aprofundou-se; parecia que isto não era uma solução simples. Devia haver outro lugar onde o processo tinha sido perturbado. Precisava de investigar mais a fundo.

Deduzi que havia três lugares onde a falha poderia ter ocorrido. O primeiro era o consultório do dentista. Alguém poderia ter enviado o pedido incorretamente. Poderiam ter usado o código de reclamação errado, por isso liguei novamente ao consultório. Analisámos a reclamação e parecia não haver nada que tivesse levado à rejeição da reclamação. A razão da rejeição era que ela “não estava coberta no plano”, mas os números do plano estavam todos corretos. O segundo lugar era na seguradora. Já tinha confirmado que ela estava listada na conta e confirmei no seu sítio Web que ela estava listada na minha apólice. Pesquisei no sítio Web da seguradora para ver se conseguia encontrar algo que tivesse causado a falha do processo.

Ao mesmo tempo, comecei a trabalhar com o terceiro lugar, o grupo de benefícios da minha empresa. Ambos confirmaram tudo o que eu já tinha aprendido. Parecia não haver razão para a reclamação ter falhado, mas tinha falhado. Neste ponto, estava tão frustrado quanto possível, mas ainda não tinha ideia de qual era o verdadeiro problema.

Todo este tempo a trabalhar nesta questão lembrou-me que tinha uma consulta a aproximar-se e ainda não a tinha confirmado. Afastei-me um pouco do problema da EOB para ligar ao meu médico. A enfermeira iniciou a conversa, como sempre, confirmando que estava de facto a falar com a pessoa certa. “Pode dar-me o seu nome completo e data de nascimento?” Data de nascimento. DATA DE NASCIMENTO! Confirmei rapidamente a minha consulta, desliguei e abri novamente o sítio Web da seguradora. Cliquei até estar na página do participante e lá estava.

As datas no sistema estavam erradas. O aniversário dela estava em formato europeu (DD/MM/AAAA) e não em formato dos EUA (MM/DD/AAAA). Este atributo foi introduzido no sistema, descobriu-se, na Europa e a pessoa não percebeu que o sistema usava o formato de data dos EUA. A data de nascimento era um campo de correspondência crítico e quando não correspondia, desencadeava a rejeição. Corrigir essa única data foi suficiente para fazer as coisas fluírem novamente.

Em dezembro de 1998, a NASA lançou o Mars Climate Orbiter. Após 11 meses, a sonda estava prestes a chegar a Marte e começar a fazer os preparativos finais para completar a sua missão. O Mars Orbiter destinava-se a investigar várias medições relacionadas com o clima, incluindo quanta vapor de água havia na atmosfera de Marte. Infelizmente, a sua missão foi interrompida por uma falha catastrófica. O orbitador embateu no planeta e destruiu a sonda de milhões de dólares.

No início, a equipa da missão foi incapaz de encontrar o problema. Que sistema tinha falhado? Parecia que nenhum tinha. Então, qual era a razão de ter embatido?

Controlar uma nave espacial a milhões de quilómetros de distância é uma coisa complicada. Os humanos são muito bons a responder a mudanças nas condições no momento, mas responder a mudanças que ocorrem a aproximadamente 34 milhões de quilómetros de distância está repleto de perigo. Primeiro, quaisquer dados provenientes da nave espacial demoram entre 3 a 5 minutos, dependendo da posição relativa dos planetas. Uma vez recebidos estes dados, os humanos na Terra precisam de elaborar uma resposta e depois enviar de volta instruções que novamente demoram 3 a 5 minutos. Depois precisam de esperar a mesma quantidade de tempo para descobrir se as instruções funcionaram e, se não, o que mais precisa de ser feito.

Muitos sistemas são, portanto, automatizados tanto quanto possível para limitar a necessidade de esta interação ocorrer. Apenas instruções muito críticas são retidas para interação humana. Tal como eu com a reclamação da minha filha, a agência espacial analisou todos os pontos de falha. Algum sistema automatizado específico falhou? Alguma pessoa falhou ao enviar um comando manual? O sinal de rádio falhou? Houve uma falha de materiais?

Tal como a reclamação da minha filha, o problema tinha a ver com uma diferença entre os EUA e o resto do mundo. A NASA tinha mudado a sua unidade básica de medição do sistema inglês de medição, polegadas e pés, para o sistema métrico, centímetros e metros, para estar alinhada com o resto do mundo. O sistema da sonda a ser usado para abrandar a sonda para orbitar Marte foi programado usando medições do sistema métrico. Infelizmente, um dos fornecedores que fornecia as instruções reais à sonda enviou as suas instruções no sistema inglês. Foi determinado que as instruções, recebidas como medições métricas, fizeram com que a sonda falhasse a sua órbita alvo e depois embatesse na superfície de Marte.

Estas são duas situações radicalmente diferentes. No entanto, mostram um problema comum que afeta todos os conjuntos de dados. Os valores dos dados podem estar corretos, mas o formato está errado. No primeiro caso, algo tão simples como a forma de apresentar um valor de data pode corromper um processo que de outra forma seria robusto. O mesmo é verdade nos dados capturados para datas de instrumentos financeiros. Tanto os derivados como os títulos de rendimento fixo fazem uso extensivo de datas, desde datas de expiração e maturidade até datas de emissão e cupão. Inserir uma data errada para um destes pode resultar em todos os tipos de exposição. A avaliação de preços, usada para calcular valores de obrigações, que raramente têm ofertas e pedidos ativos, depende fortemente das datas para completar essas avaliações. Os contabilistas de fundos dependem de datas corretas para acumular cupões. Os traders dependem das datas para compreender os vários rendimentos, por exemplo, rendimento até ao resgate, rendimento até à maturidade, necessários para escolher quais obrigações comprar.

Unidades erradas são o flagelo dos derivados. Por exemplo, se estiver a comprar um futuro de petróleo que se baseia em 1000 galões, mas está incorretamente marcado como 1000 barris, o valor de liquidação será 42 vezes maior do que o valor real. Se o cálculo do valor de um futuro for cêntimos por alqueire e estiver marcado como dólares por alqueire, o cliente pode receber uma chamada de margem errada.

Os dados são mais do que apenas valores. Valores sem contexto não têm valor. Como estes exemplos mostram, obter o formato ou o tamanho da unidade errados pode resultar em aborrecimento num lado do espetro, como no caso do dentista da minha filha, até perda catastrófica no outro, como na destruição de uma sonda espacial de milhões de dólares. No mundo financeiro, tais erros podem resultar em exposição ao risco, NAVs recalculados para fundos de cobertura e fundos mútuos, e oportunidades de negociação perdidas.