Data Cleaner Service - Web Service para apoiar na limpeza de dados

Abstract

É notório o grande aumento na quantidade de dados e de informação nos últimos anos. Dados errados geram informações erradas, que podem impactar significativamente na gestão das organizações e na vida das pessoas. As organizações precisam obter informação confiável e em tempo oportuno para a tomada de decisão efetiva nos negócios e, para isso, é importante investir em soluções que assegurem a qualidade de dados. As técnicas de limpeza de dados (em inglês, Data Cleaning) possibilitam identificar e corrigir valores não conformes baseados em regras e ações definidas. Essas técnicas são muito usadas nas atividades de preparação de dados nos processos de BI (Business Intelligence) e Data Science para contribuir com a qualidade dos resultados. Existem diversas ferramentas no mercado para limpeza de dados (p.ex., Excel, OpenRefine e Data Wrangler), que possuem características e funções específicas, e normalmente possibilitam a criação de scripts de programação para realizar as tarefas de limpeza. Esses scripts podem requerer bastante tempo e esforço para serem elaborados, e ser de difícil reutilização em ferramentas diferentes. Foi desenvolvida uma solução baseada em um serviço web (Data Cleaner Service) capaz de se integrar a ferramentas (p.ex., Aplicações Web) e realizar a limpeza de dados por meio da reutilização de scripts (p.ex., Python). Para demonstração da solução, foram desenvolvidas aplicações utilizando scripts com a ferramenta PANDAS, um componente e uma aplicação Web que consome o serviço. Com essa solução, espera-se contribuir positivamente na realização de tarefas de limpeza de dados em diversas áreas (p.ex., finanças, vendas e saúde), reduzindo esforço e tempo nessas atividades, promovendo a troca de experiência entre usuários e desenvolvedores, e impactando na geração de informação efetiva para tomada de decisão.