Integração e automação de Data Lakes com Python para análises em Dashboards

Abstract

A sociedade contemporânea é responsável por gerar várias fontes de dados, que são convertidas em grandes volumes de Big Data. Esses dados são armazenados em Data Centers e, mais recentemente, em Data Lakes, que possuem uma capacidade ainda maior de armazenamento e que são capazes de receber grandes volumes de dados variados. O cotidiano do processamento de dados é feito por intermédio de softwares como Hadoop, Hive, SAS e SQLMS, juntamente com outros, e a integração dessas diversas fontes é complexa no ambiente empresarial. A automação, especialmente pela linguagem Python, pode reduzir variáveis no processo da eficiência operacional, uma vez que é viável diminuir o tempo de processamento e erradicação do número de erros. O presente trabalho visa a investigar os benefícios advindos da robótica no processo de unificação e automação dos dashboards de uma grande empresa do setor financeiro do Brasil, tendo em vista a eficiência e a confiabilidade das tarefas.