Navegando por Palavras-chave "HDFS"

Agora exibindo 1 - 1 de 1
  • Imagem de Miniatura
    Item
    Acesso aberto (Open Access)
    Implementação de uma arquitetura de data lakehouse utilizando pentaho data integration e hadoop
    (Universidade Federal de São Paulo, 2023-07-12) Silva, Pedro Gabriel da [UNIFESP]; Musa, Daniela Leal [UNIFESP]; http://lattes.cnpq.br/8606503911561836
    Perante a crescente e vertiginosa ampliação do volume de dados na era contemporânea, tornam-se imprescindíveis estruturas capazes de armazenar e manipular os dados provenientes das tecnologias de Big Data, adaptando-os para atender às demandas de Business Intelligence. Diante desse contexto, o presente trabalho almeja a concepção de uma arquitetura personalizada, fundamentada nas tecnologias Hadoop e Pentaho Data Integration, perante a adaptação do modelo lambda retratado na literatura de Data Lake para o contexto de Data Lakehouse. Tal desenvolvimento englobou a consolidação das camadas iniciais de ingestão e armazenamento de dados brutos e apurados, empregados através do fluxo de dados em lote, assim como a análise das tecnologias a serem utilizadas para extensão do desenvolvimento entre as camadas subsequentes de dados em tempo real, seguindo um modelo de código aberto de ponta a ponta para ingestão, armazenamento e visualização dos dados. Por fim, foram coligidas informações referentes ao produto desenvolvido, assim como realizadas as devidas análises para validar o êxito do projeto.