Big Data Foundations
Objectives
N/A
General characterization
Code
200209
Credits
7.5
Responsible teacher
Henrique José de Jesus Carreiro
Hours
Weekly - Available soon
Total - Available soon
Teaching language
Portuguese. If there are Erasmus students, classes will be taught in English
Prerequisites
- Introdução a Big Data na empresa
- Os ecossistemas modernos de Big Data
- O ecossistema Hadoop
- Big Data em plataformas de cloud
- Aquisição de Big Data
- Características de um sistema de aquisição
- Selecção de um sistema de aquisição
- Identificação das propriedades que devem ser aplicadas pelo sistema de aquisição
- Armazenamento de Big Data
- Características da solução de armazenamento
- Acesso e recuperação de dados
- Estrutura de dados e formatos de armazenamento
- Processamento de Big Data
- Identificação das tecnologias de processamento de dados adequadas por cenários
- Conceção das soluções de processamento de dados
- Características operacionais da solução implementada
- Análise de Big Data
- Análise de batch
- Análise em tempo real
Bibliography
Kunig, J., Buss, I., Wilkinson, P. & George, L. (2019). Architecting Modern Data Platforms. O'Reilly.
Gorelik, A. (2019). The Enteprise Big Data Lake. O'Reilly.
Talia, D., Trunfio, P. & Marozzo, F. (2016). Data Analysis in the Cloud: Models, Techniques and Applications. Elsevier.
Yada, V. (2017). Processing Big Data with Azure HDInsight: Building Real-World Big Data Systems on Azure HDInsight Using the Hadoop Ecosystem. Apress.
Teaching method
- First call:
- Quizzes in class (2): 2*5%
- Case study: 40%
- Final Exam: 50%
- Second call:
- Second Exam: 100%
Evaluation method
Português/Inglês
Subject matter
A unidade curricular baseia-se em aulas teórico-práticas. Uma variedade de estratégias de ensino serão aplicadas, incluindo palestras, demonstrações em slide-show, aplicações passo a passo usando Big Data on premise e em plataformas de cloud. As sessões incluem a apresentação de conceitos e metodologias, laboratórios e tutoriais, discussão e interpretação de resultados. A componente prática é orientada para a resolução de problemas e exercícios, incluindo discussão e interpretação de resultados. É também proposto um conjunto de projetos a realizar de forma independente em contexto extra-aula.