Big Data Foundations
Objetivos
N/A
Caracterização geral
Código
200209
Créditos
7.5
Professor responsável
Henrique José de Jesus Carreiro
Horas
Semanais - A disponibilizar brevemente
Totais - A disponibilizar brevemente
Idioma de ensino
Português. No caso de existirem alunos de Erasmus, as aulas serão leccionadas em Inglês
Pré-requisitos
- Introdução a Big Data na empresa
- Os ecossistemas modernos de Big Data
- O ecossistema Hadoop
- Big Data em plataformas de cloud
- Aquisição de Big Data
- Características de um sistema de aquisição
- Selecção de um sistema de aquisição
- Identificação das propriedades que devem ser aplicadas pelo sistema de aquisição
- Armazenamento de Big Data
- Características da solução de armazenamento
- Acesso e recuperação de dados
- Estrutura de dados e formatos de armazenamento
- Processamento de Big Data
- Identificação das tecnologias de processamento de dados adequadas por cenários
- Conceção das soluções de processamento de dados
- Características operacionais da solução implementada
- Análise de Big Data
- Análise de batch
- Análise em tempo real
Bibliografia
Kunig, J., Buss, I., Wilkinson, P. & George, L. (2019). Architecting Modern Data Platforms. O'Reilly.
Gorelik, A. (2019). The Enteprise Big Data Lake. O'Reilly.
Talia, D., Trunfio, P. & Marozzo, F. (2016). Data Analysis in the Cloud: Models, Techniques and Applications. Elsevier.
Yada, V. (2017). Processing Big Data with Azure HDInsight: Building Real-World Big Data Systems on Azure HDInsight Using the Hadoop Ecosystem. Apress.
Método de ensino
- First call:
- Quizzes in class (2): 2*5%
- Case study: 40%
- Final Exam: 50%
- Second call:
- Second Exam: 100%
Método de avaliação
Português/Inglês
Conteúdo
A unidade curricular baseia-se em aulas teórico-práticas. Uma variedade de estratégias de ensino serão aplicadas, incluindo palestras, demonstrações em slide-show, aplicações passo a passo usando Big Data on premise e em plataformas de cloud. As sessões incluem a apresentação de conceitos e metodologias, laboratórios e tutoriais, discussão e interpretação de resultados. A componente prática é orientada para a resolução de problemas e exercícios, incluindo discussão e interpretação de resultados. É também proposto um conjunto de projetos a realizar de forma independente em contexto extra-aula.
Cursos
Cursos onde a unidade curricular é leccionada: