Descoberta de Conhecimento

Objetivos

No final desta unidade curricular o estudante terá adquirido conhecimentos, aptidões e competências que lhe permitam:

Saber:
Identificar problemas de Knowledge Discovery
Datamining
ETL
Datawarehouse

Fazer:
Especificação de algoritmos.
Especificação, Desenvolvimento de técnicas de datamining
Não Técnicas:
Capacidade de comunicação oral e escrita
Realização de uma demonstração
Relatório da análise, desenho e implementação de uma solução
Organização de trabalho, gestão do tempo e cumprimento de prazos
Trabalho e colaboração em equipa
Capacidade de investigação e autonomia

Caracterização geral

Código

12793

Créditos

6.0

Professor responsável

João Paulo Branquinho Pimentão, Pedro Alexandre da Costa Sousa

Horas

Semanais - 4

Totais - 56

Idioma de ensino

Português

Pré-requisitos

Inexistentes.

Bibliografia

Data Mining de Eibe Frank, Christopher Pal, Mark Hall e Ian H. Witten, ISBN: 9780128042915, ELSEVIER SCIENCE & TECHNOLOGY

Handbook of Data Mining and Knowledge Discovery 1st Edition, by Jan Zyt (Author), Willi Klosgen (Editor), the late Jan M. Zytkow (Editor), ISBN-13: 978-0195118315

Big Data Analytics: Systems, Algorithms, Applications 1st ed. 2019 Edition, by C.S.R. Prabhu (Author), at all. , ISBN-13: 978-9811500930

Information theory, inference, and learning algorithms - Mackay, David, Cambridge University Press, ISBN: 978-0521642989

Principles of data mining - Hand, David; Smyth, Padhrai; Mannila, Heikki, MIT Press, ISBN: 978-0262082907

Pattern recognition and machine learning - Bishop, Christopher M., Springer, ISBN: 978-0387310732

Visualize This: The Flowing Data Guide to Design, Visualization, and Statistic - Yau, Nathan, John Wiley & Sons . ISBN: 978-0470944882

Método de ensino

A disciplina encontra-se dividida em aulas teórico-práticas e práticas.
Nas teórico-práticas os assuntos são abordados e introduzem-se problemas que os alunos têm de resolver e que são a base para o trabalho que implementarão na prática respectiva.
Nas aulas práticas a execução dos problemas (implementação) é efectuada.
Todos os trabalhos que os alunos desenvolvem na prática fazem parte de um trabalho de maior dimensão (integração) que os alunos têm de entregar em prazos definidos, juntamente com um relatório de análise, desenho e implementação.

Método de avaliação

Componente teórico-Prática (peso de 34%) - NTP:
=========================================
Pode ser realizada através de 1 teste ou exame;
É necessário ter nota (de exame ou média dos testes) não inferior a 9.5 valores.

Componente prática (peso de 66%) - NP:
========================================
2 Trabalhos. Entrega através do Moodle. Avaliação com base nas funcionalidades implementadas.
É necessário ter nota média não inferior a 9.5 valores.

NOTA: aprovações dos ano-lectivo anterior podem ser usadas este semestre.

Cálculo da Nota Final - NF:
====================
NF = 34%*NTP + 66%*NP

Conteúdo

Introdução

  • Sistemas inteligentes

  • Data «warehouse»

  • Descoberta de conhecimento

 

Projectos de gestão de Knowledge discovery

  • CRISP-DM, SEMMA

 

Data Warehouse and OLAP 

  • Data Warehouse e DBMS 

  • Modelos de dados multidimensionais 

  • OLAP

 

Preprocessamento de Dados

  • Limpeza dos dados

  • Transformação de dados

  • Redução de dados

  • Conceitos hierarquicos

  • Qualidade dos dados

 

Representação em Data mining knowledge

  • características relevantes 

  • dados de entrada

  • modelos

  • Técnicas de visualização

 

Learning

  • Classificação/Regressão

  • Segmentação

  • Métodos baseados em instâncias (vizinho mais próximo) 

  • Associação

  • Clustering

 

Avaliação de modelos

  • Conjunto de treino e de teste 

  • Estimativa da qualidade de um modelo (holdout, cross-validation, leave-one-out) 

  • Combinação de modelos 

 

Descoberta conhecimento em dados Reais

 

Dealing with Big Data

  • O que torna dados em Big Data

  • Scalable Data Analytics Framework

  • Large-scale Data Analysis Models

  • Distributed Storage Architecture

  • Base de dados NoSQL

  • Data Flow Management

 Privacidade e ética

Cursos

Cursos onde a unidade curricular é leccionada: