Descoberta de Conhecimento
Objetivos
No final desta unidade curricular o estudante terá adquirido conhecimentos, aptidões e competências que lhe permitam:
Saber:
Identificar problemas de Knowledge Discovery
Datamining
ETL
Datawarehouse
Fazer:
Especificação de algoritmos.
Especificação, Desenvolvimento de técnicas de datamining
Não Técnicas:
Capacidade de comunicação oral e escrita
Realização de uma demonstração
Relatório da análise, desenho e implementação de uma solução
Organização de trabalho, gestão do tempo e cumprimento de prazos
Trabalho e colaboração em equipa
Capacidade de investigação e autonomia
Caracterização geral
Código
12793
Créditos
6.0
Professor responsável
João Paulo Branquinho Pimentão, Pedro Alexandre da Costa Sousa
Horas
Semanais - 4
Totais - 56
Idioma de ensino
Português
Pré-requisitos
Inexistentes.
Bibliografia
Data Mining de Eibe Frank, Christopher Pal, Mark Hall e Ian H. Witten, ISBN: 9780128042915, ELSEVIER SCIENCE & TECHNOLOGY
Handbook of Data Mining and Knowledge Discovery 1st Edition, by Jan Zyt (Author), Willi Klosgen (Editor), the late Jan M. Zytkow (Editor), ISBN-13: 978-0195118315
Big Data Analytics: Systems, Algorithms, Applications 1st ed. 2019 Edition, by C.S.R. Prabhu (Author), at all. , ISBN-13: 978-9811500930
Information theory, inference, and learning algorithms - Mackay, David, Cambridge University Press, ISBN: 978-0521642989
Principles of data mining - Hand, David; Smyth, Padhrai; Mannila, Heikki, MIT Press, ISBN: 978-0262082907
Pattern recognition and machine learning - Bishop, Christopher M., Springer, ISBN: 978-0387310732
Visualize This: The Flowing Data Guide to Design, Visualization, and Statistic - Yau, Nathan, John Wiley & Sons . ISBN: 978-0470944882
Método de ensino
A disciplina encontra-se dividida em aulas teórico-práticas e práticas.
Nas teórico-práticas os assuntos são abordados e introduzem-se problemas que os alunos têm de resolver e que são a base para o trabalho que implementarão na prática respectiva.
Nas aulas práticas a execução dos problemas (implementação) é efectuada.
Todos os trabalhos que os alunos desenvolvem na prática fazem parte de um trabalho de maior dimensão (integração) que os alunos têm de entregar em prazos definidos, juntamente com um relatório de análise, desenho e implementação.
Método de avaliação
Componente teórico-Prática (peso de 34%) - NTP:
=========================================
Pode ser realizada através de 1 teste ou exame;
É necessário ter nota (de exame ou média dos testes) não inferior a 9.5 valores.
Componente prática (peso de 66%) - NP:
========================================
2 Trabalhos. Entrega através do Moodle. Avaliação com base nas funcionalidades implementadas.
É necessário ter nota média não inferior a 9.5 valores.
NOTA: aprovações dos ano-lectivo anterior podem ser usadas este semestre.
Cálculo da Nota Final - NF:
====================
NF = 34%*NTP + 66%*NP
Conteúdo
Introdução
-
Sistemas inteligentes
-
Data «warehouse»
-
Descoberta de conhecimento
Projectos de gestão de Knowledge discovery
-
CRISP-DM, SEMMA
Data Warehouse and OLAP
-
Data Warehouse e DBMS
-
Modelos de dados multidimensionais
-
OLAP
Preprocessamento de Dados
-
Limpeza dos dados
-
Transformação de dados
-
Redução de dados
-
Conceitos hierarquicos
-
Qualidade dos dados
Representação em Data mining knowledge
-
características relevantes
-
dados de entrada
-
modelos
-
Técnicas de visualização
Learning
-
Classificação/Regressão
-
Segmentação
-
Métodos baseados em instâncias (vizinho mais próximo)
-
Associação
-
Clustering
Avaliação de modelos
-
Conjunto de treino e de teste
-
Estimativa da qualidade de um modelo (holdout, cross-validation, leave-one-out)
-
Combinação de modelos
Descoberta conhecimento em dados Reais
Dealing with Big Data
-
O que torna dados em Big Data
-
Scalable Data Analytics Framework
-
Large-scale Data Analysis Models
-
Distributed Storage Architecture
-
Base de dados NoSQL
-
Data Flow Management
Privacidade e ética