Aprendizagem Profunda
Objetivos
Esta unidade curricular visa dotar o estudante de competências para:
Compreender:
- Princípios básicos de ''''''''deep learning''''''''
- Fundamentos computacionais de redes profundas
Algoritmos de optimização, funções de activação, funções objectivo
- Diferentes arquitecturas de redes profundas e sua utilidade:
Densas, convolução, modelos geradores.
- Treino e regularização de redes profundas
- A importância das características dos dados e da criação de conjuntos de treino, validação e teste
Ser capaz de:
- Seleccionar modelos e funções objectivo adequados para cada problema
- Usar bibliotecas modernas de aprendizagem profunda
- Implementar redes profundas, optimizar os seus hiper-parâmetros e treiná-las.
- Avaliar o treino dos modelos e a qualidade dos resultados.
Conhecer:
- Tipos de problemas resolvidos com redes profundas
- Arquitecturas e regularização de redes profundas
- Métodos de selecção de modelos e hiper-parâmetros
Caracterização geral
Código
12423
Créditos
6.0
Professor responsável
Claudia Alexandra Magalhães Soares, João Alexandre Carvalho Pinheiro Leite
Horas
Semanais - 4
Totais - 48
Idioma de ensino
Inglês
Pré-requisitos
-
Bibliografia
Estes livros não cobrirão o material completamente; materiais alternativos serão fornecidos quando necessário. O livro principal é Dive into Deep Learning.
Zhang, A., Lipton, Z. C., Li, M., & Smola, A. J. (2023). Dive into deep learning. CUP, https://d2l.ai
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning . MIT Press. https://deeplearningbook.org
Sutton, R. S., & Barto, A. G. (2018). Reinforcement learning: An introduction. MIT Press.
François-Lavet, V., Henderson, P., Islam, R., Bellemare, M. G., & Pineau, J. (2018). An introduction to deep reinforcement learning. Foundations and Trends® in Machine Learning, 11(3-4), 219-354.
Bronstein, M. M., Bruna, J., Cohen, T., & Veličković, P. (2021). Geometric deep learning: Grids, groups, graphs, geodesics, and gauges. arXiv preprint arXiv:2104.13478.
Método de ensino
Nas aulas teóricas são leccionados os tópicos fundamentais da matéria, os quais deverão ser complementados com a leitura da bibliografia aconselhada. Nas aulas teóricas será dedicado tempo para exposição da matéria e para dúvidas e discussão com os alunos.
As aulas laboratoriais destinam-se à orientação tutorial e realização dos trabalhos práticos sobre tópicos seleccionados da matéria.
Serão disponibilizados os diapositivos da matéria teórica.
Será disponibilizada uma página Web da disciplina onde se mantém informação actualizada sobre o funcionamento da mesma.
Método de avaliação
A unidade curricular (UC) segue a forma de avaliação contínua a qual consiste numa componente teórica-prática (T) e uma componente laboratorial ou de projecto (P), tendo cada componente um peso de 50% na nota final.
Ambas as componentes são avaliadas numa escala de 0 a 20 arredondadas às décimas
Para obter aprovação à disciplina um estudante necessita de:
(i) nota mínima de 9.5 valores na componente de avaliação teórica-prática; e
(ii) nota mínima de 9.5 valores na componente de avaliação de projecto.
A nota final da UC é definida pela média ponderada das duas componentes de avaliação, ou seja, (0.5×T + 0.5×P) numa escala de 0 a 20 valores arredondada às unidades. No caso de a nota final apurada ser superior a 17 valores, haverá lugar a uma prova oral para defesa da nota obtida. Após a prova oral a nota não será inferior a 17 valores. Caso o/a estudante com nota final apurada superior a 17 valores não compareça à prova oral a nota final fica automaticamente definida como 17 valores.
Componente teórica-prática
Esta componente consiste na realização de dois testes. Os dois testes contarão em partes iguais para a nota da componente teórica-prática.
Em alternativa, esta componente pode ser realizada por exame de recurso. O exame de recurso será avaliado em duas partes independentes, cada uma correspondendo a um dos testes e substituíndo a nota desse teste caso seja superior à nota do teste correspondente.
Os testes e o exame serão presenciais.
Haverá um ponto extra atribuído na componente teorico-prática que avaliará a entrega de um relatório transcrevendo e aprofundando os conteúdos de uma aula teórica.
Componente Laboratorial ou de Projecto
Esta componente consiste na realização de 2 mini-projectos realizados em grupo, que podem incluir fichas e relatórios intermédios. Aos mini-projectos de cada grupo será atribuída uma nota única. Os dois mini-projectos contarão em partes iguais para a nota de projecto. A nota da componente de projecto é individual.
Cada mini-projecto terá um conjunto de aulas práticas dedicadas à sua realização.
As notas dos vários elementos de avaliação são arredondadas às décimas, excepto a nota final que é arredondada às unidades.
Conteúdo
1. Introdução: fundamentos de aprendizagem profunda, transformações não-lineares e sobreajustamento.
2. Redes neuronais artificiais, retropropagação e redes feedforward profundas.
3. Implementação e treino de redes neuronais profundas
4. Optimização e regularização de redes feedforward. Treino, teste e validação cruzada.
5. Redes de convolução, teoria e prática
6. Aprendizagem profunda não supervisionada com autoencoders.
7. Aprendizagem de representações e transferência de conhecimento.
8. Modelos geradores.
9. Aprendizagem por reforço.
10. Modelos probabilísticos estruturados.
11. Aspectos práticos da selecção, aplicação e optimização de redes profundas.
12. Visualização de dados e modelos.
13. Problemas abertos em aprendizagem profunda.