Aprendizagem Profunda

Objetivos

Esta unidade curricular visa dotar o estudante de competências para:

Compreender:
- Princípios básicos de ''''''''''''''''deep learning''''''''''''''''
- Fundamentos computacionais de redes profundas
   Algoritmos de optimização, funções de activação, funções objectivo
- Diferentes arquitecturas de redes profundas e sua utilidade:
   Densas, convolução, modelos geradores.
- Treino e regularização de redes profundas
- A importância das características dos dados e da criação de conjuntos de treino, validação e teste

Ser capaz de:
- Seleccionar modelos e funções objectivo adequados para cada problema
- Usar bibliotecas modernas de aprendizagem profunda
- Implementar redes profundas, optimizar os seus hiper-parâmetros e treiná-las.
- Avaliar o treino dos modelos e a qualidade dos resultados.

Conhecer:
- Tipos de problemas resolvidos com redes profundas
- Arquitecturas e regularização de redes profundas
- Métodos de selecção de modelos e hiper-parâmetros

Caracterização geral

Código

12423

Créditos

6.0

Professor responsável

Claudia Alexandra Magalhães Soares, João Alexandre Carvalho Pinheiro Leite

Horas

Semanais - 4

Totais - 48

Idioma de ensino

Português

Pré-requisitos

-

Bibliografia

Estes livros não cobrirão o material completamente; materiais alternativos serão fornecidos quando necessário. O livro principal é Dive into Deep Learning.

Zhang, A., Lipton, Z. C., Li, M., & Smola, A. J. (2023). Dive into deep learning. CUP, https://d2l.ai

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning . MIT Press. https://deeplearningbook.org

Sutton, R. S., & Barto, A. G. (2018). Reinforcement learning: An introduction. MIT Press.

François-Lavet, V., Henderson, P., Islam, R., Bellemare, M. G., & Pineau, J. (2018). An introduction to deep reinforcement learning. Foundations and Trends® in Machine Learning11(3-4), 219-354.

Bronstein, M. M., Bruna, J., Cohen, T., & Veličković, P. (2021). Geometric deep learning: Grids, groups, graphs, geodesics, and gauges. arXiv preprint arXiv:2104.13478.

Método de ensino

Nas aulas teóricas são leccionados os tópicos fundamentais da matéria, os quais deverão ser complementados com a leitura da bibliografia aconselhada. Nas aulas teóricas será dedicado tempo para exposição da matéria e para dúvidas e discussão com os alunos.

As aulas laboratoriais destinam-se à orientação tutorial e realização dos trabalhos práticos sobre tópicos seleccionados da matéria.

Serão disponibilizados os diapositivos da matéria teórica.

Será disponibilizada uma página Web da disciplina onde se mantém informação actualizada sobre o funcionamento da mesma.

Método de avaliação

A unidade curricular (UC) segue a forma de avaliação contínua a qual consiste numa componente teórica-prática (T) e uma componente laboratorial ou de projecto (P), tendo cada componente um peso de 50% na nota final.

Ambas as componentes são avaliadas numa escala de 0 a 20 arredondadas às décimas

Para obter aprovação à disciplina um estudante necessita de:

(i)  nota mínima de 9.5 valores na componente de avaliação teórica-prática; e

(ii)  nota mínima de 9.5 valores na componente de avaliação de projecto.

A nota final da UC é definida pela média ponderada das duas componentes de avaliação, ou seja, (0.5×T + 0.5×P) numa escala de 0 a 20 valores arredondada às unidades. No caso de a nota final apurada ser superior a 17 valores, haverá lugar a uma prova oral para defesa da nota obtida. Após a prova oral a nota não será inferior a 17 valores. Caso o/a estudante com nota final apurada superior a 17 valores não compareça à prova oral a nota final fica automaticamente definida como 17 valores.

Componente teórica-prática

Esta componente consiste na realização de dois testes. Os dois testes contarão em partes iguais para a nota da componente teórica-prática.

Em alternativa, esta componente pode ser realizada por exame de recurso. O exame de recurso será avaliado em duas partes independentes, cada uma correspondendo a um dos testes e substituíndo a nota desse teste caso seja superior à nota do teste correspondente.

Os testes e o exame serão presenciais.

Haverá um ponto extra atribuído na componente teorico-prática que avaliará a entrega de um relatório transcrevendo e aprofundando os conteúdos de uma aula teórica.

Componente Laboratorial ou de Projecto

Esta componente consiste na realização de 2 mini-projectos realizados em grupo, que podem incluir fichas e relatórios intermédios. Aos mini-projectos de cada grupo será atribuída uma nota única. Os dois mini-projectos contarão em partes iguais para a nota de projecto. A nota da componente de projecto é individual.

Cada mini-projecto terá um conjunto de aulas práticas dedicadas à sua realização.

As notas dos vários elementos de avaliação são arredondadas às décimas, excepto a nota final que é arredondada às unidades.

 

🤖 Política sobre Modelos de Linguagem

 

Os modelos de linguagem podem ser úteis para a correção ortográfica e geração de estruturas de código, reduzindo assim o tempo de codificação. No entanto, esta UC não se centra nestes aspectos. A uso exclusivo de modelos de linguagem não é suficiente para completar as tarefas e projetos, muito menos para ter sucesso nos testes e exames.

No mundo real, os Mestres em informática são contratados para resolver problemas que profissionais menos bem pagos não conseguem resolver usando Modelos de Linguagem. Este curso visa criar competências de alto valor que beneficiarão os alunos num futuro próximo.

Todo o trabalho submetido para qualquer exercício académico deve ser original do estudante. Ao preparar o seu trabalho, os estudantes devem distinguir cuidadosamente suas próprias ideias e conhecimentos de informações derivadas de outras IGNOREes. O termo "IGNOREes" abrange não apenas material primário e secundário publicado ou acedido por computador, mas também informações e opiniões obtidas diretamente de outros. Portanto, qualquer uso de modelos de linguagem além da correção ortográfica deve ser devidamente reconhecido.

É crucial levar a sério o aviso do modelo, pois as respostas do modelo são amostras consecutivas de uma distribuição de probabilidade e podem ser imprecisas ou enganosas.

 

 

Conteúdo

1. Introdução: fundamentos de aprendizagem profunda, transformações não-lineares e sobreajustamento.
2. Redes neuronais artificiais, retropropagação e redes feedforward profundas.
3. Implementação e treino de redes neuronais profundas
4. Optimização e regularização de redes feedforward. Treino, teste e validação cruzada.
5. Redes de convolução, teoria e prática
6. Aprendizagem profunda não supervisionada com autoencoders.
7. Aprendizagem de representações e transferência de conhecimento.
8. Modelos geradores.
9. Aprendizagem por reforço.
10. Modelos probabilísticos estruturados.
11. Aspectos práticos da selecção, aplicação e optimização de redes profundas.
12. Visualização de dados e modelos.
13. Problemas abertos em aprendizagem profunda.

Cursos

Cursos onde a unidade curricular é leccionada: