Teoria da Informação

Objectivos

Saber
- Os conceitos fundamentais de Teoria de Informação, nomeadamente Entropia, Informação Mútua, Entropia Condicional e Capacidade de Canal.
- Identificar estes conceitos em diferentes sistemas de Comunicação, Armazenamento, Processamento e Inferência de Informação.
- O principal teorema da codificação da IGNOREe (com e sem ruído) e o seu papel em várias áreas de aplicação.
- Aspectos fundamentais de códigos de Fonte e Códigos Correctores.
- Princípios gerais da Criptografia.
- Exemplos de aplicação de Conceitos de Teoria de Informação a outras áreas do conhecimento humano.
- Principais aplicações da Teoria de Informação à inferência estatística e aprendizagem automática.

Fazer
- Aplicar os conceitos de Entropia e Teoria de Informação em problemas de informática ou de aprendizagem.
- Desenvolver as componentes básicas de algoritmos de compressão de dados ou de detecção de erros.

Soft-Skills
- Desenvolver a capacidade de ler artigos formais e conseguir gerar exemplos que ilustrem os conceitos apresentados.
- Desenvolver a capacidade de trabalhar em equipa
- Apresentar oralmente e por escrito com o rigor necessário em assuntos formais.
- Adoptar ou desenvolver notações apropriadas.

Caracterização geral

Código

12104

Créditos

6.0

Professor responsável

João Carlos Gomes Moura Pires, Pedro Manuel Corrêa Calvente Barahona

Horas

Semanais - 4

Totais - 60

Idioma de ensino

Português

Pré-requisitos

Conceitos de Probabilidades e Estatística.
Conceitos e prática de Programação.

Bibliografia

- Information Theory, Inference, and Learning Algorithms, David J.C. MacKay - http://www.inference.org.uk/mackay/itila/book.html
- A Mathematical Theory of Communication, Claude Shannon - http://math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf
- (some more later)

Método de ensino

Nas aulas teóricas é apresentada a matéria, com exemplos e referências a sistemas relacionados. As aulas laboratoriais destinam-se maioritariamente à realização de exercícios práticos e parcialmente a pequenas implementações em computador e ao acompanhamento do projecto que acompanha a matéria apresentada na aulas teóricas.

A avaliação da disciplina inclui elementos: dois testes escritos individuais efectuados ao longo do semestre e 1 projecto.

Método de avaliação

A avaliação da disciplina inclui elementos: dois testes escritos individuais efectuados ao longo do semestre e 1 projecto.

Fórmula de cálculo da nota final:
Nota_final = 35% Teste1 + 35% Teste2 + 30% Projecto

A aprovação à disciplina exige:
- Projecto >= 10;
- Teste1 >= 8; Teste2 >= 8;
- Média dos dois testes >= 10;
- Nota Final >= 10.

Os alunos que obtiveram notas positivas no trabalho prático e não obtiveram aprovação nos testes poderão realizar um exame, cuja nota substituirá a nota dos testes no cálculo da nota final.

Conteúdo

1 - Introdução

. Quais os problemas fundamentais que foram considerados no desenvolvimento da Teoria de Informação.
- Relações com outras áreas do conhecimento humano.
- Panorâmica da área científica de Teoria de Informação.

2 - Conceitos fundamentais

- Entropia para variáveis discretas.
- Capacidade de canal para canais sem ruído.
- Teorema de Shannon da codificação da IGNOREe.
- Compressão de dados.
- Complexidade de Kolmogorov.
- Distribuições conjuntas.
- Informação mútua.
- Entropia condicional.
- Ruído e comunicação cruzada.
- Códigos correctores.
- Capacidade de canal para canais com ruído.
- Teorema de Shannon da codificação para canais com ruído.
- Extensão para o domínio contínuo.
- Um olhar de TI para temas da ciência e do mundo:

- Informação e a Entropia (da Termodinâmica);
- Landauer Limit;
- Quanta informação no genoma humano;
- O cérebro um poderoso codificador.

3 - Probabilidades e Inferência

4 - Redes Neuronais

Cursos

Cursos onde a unidade curricular é leccionada: