Teoria da Informação
Objetivos
Saber
- Os conceitos fundamentais de Teoria de Informação, nomeadamente Entropia, Informação Mútua, Entropia Condicional e Capacidade de Canal.
- Identificar estes conceitos em diferentes sistemas de Comunicação, Armazenamento, Processamento e Inferência de Informação.
- O principal teorema da codificação da IGNOREe (com e sem ruído) e o seu papel em várias áreas de aplicação.
- Aspectos fundamentais de códigos de Fonte e Códigos Correctores.
- Princípios gerais da Criptografia.
- Exemplos de aplicação de Conceitos de Teoria de Informação a outras áreas do conhecimento humano.
- Principais aplicações da Teoria de Informação à inferência estatística e aprendizagem automática.
Fazer
- Aplicar os conceitos de Entropia e Teoria de Informação em problemas de informática ou de aprendizagem.
- Desenvolver as componentes básicas de algoritmos de compressão de dados ou de detecção de erros.
Soft-Skills
- Desenvolver a capacidade de ler artigos formais e conseguir gerar exemplos que ilustrem os conceitos apresentados.
- Desenvolver a capacidade de trabalhar em equipa
- Apresentar oralmente e por escrito com o rigor necessário em assuntos formais.
- Adoptar ou desenvolver notações apropriadas.
Caracterização geral
Código
12104
Créditos
6.0
Professor responsável
João Carlos Gomes Moura Pires, Pedro Manuel Corrêa Calvente Barahona
Horas
Semanais - 4
Totais - 60
Idioma de ensino
Português
Pré-requisitos
Conceitos de Probabilidades e Estatística.
Conceitos e prática de Programação.
Bibliografia
- Information Theory, Inference, and Learning Algorithms, David J.C. MacKay - http://www.inference.org.uk/mackay/itila/book.html
- A Mathematical Theory of Communication, Claude Shannon - http://math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf
- (some more later)
Método de ensino
Nas aulas teóricas é apresentada a matéria, com exemplos e referências a sistemas relacionados. As aulas laboratoriais destinam-se maioritariamente à realização de exercícios práticos e parcialmente a pequenas implementações em computador e ao acompanhamento do projecto que acompanha a matéria apresentada na aulas teóricas.
A avaliação da disciplina inclui elementos: dois testes escritos individuais efectuados ao longo do semestre e 1 projecto.
Método de avaliação
A avaliação da disciplina inclui elementos: dois testes escritos individuais efectuados ao longo do semestre e 1 projecto.
Fórmula de cálculo da nota final:
Nota_final = 35% Teste1 + 35% Teste2 + 30% Projecto
A aprovação à disciplina exige:
- Projecto >= 10;
- Teste1 >= 8; Teste2 >= 8;
- Média dos dois testes >= 10;
- Nota Final >= 10.
Os alunos que obtiveram notas positivas no trabalho prático e não obtiveram aprovação nos testes poderão realizar um exame, cuja nota substituirá a nota dos testes no cálculo da nota final.
Conteúdo
1 - Introdução
. Quais os problemas fundamentais que foram considerados no desenvolvimento da Teoria de Informação.
- Relações com outras áreas do conhecimento humano.
- Panorâmica da área científica de Teoria de Informação.
2 - Conceitos fundamentais
- Entropia para variáveis discretas.
- Capacidade de canal para canais sem ruído.
- Teorema de Shannon da codificação da IGNOREe.
- Compressão de dados.
- Complexidade de Kolmogorov.
- Distribuições conjuntas.
- Informação mútua.
- Entropia condicional.
- Ruído e comunicação cruzada.
- Códigos correctores.
- Capacidade de canal para canais com ruído.
- Teorema de Shannon da codificação para canais com ruído.
- Extensão para o domínio contínuo.
- Um olhar de TI para temas da ciência e do mundo:
- Informação e a Entropia (da Termodinâmica);
- Landauer Limit;
- Quanta informação no genoma humano;
- O cérebro um poderoso codificador.
3 - Probabilidades e Inferência
4 - Redes Neuronais