Insegnamento INFORMATION AND ESTIMATION THEORY
- Corso
- Ingegneria informatica e robotica
- Codice insegnamento
- A003165
- Curriculum
- Comune a tutti i curricula
- Docente
- Giuseppe Baruffa
- Docenti
-
- Giuseppe Baruffa
- Luca Rugini (Codocenza)
- Ore
- 48 ore - Giuseppe Baruffa
- 24 ore (Codocenza) - Luca Rugini
- CFU
- 9
- Regolamento
- Coorte 2022
- Erogato
- 2022/23
- Attività
- Affine/integrativa
- Ambito
- Attività formative affini o integrative
- Settore
- ING-INF/03
- Tipo insegnamento
- Obbligatorio (Required)
- Tipo attività
- Attività formativa monodisciplinare
- Lingua insegnamento
- L’insegnamento è erogato in lingua italiana.
- Contenuti
- Elementi di teoria dell’informazione, elementi di codifica di sorgente, elementi di teoria della stima, elementi di teoria della decisione.
- Testi di riferimento
- Thomas M. Cover and Joy A. Thomas, “Elements of information theory”, 2nd ed., Wiley-Interscience, 2006.
Steven M. Kay, “Fundamentals of statistical signal processing, vols. I and II: estimation theory and detection theory”, Prentice-Hall, 1993. - Obiettivi formativi
- Comprendere i concetti fondamentali della teoria dell’informazione.
Progettare schemi di codifica di sorgente.
Comprendere i concetti fondamentali di teoria della stima e della decisione.
Progettare stimatori e decisori ottimi per l’elaborazione di informazione e dati. - Prerequisiti
- Teoria dei segnali e dei sistemi, fondamenti di telecomunicazioni e internet, teoria della probabilità e misurazione
- Metodi didattici
- Le lezioni si svolgono con didattica frontale di tipo teorico utilizzando PC e proiettore e integrazione alla lavagna (multimediale) degli argomenti presentati.
Per informazioni sui servizi di supporto agli studenti con disabilità e/o DSA visita la pagina https://www.unipg.it/disabilita-e-dsa. - Altre informazioni
- Ulteriori informazioni aggiornate saranno disponibili nella pagina UniStudium dedicata al corso, accessibile a tutti gli studenti iscritti all'insegnamento.
- Modalità di verifica dell'apprendimento
- La prova d’esame consiste in un colloquio della durata di circa 45 minuti (prova orale a stimolo aperto con risposta aperta) sugli argomenti presentati durante le lezioni.
- Programma esteso
- Elementi di teoria dell’informazione. Misura dell’informazione. Entropia, entropia relativa e informazione mutua. Relazione tra entropia ed informazione mutua. Regola a catena per l’entropia, l’entropia relativa e l’informazione mutua. Disuguaglianze di Jensen, elaborazione dei dati e log-sum. Proprietà di equipartizione asintotica (AEP). Tasso di entropia per processi aleatori discreti.
Codifica di sorgente. Classificazione dei codici di sorgente. Disuguaglianza di Kraft. Codici ottimi: codici di Huffman. Codici universali: codici aritmetici, codici di Lempel-Ziv. Cenni alla teoria di rate-distortion (RD): definizioni, funzione di RD.
Elementi di teoria della stima. Approccio classico: stima non polarizzata a varianza minima (MVU), limite inferiore di Cramer-Rao (CRLB), stima lineare non polarizzata a varianza minima (BLUE), stima a massima verosimiglianza (ML), stima ai minimi quadrati (LS). Approccio Bayesiano: stima a minimo errore quadratico medio (MMSE), stima lineare MMSE.
Elementi di teoria della decisione. Test d’ipotesi binarie. Teorema di Neyman-Pearson. Curva ROC. Probabilità di errore. Rischio di Bayes. Test d’ipotesi multiple. GLRT.