Insegnamento INFORMATION AND ESTIMATION THEORY

Nome del corso di laurea Ingegneria informatica e robotica
Codice insegnamento A003165
Curriculum Comune a tutti i curricula
Docente responsabile Giuseppe Baruffa
Docenti
  • Giuseppe Baruffa
  • Luca Rugini (Codocenza)
Ore
  • 48 Ore - Giuseppe Baruffa
  • 24 Ore (Codocenza) - Luca Rugini
CFU 9
Regolamento Coorte 2022
Erogato Erogato nel 2022/23
Erogato altro regolamento
Attività Affine/integrativa
Ambito Attività formative affini o integrative
Settore ING-INF/03
Periodo Secondo Semestre
Tipo insegnamento Obbligatorio (Required)
Tipo attività Attività formativa monodisciplinare
Lingua insegnamento L’insegnamento è erogato in lingua italiana.
Contenuti Elementi di teoria dell’informazione, elementi di codifica di sorgente, elementi di teoria della stima, elementi di teoria della decisione.
Testi di riferimento Thomas M. Cover and Joy A. Thomas, “Elements of information theory”, 2nd ed., Wiley-Interscience, 2006.
Steven M. Kay, “Fundamentals of statistical signal processing, vols. I and II: estimation theory and detection theory”, Prentice-Hall, 1993.
Obiettivi formativi Comprendere i concetti fondamentali della teoria dell’informazione.
Progettare schemi di codifica di sorgente.
Comprendere i concetti fondamentali di teoria della stima e della decisione.
Progettare stimatori e decisori ottimi per l’elaborazione di informazione e dati.
Prerequisiti Teoria dei segnali e dei sistemi, fondamenti di telecomunicazioni e internet, teoria della probabilità e misurazione
Metodi didattici Le lezioni si svolgono con didattica frontale di tipo teorico utilizzando PC e proiettore e integrazione alla lavagna (multimediale) degli argomenti presentati.
Per informazioni sui servizi di supporto agli studenti con disabilità e/o DSA visita la pagina https://www.unipg.it/disabilita-e-dsa.
Altre informazioni Ulteriori informazioni aggiornate saranno disponibili nella pagina UniStudium dedicata al corso, accessibile a tutti gli studenti iscritti all'insegnamento.
Modalità di verifica dell'apprendimento La prova d’esame consiste in un colloquio della durata di circa 45 minuti (prova orale a stimolo aperto con risposta aperta) sugli argomenti presentati durante le lezioni.
Programma esteso Elementi di teoria dell’informazione. Misura dell’informazione. Entropia, entropia relativa e informazione mutua. Relazione tra entropia ed informazione mutua. Regola a catena per l’entropia, l’entropia relativa e l’informazione mutua. Disuguaglianze di Jensen, elaborazione dei dati e log-sum. Proprietà di equipartizione asintotica (AEP). Tasso di entropia per processi aleatori discreti.
Codifica di sorgente. Classificazione dei codici di sorgente. Disuguaglianza di Kraft. Codici ottimi: codici di Huffman. Codici universali: codici aritmetici, codici di Lempel-Ziv. Cenni alla teoria di rate-distortion (RD): definizioni, funzione di RD.
Elementi di teoria della stima. Approccio classico: stima non polarizzata a varianza minima (MVU), limite inferiore di Cramer-Rao (CRLB), stima lineare non polarizzata a varianza minima (BLUE), stima a massima verosimiglianza (ML), stima ai minimi quadrati (LS). Approccio Bayesiano: stima a minimo errore quadratico medio (MMSE), stima lineare MMSE.
Elementi di teoria della decisione. Test d’ipotesi binarie. Teorema di Neyman-Pearson. Curva ROC. Probabilità di errore. Rischio di Bayes. Test d’ipotesi multiple. GLRT.
Condividi su