Insegnamento SIGNAL PROCESSING AND OPTIMIZATION FOR BIG-DATA
| Nome del corso di laurea | Ingegneria informatica e robotica |
|---|---|
| Codice insegnamento | A001256 |
| Curriculum | Data science |
| Docente responsabile | Paolo Banelli |
| Docenti |
|
| Ore |
|
| CFU | 9 |
| Regolamento | Coorte 2022 |
| Erogato | Erogato nel 2023/24 |
| Erogato altro regolamento | |
| Attività | Affine/integrativa |
| Ambito | Attività formative affini o integrative |
| Settore | ING-INF/03 |
| Anno | 2 |
| Periodo | Primo Semestre |
| Tipo insegnamento | Obbligatorio (Required) |
| Tipo attività | Attività formativa monodisciplinare |
| Lingua insegnamento | ITALIANO |
| Contenuti | - RICHIAMI di ELABORAZIONE STATISTICA di DATI e SEGNALI. - FONDAMENTI di OTTIMIZZAZIONE CONVESSA - ALGORITMI di APPRENDIMENTO ADATTATIVI E ITERATIVI - BIG. DATA REDUCTION and SAMPLING - ELABORAZIONE di DATI/SEGNALI su GRAFI - OTTIMIZZAZIONE DISTRIBUITA per l'elaborazione di DATI/SEGNALI e l'APPRENDIMENTO su RETI/GRAFI. |
| Testi di riferimento | Il contenuto dell'insegnamento sarà ispirato al contenuto di alcuni capitoli di questi libri:- S.Kay, Fundamentals of Statistical Signal Processing, Vol. I & II, Prentice Hall, 1993-1998; - S. Theodoridis, Machine Learning: A Bayesian and optimization perspective.- T. Hastie, et. al., The Elements of Statistical Learning: data Mining, Inference, and Prediction - M. E. J Newman, Networks an Introduction - S. Boyd and L. Vandenberghe, Convex Optimization, Cambridge University Press, 2004; - S. Boyd et al., Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers, Foundations and Trends in Machine Learning, 3(1):1–122, 2011 - Inoltre saranno rese disponibili delle dispense a cura del docente. |
| Obiettivi formativi | Comprendere ed applicare i fondamenti dell'inferenza statistica e della ottimizzazione convessa all'analisi di (big)-data. Comprendere il concetto di riduzione dei dati e le condizioni sotto le quali l'inferenza statistica e/o la ricostruzione dell'informazione non soffre eccessivamente di riduzione/campionamento. Estendere le conoscenze dell'elaborazione dei segnali ai segnali definiti su grafi, come una naturale rappresentazione di grandi moli di dati, dipendente dalla loro distribuzione fisica su reti geografiche o tecnologiche, piuttosto che dalla loro intrinseca similarità statistica, o da entrambe. Comprendere gli strumenti metodologici per distribuire algoritmi di inferenza statistica su agenti multipli (computers, etc.) al fine di abilitare l'inferenza statistica e l'apprendimento su grandi moli di dati, potenzialmente distribuiti fisicamente o logicamente su una rete. Apprendere dai dati osservati, la struttura topologica dei grafi o delle reti che ne caratterizzano la generazione. Apprendere dai dati osservati la struttura topologica che caratterizza la loro generazione ed evoluzione. |
| Prerequisiti | Indispensabile: Analisi I e II, Algebra lineare, Teoria della Probabilità, Teoria dei Segnali, Processi Aleatori, Elaborazione numerica dei segnali.Suggerito: Machine Learning e Data Mining. Utile: Teoria della Stima e della Decisione |
| Metodi didattici | Le lezioni saranno frontali con l'aiuto di slide/appunti al calcolatore. Inoltre alcuni degli algoritmi spiegati a lezione, saranno implementati al calcolatore in modo interattivo con gli studenti. |
| Altre informazioni | |
| Modalità di verifica dell'apprendimento | 1) Una breve tesina scritta sull'approfondimento di uno degli argomenti trattati a lezione, corredata dai risultati di simulazioni al calcolatore. Da consegnare 1 settimana prima della prova orale. 2) Esame orale: discussione della tesina e tipicamente un paio di domande sugli ulteriori contenuti del corso. Per informazioni sui servizi di supporto agli studenti con disabilità e/o DSA visita la pagina http://www.unipg.it/disabilita-e-dsa |
| Programma esteso | - Part I: RICHIAMi DI INFERENZA STATISTICA ed APPRENDIMENTO (6 ore) Richiami sul concetto di stimatore, classico e Bayesiano, indici di prestazioni e stimatori MVUE, MLE, MMSE, LS. Richiami su Test di ipotesi binarie: LRT, formulazione classica di Neyman-Pearson e Bayesiana ( Minimum Probability of Error, Bayes Risk). Apprendimento statistico e relazioni con machine-learning: linear regression, K-means, etc. - Part II: FUNDAMENTALS OF (DISTRIBUTED) CONVEX OPTIMIZATION (15 ore) Basi di ottimizzazione convessa: insiemi convessi, funzioni convesse problemi di ottimizzazione convessa Teoria della dualità: problema duale di Lagrange, vincoli qualificanti di Slater, condizioni KKT; Algoritmi di ottimizzazione: metodi primali (a massima discesa, proiezione del gradiente, metodo di Newton), metodi primali-duali (salita del problema duale, alternating direction method of multipliers); Esempi di applicazione: Approssimazione e fitting, inferenza statistica, apprendimento supervisionato e non-supervisionato dai dati. ottimizzazione distribuita: algoritmi al consenso e algoritmi di data-sharing. Ottimizzazione distribuita: metodi primali e duali; - Part III: BIG-DATA REDUCTION (9 ore) Campionamento e Sensing compressivo e sparso ed associata ricostruzione. Stima statistica da osservazioni sparse. Classificazione attraverso Principal Component Analysis, Canonical Correlation Analysis, and Information Bottleneck. Part IV: GRAPH-BASED SIGNAL PROCESSING (15 ore) Segnali definiti su grafi: esempi e motivazioni; cenni a teoria algebrica dei grafi, caratteristiche strutturale dei grafi; elaborazione di dati(segnali sui grafi: Graph Fourier Transform, smoothing, campionamento, e compressione dati su un grafo. Filtraggio su grafi. Cenni a Graph Convolutional networks. - Part V: DISTRIBUTED DATA PROCESSING, and LEARNING over NETWORKS (27 ore) Consenso medio: teoria ed algoritmi; elaborazione distribuita dei segnali: stima e detection; LMS, RLS and Kalman Filtering on Graphs. Distributed supervised learning (LASSO, SVM, Logistic Regression) Distributed unsupervised learning: Dictionary, learning, data clustering (PCA, CCA, Information Bottleneck). Graph learning: Gaussian Markov Random Fields and Graphical LASSO, Smoothness and Total Variation approaches, Gaussian processes for directed causal inference. Matrix Completion algorithms. |