Insegnamento SIGNAL PROCESSING AND OPTIMIZATION FOR BIG-DATA

Corso
Ingegneria informatica e robotica
Codice insegnamento
A001256
Curriculum
Data science
Docente
Paolo Banelli
Docenti
  • Paolo Banelli
Ore
  • 72 ore - Paolo Banelli
CFU
9
Regolamento
Coorte 2020
Erogato
2021/22
Attività
Affine/integrativa
Ambito
Attività formative affini o integrative
Settore
ING-INF/03
Tipo insegnamento
Obbligatorio (Required)
Tipo attività
Attività formativa monodisciplinare
Lingua insegnamento
ITALIANO
Contenuti
- FONDAMENTI di ELABORAZIONE STATISTICA di DATI e SEGNALI. - FONDAMENTI di OTTIMIZZAZIONE CONVESSA -
ALGORITMI di APPRENDIMENTO ADATTATIVI E ITERATIVI
- BIG. DATA REDUCTION and SAMPLING
- ELABORAZIONE di DATI/SEGNALI su GRAFI - OTTIMIZZAZIONE DISTRIBUITA per l'elaborazione di DATI/SEGNALI e l'APPRENDIMENTO su RETI/GRAFI.
Testi di riferimento
Il contenuto dell'insegnamento sarà ispirato al contenuto di alcuni capitoli di questi libri:- S.Kay, Fundamentals of Statistical Signal Processing, Vol. I & II, Prentice Hall, 1993-1998;
- S. Theodoridis, Machine Learning: A Bayesian and optimization perspective.- T. Hastie, et. al., The Elements of Statistical Learning: data Mining, Inference, and Prediction
- M. E. J Newman, Networks an Introduction- S. Boyd and L. Vandenberghe, Convex Optimization, Cambridge University Press, 2004;
- S. Boyd et al., Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers, Foundations and Trends in Machine Learning, 3(1):1–122, 2011- Inoltre saranno rese disponibili delle dispense a cura del docente.
Obiettivi formativi
Comprendere i fondamenti dell'inferenza statistica e della ottimizzazione convessa come strumenti fondamentali della analisi dei (big)-data. Comprendere il concetto di riduzione dei dati e le condizioni sotto le quali l'inferenza statistica e/o la ricostruzione dell'informazione non soffre eccessivamente di riduzione/campionamento. Estendere le conoscenze dell'elaborazione dei segnali ai segnali definiti su grafi, i quali costituiscono una naturale rappresentazione di grandi moli di dati, dipendente o dalla loro distribuzione fisica su reti geografiche o tecnologiche, piuttosto che dalla loro intrinseca similarità statistica, piuttosto che da entrambe.
Comprendere gli strumenti metodologici per distribuire algoritmi di inferenza statistica su agenti multipli (computers, etc.) al fine di abilitare l'inferenza statistica e l'apprendimento su grandi moli di dati, potenzialmente distribuiti fisicamente o logicamente su una rete.
Prerequisiti
Indispensabile: Analisi I e II, Algebra lineare, Teoria della Probabilità, Teoria dei Segnali, Processi Aleatori, Elaborazione numerica dei segnali.Suggerito: Machine Learning e Data Mining. Utile: Teoria della Stima e della Decisione
Metodi didattici
Le lezioni saranno frontali con l'aiuto di slide/appunti al calcolatore. Inoltre alcuni degli algoritmi spiegati a lezione, saranno implementati al calcolatore in modo interattivo con gli studenti.
Altre informazioni

Modalità di verifica dell'apprendimento
1) Una breve tesina scritta sull'approfondimento di uno degli argomenti trattati a lezione, corredata dai risultati di simulazioni al calcolatore. Da consegnare 1 settimana prima della prova orale.

2) Esame orale: discussione della tesina e tipicamente un paio di domande sugli ulteriori contenuti del corso.

Per informazioni sui servizi di supporto agli studenti con disabilità e/o DSA visita la pagina http://www.unipg.it/disabilita-e-dsa
Programma esteso
- Part I: FUNDAMENTALS OF STATISTICAL SIGNAL PROCESSING (14 ore)
Minimum variance unbiased estimation; Cramer-Rao lower bound; Sufficient statistics; maximum likelihood estimation, Linear estimation, least squares; Bayesian estimation: MMSE estimation, linear estimation. Adaptive estimation theory: Least mean squares estimation, recursive least squares estimation; Kalman filtering. STATISTICAL DECISION THEORY: Neyman-Pearson, Minimum Probability of Error, Bayes Risk, Multiple Hypothesis Testing;

- Part II: FUNDAMENTALS OF CONVEX OPTIMIZATION (10 ore)
Basics of convex optimization: Convex sets, convex functions, convex optimization problems;Duality theory: Lagrange dual problem, Slater's constraint qualifications, KKT conditions; Optimization algorithms: Primal methods (steepest descent, gradient projection, Newton method), primal-dual methods (dual ascent, alternating direction method of multipliers);Examples of applications: Approximation and fitting, statistical estimation and detection, adaptive filtering, supervised and unsupervised learning from data;

- Part III: BIG-DATA REDUCTION (8 ore)Compressed Sampling/Sensing and reconstruction. Statistical Inference by Sparse Sensing. Classification by Principal Component Analysis.

Part IV: GRAPH-BASED SIGNAL PROCESSING (18 ore) Signals on graph: motivating examples; algebraic graph theory, graph features; signal processing on graphs: Fourier Transform, smoothing, sampling, and data compression on graph; Filtering over graphs.

- Part V: DISTRIBUTED OPTIMIZATION, SIGNAL PROCESSING, and LEARNING over NETWORKS (22 ore) Average consensus: Theory and algorithms; Distributed optimization: Consensus and sharing; Distributed optimization: Primal and primal-dual methods; Distributed signal processing: Estimation and detection; Distributed signal processing: LMS, RLS and Kalman Filtering on Graphs. Distributed supervised learning: Regression and data classification; Distributed unsupervised learning: Dictionary learning and data clustering;
Condividi su