- Oggetto:
- Oggetto:
Reti neurali -- Neural networks
- Oggetto:
Anno accademico 2011/2012
- Codice dell'attività didattica
- MFN0824
- Docente
- Prof. Mario Ferraro (Titolare del corso)
- Corso di studi
- 008510-101 Laurea Magistrale in Fisica ind. Fisica Nucleare e Subnucleare e Biomedica
008510-102 Laurea Magistrale in Fisica ind. Fisica Biomedica
008510-104 Laurea Magistrale in Fisica ind. Fisica delle Tecnologie Avanzate - Anno
- 1° anno
- Periodo didattico
- Terzo periodo didattico
- Tipologia
- B=Caratterizzante
- Crediti/Valenza
- 6
- SSD dell'attività didattica
- FIS/02 - fisica teorica, modelli e metodi matematici
- Oggetto:
Sommario insegnamento
- Oggetto:
Obiettivi formativi
Introduzione alla teoria delle reti neurali biologiche ed artificiali. Applicazioni alla modellizzazione di sistemi neurali biologici ed alla risoluzione di problemi fisici
- Oggetto:
Risultati dell'apprendimento attesi
Comprendere la teoria delle reti neurali e sviluppare la capacita' di elaborare e simulare modelli semplici.
- Oggetto:
Programma
Introduzione ai neuroni biologici ed all'analisi e trasmissione dell'informazione in singoli neuroni.Trasmissione passiva del segnale neurale. Trasmissione attiva:la teoria di Hodgkin-Huxley. L'analisi dell'attivita' neurale ed il modello di Fitzhugh-Nagumo. La regola di Hebb. Il neurone formale di McCulloch-Pitts e sue proprieta' computazionali.Reti feed-forward: il percettrone semplice.Regole di apprendimento del percettrone, teorema di convergenza.Applicazione e limitazioni del percettrone. Il superamento delle limitazioni del percettrone:il percettrone multistrato. Regola di backpropagation.Il percettrone come approssimatore universale. Il dilemma bias-varianza ed a regolarizzazione del percettrone.Applicazioni del percettrone multistrato al riconoscimento dei patterns.Reti neurali e principi di regolarizzazione di problemi inversi:reti ``Radial Based''. Principi di autorganizzazione delle reti neurali.Modelli di apprendimento hebbiano. La legge di apprendimento di Oja e sua relazione con la teoria delle componenti principali.La legge di appendimento di Sanger. Modelli di apprendimento competitivo: il principio dell'inibizione laterale. La rete Winner Takes All(WTA).Formazione di aree localizzate di attivita' neurale. Autoorganizzazione di mappe neurali e le reti di Kohonen.Analisi matematica delle mappe neurali: curve e superfici principali.Applicazioni.Modelli dell'attivita' di sistemi neurali biologici: oscillatori biologici e central pattern generator.Neurodinamica: stabilita' degli stati neurali, funzioni di Liapunov ed il teorema di Cohen-Grossberg.Dinamica delle reti di Hopfield (determinstiche e probabilistiche)e loro performances come modelli neurali di memoria associativa.Progressi recenti nella teoria delle reti neurali: modelli grafici, reti Bayesiane.Problemi di inferenza ed il metodo delal belief propagation.
Neural Networks
1. Introduction to biological neurons, and to information processing by a single neuron. The
Hodgking-Huxley model of action potential generation. Phase space analysis of neuronal
excitability : the Fitzhugh-Nagumo model.
2. The McCulloch-Pitts neuron and its computational properties. Feed-forward networks: sim-
ple perceptrons. Perceptrons learning rules and the theorem of convergence. Applications
and limits of simple perceptrons.
3. Multi-layer perceptrons and back-propagation rule. Universal approximation property of the
perceptron. Over-fitting, the bias-variance dilemma and regolarization methods. Applica-
tions of multi-layer perceptrons to pattern recognition.
4. Neural networks and regularization of inverse problems: Radial Basis Functions networks.
5. General principles of self-organization in neural networks. Hebb rule and models of hebbian
learning. Oja and Sanger rules and their relationships to the theory of principal components.
Applications to image compressions
6. Lateral inhibition and competitive learning: Winner Takes All networks. Lateral interaction
and formation of activity bubbles.
7. Kohonen networks and Self Organizing Maps Mathematical analysis of SOM: principal curves
and surfaces. Applications.
8. Biological oscillators and central pattern generators.
9. Neurodynamics: stability of neural states, Liapunov functions and the Cohen-Grossberg
theorem. Dynamics of Hopfield model and its performance as content addressable memory.
Probabilistic version of the Hopfield model.
10. Recent progresses in the theory of neural networks: graphical models, Bayesian nets. Infer-
ence problems and the belief propagation algorithm.
Testi consigliati e bibliografia
- Oggetto:
1. Titolo: Introduction to the theory of neural computation Autori: J, Hertz, A. Krogh, R.G. Palmer Editore Addison Wesley Publishing Company, 1991. 2. Titolo : Neural networks for pattern recognition Autori : C.M. Bishop Editore: Clarendon Press- Oxford, 1995
- Oggetto:
Note
Nessuna propedeuticità obbligatoria. Frequenza non obbligatoria, ma fortemente consigliata. Modalità di esame: orale.
- Oggetto:
Altre informazioni
http://personalpages.to.infn.it/~ferraro/retineurali/retineurali.html- Oggetto:
