Introduzione alle Reti Neurali E.Mumolo [email protected] Reti neurali artificiali Modelli di calcolo parallelo vagamente ispirati dalla biologia. Caratteristiche principali: Una rete non è programmata per realizzare un algoritmo ma apprende tramite esempi Capacità di apprendimento: fornendo esempi opportuni una rete riesce a organizzarsi per realizzare una funzione arbitraria y= f (x) Capacità di generalizzare: la rete correttamente addestrata può fornire una risposta anche a richieste non incluse negli esempi Tolleranza agli errori: indipendenza al rumore di ingresso Tolleranza ai guasti funzionamento ragionevole anche se qualche neurone non funziona correttamente Neurone biologico Ingressi: Dendriti Uscita: Assone Connessione Assone-Dendriti mediante sinapsi I neuroni agiscono a soglia → quando la somma degli ingressi supera un certo valore il neurone produce una uscita Neurone artificiale Funzione non lineare w i ∈ R pe s i θ ∈ R s o g lia h : fu n zio n e di a tt iv a zio n e Uscita: 1 se somma pesata degli ingressi > soglia; -1 altrimenti Funzioni di attivazione 2 20 1 .5 18 16 12 8 6 ١ y= ١ + exp(− x) 0 .5 y= x 10 Sigmoide 1 Lineare 14 0 -0 .5 -1 4 -1 .5 2 -2 -1 0 0 0 2 4 6 8 10 12 14 16 18 -8 -6 -4 -2 0 2 4 6 8 10 20 2 Tangente iperbolica 1 .5 1 0 .5 y= 0 -0 .5 -1 -1 .5 -2 -1 0 -8 -6 -4 -2 0 2 4 6 8 10 exp( x ) − exp(− x ) exp( x) + exp(− x) Strutture a singolo strato → Percettrone Percettrone Rosenblatt (1962) Separatore lineare Ingressi: vettori di numeri reali Uscita :1 or -1 y = sign(v) c0 1 ∑ + ++ + + + + + + + ++ + + + + + + + ++ + + + + + ++ + + + + + + ++ y= −1 v = c0 + c1 x1 + c2 x2 c2 c1 x1 x2 y = +1 c0 + c1 x1 + c2 x2 = 0 Strutture MultiStrato → Rete Neurale Feed Forward Strato d'uscita 2o strato nascosto 1o strato nascosto Ingressi x1 x2 ….. xn Proprietà fondamentale delle reti Approssimatori universali Teorema: Ogni funzione limitata può essere approssimata con una rete neurale con un numero finito di strati nascosti con precisione arbitraria Tipi di approssimatori; – Lineari: il numero di parametri cresce esponenzialmente con le variabili – Non lineari: il numero di parametri cresce linearmente con le variabili Addestramento della rete (Apprendimento) Backpropagation Backpropagation Backpropagation Backpropagation Problemi non separabili linearmente Strutture Singolo strato Due strati Tre strati Tipi di regioni Semipiano Regioni convesse Regioni di arbitraria complessità Problemi XOR A B B A A B B A A B B A Configurazioni generiche