Esercitazione sulle reti neurali

Machine Learning
Traccia dell’esercitazione di laboratorio sulle reti neurali
[N.B. Si suppone di partire da un progetto con le modifiche e aggiunte richieste nelle esercitazioni
precedenti correttamente completate]
Bias
Bias
1
1
Input Layer
Hidden Layer
Output Layer
1) ELEMENTI UTILI DEL PROGETTO PRLAB
a. Esplorare il progetto PRLab all’interno dell’ambiente di sviluppo.

Aprire la cartella “References” nell’albero del progetto dentro alla finestra “Soluzion
Explorer” e fare doppio click sull’assembly “BioLab”: si aprirà la finestra “Object
Browser” dove si possono vedere i namespace della Class Library e dell’assembly
BioLab;

Nella finestra “Object Browser”, trovare le classi Layer, InputLayer, HiddenLayer e
OutputLayer leggendo la relativa definizione e i commenti per comprenderne la logica
di funzionamento; Inoltre visualizzare per ognuna i seguenti membri:
o Count : indica il numero di neuroni del layer
o Values[] : contiene il pattern in input
o Weights[,] : contiene tutti i pesi tra un layer e quello successivo
o Net[i]: contiene la somma dei prodotti tra ciascun neurone di input ed il
corrispettivo peso secondo la formula
=∑ …
∙
+
o Activation[i] : contiene l’output della funzione di attivazione f(neti)
o Errors[i] : contiene l’errore δ del neurone i-esimo di un layer
o Target[] : contiene la classe del pattern
o Bias : valore del bias (fissato a 1)
o BiasWeights[] : contiene i pesi tra il neurone bias e il layer successivo

Aprire l’help della libreria BioLab (nella sottocartella Libraries della cartella PRLab) ed
esaminare le informazioni relative alle classi indicate al punto precedente.
2) IMPLEMENTAZIONE DI UNA RETE NEURALE A TRE LIVELLI
a) Prendere visione del metodo statico BackPropagation che permette di modificare i pesi
delle connessioni in modo tale che si minimizzi una determinata funzione errore J(w).
Completare il metodo ricordando che:

l’errore
viene calcolato come
(
=
)
∙ (1 −
)∙(
−
)
dove è l’attivazione del neurone k dell’output layer (calcolata e memorizzata
durante forward propagation), e , il valore desiderato per l’output k.

dato un neurone k dell’output layer con errore
ed un neurone j dell’hidden layer
con attivazione , il peso , viene aggiornato nel seguente modo
,
dove
Biased

=
∙
∙
è il learning rate compreso nell’intervallo [0,1]. Si ricordi che se la rete è
anche i pesi tra output e bias dell’hidden layer devono essere aggiornati.
data
l’attivazione di un neurone j dell’hidden layer collegato con c neuroni s
dello stato output, l’errore
viene calcolato con
(
=

+
,
)
∙ 1−
∙∑
,
L’aggiornamento precedente si applica anche ad un peso che collega un neurone j
dell’hidden layer ad un neurone i dell’input layer. Si ricordi che se la rete è Biased
anche i pesi tra hidden e bias dell’input layer devono essere aggiornati.
b) Implementare i seguenti metodi della classe MyNeuralNetworkClassifierBuilder:

Il metodo statico ActivationFunction per la funzione di attivazione. A tal fine
utilizzeremo la sigmoide (nella semplice forma di logistic funciton) con valori in
[0,1]:
( )=

la cui derivata prima è
( )= ( )∙ 1− ( )
Il metodo statico ForwardPropagation che, dato un pattern in input con la
corrispondente classe, memorizza il pattern nell’input layer e calcola per ogni
neurone dell’hidden layer e dell’output layer la sua attivazione. Per ogni neurone “i”
la somma pesata dovrà essere memorizzata nel corrispondente Net[i] mentre
l’attivazione in Activation[i]. Si ricordi che se la rete è Biased anche questo
neurone deve essere tenuto in considerazione nella somma pesata.
c) Implementare i membri della classe MyNeuralNetworkClassifier:

nel metodo Classify richiamare il metodo statico ForwardPropagation appena
implementato.
d) Fare alcune prove sia con dataset generati manualmente che con i due dataset scaricabili dal
sito del corso. Verificare il funzionamento nel caso particolare di un solo cluster e
all’aumentare del numero di cluster. A tal fine utilizzare la voce di menù “Esercitazioni
ML→6 - Esercitazione Reti Neurali”.
3) ESPERIMENTO SU “LETTER IMAGE RECOGNITION DATA”
a) Utilizzare la rete appena implementata per il riconoscento di caratteri utilizzando il materiale
aggiuntivo disponibile per l’esercitazione.



Prendere visione dei FeatureVectorSet di train e validaton contenuti nel file ZIP.
Utilizzare il training set per l’addestramento della rete ed il validation set per la
validazione degli iperparametri.
Scegliere i parametri learning rate, numero di epoche e numero di neuroni
dell’hidden layer che minimizzi l’errore sul validation set.
b) Verificare l’accuratezza del modello sul test set che verrà rilasciato al termine del punto
precedente.