Knowlab Un Sistema Computerizzato per la

KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Knowlab
Un Sistema Computerizzato per la Valutazione
Adattiva della Conoscenza e dell'Apprendimento
Debora de Chiusole
PhD Candidate
[email protected]
Università degli Studi di Padova
Dipartimento FISPPA
7 Maggio 2014, Cagliari
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Scenario
Uno studente risponde ad una serie di domande che vengono
visualizzate sullo schermo di un computer;
le domande servono per valutare le competenze dello studente
in un particolare dominio di conoscenza, come ad es.
l'aritmetica, l'algebra o la sica;
sulla base di questa valutazione, il computer propone allo
studente del materiale didattico, utile per procedere
nell'apprendimento.
Knowlab è un sistema di intelligenza articiale che si basa sulla
Knowledge Space Theory.
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Scenario
Uno studente risponde ad una serie di domande che vengono
visualizzate sullo schermo di un computer;
le domande servono per valutare le competenze dello studente
in un particolare dominio di conoscenza, come ad es.
l'aritmetica, l'algebra o la sica;
sulla base di questa valutazione, il computer propone allo
studente del materiale didattico, utile per procedere
nell'apprendimento.
Knowlab è un sistema di intelligenza articiale che si basa sulla
Knowledge Space Theory.
KST
L'Assessment Adattivo nella KST
Overview
1
La Knowledge Space Theory
2
L'Assessment Adattivo nella KST
3
Knowlab
4
Prospettive Future
Knowlab
Prospettive Future
KST
L'Assessment Adattivo nella KST
Overview
1
La Knowledge Space Theory
2
L'Assessment Adattivo nella KST
3
Knowlab
4
Prospettive Future
Knowlab
Prospettive Future
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Knowledge Space Theory (KST)
Le origini
è una teoria matematica nata negli anni '80 per opera di
Jean-Claude Falmagne e Jean-Paul Doignon;
la prima pubblicazione: Doignon, J.-P., Falmagne, J.-C.(1985).
Spaces for the assessment of knowledge. International Journal
of Man-Machine studies, 23, 175-196;
obiettivo iniziale: costruire 'an ecient machine for the
assessment of knowledge'.
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Knowledge Space Theory
Le Applicazioni: Aleks
Aleks (Assessment and Learning in Knowledge Spaces) è la più
importante applicazione della KST (www.aleks.com).
è un programma wab-based ('ecient machine') che ha come
obiettivo la valutazione eciente della conoscenza e
dell'apprendimento degli individui;
include attualmente corsi in matematica, chimica, sica,
economia;
è utilizzato da milioni di studenti negli USA;
è stato acquistato dalla McGraw-Hill Education nel 2013;
materiale interessante all'indirizzo
http://www.aleks.com/about_aleks/overview;
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Peculiarità della Knowledge Space Theory
Somiglianze e dierenze con il testing psicometrico
Le teorie psicometriche (es. teoria classica del test e l'item response
theory) sono state sviluppate molto prima della KST, con
l'obiettivo di valutare la conoscenza degli individui.
Cosa c'è di nuovo?
se i test psicometrici calcolano un punteggio numerico per
rappresentare il livello ragiunto da uno studente in un certo
dominio di conoscenza,
l'obiettivo della valutazione con la KST è quello di fornire una
descrizione di ciò che lo studente sa e non sa, in un certo
momento.
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
La Knowledge Space Theory
Rappresentazione della conoscenza e dell'apprendimento
Supponiamo che Q sia l'insieme di tutti i possibili problemi che si
possano formulare in un determinato dominio di conoscenza (es.
aritmetica, algebra o sica);
Lo stato di conoscenza K è l'insieme di problemi che uno
studente è capace di risolvere in Q ;
Domain of knowledge
A possible knowledge state
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
La Knowledge Space Theory
Rappresentazione della conoscenza e dell'apprendimento
Supponiamo che Q sia l'insieme di tutti i possibili problemi che si
possano formulare in un determinato dominio di conoscenza (es.
aritmetica, algebra o sica);
La struttura di conoscenza K è la collezione degli stati di
conoscenza osservabili in una popolazione di studenti;
KST
L'Assessment Adattivo nella KST
Knowlab
La Knowledge Space Theory
Approccio Non-Numerico alla Valutazione
Proficiency
Levels
14
12
10
8
Knowledge
States
Prospettive Future
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Struttura di Conoscenza
Un Esempio
Consideriamo 10 item formulabili in qualsiasi dominio di
conoscenza: Q = {a, b, . . . , j };
da un analisi delle abilità coinvolte nella loro soluzione si
ipotizza una struttura di conoscenza;
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Struttura di Conoscenza
Un Esempio
34 stati di conoscenza,
rappresentati dai cerchi;
l'apprendimento procede,
seguento le frecce,
dall'insieme vuoto all'insieme
totale;
svariati percorsi di
apprendimento dierenti;
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Le Frange di una Stato di Conoscenza
Un Esempio
ipotizziamo che lo stato di
conoscenza di uno studente
sia K = {a, b, g , h, i };
frangia interna: insieme degli
item appresi per ultimi
I = {b, a};
frangia esterna: insieme
degli item che lo studente è
pronto ad apprendere
E = {c }.
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Le Frange di una Stato di Conoscenza
Un Esempio
ipotizziamo che lo stato di
conoscenza di uno studente
sia K = {a, b, g , h, i };
frangia interna: insieme degli
item appresi per ultimi
I = {b, a};
frangia esterna: insieme
degli item che lo studente è
pronto ad apprendere
E = {c }.
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Le Frange di una Stato di Conoscenza
Un Esempio
ipotizziamo che lo stato di
conoscenza di uno studente
sia K = {a, b, g , h, i };
frangia interna: insieme degli
item appresi per ultimi
I = {b, a};
frangia esterna: insieme
degli item che lo studente è
pronto ad apprendere
E = {c }.
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Come si Costruisce una Struttura di Conoscenza?
Principio generale
Tra gli item in Q si possono trovare delle relazioni di prerequisito,
che determinano i vincoli per stabilire quali sono stati di
conoscenza.
1
2
3
interrogazione ad esperti (QUERY; Koppen, M., 1993;
Koppen, M. & Doignon, J.-P., 1990; Schrepp, M. & Held, T.,
1995);
analisi del compito cognitivo (task analysis; Albert, D., Lukas,
J., 1999);
metodi statistici di derivazione delle strutture dai dati (item
tree analysis; Schrepp, M., 2003).
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Come si Costruisce una Struttura di Conoscenza?
La Task Analysis
Un esempio: l'analisi del compito cognitivo:
scegliere il dominio di conoscenza;
individuare una serie di esercizi tipici di quel dominio;
scomporre l'esercizio nelle abilità procedurali, ad un livello
microscopico, necessarie per risolverlo;
costruire un insieme di item sulla base di diverse combinazioni
delle abilità individuate;
Dalla relazione tra l'insieme di abilità e l'insieme di item, è
possibile, attraverso algoritmi matematici, individuare quelli che
saranno gli stati della struttura di conoscenza.
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Come si Costruisce una Struttura di Conoscenza?
Un esempio: il t di Student
Le 13 abilità coinvolte nella verica di ipotesi con il t di Student.
Decisione
Statistica
1
2 camp.
campione Indipend.
2 camp.
appaiati
Bidirez.
Mono dx
Individuazione del valore critico
Calcolo della statistica t
dx
1
2 camp.
campione Indipend.
Mono sx
2 camp.
appaiati
Individuazione della stat. appropriata
Bidirez.
sx
Monodirez.
Individuazione del sistema di ipotesi
Testo del problema
Il test si compone di 15 item e 312 stati di conoscenza.
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Validazione Empirica di una Struttura di Conoscenza
K è un modello teorico che richiede una validazione empirica;
modelli probabilistici che tengono conto anche di errori di
distrazioni e di risposte indovinate: si confrontano i dati
osservati con le attese del modello denito precedentemente
(test di Chi-quadro);
si stima la distribuzione di probabilità sugli stati di conoscenza;
Se il modello tta i dati, si avrà a disposizione uno strumento di
valutazione composto da: un insieme di abilità, un iniseme di item
e una struttura di conoscenza.
KST
L'Assessment Adattivo nella KST
Overview
1
La Knowledge Space Theory
2
L'Assessment Adattivo nella KST
3
Knowlab
4
Prospettive Future
Knowlab
Prospettive Future
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
L'Assessment Adattivo nella KST
La Valutazione della Conoscenza nella KST
L'obiettivo è di individuare lo stato di conoscenza corretto di
ciascun studente, fra quelli appartenenti alla struttura di
conoscenza;
questo compito viene eseguito da una procedura
computerizzata che interagisce con lo studente;
ad ogni passo la procedura presenta allo studente una nuova
domanda e ne registra le risposte;
in teoria il dominio di conoscenza può contenere centinaia di
item, e la struttura di conoscenza migliaia di stati;
L'obiettivo è quello di costruire l'intero stato di conoscenza dello
studente attraverso il minor numero di domande possibile.
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
L'Assessment Adattivo nella KST
La Procedura di Assessment: Individuare lo Stato di Conoscenza di uno Studente
Regola di
interrogazione
Aggiornamento della
distribuzione di
probabilità
Risposta dello
Studente
Scelta dell’Item
1,00
1,00
0,80
0,80
0,80
0,60
0,40
0,20
Probabilità
1,00
Probabilità
Probabilità
Distribuzione di
probabilità a priori
sugli stati
Regola di
aggiornamento
0,60
0,40
1
2
3
4
Stati di Conoscenza
5
0,40
0,20
0,20
0,00
0,60
0,00
0,00
1
2
3
4
Stati di Conoscenza
5
1
2
3
4
Stati di Conoscenza
5
KST
L'Assessment Adattivo nella KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
La Procedura di Assessment: Individuare lo Stato di Conoscenza di uno Studente
1,00
Probabilità
0,80
0,60
0,40
0,20
0,00
{}
{a}
{b}
{a,b}
Stati di Conoscenza
{a,b,c}
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
L'Assessment Adattivo nella KST
La Procedura di Assessment: Individuare lo Stato di Conoscenza di uno Studente
1,00
1,00
0,40
0,60
0,40
0,20
0,20
0,00
0,00
{b}
{a,b}
Stati di Conoscenza
{a,b,c}
0,80
Probabilità
Probabilità
Probabilità
0,60
{a}
c=0
0,80
0,80
{}
1,00
b =1
a=1
0,60
0,40
0,20
{}
{a}
{b}
{a,b}
Stati di Conoscenza
{a,b,c}
0,00
{}
{a}
{b}
{a,b}
Stati di Conoscenza
{a,b,c}
KST
L'Assessment Adattivo nella KST
Overview
1
La Knowledge Space Theory
2
L'Assessment Adattivo nella KST
3
Knowlab
4
Prospettive Future
Knowlab
Prospettive Future
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Knowlab
Sistema di intelligenza articiale per la valutazione eciente
della conoscenza e dell'apprendimento;
sfrutta e implementa i concetti teorici e i modelli matematici
della KST;
generazione automatica del report di valutazione, suddiviso in:
conoscenze acquisite (stato di conoscenza): ciò che uno
studente sa;
conoscenze da acquisire (complemento dello stato di
conoscenza): ciò che uno studente non sa;
suggerimenti per lo studio (frangia esterna): ciò che uno
studente è pronto ad apprendere.
DEMO KnowLab
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Sperimentazione di Knowlab
Procedura e Metodi
Costruzione degli oggetti
didattici da associare alle
abilità
5
Costruzione oggetti
didattici da associare alle
abilità
344 + 78 + ?
(a. a. 2013/2014)
Sperimentazione della
procedura adattiva
(Somministrazione 2)
4
Sperimentazione della
procedura adattiva
(Somministrazione 2)
4 argomenti per un totale
di 50 item e 30 abilità
Costruzione della
procedura adattiva
computerizzata
3
Costruzione della
procedura adattiva
computerizzata
335 studenti
(a. a. 2012/2013)
Validazione empirica dello
strumento di valutazione
(Somministrazione 1)
2
Validazione empirica dello
strumento di valutazione
(Somministrazione 1)
286 studenti + ?
(a. a. 2013/2014)
3 argomenti per un totale
di 41 item e 27 abilità
Costruzione dello
strumento di valutazione
(abilità, item, struttura)
1
Costruzione dello
strumento di valutazione
(abilità, item, struttura)
3 argomenti per un totale
di 55 item e 45 abilità
PARTE 1
PARTE 2
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Sperimentazione di Knowlab
Alcuni Risultati
Livelli di indagine:
1
le strutture di conoscenza (capacità discriminatoria,
gradualità);
2
adattamento dei modelli ai dati (t, stime dei parametri);
3
la procedura adattiva (ecienza e accuratezza);
4
risultati aggregati della valutazione individuale (caratteristiche
del campione).
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Sperimentazione di Knowlab
La Procedura Adattiva: ecienza
Ecienza
Numero mediano di item somministrati per individuare lo stato di conoscenza
di uno studente.
IPV (Median = 6)
0.8
0.7
0.7
Proportion of Administration
Proportion of Administration
SD (Median = 6)
0.8
0.6
0.5
0.4
0.3
0.2
0.1
0
1
2
3
4
5
6
7
8
9
0.6
0.5
0.4
0.3
0.2
0.1
0
10 11 12
1
2
TP (Median = 9)
5
6
7
8
9
10 11
1
Proportion of Administration
Proportion of Administration
4
TM (Median = 4)
0.5
0.4
0.3
0.2
0.1
0
0
3
5
10
Number of Items
15
0.8
0.6
0.4
0.2
0
1
2
3
4
Number of Items
5
6
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Sperimentazione di Knowlab
Risultati della valutazione
Livello generale raggiunto da un insieme di studenti:
140
100
80
60
140
40
120
0
0
1
2
3
4
5
6
Cardinalità
7
8
100
80
60
40
20
Statistiche Descrittive
0
0
1
2
3
4
5
6
7
Cardinalità
Indici di Posizione e Variabilità
8
Frequenza
20
Frequenza
Frequenza
120
80
70
60
50
40
30
20
10
0
0
1
2
3
4
5
6
7
Cardinalità
Calcolo Combinatorio e
Teoria della Probabilità
8
9
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Sperimentazione di Knowlab
Risultati della valutazione
Individuare gli argomenti, e le relative abilità, che necessitano
di ulteriore approfondimento:
1
0,40
2
0,82
3
4
0,57
0,06
0,25
0,19
5
0,30
Risolvere esercizi elementari che richiedono il CALCOLO DELLE COMBINAZIONI SENZA
RIPETIZIONE
0,18
Risolvere esercizi complessi che richiedono lUTILIZZO COORDINATO E RIPETUTO delle
COMBINAZIONI SENZA RIPETIZIONE
Risolvere esercizi complessi che richiedono lUTILIZZO COORDINATO E RIPETUTO delle
DISPOSIZIONI e COMBINAZIONI SENZA RIPETIZIONE
Risolvere esercizi basilari che richiedono il CALCOLO DELLE DISPOSIZIONI SENZA
RIPETIZIONE
0,70
0,88
7
0,18
0,75
6
0,48
8 0,02 0,11
9
Applicare correttamente la regola di BERNOULLI per calcolare la probabilità di successo di
un evento
0,60
0,40
0,12
Calcolare la PROBABILITA DI UN EVENTO come rapporto fra esiti favorevoli e esiti totali
0,12
Calcolare la probabilità congiunta di più eventi non indipendenti, utilizzando la REGOLA DI
CONCATENAZIONE
Calcolare una probabilità cumulativa, o il suo complemento, in estrazioni senza
reinserimento
0,87
0,23
0,60
ST. COMPETENZA
OUTER FRINGE
0,18
RESTANTI
Risolvere esercizi sul calcolo combinatorio, che richiedono l’APPLICAZIONE RIPETUTA delle
COMBINAZIONI SENZA RIPETIZIONE e la loro somma
KST
L'Assessment Adattivo nella KST
Overview
1
La Knowledge Space Theory
2
L'Assessment Adattivo nella KST
3
Knowlab
4
Prospettive Future
Knowlab
Prospettive Future
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Prospettive Future
migliorare e completare lo strumento di valutazione per il corso
di Psicometria;
somministrazione adattiva dei contenuti didattici sulla base di
valutazioni periodiche dello stato di conoscenza degli studenti
(demo);
testare l'ecacia di Knowlab sull'apprendimento (test-retest).
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Alcuni riferimenti bibliograci
Doignon, J.P., & Falmagne, J.Cl., (1999), Knowledge Spaces,
Springer-Verlag.
Doignon, J.P., & Falmagne, J.Cl., (1985), Spaces for the assessment of
knowledge, International Journal of Man-Machine Studies, 23(2),
175 − 196.
Falmagne, J.C., & Doignon, J.P. (2011), Learning spaces, New York:
Springer.
Albert, D. & Lukas, J. (1999), Knowledge Spaces: Theories, Empirical
Research, Applications, Lawrence Erlbaum Associates, Mahwah, NJ.
Koppen, M. & Doignon, J.-P. (1990), How to build a knowledge space by
querying an expert, Journal of Mathematical Psychology, 34(4),
311 − 331.
Schrepp, M. & Held, T. (1995), A simulation study concerning the eect
of errors on the establishment of knowledge spaces by querying experts,
Journal of Mathematical Psychology, 39(4), 376 − 382.
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Alcuni riferimenti bibliograci
Falmagne, J.C., & Doignon, J.P. (1988b). A Markovian procedure for
assessing the state of a system, Journal of Mathematical Psychology, 32,
232 − 258.
Koppen, M. (1993), Extracting human expertise for constructing
knowledge spaces: An algorithm, Journal of Mathematical Psychology,
37, 1 − 20.
de Chiusole, D., Anselmi, P., Stefanutti, L., & Robusto, E. (2013). The
Gain-Loss Model: bias and variance of the parameter estimates,
Electronic Notes in Discrete Mathematics, 42 , 33 − 40.
de Chiusole, D., & Stefanutti, L. (2013). Modeling skill dependence in
probabilistic competence structures. Electronic Notes in Discrete
Mathematics, 42 , 41 − 48.
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
Alcuni riferimenti bibliograci
de Chiusole, D., Stefanutti, L., Anselmi, P., & Robusto, E. (2013).
Assessing parameter invariance in the BLIM: Bipartition Models,
Psychometrika, 78(4), 710 − 724.
Stefanutti, L., & Robusto, E. (2009). Recovering a probabilistic
knowledge structure by constraining its parameter space. Psychometrika,
74 , 83 − 96.
Stefanutti, L., Heller, J., Anselmi, P., & Robusto, E. (2012). Assessing
local identiability of probabilistic knowledge structures, Behavior
Research Methods, 44(4), 1197 − 1211.
KST
L'Assessment Adattivo nella KST
Knowlab
Prospettive Future
www.knowlab.org
Gruppo di ricerca (Università degli Studi di Padova):
Egidio Robusto
Luca Stefanutti
Debora de Chiusole
Pasquale Anselmi
Tiziano Longo