PPT - Unibo

Basi di Dati e Sistemi
Informativi
Struttura di un DBMS:
Organizzazione della Memoria
Home page del corso:
http://www.cs.unibo.it/~difelice/dbsi/
Organizzazione della Memoria
Studio/analisi dei requisiti
Risultati
Fasi della progettazione
SCHEMA
CONCETTUALE
Progettazione concettuale
SCHEMA
LOGICO
Progettazione logica
SCHEMA
FISICO
Progettazione fisica
Organizzazione della Memoria
ANALISI REQUISITI
Cosa si rappresenta
PROGETTAZIONE CONCETTUALE
Come lo si rappresenta
Tabella1
Tabella2
TabellaN
PROGETTAZIONE LOGICA
 Dove memorizzare le tabelle?
 Quali strutture dati usare?
Organizzazione della Memoria
Memoria Primaria
 Volatile
 Accesso casuale
Memoria Secondaria
 Persistente
 Accesso diretto
Organizzazione della Memoria
Per garantire la persistenza dei dati, un DMBS
deve memorizzare i dati su memoria secondaria.
 Suddivisa in blocchi (unita’
minima di allocazione).
 Latenza di accesso =
Latenza di posizionamento +
Latenza di rotazione +
Latenza di trasferimento
 Principio di localita’ dei
dati per ridurre la latenza
d’accesso.
Organizzazione della Memoria
(record) sono
inferiore alla
{
Le tuple di una relazione
generalmente di dimensione
dimensione di un blocco.
Tupla dimensione fissa pari a L
Fattore di blocco = B/L
Dimensione blocco B
(numero di record per blocco)
Organizzazione della Memoria
Per l’accesso e la memorizzazione su memoria
secondaria, i DMBS utilizzano le funzionalita’ offerte
dal sistema operativo (file-system).
API del FILE SYSTEM
FileDescriptor* open(String)
close(FileDescriptor*)
byte[] read(FileDescriptor*)
FILE SYSTEM UNIX
write(FileDescriptor*, byte[])
Organizzazione della Memoria
Per motivi di efficienza, ogni DBMS gestisce
l’organizzazione dei dati all’interno dei blocchi
di memoria secondaria allocati dal SO.
CATEGORIE DI ORGANIZZAZIONE DEI FILE
 Struttura seriale (disordinata).
 Struttura sequenziale.
 Struttura con accesso calcolato (hash).
Organizzazione della Memoria
Struttura seriale  le tuple si presentano nel
file nell’ordine con cui sono inserite nel DB.
INSERT INTO DB VALUES (“013”,”Sara”, “Verdi”)
Matricola
Nome
Cognome
012
Marco
Rossi
013
Simone
Bianchi
014
Sara
Verdi
DB FILE
01001101100000
01111000001110
11011110000001
Organizzazione della Memoria
Struttura seriale  le tuple si presentano nel
file nell’ordine con cui sono inserite nel DB.




Inserimento dati  O(1)
Ricerca dati  O(N)
Aggiornamento dati  O(N)
Cancellazione dati  O(N)
N=numero di tuple nel file
01001101100000
01111000001110
11011110000001
11011110000001
11011110000001
FRAMMENTAZIONE
INTERNA
Organizzazione della Memoria
Per motivi di efficienza, ogni DBMS gestisce
l’organizzazione dei dati all’interno dei blocchi
di memoria secondaria allocati dal SO.
CATEGORIE DI ORGANIZZAZIONE DEI FILE
 Struttura seriale (disordinata).
 Struttura sequenziale.
 Struttura con accesso calcolato (hash).
Organizzazione della Memoria
Struttura sequenziali  le tuple sono
memorizzate secondo l’ordine di uno o piu’
attributi dello schema relazionale.
INSERT INTO DB VALUES (“013”,”Sara”, “Verdi”)
DB FILE
Matricola
Matricola Nome
Nome
Cognome
Cognome
012
012
Marco
Marco
Rossi
Rossi
014
013
Sara
Simone Verdi
Bianchi
013
Simone
Bianchi
01001101100000
11011110000001
01001101100000
01111000001110
Organizzazione della Memoria
Le strutture sequenziali facilitano le operazioni
SQL di ordinamento/raggruppamento/ricerca
sugli attributi su cui e’ definito l’ordinamento.
 SELECT * FROM Studenti ORDER BY Nome
 SELECT * FROM Studenti WHERE
(Nome=“Sara”)
 SELECT Nome FROM Studenti GROUP BY Nome
Q. Complessita’ algoritmica della ricerca dicotomica?
Organizzazione della Memoria
Le strutture sequenziali sono piu’ complesse da
gestire in caso di operazioni di
aggiornamento/cancellazione/inserimento.
 In questi casi, e’ necessario procedere a periodiche
riorganizzazioni della struttura.
 Per questo motivo, le strutture sequenziali sono
spesso usate in associazione con indici  ISAM
(Index Sequential Access Method)
Organizzazione della Memoria
Per motivi di efficienza, ogni DBMS gestisce
l’organizzazione dei dati all’interno dei blocchi
di memoria secondaria allocati dal SO.
CATEGORIE DI ORGANIZZAZIONE DEI FILE
 Struttura seriale (disordinata).
 Struttura sequenziale.
 Struttura con accesso calcolato (hash).
Organizzazione della Memoria
Struttura hash  Si utilizza una funzione
(hash) per determinare il blocco in cui e’
memorizzato una tupla, a partire dal valore di
un suo attributo (in genere, la chiave).
 K: valore della chiave della tupla.
 f(K): numero di blocco in cui e’ contenuta la tupla
con valore della chiave pari a K.
Com’e’ fatta f(K)? Funzione iniettiva (caso ideale)
Organizzazione della Memoria
Esempio di STRUTTURE HASH
B: Numero di blocchi
<29, Marco, Rossi>
0
1
2
3
4
5
6
7
8
<68, Simone, Bianchi>
<71, Sara, Verdi>
f: I  [0,B[
Organizzazione della Memoria
Esempio di STRUTTURE HASH
B: Numero di blocchi
<29, Marco, Rossi>
0
1
2
3
4
5
6
7
8
<68, Simone, Bianchi>
<71, Sara, Verdi>
Vantaggio Strutture Hash  buona parte delle operazioni sulle
tuple che coinvolgono la chiave possono essere eseguite in
tempo costante …
Organizzazione della Memoria
Esempio di STRUTTURE HASH
B: Numero di blocchi
<29, Marco, Rossi>
0
1
2
3
4
5
6
7
8
<68, Simone, Bianchi>
<14, Sara, Verdi>
f: I  [0,B[
COLLISIONE!
Organizzazione della Memoria
Poiche’ la dimensione della tupla (L) e’ in
genere inferiore alla dimensione del blocco (B),
in caso di collisione:
 Si memorizza la tupla sequenzialmente nel blocco,
fino ad esaurire lo spazio disponibile.
Max Collisioni= Fattore di blocco=B/L
 In caso non vi sia piu’ spazio nel blocco, viene
allocato un nuovo blocco e viene collegato a quello
precedente (catena di overflow)
Organizzazione della Memoria
Esempio di STRUTTURE HASH
B: Numero di blocchi
<29, Marco, Rossi>
0
1
2
3
4
5
6
7
8
<68, Simone, Bianchi>
<14, Sara, Verdi>
f: I  [0,B[
Organizzazione della Memoria
PROBLEMI STRUTTURE HASH
 Numero di blocchi costituisce un trade-off
 Se troppo piccolo rispetto al DB  frequenti
collisioni (con catene di overflow, etc).
 Se troppo grande rispetto al DB  fattore di
riempimento dei blocchi molto basso.
 Gestione dinamicita’ del sistema?
Organizzazione della Memoria
PROBLEMI STRUTTURE HASH
 Struttura Hash NON efficiente per operazioni
di selezione su un range di valori:
SELECT *
FROM STUDENTI
WHERE (MATRICOLA>10) AND (MATRICOLA<100)
 Struttura Hash NON efficiente per operazioni
che coinvolgono attributi NON chiave.
Organizzazione della Memoria
Indice  struttura che contiene informazioni
sulla posizione di memorizzazione delle tuple
sulla base del valore del campo chiave.
Q. A che serve un indice?
Indice
ACCESSO DIRETTO
Introduzione 1
Capitolo 1 20
Capitolo 2 40
Capitolo 3 60
Conclusioni 65
Organizzazione della Memoria
Indice  struttura che contiene informazioni
sulla posizione di memorizzazione delle tuple
sulla base del valore del campo chiave.
Q. A che serve l’indice in un DB?
A. Consentire accesso diretto (sulla chiave)
efficiente, sia puntuale sia per intervalli, quindi
ottimizzare l’esecuzioni di query SQL che si
basano sulla chiave dell’indice.
Organizzazione della Memoria
Indice  struttura che contiene informazioni
sulla posizione di memorizzazione delle tuple
sulla base del valore del campo chiave.
Chiave indice (spesso) == Chiave relazione.
Gli indici possono essere di due tipi:
 Indici secondari.
 Indici primari.
Organizzazione della Memoria
Le tuple della relazione sono contenute nel
file F. Un indice secondario e’ un file (diverso
da F) contenente un insieme di coppie:
<valore_chiave, offset_tupla_in_F>
FILE INDICE
Valore Chiave
14
29
68
FILE F
Posizione
29 Marco Rossi
14 Sara Verdi
68 Simone Bianchi
Organizzazione della Memoria
Un indice secondario
puo’essere utilizzato
su strutture seriali
(disordinate).
Un indice secondario
deve contenere tutte i
valori della
chiave.(indice denso).
Organizzazione della Memoria
Indice  struttura che contiene informazioni
sulla posizione di memorizzazione delle tuple
sulla base del valore del campo chiave.
La chiave dell’indice e’ (spesso) anche la chiave
della relazione. Due tipi di indice:
 Indici secondari.
 Indici primari.
Organizzazione della Memoria
Un indice primario: (i) contiene al suo interno i
dati oppure (ii) e’ realizzato su un file ordinato
sullo stesso campo della chiave dell’indice.
 Puo’ essere sparso:
non tutte le chiavi
della relazione devono
comparire nell’indice
per consentire le
operazioni di ricerca.
Organizzazione della Memoria
La realizzazione di indici avviene tipicamente
attraverso l’utilizzo di
strutture ad albero
multi-livello.
Organizzazione della Memoria
Struttura di un nodo NON-foglia
P0 K1 P1
Sottoalbero che contiene
le chiavi K<K1
…
Ki
Pi
Sottoalbero che contiene
le chiavi Ki<=K<Ki+1
…
KF PF
Sottoalbero che contiene
le chiavi K>KF
 Ciascun nodo NON-foglia contiene F valori di
chiave ed F+1 puntatori (fan-out dell’albero)
Organizzazione della Memoria
Struttura di un nodo foglia
CASO1. Il nodo foglia dell’albero contiene le tuple:
P0 12 P1 16 P2
<14, Sara, Verdi>
<15, Michele, Bianchi>
…
50 PF
Index-Sequential Structure
Organizzazione della Memoria
Struttura di un nodo foglia
CASO2. Il nodo foglia contiene un puntatore al blocco:
P0 12 P1 16 P2
0
3
2
4
5
…
50 PF
<14, Sara, Verdi>
<15, Michele, Bianchi>
Organizzazione della Memoria
Due tipologie di indici ad albero:
 Indici statici  La struttura ad albero viene
creata sulla base dei dati presenti nel DB, e
non piu’ modificata (o modificata periodicamente).
 Indici dinamici  La struttura ad albero
viene aggiornata ad ogni operazione sulla
base di dati di inserimento/cancellazione.
Organizzazione della Memoria
Pagine
NON terminali
Indexed Sequential Access Method (ISAM)
F=grado medio
N pagine terminali
Organizzazione della Memoria
Costo delle operazioni su Alberi ISAM:
 Ricerca: partire dalla radice, confrontare le chiavi
per arrivare alle pagine terminali  O(logFN).
 Inserimento: trovare la pagina terminale della
chiave ed inserire la tupla. Nel caso di pagina
piena, allocare una pagina di overlow e linkarla
alla precedente.  O(logFN).
 Cancellazione: trovare la pagina terminale e
cancellare la tupla corrispondente.  O(logFN).
Organizzazione della Memoria
Pagine
NON terminali
Inserimento su ISAM
(SENZA overflow)
F=grado medio
4
N pagine terminali
Organizzazione della Memoria
Pagine
NON terminali
Inserimento su ISAM
(CON overflow)
F=grado medio
4
5
N pagine terminali
Organizzazione della Memoria
Pagine
NON terminali
Cancellazione su ISAM
F=grado medio
4
5
N pagine terminali
Organizzazione della Memoria
ISAM: vantaggi
 Le operazioni di inserimento/cancellazione NON
modificano la struttura dell’albero.
ISAM: svantaggi
 In presenza di sistemi molto dinamici, le
prestazioni dell’indice peggiorano al crescere delle
catene di overflow.
 Necessario ri-creare l’indice con una certa
periodicita’.
Organizzazione della Memoria
Due tipologie di indici ad albero:
 Indici statici  La struttura ad albero viene
creata sulla base dei dati presenti nel DB, e
non piu’ modificata (o modificata periodicamente)
 Indici dinamici  La struttura ad albero
viene aggiornata ad ogni operazione sulla
base di dati di inserimento/cancellazione.
Organizzazione della Memoria
Un B-tree e’ un albero binario etichettato in cui
per ogni nodo x, il suo sottoalbero sinistro
contiene solo etichette minori di x e il sottoalbero
destro solo etichette maggiori.
4
 Ricerca  O(log(N))
1
0
 Inserimento  O(log(n))
8
3
5
9
 Cancellazione  O(log(n))
Organizzazione della Memoria
Un B+-tree e’ un B-tree nel quale i nodi
terminali sono linkati sequenzialmente.
Blocchi
Dati
Organizzazione della Memoria
B-tree e B+ tree sono strutture dinamiche:
 Consentite operazioni di
inserimento/aggiornamento/cancellazione di
nodi.
 Rispetto al B-tree, il B+tree e’ piu’ efficiente
per operazioni di selezione/ricerca su un
range di valori.
SELECT * FROM STUDENTI WHERE ((MATRICOLA>3)
AND (MATRICOLA<10))
Organizzazione della Memoria
I DBMS differiscono in base alle strutture dati
utilizzate per memorizzare i dati.
 Quasi tutti i sistemi prevedono strutture ad
albero (B-tree/B+-tree) ed hash.
 Generalmente, si usano strutture seriali
(disordinate), ma con indici sulla chiave di
una relazione.
Organizzazione della Memoria
INDICI in MYSQL
 Creazione di un indice (da schema):
CREATE [UNIQUE|FULLTEXT|SPATIAL]
INDEX nome_indice ON
nome_tabella(Lista_Attributi)
CREATE UNIQUE INDEX IndiceStudente
ON Studenti(Matricola)
Organizzazione della Memoria
INDICI in MYSQL
 Creazione di un indice (con tabella):
CREATE TABLE Studenti (
…
INDEX(Matricola));
 Rimozione di un indice
DROP INDEX Nome_Indice ON Nome_Tabella
DROP INDEX IndiceStudenti ON Studenti
Organizzazione della Memoria
Progettazione fisica  Sebbene molti dettagli
dell’organizzazione della memoria siano gia’
pre-impostati dal DBMS in uso (e non
configurabili), il progettista del DB puo’:
 Selezionare le strutture fisiche piu’ adatte
per il DB da implementare.
In MySQL, i tipi di tabelle si chiamano
STORAGE ENGINE: es. MyISAM, INNODB,…
Organizzazione della Memoria
Progettazione fisica  Sebbene molti dettagli
dell’organizzazione della memoria siano gia’
pre-impostati dal DBMS in uso (e non
configurabili), il progettista del DB puo’:
 Creare indici secondari per ottimizzare
l’esecuzione di query SQL specifiche.
 In questi casi, l’analisi dei costi (tavola
operazioni/carico/etc) puo’ essere utile …