I problemi del Real Time
Lezione 19:
Grafica in tempo reale
Come visto nelle precedenti lezioni, i calcoli
necessari a generare immagini 3D sono
numerosi e complessi.
I programmi di grafica 3D impiegano spesso
diversi minuti (anche ore) per generare un
singolo fotogramma di animazione.
Eppure esistono numerose applicazioni in
tempo reale.
I problemi del Real Time
I videogiochi a cui siamo abituati oggi
permettono ai personaggi di muoversi in interi
mondi tridimensionali.
I problemi del Real Time
I problemi del Real Time
In numerose applicazioni vengono utilizzati
simulatori (ad esempio i simulatri di volo) che
riproducono immagini 3D realistiche in tempo
reale.
I problemi del Real Time
I problemi che bisogna affrontare sono di 2
tipi:
Problemi di banda
Problemi di calcolo
La realta' virtuale ci ha poi portato a definire
mondi 3D in cui l'utente puo' muoversi.
I problemi del Real Time
I limiti del Bus
I problemi di banda sono legati al
trasferimento delle immagini dalla memoria
del PC al video. Si verificano tanto nella
grafica 2D che in quella 3D.
Per comprendere i problemi di banda,
occorre concentrarsi sull'architettura di un PC
e comprendere il meccanismo di generazione
delle immagini.
I problemi di calcolo sono invece legati
alla generazione delle immagini. Essi sono
minimi nella grafica 2D, ma sono assai
significativi nella grafica 3D.
La componente di un PC che crea le
immagini visualizzate sullo schermo viene
chiamata scheda video.
I limiti del Bus
CPU
Memoria
Centrale
I limiti del Bus
Scheda
Video
CPU
BUS
I limiti del Bus
CPU
VRAM
BUS
Il processore del PC comunica con la memoria
centrale e con la scheda video attraverso un
dispositivo chiamato BUS.
Normalmente ogni schdea video possiede una
memoria privata (VRAM) incorporata.
I limiti del Bus
Scheda
Video
Memoria
Centrale
Scheda
Video
Memoria
Centrale
VRAM
BUS
La scheda video invia al monitor le immagini
create in base alle informazioni presenti nella
memoria privata.
CPU
Scheda
Video
Memoria
Centrale
VRAM
BUS
Il processore visualizza le immagini trasferendo i
colori dei singoli pixel dalla memoria centrale alla
memoria della scheda video passando per il BUS.
I limiti del Bus
CPU
Memoria
Centrale
I limiti del Bus
Scheda
Video
CPU
VRAM
Bit-BlitBUS
BUS
I limiti del Bus
Il BUS e' in grado di trasferire i dati ad una
velocita' limitata.
I limiti del Bus
1024 x 768 x 16M colori =
CPU
3 MB
VRAM
BUS
La quantita' di memoria necessaria per memorizzare
un'immagine puo' rendere la velocita' del BUS
inadeguata a produrre animazioni fluide.
I limiti del Bus
BUS
Scheda
Video
Memoria
Centrale
3 MB x 60 Hz =
180 MB/s
Il fatto di condividere un unico canale per
accedere sia alla memoria centrale che alla
scheda video causa ulteriori rallentamenti.
I limiti del Bus
Scheda
Video
CPU
VRAM
32 MB/s
L'operazione di trasferimento di un'immagine
dalla memoria centrale alla memoria video
viene chiamata Bit-Blit.
Memoria
Centrale
Scheda
Video
Memoria
Centrale
VRAM
AGP
Per risolvere questo problema i PC di oggi
hanno 2 Bus uno dei quali dedicato
esclusivamente alla scheda video (AGP).
Memoria
Centrale
Scheda
Video
CPU
32MB/s
VRAM
1MB/s
Questo BUS e' molto piu' veloce di quello standard.
Essendo poi fisicamente separato puo' lavorare
indipendentemente dalla memoria centrale.
Il sincornismo video
Il sincornismo video
Il trasferimento rapido di dati dalla memoria
centrale alla scheda video non è sufficiente a
garantire la fluidita' delle immagini.
Un'altra serie di problemi da risolvere e'
quella del sincronismo con il video.
Il monitor ridisegna l'immagine con un
pennello ottico 60-100 volte al secondo.
Il sincornismo video
Il sincornismo video
Scheda
Video
Scheda
Video
VRAM
VRAM
La scheda video legge dalla propria memoria il
colore del pixel da inviare al monitor.
Il sincornismo video
Se si disegna un'immagine mentre il pennello
ottico sta passando...
Il sincornismo video
La soluzione piu' semplice consiste
nell'aspettare il V-Sync per incominciare a
trasferire un'immagine.
... questa viene "mozzata"! La parte inferiore
dell'immagine viene visualizzata nel primo
fotogramma, l'immagine intera in quello successivo!
La scheda video avvisa il processore (V-Sync)
quando ha iniziato a trasferire una nuova
immagine. La CPU ha quindi il tempo di
comporre la nuova figura prima che
quest'ultima venga raggiunta dal pennello
ottico.
Il sincornismo video
Il sincornismo video
L'attesa obbligata del V-Sync rallenta
l'animazione.
Puo' succedere che i vari elementi che
compongono un'animazione si muovano a
scatti.
Scheda
Video
VRAM
VRAM
Se la scheda video ha memoria sufficiente per
ospitare due immagini, si puo' adottare la
tecnica chiamata doppio buffer.
Il sincornismo video
Il sincornismo video
Scheda
Video
VRAM
VRAM
Scheda
Video
CPU
Il processore compone l'immagine in una delle
due aree mentre la scheda video invia al
monitor l'altra...
Il sincornismo video
VRAM
VRAM
CPU
... Non appena l'immagine e' stata composta, la CPU
scambia le 2 aree. La scheda video visualizza
l'immagine precedente, mentre la CPU compone la
nuova. Lo scambio avviene ad un V-Sync.
Il sincornismo video
Quando l'animazione e' destinata alla
televisione si puo' aumentare la fluidita'
utilizzando l'interlacciamento.
I programmi possono sfruttare questo fatto
generando prima le righe pari, poi quelle
dispari.
La televisione ha una FPS di 25 frame al
secondo ma ritraccia l'immagine 50 volte al
secondo.
In questo modo si crea l'illusione di avere
immagini a 50 fps su un mezzo che in realta'
ne consente solo 25!
La prima volta traccia le righe pari, poi
quelle dispari.
La pipeline
La pipeline
I problemi causati dal bus e dal sincronismo
si verificano tanto per grafica 2D che 3D.
I calcoli necessari a realizzare un'immagine
3D in tempo reale vengono suddivisi in fasi.
La grafica 3D richiede pero' calcoli piu'
complessi che complicano ulteriormente
l'operazione di visualizzazione in tempo
reale.
La sequenza delle fasi viene chiamata
pipeline.
La pipeline
La pipeline
Costruzione Trasformazione
Accettazione Illuminazione
del modello
del modello
Trasformazione
di visualizzazione
Clipping
Divisione
per w
Rasterizzazione
Una versione piu' generale della pipeline di
visualizzazione puo' includere fino ad 8 fasi.
La pipeline
Nel modalita' immediata il modello viene
ricostruito da zero ad ogni frame.
Nella modalita' trattenuta il modello
precedentemente memorizzato viene
mantenuto. Il programma provvede
solamente a modificare le parti necessarie.
Vediamo quali tecniche sono state sviluppate
per accelerare i singoli stadi della pipeline.
Nella fase di costruzione del modello
vengono ricercati tutti gli oggetti che
compongono un modello.
Durante un'animazione un modello puo'
cambiare. Esistono due modi con cui si
possono aggiornare i cambiamenti:
immediato e trattenuto (retained).
La pipeline
Nella fase di trasformazione del modello
vengono applicate tutte le trasformazioni
necessarie per calcolare le posizioni dei vertici
dei singoli oggetti.
In questa fase vengono effettuati numerosi
prodotti vettore per matrice per determinare
le posizioni dei vertici.
La pipeline
La pipeline
Nella fase di accettazione s'individuano gli
oggetti esterni al campo visivo e si eliminano
le superfici nascoste.
Lo stadio di trasformazione di
visualizzazione calcola le proiezioni
prospettiche dei vertici degli oggetti.
Durante la fase di illuminazione vengono
valutati i parametri necessari al calcolo delle
luci (le direzioni delle normali alle superfici,
le direzioni delle luci nei vari punti...). Non
viene pero' ancora effettuato il calcolo dei
colori dei pixel.
La fase di clipping determina le parti degli
oggetti che intersecano la finestra di
visualizzazione.
La pipeline
La fase di rasterizzazione si occupa di:
Disegnare le superfici
Determinare le superfici visibili
Applicare texture e luci
La pipeline
Si determina quindi il colore effettivo del
pixel da disegnare considerando le texture ed
effettuando il calcolo delle luci.
S'inserisce quindi il pixel nella memoria della
scheda video, considerando l'informazione
contenuta nello z-buffer.
La divisione per w, trasforma le coordinate
omogenee in coordinate 2D.
La pipeline
Il disegno delle superfici esamina
semplicemente tutti i triangoli corrispondenti
agli oggetti e determina a quali pixel essi
corrispondano.
La determinazione delle superfici
visibili viene generalmente realizzata
mediante z-buffer. Corrisponde quindi a
calcolare la distanza di ogni pixel
dall'osservatore.
Schede video accelerate
L'ultimo stadio della pipeline e' quello che
nasconde la complessita' maggiore.
Esso richiede un numero enorme di
operazioni tra numeri interi (uno per ogni
pixel generato).
Fino a pochi anni fa', questo era il punto piu'
difficile e che richiedeva alla CPU la
massima potenza di calcolo.
Schede video accelerate
Sono nate quindi numerose schede video
accelerate capaci di rendere piu' veloce
questo stadio di visualizzazione.
Ormai quasi tutte le schede video presenti in
commercio forniscono queste funzionalita'.
In passato esistevano componenti
addizionali che andavano acquistate
separatamente (es. 3Dfx).
Schede video accelerate
Schede video accelerate
Il tipo piu' semplice di accelerazione consiste
nello z-buffer hardware.
La CPU deve solo determinare il colore dei
pixel e la loro distanza. La scheda video
automaticamente determina le superfici
visibili utilizzando lo z-buffer.
La scheda deve pero' disporre di un
maggiore quantitativo di memoria in modo
da memorizzare anche lo z-buffer.
Schede video accelerate
Il livello di accelerazizone successivo consiste
nello spostare la determinazione del colore
dei pixel sulla scheda video.
La scheda deve avere piu' memoria in
quanto deve anche memorizzare le texture.
In questo caso la scheda determina i colori
dei pixel utilizzando le informazioni relative
alle luci ed alle texture.
Questo tipo di schede implementa in
hardware interamente l'ultimo stadio della
pipeline.
Schede video accelerate
Schede video accelerate
Le prime schede accelerate erano in grado di
elaborare tramite hardware solamente
triangoli.
L'accelerazione in hardware fatta
direttamente dalla scheda video presenta
numerosi vantaggi.
I modelli attuali sono in grado di gestire
anche oggetti piu' complessi come NURBS e
superfici di Hermite.
Con l'accelerazione hardware, nè il
processore nè la memoria centrale restano
coinvolti nel calcolo dell'ultimo stadio di
visualizzazione.
Schede video accelerate
Le estensioni dei processori
Il processore puo' quindi dedicare tutta la sua
potenza di calcolo ai primi stadi della
pipeline.
Oltre alle schde video, anche i processori
sono stati estesi per accelerare la pipeline di
visualizzazione 3D.
L'ultimo stadio e' quello piu' facilmente
parallelizzabile. La scheda video puo'
quindi implementare un'architettura parallela
dedicata per questo tipo calcoli ottenendo
un'efficienza superiore a quella raggiungibile
dal solo processore.
Due dei tentativi piu' importanti sono le
istruzioni MMX e le estensioni SIMD.
Le estensioni MMX
Le estensioni MMX
Un primo tentativo di accelerare la pipeline di
visualizzazione nei PC domestici fu compiuto
nel 1995 dall'INTEL con l'introduzione dei
processori PENTIUM MMX.
Queste istruzioni erano studiate per facilitare
la decompressione di filmati MPEG e per
velocizzare operazioni comuni come rotazioni
e scalamenti di texture 2D.
Questi processori includevano alcune
istruzioni capaci accelerare i calcoli interi
utilizzati nello stadio finale della pipeline.
Permettevano inoltre un'implementazione
software efficiente dello z-buffer.
Le estensioni MMX
Le estensioni MMX
Sebbene l'idea fosse interessante queste
estensioni non ebbero il successo atteso.
Come accennato precedentemente, le stesse
operazioni vengono fatte in modo migliore
dalle schede video accelerate.
Esse infatti erano poco utili in un contesto di
grafica 3D, in quanto potevano intervenire
in modo adeguato solamente nella fase di
implementazione dello z-buffer software.
Le estensioni MMX sono quindi oggi
utilizzate solamente per la decompressione
delle immagini JPEG e dei filmati MPEG.
Le estensioni SIMD
Le estensioni SIMD
Le schede video possono accelerare
solamente l'ultimo stadio della pipeline di
visualizzazione.
I processori Intel a partire dal pentium 3, e gli
AMD a partire dal K6 - 3, hanno introdotto
nuove istruzioni per questo scopo.
Occorrono quindi altri meccanismi hardware
per accelerare i primi 7 stadi della pipeline.
Queste istruzioni prendono il nome di
estensioni SIMD (single instruction,
multiple data) in quanto permettono di
eseguire piu' calcoli con un'unica istruzione
in linguaggio macchina.
Le estensioni SIMD
Le soluzioni proposte dalle due principali
marche di processori sono differenti e non
sono compatibili tra loro.
Entrambe si basano sullo stesso principio:
facilitare i calcoli vettoriali e matriciali.
Le estensioni SIMD
Le estensioni SIMD
Le istruzioni SIMD permettono di realizzare
con una singola istruzione in linguaggio
macchina una somma o un prodotto
matriciale o vettoriale.
Vengono solamente considerati vettori a 4
componenti e matrici di dimensione 4x4:
quelli necessari per effettuare le
trasformazioni 3D in coordinate omogenee.
Gli standard software
Grazie a queste estensioni si riesce a
velocizzare di un ordine di grandezza i calcoli
necessari nelle prime fasi della pipeline.
Le possibilita' di accelerazione fornite dalle
schede video variano da modello a modello.
In questo modo si possono considerare
anche modelli con migliaia di poligoni ed un
numero elevato di trasformazioni.
Anche i set d'istruzioni per l'accelerazione
fornite dai processori non sono compatibili.
Occorre quindi un meccanismo uniforme per
rendere queste estensioni diponibili ai
programmi.
Gli standard software
Esistono due standard per rendere disponibili
le accelerazioni grafiche ai programmi:
OpenGL
DirectX
OpenGL
OpenGL e' uno standard aperto per la
visualizzazione 3D indipendente dal sistema
operativo, dal linguaggio di programmazione
e dall'architettura utilizzata.
Esiste per Windows e per UNIX, tanto per
PC che per macchine piu' specializzate
(come ad esempio le Silcon Graphics).
DirectX
Le DirectX sono un insieme di primitive
disponibili in ambiente Windows per facilitare
la realizzazione di videogiochi.
Includono primitive per il suono, per la
grafica, l'accesso alla rete, al Joystick....
Direct3D e' la componente delle DirectX
che si occupa della grafica tridimensionale.
Gli standard software
Entrambi i meccanismi si basano sullo stesso
principio: definiscono una serie di
funzionalita' che i programmi possono
utilizzare per realizzare grafica 3D.
Ogni costruttore di scheda grafica o
processore fornisce i suoi driver che
implementano le funzionalita' richieste
sfruttando al meglio le ottimizzazioni messe a
disposizione dai propri prodotti.
OpenGL
Fornisce tutte le primitive necessarie per
inserire oggetti nella pipeline e per
visualizzarli.
Permette di inserire texture, luci e materiali
(di tipo Phong). E' meno efficiente delle
DirectX, ma trova maggiore compatibilità
con sistemi non Windows .
DirectX
Le DirectX esistono solo su PC ed
esclusivamente in ambiente Windows.
Consentono di utilizzare superfici complesse
con texture e vari meccanismi di
illuminazione.
DirectX
Essendo specifiche per Windows, l'hardware
delle schede grafiche e' ottimizzato per la
grafica DirectX.
Sono piu' potenti ed efficienti rispetto all'
OpenGL, ma meno compatibili.
