Guglielmo Tamburrini
Università di Napoli Federico II
Napoli, 18 ottobre 2011
Scuola di dottorato in ingegneria dell’informazione
Etica e robotica
• Sviluppi della ricerca, nuovi temi etici
▫ dalla robotica industriale alla robotica di servizio
• Analisi di problemi etici e regole di condotta
▫ Riguardano progettisti, costruttori, utenti di
sistemi robotici…
• Diversi progetti internazionali
▫ ETHICBOTS (VI FP)
▫ Robot companion flagship CA (VII FP)
Some ethical questions:
• Who is responsible for damages caused by care robots?
•
•
•
•
•
(retrospective responsibility)
Are there moral constraints on control hierarchies in
human-robot cooperation? (human autonomy and resp.)
Which (ethical) motivations for /against letting some service
robot step into society? (prospective responsibility)
Can military robots act autonomously in the battlefield?
(responsibility, human dignity and autonomy),
Is human culture impoverished by extensive stereotypical
interactions with robots? (human dignity)
Are autonomous robots bearers of rights? (personhood)
Pluralismo nella riflessione etica
• Impostazione deontologica
▫ Le intenzioni di un’azione sono moralmente
significative quanto le conseguenze.
▫ Vi sono regole morali che non ammettono
eccezioni alla luce delle conseguenze (imperativo
categorico, uomo come fine).
• Impostazione consequenzialista
▫ Valuta un’azione come meritevole di lode o
biasimo morale in base alle sue conseguenze.
▫ Utilitarismo
Unmanned Aerial Vehicles
Unmanned Aerial Vehicles
La cabina di pilotaggio di un drone
Veicoli senza equipaggio
e responsabilità
• Tipi di responsabilità
▫ morale e oggettiva
▫ prospettiva e retrospettiva
• Caratteristiche dei droni
▫ Sistemi controllati in remoto
▫ Poca autonomia
▫ Eye-on-target da parte dell’operatore
umano
Attribuzioni di responsabilità
• Al robot attuale non si ascrive responsabilità
▫ Morale: assenza di intenzionalità e consapevolezza
▫ Oggettiva: impossibile un sistema sanzionatorio
• La responsabilità si ascrive a una persona (fisica
o giuridica)
▫ Progettisti, programmatori, produttori
▫ Venditori, certificatori, assicuratori
▫ Utilizzatori
Jus in bello
regole operative e responsabilità retrospettiva
• Discriminazione
▫ Individuare i bersagli militari con precisione
• Proporzionalità
▫ Commisurare la forza impiegata al bersaglio
• Catena di comando
▫ Garantire la possibilità di identificare gli autori delle
azioni militari
Exclusive: Computer Virus Hits U.S. Drone Fleet
Wired News, 7 october 2011
•A computer virus has infected the cockpits of America’s Predator
and Reaper drones, logging pilots’ every keystroke as they remotely
fly missions over Afghanistan and other warzones. …“We keep
wiping it off, and it keeps coming back,” says a source familiar with
the network infection, one of three that told Danger Room about the
virus. “We think it’s benign. But we just don’t know.” …But despite
their widespread use, the drone systems are known to have security
flaws. Many Reapers and Predators don’t encrypt the video they
transmit to American troops on the ground. In the summer of 2009,
U.S. forces discovered “days and days and hours and hours” of the
drone footage on the laptops of Iraqi insurgents. A $26 piece of
software allowed the militants to capture the video.
Unmanned Ground Vehicles
Unmanned Ground Vehicles
Jus ad bellum e controllo democratico
Division of war powers btw President and Congress
• US President Barack Obama recently argued that he did
not need congressional approval for military operations
in Libya because they were carried out by unmanned
aerial systems such as the MQ-1 Predator and the MQ-9
Reaper. In Pakistan, US unmanned systems have made
more than 250 strikes against suspected terrorists since
2004. Notably, these strikes are carried out by CIA
drones rather than military ones, meaning even less
oversight.
• P.W. Singer, A world of killer apps, Nature, 22 september 2011, p.
400
ABC News, 20 may 2011
• President Obama wrote a letter to congressional leaders
this afternoon suggesting that the role is now so
“limited” he does not need to seek congressional
approval. “Since April 4, U.S. participation has consisted
of: (1) non-kinetic support to the NATO-led operation,
including intelligence, logistical support, and search and
rescue assistance; (2) aircraft that have assisted in the
suppression and destruction of air defenses in support of
the no-fly zone; and (3) since April 23, precision strikes
by unmanned aerial vehicles against a limited set of
clearly defined targets in support of the NATO-led
coalition's efforts.”
NYT, 18 June 2011
• In reaching his conclusion Mr Obama rejected the
opinions of Mr Jeh Johnson, the Pentagon general
counsel, and Ms Caroline Krass, the acting head of the
Justice Department's Office of Legal Counsel, citing
unnamed officials familiar with the deliberations.
• Mr Johnson and Ms Krass both told the White House
they believed that US military activity in the Nato-led air
war over Libya amounted to 'hostilities'.
Unmanned Undersea Vehicles
Unmanned Surface Vehicles
Etica e politica
• …negli ultimi due anni, sui vari fronti in cui siamo
impegnati i droni hanno ucciso più di 700
innocenti… (p. 72)
• Quali analisi di responsabilità per gli errori?
• Nulla, in teoria, impedisce di venderli a forze di
polizia, mercenari, grandi aziende, guardie giurate,
invesigatori privati, vigilantes… (p. 84)
• Quali controlli sulla diffusione?
• (W. Langewiesche – Esecuzioni a distanza, Milano, Adelphi 2011)
Dual use : security
• Droni per l’American Border Patrol (Border
Hawk)
• Robot Guard Dog (Sanyo)
• Dual use per il Talon Swords
▫ Perlustrazione di strade ed edifici
▫ Checkpoint security
W. Langewiesche – Esecuzioni a distanza,
Adelphi 2011
• Quali effetti psicologici su operatori e società?
▫ Appena uscito dall’abitacolo ha riempito un’infinità di
moduli. Poi si è messo in macchina per tornare a casa,
finendo imbottigliato nel traffico di Las Vegas...
▫ Ormai le nostre guerre sono molto lontane. Anche dai soldati
qualsiasi, e soprattutto dai più giovani. Qualche mese dopo
l’episodio, l’operatore si è congedato. Gli psicologi
dell’aviazione tentano di far accettare ai militari le stranezze
della loro nuova vita, ma con uno smanettone che della vita
non sa nulla può essere complicato. (p. 77-78)
Dai sistemi controllati in remoto agli
Autonomous Military Agent (AMA) • Contra
▫
▫
▫
▫
Ricorso più facile all’azione militare
Progressivo abbandono della diplomazia
Riduzione del controllo democratico
Maggiori perdite e danni per il nemico (vincere la pace vs vincere
la guerra)
• Pro
▫ Riduzione di perdite umane comporta minore dissenso.
▫ Riduzione dei costi della guerra per il contribuente.
▫ Riduzione del fattore umano…
Robot autonomi e fattore umano
The American military is working on a new generation
of soldiers, far different from the army it has. “They
don’t get hungry,” said Gordon Johnson of the Joint
Forces Command at the Pentagon. “They’re not
afraid. They don’t forget their orders. They don’t
care if the guy next to them has just been shot. Will
they do a better job than humans? Yes” The robot
soldier is coming.
New York Times, 15.2.2005
Dispositivi autonomi (CIWS)
La sentinella robotica SGR-A1
un ‘kill-box’ per aggirare problemi di riconoscimento?
Il paradosso della guerra senza
rischi e gli AMA
• Si tende a ridurre il rischio per il proprio
esercito. Ma si può eliminare del tutto?
• Il rischio di entrambi giustifica moralmente i
contendenti (autodifesa reciproca - La guerra
di Piero)
• Il rischio completamente asimmetrico è
proprio delle operazioni di polizia (buoni vs.
cattivi, Corte int dell’Aia)
• Caso dell’intervento USA in Libia?
Progetti avanzati - Crusher
Progetti avanzati - BigDog
Prevedibilità del comportamento
degli AMA
Il comportamento scaturisce da interazioni del sistema
con un ambiente molto dinamico e poco strutturato
Il comportamento può dipendere da un processo di
apprendimento, ma
I metodi tradizionali di machine learning funzionano
sotto l’ipotesi di rappresentatività degli insiemi di
apprendimento, test e validazione.
Le teorie dell’apprendimento computazionale
consentono di dedurre bound probabilistici sulla
percentuale di errori solo sotto ipotesi di stabilità della
funzione da apprendere.
Conoscenza incerta
e problematiche etiche
• Impostazione consequenzialista: come valutare
conseguenze buone e cattive?
• Impostazione deontologica: difficile applicare la
dottrina del doppio effetto (DDE).
▫ DDE - Un’azione con effetti cattivi previsti ma
inseparabili dell’effetto buono è giustificabile se:
L’intenzione è quella di ottenere l’effetto buono
L’effetto buono desiderato ha maggior peso di
quello cattivo
L’effetto dannoso viene minimizzato e non è il
mezzo per ottenere quello buono
Int. Herald Tribune, 26.11.2008
▫ “My research hypothesis is that intelligent robots
can behave more ethically in the battlefield than
humans currently can”, said Ronald Harkin, a
professor at the Georgia Institute of Technology
who is designing software for battlefield robots
under contract from the U.S. Army.
Etica e guerra
Leggi di Guerra (L.O.W.)
• Suddivisione giurisprudenziale
▫ Jus ad bellum – entrata in guerra ed uso della forza militare
▫ Jus in bello – condotta durante i conflitti
▫ Jus post bellum – trattamento prigionieri, occupazione territori
• Convenzioni internazionali
▫ Convenzioni dell’Aia (1899-1907)
▫ Convenzioni di Ginevra (1949-1977)
• In Italia “Legge di Guerra e Neutralità”
▫ R.D. 8 luglio 1938
Etica e guerra
Regole d’Ingaggio (R.O.E.)
• Emanate dai vertici militari
▫ Applicazioni particolare dello jus in bello
▫ Tengono conto delle leggi internazionali e nazionali
▫ Possono variare secondo la tipologia e l’andamento
del conflitto
• Indirizzate ai soldati sul campo
▫ Condizioni e modalità di impiego della forza
▫ Norme relative a categorie di situazioni possibili
Alcune regole basate su ROE - Desert Storm
1) Non attaccare chiunque sia ferito, si sia arreso o non
sia un combattente.
2) Considera un bersaglio valido chiunque punti
un’arma e non sia un commilitone.
3) Considera un bersaglio valido chiunque ti attacchi.
4) Restringi l’attacco solo al bersaglio valido
correttamente identificato.
5) Se il bersaglio è valido è tracciato con certezza, devi
attaccare.
Condizioni di applicazione dipendenti da
capacità percettive e cognitive
Un’architettura robotica
Arkin (2007)
Behaviour based/deliberativa
Percezione
Risultati di benchmark
Test M-ELROB
Ricognizione, individuazione bersagli,
controllo perimetro
Ambiente urbano ed extra-urbano
Nessun sistema ottiene buoni risultati
nella target detection, in particolare
nella prova notturna
Autonomous Military Robotics: Risk, ethics, and design
Report prepared for the Office of Naval Research
by Patrick Lin, George Bekey, Keith Abner, dec. 20, 2008
• Creating autonomous military robots that can act at least
as ethically as human soldiers appears to be a sensible
goal, at least for the foreseeable future and in contrast to
a greater demand of a perfectly-ethical robot.
• However, there are still daunting challenges in meeting
even this relatively-low standard, such as the key
difficulty of programming a robot to reliably distinguish
enemy combatants from non-combatants, as required by
the Laws of War and most Rules of Engagement. (p. 90)
No, il futuro offre ben poca speranza per quelli che aspettano che i
nostri nuovi schiavi meccanici ci offrano un mondo in cui
potremo riposarci senza pensare. Aiutarci possono, ma chiedendo
moltissimo alla nostra onestà ed intelligenza. Il mondo del futuro
sarà una battaglia sempre più impegnativa contro le limitazioni
della nostra intelligenza, non un’amaca confortevole su cui
distenderci, serviti dai nostri schiavi meccanici”.
Norbert Wiener 1964
Memoria storica
The electric dog, which now is but an uncanny
scientific curiosity, may within the very near
future become in truth a real ‘dog of war,’
without fear, without heart, without the human
element so often susceptible to trickery, with but
one purpose: to overtake and slay whatever
comes within range of its senses at the will of its
master.
Miessner 1916, Radiodynamics: The Wireless Control of Torpedoes and Other
Mechanisms, NYC: Van Nostrand p.199.
Ringraziamenti
• Vincenzo Capone
▫
▫
▫
▫
Rafael Capurro
Thomas Christaller
Edoardo Datteri
Jutta Weber
