Stop killer robots: una considerazione sulla coscienza nell’epoca dell’Intelligenza Artificiale
Si chiama Kargu 2 il primo killer robot o LAWS (Lethal autonomous weapon system) ad aver attaccato gli esseri umani in modo autonomo[1]. Come segnalato da un rapporto del Consiglio […]
Si chiama Kargu 2 il primo killer robot o LAWS (Lethal autonomous weapon system) ad aver attaccato gli esseri umani in modo autonomo[1]. Come segnalato da un rapporto del Consiglio di Sicurezza dell’Onu[2], è accaduto durante la seconda guerra civile in Libia (2020). I missili statunitensi Patriot e i droni israeliani Harpy invece sono stati usati nella guerra tra macchine che sovrastava i cieli dei paesi in guerra già negli anni Ottanta, e anche oggi vengono impiegati nei conflitti in Ucraina e a Gaza. Si tratta di armi che funzionano in modo automatico grazie a un sistema di radar: individuano i droni, gli aerei e i missili nemici e li colpiscono, distruggendoli prima che possano raggiungere gli obiettivi. Patriot e Harpy ormai sono vecchi robots. Presto verranno sostituiti da quelli più moderni che integrano nel loro funzionamento le machines learning o sistemi di Intelligenza Artificiale, come il killer robot Kargu 2. Solo negli ultimi 5 anni si sono implementati i vecchi sistemi di armi autonome dotandoli di algoritmi di calcolo complessi, che possono “imparare” e “acquisire esperienza” sul campo militare, elaborando una enorme quantità di dati in pochissimo tempo: le AI (Artificial Intelligences). Come risulta subito evidente, le AI rendono questi robot killer infinitamente più letali, vere e proprie macchine da guerra. Così, oltre a Kargu 2, di recente hanno visto la luce – ma non sono ancora stati impiegati sul campo di guerra – Blowfish 3, il primo elicottero senza pilota di proprietà cinese, equipaggiato con diverse componenti che integrano le learning machines, e Poseidon, il primo siluro nucleare subacqueo dotato di AI, di proprietà russa, che sarebbe in grado di attraversare un oceano in modo autonomo arrivando al colpire un obiettivo in pochi giorni. A proposito di Blowfish 3, è disponibile online una sua scheda tecnica[3] che mette in evidenza, come fosse un giocattolo di ultima generazione, tutte le sue specifiche dotazioni tecnologiche: sensori per la misurazione laser, sensori per l’imaging termico e Lidar di ultima generazione integrati con AI[4].
Inchieste recenti, come quella pubblicata dal Washington Post e ripresa da La Repubblica il 30 dicembre 2024, testimoniano dell’utilizzo degli algoritmi di intelligenza artificiale nell’attuale guerra israelo-palestinese[5]. Gli algoritmi principali sono stati sviluppati e verrebbero utilizzati dall’esercito israeliano per scovare i presunti terroristi di Hamas a Gaza. I più utilizzati sono Lavender e the Gospel: “La differenza fondamentale tra i due sistemi sta nella definizione dell’obiettivo. Mentre il primo contrassegna le persone e le inserisce in una lista di target da uccidere, una vera e propria kill list, The Gospel si limita a contrassegnare gli edifici e le strutture da distruggere”[6] , riporta la rivista Valori – di Banca Etica. Lavender permette di stimare la probabilità che una persona appartenga a gruppi armati, attraverso un sistema di AI di ricezione e computazione di dati ricavati da sistemi telefonici, social media e da altre fonti più o meno ufficiali. The Gospel, invece, utilizza sia tecnologie di imaging satellitare sia sistemi di sensori per la rilevazione sismica, integrati con AI, per individuare potenziali sedi di attentatori, tunnel o basi di partenza sotterranee per lanciarazzi. Secondo alcune inchieste svolte grazie alla partecipazione di ex ufficiali dell’intelligence israeliana[7], questi algoritmi hanno svolto un ruolo centrale e senza precedenti nell’attuale guerra a Gaza: “Una fonte ha dichiarato che il personale umano spesso serviva solo come timbro di approvazione per le decisioni della macchina. Aggiungendo che, di solito, dedicava personalmente solo 20 secondi a ciascun obiettivo prima di autorizzare un bombardamento. Il tempo di assicurarsi solo che l’obiettivo contrassegnato da Lavender fosse di sesso maschile. Questo nonostante si sappia che il sistema commette errori in circa il 10% dei casi. Il sistema, inoltre, è noto per bollare occasionalmente individui che hanno solo un legame debole con i gruppi militanti, o addirittura nessun legame diretto”[8]. La kill list sembra essere stata espunta senza remore anche nei casi in cui i presunti obiettivi si fossero trovati nelle loro abitazioni, di notte, in compagnia della loro famiglia. Infatti, il numero di civili rimasti uccisi in questi attacchi è altissimo (più di 45 mila), tanto che si parla di un vero e proprio genocidio[9].
Al di là delle ormai numerose e inquietanti testimonianze sull’impiego di questi algoritmi da parte degli eserciti nelle attuali guerre in Ucraina e a Gaza, l’utilizzo dell’AI e delle armi semi-automatiche o completamente automatiche in guerra solleva profondi dubbi di natura legale, etica e morale. Ad esempio, come ha ben evidenziato la politologa tedesca Ulrike Franke, del Consiglio europeo per le relazioni internazionali, con un sistema guidato dall’intelligenza artificiale, che sa imparare da sé stesso e prendere decisioni autonome, è molto difficile seguire le fasi di un processo decisionale in contesto bellico, e dunque diventa impossibile individuare con precisione le responsabilità di attacchi e sabotaggi[10]. Anche altri esponenti politici che ricoprono posizioni rilevanti nel contesto internazionale si sono espressi a riguardo, primo fra tutti Erich Shmidt, ex consigliere di Obama e Biden, ex manager di Google e primo presidente della Defence Innovation Board, comitato consultivo istituito nel 2016 per fornire raccomandazioni al governo degli Stati Uniti sulle tecnologie emergenti che il Dipartimento della Difesa dovrebbe adottare per garantirsi il predominio militare e tecnologico mondiale – comitato che include esperti di aziende private, istituti di ricerca e mondo accademico[11]. Shmidt ha recentemente pubblicato un libro, The Age of AI: And Our Human Future[12] in cui ritiene che le AI cambieranno la nostra relazione con la conoscenza ma anche le armi e gli eserciti del pianeta, dunque la politica e la geopolitica mondiale, e sottolinea con forza la necessità di istituire una regolamentazione internazionale sia sulla costruzione che sull’utilizzo delle machines learnings in campo bellico. Ancora, Sam Altam, fondatore insieme ad Elon Musk e amministratore delegato di OpenAi, una delle aziende della Silicon Valley che sta partecipando alle gare d’appalto del Pentagono per lavorare alla fusione di AI e nuove armi[13], ha espresso i suoi dubbi etici in un’udienza del 2023 al Senato americano. Sam Altam aveva inserito nelle policy di OpenAi il divieto di utilizzare i modelli di intelligenza artificiale per applicazioni militari e di guerra. Divieto che è stato rimosso nel gennaio 2023, come riporta un articolo del 22 dicembre 2024 de Il Sole24Ore[14]. Infatti, l’anno che è appena passato ha visto una grande accelerazione nel campo sperimentazione per l’integrazione delle AI con l’universo delle armi, accelerazione causata dal contesto delle guerre russo-ucraino e israelo-palestinese, nonché della guerra economica in corso tra le due superpotenze mondiali, gli Stati Uniti e la Cina. Shmidt ha ricordato al mondo intero che gli Usa non sono più gli unici produttori dei chip più sofisticati che circolano sul mercato (la microelettrica è alla base di tutta l’intelligenza artificiale): la Cina è il primo concorrente. E, in particolare, “la stragrande maggioranza dei chip all’avanguardia viene prodotta in un unico stabilimento separato da appena 110 miglia d’acqua dal nostro principale concorrente strategico (…) un’azienda chiamata TSMC, Taiwan Semiconductor Manufacturing Company, che si trova nell’isola che la Cina considera una estensione del proprio territorio”[15].
Il problema principale, dunque, è l’assenza di qualsiasi tipo di regolamentazione internazionale sulla sperimentazione e l’utilizzo di armi così letali e sottratte al controllo umano. Gli stessi produttori di queste tecnologie, come Sam Altam e Erich Shmidt, si sono esposti in prima persona per attirare l’interesse internazionale sull’assenza di una legislazione alla portata di una tale rivoluzione. Anche alcuni esponenti politici stanno accennando bozze di interventi a riguardo, come la politologa Franke. Ma non sono gli unici: dall’altro lato della barricata si alzano già da anni voci di protesta contro le armi automatiche. È il caso della campagna Stop killer robots[16], avviata nel 2013 da una rete di organizzazioni internazionali tra cui Rete Italiana Pace e Disarmo, Amnesty International, Human Rights Watch e il Comitato internazionale della Croce Rossa. Francesco Vignarca, coordinatore della campagna, ma anche rappresentante di molte altre associazioni che si battono contro l’acquisto di armi e lo sviluppo di tecnologie legate alle armi, come quella nucleare[17] , ha sostenuto in un’intervista: “Nessuno di noi pensa o vuole fermare questo tipo di sviluppo tecnologico, anche perché le sue ripercussioni in molti ambiti, pensiamo solo alla sanità, sono potenzialmente molto importanti. Ma crediamo vadano posti dei limiti all’applicazione in campo militare. Questo può avvenire solo con una decisione politica da parte dei governi”[18]. In effetti, ricorda il ricercatore e attivista, un primo tentativo di regolamentazione c’è stato: “Il 1° novembre 2023 la Prima Commissione (quella dedicata al Disarmo) dell’Assemblea Generale delle Nazioni Unite ha adottato la prima Risoluzione in assoluto mai discussa sulle armi autonome sottolineando la necessità urgente per la comunità internazionale di affrontare le sfide e le preoccupazioni sollevate da queste. È un passo storico anche se ci sono voluti dieci anni”[19]. Oltre ai dubbi circa l’effettiva utilità di questo prima tentativo di regolamentazione, dovuto in parte al fatto che la Russia ha votato contro, mentre la Cina risulta tra gli astenuti al voto in Assemblea – e si crede che gli Stati Uniti abbiano approvato la risoluzione solamente “per evitare il proliferare di settori e armamenti in cui potrebbero non avere il vantaggio competitivo che hanno oggi”[20] – questa resta l’unica azione intrapresa a livello di regolamentazione internazionale fino ad oggi. Nel frattempo, lo sviluppo tecnologico e la sperimentazione – legale o illegale, è difficile da dirsi – sui campi di guerra corrono veloci.
A questo punto, forse, è necessario fare un passo indietro. È diventato urgente comprendere per quale motivo le armi letali autonome spaventano così tante persone, tra le quali proprio coloro che hanno contribuito a idearle, nonché i massimi esperti di intelligenza artificiale dei diversi settori. Bisogna provare a definire esattamente che cosa renda veramente pericoloso per l’umanità in generale non mettere in dubbio la legittimità dello sviluppo e dell’utilizzo delle LAWS oggi e in futuro. Facciamo un tentativo. Un’occasione per provare a dare una risposta a questi interrogativi è offerta da uno dei classici della filosofia del Novecento: L’uomo è antiquato. Considerazioni sull’anima nell’epoca della seconda rivoluzione industriale, pubblicato poco dopo la catastrofe delle due Guerre Mondiali dal filosofo tedesco Günther Anders. In particolare, nella Parte quarta dell’opera, “Della bomba e delle radici della nostra cecità all’Apocalisse”, Anders si interroga sul rapporto fra lo sviluppo tecnologico e la condizione umana a partire proprio dalla comparsa della bomba atomica. Secondo il filosofo, dopo il 1945 (anno di creazione della bomba e del suo utilizzo in Giappone ad Hiroshima e Nagasaki) la condizione della vita umana sulla Terra è radicalmente cambiata, dunque diventa necessario fermarsi a riflettere su questo cambiamento. Nell’introduzione scrive addirittura che la creazione della bomba deve aprire un nuovo “terreno filosofico”, “o più esattamente la nostra esistenza sotto il segno della bomba (…perché si tratta di, ndr) un terreno assolutamente sconosciuto”[21]. Subito dopo, però, l’autore anticipa che la sua non sarà una esposizione di carattere morale o moralistico, ma una vera e propria tesi di carattere teoretico. Infatti, con la creazione della bomba, il radicale cambiamento della vita umana deve essere reso l’oggetto di una ricerca scientifica, “perché non è altro che l’ordigno stesso”[22]. Anders, allievo di Husserl, e dunque pensatore che possiamo inserire nella grande famiglia dei fenomenologi del secondo Novecento, non ha paura di andare alla ricerca di nuove verità (filosofiche), di cui è possibile fornire analisi precise e risultati evidenti, verità innescate sicuramente dai grandi cambiamenti della Storia, ma non per questo meramente relative, ma al contrario verità che possano aiutare gli uomini d’azione – cittadini, politici, ma anche scienziati e ricercatori – a stabilire delle nuove leggi, più corrette e legittime. Entrando nel merito della trattazione sulla bomba – o meglio, sulla nostra esistenza sotto il segno della bomba – Anders individua una prima caratteristica fondamentale: “La più mostruosa mancanza di coscienza”[23], ovvero “se supponiamo che la bomba venga impiegata (…) alla fine non sarà stato nessuno”[24]. Il filosofo sostiene che con la costruzione delle moderne macchine calcolatrici cibernetiche, come la bomba atomica, avviene un vero e proprio trasferimento di responsabilità all’oggetto, mentre l’uomo si tiene in disparte e “per metà grato per metà trionfante se ne lava le mani”[25]. Il filosofo sottolinea, di nuovo, come si tratti di una condizione de facto, non di una cattiveria da attribuire all’uomo moderno, moralisticamente parlando. Ciò che viene sottratto all’uomo moderno, che vive sotto il segno della bomba, è proprio la possibilità di avere coscienza. È per questo motivo che l’assenza di coscienza è diventata mostruosa. Secondo il filosofo, l’assenza (della possibilità) di coscienza è dovuta a diversi fattori caratteristici delle modalità di produzione moderna: la frammentazione del lavoro, l’ipostatizzazione del mezzo[26], l’invisibilità dei processi di produzione, fanno sì che “anche se non esistessero i robot”[27] l’esecuzione di tali azioni mostruose (come l’esplosione di una bomba letale come quella atomica) sarebbe facilitata, cioè condotta senza la coscienza della morte e della responsabilità. È per questo motivo che l’uomo moderno, anche se anatomicamente invariato, rappresenta un essere appartenente ad una nuova specie. Queste riflessioni ci riportano immediatamente alle considerazioni della politologa Ulrike Franke e dell’attivista Francesco Vignarca, che esprimevano dubbi circa il metodo di un’eventuale assegnazione di responsabilità (morali ma prima ancora legali, e prima ancora cognitive!) di azioni di sabotaggio portate a termine con l’ausilio di robot autonomi, dotati di machines learning. In questo caso, non sarebbe nemmeno l’uomo a premere il pulsante (o il grilletto). Per non dire della evidente degenerazione dal 1945 (quando scrive Anders) ad oggi nella direzione della frammentazione del lavoro, dell’ipostatizzazione del mezzo e dell’invisibilità dei processi di produzione. Si è visto come nella produzione delle LAWS intervengano i fattori più disparati, a partire dai microchip di Taiwan, un evidente caso di delocalizzazione imprenditoriale giunto all’estremo delle sue contraddizioni. Dunque, è lecito attestare oggettivamente il pericolo di un’assenza di coscienza nel periodo storico attuale circa la produzione e l’utilizzo di armi distruttive di massa, a maggior ragione se ancora più autonome dalla decisione umana (i killer robot dotati di AI).
È utile notare il parallelismo tra l’assenza di regolamentazione internazionale – resa ancora più grave se calata nel contesto conflittuale in cui ci troviamo oggi – sulle LAWS e la tesi di Günter Anders secondo cui “l’uomo (moderno, ndr) è antiquato” (proposizione che forma il titolo stesso dell’opera), o “l’uomo è inferiore a se stesso”[28]. In effetti, l’assenza di un adeguato livello di discussione pubblica e di regolamentazione internazionale a proposito sembra essere la prova provata della tesi del filosofo. Assenza della possibilità di coscienza, nuova forma antropologica e “dislivello prometeico”: sono questi i punti cardine della sua teoria. Si tratta del fatto che “a paragone di ciò che sappiamo e che possiamo produrre, possiamo immaginare e sentire troppo poco. Che, nel sentire, siamo inferiori a noi stessi”[29]. Prosecutore della rivoluzione copernicana della filosofia operata da Immanuel Kant, Anders sostiene che così come la nostra ragione è limitata, vale lo stesso per la nostra fantasia e il nostro sentire. Possiamo sentire o immaginare la paura per la nostra morte, o per la morte di alcune persone, ma ne possiamo uccidere decine di migliaia in un colpo solo, senza nemmeno essere coinvolti nell’azione di uccidere. Secondo Anders, il “dislivello prometeico” non è un fatto di per sé negativo, anzi. Si tratta di una caratteristica antropologica, dunque naturale. Il problema è che nella modernità i divari tra le diverse facoltà – lavorare, creare, ottimizzare, pensare, immaginare, sentire – aumenta a tal punto che esse non si riferiscono più al medesimo oggetto, letteralmente “lo perdono di vista”. Così, ad esempio, la coscienza relativa alla bomba, cioè alla possibilità dello sterminio di decine di migliaia di persone in un solo atto, nonché probabilmente della cancellazione della vita sulla terra tout court (nel caso dello scoppio di una guerra nucleare), è stata resa impossibile. A maggior ragione quando ad uccidere è letteralmente una macchina. In un cortometraggio significativo prodotto dalla campagna “Stop killer robots”, Immoral Code[30], un computer dialoga con gruppi di persone, ponendo loro alcune domande, semplici o difficili, fino a rivolgere loro domande complesse come: “Is there ever a circumstance where it is acceptable to kill someone?”, “If someone is attacking you, should you kill them?”. Davanti a questo genere di quesiti le persone impiegano più tempo a rispondere (il problema è reso in modo semplicistico, la risposta deve essere selezionata scegliendo tra un semplice “yes” o “no”). I partecipanti al test discutono tra di loro, dubitano ed esitano prima di dare una risposta. Non si tratta di una semplice (o complessa) analisi di dati e selezione automatica della risposta. Questo perché gli esseri umani sono dotati di una coscienza – seppur indebolita dai processi di produzione moderni, secondo la tesi del filosofo Anders – mentre un robot non ne è neppure dotato, ed è questa mancanza che rende la sua legittimazione ad uccidere un fattore inquietante.
Infine, Günter Anders sostiene che le facoltà del pensiero, dell’immaginazione e del sentire possono essere estese, portate cioè all’altezza dei loro oggetti – della bomba, oggi delle LAWS. Il cosiddetto “dislivello prometeico” può essere superato e riparato. Questo è possibile perché l’oggetto a cui si rende oggi necessario adeguare le nostre facoltà cognitive, il nostro pensiero e il nostro sentire morale è un oggetto che abbiamo fabbricato noi stessi. Si tratta di “oggetti che non sono affatto irraggiungibili per noi, ma soltanto per noi quali esseri immaginativi e senzienti. Ciò che deve essere superato non è dunque affatto una trascendenza”, cioè un oggetto o una questione metafisica, irraggiungibile, che sta al di là delle nostre possibilità, “ma tutt’al più una trascendenza immanente, cioè il dislivello”[31]. In altre parole, lo sforzo che dobbiamo fare per ristabilire una coscienza nell’utilizzo delle macchine che abbiamo creato (bombe, killer robots, o qualunque altro tipo di prodotto umano così letale) non si può descrivere, perché ciò che conta “è soltanto lo sforzo effettivo”[32]. Per il filosofo, dunque, è chiaro come il fine della (sua) filosofia sia l’ampliamento della conoscenza, cioè l’ampliamento delle facoltà cognitive dell’uomo, e il mantenimento attivo della coscienza, anche quando l’oggetto di cui bisogna rendere ragione e con cui ci si deve rapportare è un oggetto così “al di là” delle nostre capacità: un’arma distruttiva di massa. Questo fine conoscitivo si può raggiungere solamente in azione, e solamente ponendo dei limiti all’ utilizzo dell’AI e riducendo il “dislivello prometeico” causato dall’accelerazione tecnologica moderna. Comprendere il ruolo centrale delle facoltà cognitive e senzienti nello svolgimento delle azioni umane, calandosi nel contesto contemporaneo, ad esempio affrontando un tema centrale quale la regolamentazione delle LAWS e dell’uso dell’AI sul campo di guerra, è un primo passo per restituire alla coscienza un ruolo di nuovo attivo. Agire, tramite l’associazione volontaria o la legge, può essere un secondo gradino. Insieme, queste possibilità d’azione sono le uniche che ci permettano di confrontarci legittimamente – limitandole – con le macchine che ormai abbiamo creato, e che possono procedere autonomamente da noi. Anche perché, nonostante si tratti di robot, quindi di macchine prive di coscienza, non vuol dire che noi esseri umani, quando ce ne serviamo, siamo effettivamente sciolti dalle conseguenze delle nostre (o delle loro) azioni.
[1] Qui si intende per “armi autonome” quelle in cui le tre fasi di attivazione, selezione dell’obiettivo da colpire e intervento sono completamente automatizzate ovvero indipendenti dalla volontà e dal giudizio umani. Con questo non si intende dire che le tecnologie che funzionano integrando al loro interno algoritmi di Intelligenza Artificiale possano prescindere da imput umani, ma che la quantità di dati che elaborano e la forza di calcolo che li spinge li rende imprevedibili e predittivi (output) rispetto alle capacità di calcolo umano. Inoltre, si veda più avanti le problematiche che derivano sia dall’utilizzo (sconsiderato) che oggi si fa di queste nuove tecnologie sia la trattazione sulla coscienza nell’uomo moderno (problema che anticipa di gran lunga quello dell’effettiva capacità di intervento su queste nuove tecnologie).
[4] La tecnologia Lidar (“Laser imaging Detection and Ranging”) è uno strumento di rilevamento che permette di determinare la distanza degli oggetti e la concentrazione di elementi chimici nel cielo e nelle distese d’acqua tramite la luce, mentre il classico sistema radar utilizza le onde radio. Lidar integrato con AI permette di esercitare mappature 3D accurate dei luoghi e di operare analisi predittive sui movimenti da svolgere. Oltre che nella produzione di armi, Lidar e AI vengono utilizzati per costruire sensori da integrare alle automobili, nelle macchine per il rilevamento sismico, negli strumenti usati per studiare il cielo.
[5] In questo momento l’arma più pericolosa dell’esercito israeliano è l’IA – la Repubblica
[6] I sistemi di intelligenza artificiale che dirigono i raid di Israele a Gaza
[7] Ivi, ma anche ‘Lavender’: The AI machine directing Israel’s bombing spree in Gaza
[8] Ivi
[9] Israele sta commettendo genocidio contro la popolazione palestinese a Gaza – Amnesty International Italia
[10] The Geopolitics of AI . Presentation of Study “Artificial Intelligence Diplomacy – Artificial Intelligence governance as a new European Union external policy tool”
[11] Sul ruolo svolto da Erich Shmidt nel trasferimento tecnologico dalla Silicon Valley verso la Difesa americana si veda l’ebook “Generazione AI. Una monografia sull’intelligenza artificiale”, Guerre di Rete, 2023. Generazione AI, una monografia sull’intelligenza artificiale
[12] 2021, Little, Brown and Company editor
[13] Usa, le aziende della Silicon Valley (tra cui Space X e OpenAi) si uniscono per vincere i bandi del Pentagono – Il Sole 24 ORE
[14] “Big Tech e AI: la collaborazione con l’esercito Usa per sistemi anti-drone”
[15] “Generazione AI”, op. cit., cap. II “La guerra fredda dell’AI”, paragrafo “Il nodo Taiwan e microchip”
[16] About Us – Stop Killer Robots
[17] Francesco Vignarca – Chi sono – Francesco Vignarca – Tracce
[18] Intelligenza artificiale e armamenti: «Diciamo stop» – Francesco Vignarca – Tracce
[19] Ivi
[20] Ivi
[21] “L’uomo è antiquato. Considerazioni sull’anima nell’epoca della seconda rivoluzione industriale”, Günter Anders, Bollati Boringhieri, Torino 2006, p. 221
[22] Ivi, p. 224
[23] Ivi, p. 232
[24] Ivi, p. 230
[25] Ibidem
[26] Ovvero, l’inversione di ruolo tra il concetto di “mezzo” e quello di “fine”. Il denaro o il guadagno in quanto mezzo supremo, mezzo che per primo permette di ottenere altri mezzi, è il primo mezzo ad aver subito, in epoca moderna, l’ipostatizzazione a fine, e cioè da mero mezzo per ottenere uno o più fini è divenuto il fine supremo.
[27] Ivi, p. 231
[28] “L’uomo è antiquato”, op. cit., cap. 3
[29] Ivi, p. 253
[30] Immoral Code – A Film By Stop Killer Robots
[31] “L’uomo è antiquato”, op.cit., p. 259
[32] Ibidem
Qual è la tua reazione?