Press "Enter" to skip to content

Band of Robots – La guerra all’epoca dei sistemi d’arma autonomi

https://pixabay.com/it/photos/robot-robotica-futuro-tecnologia-2658699/

Automatismi e Autonomia[1]

L’indispensabile processo di definizione, con la migliore precisione possibile, dell’oggetto dell’indagine è particolarmente difficile quando si debbano prendere in considerazione gli sviluppi della tecnologia che da sempre accompagnano, in forma pressocché simbiotica, l’evolversi della storia umana. Quando poi la tecnologia è quella militare, le cose si complicano ulteriormente perché le armi nascono dalla cultura tecnica generale di una società, nel contempo però la influenzano e la condizionano; sono strumenti per distruggere una realtà ritenuta inaccettabile e costruirne una nuova, e ciò facendo spargono sangue umano. Non vi è da stupirsi quindi che, dalle origini dell’uomo, all’attrezzo “arma” sia stata dedicata una attenzione particolare e che la loro evoluzione sia stata in molti casi più accelerata di quella dei manufatti non adatti ad uccidere.

L’uccisione a distanza, tramite pietre, archi e frecce, ha ben presto affiancato il colpo sferrato tenendo materialmente in mano l’arma. Con l’andare del tempo, le armi hanno sempre più incorporato, in forma materiale, quantità crescenti di conoscenza umana. Hanno cioè assunto sempre più la caratteristica di meccanismi. Si farebbe un grave errore a pensare che ciò sia avvenuto solo con la rivoluzione industriale: macchine da lancio e da assedio furono ideate e utilizzate fin dall’antichità.

Certo, le macchine da guerra antiche non potevano eseguire istruzioni, venivano semplicemente azionate ogni volta in modo attivo dai soldati che le mettevano in opera sui campi di battaglia. Con l’avvento dell’era industriale, invece, si introduce una novità essenziale: nelle macchine si possono incorporare istruzioni che le inducono a ripetere il loro ciclo lavorativo senza che l’operatore umano operi attivamente, se non per l’iniziale input. Per il resto il soldato, o l’operaio, deve solo sorvegliare, rifornire e manutenere la macchina.

Nasce così, in senso compiuto, il processo di automazione. Se risaliamo l’albero etimologico di parole come automatismi, automazione, automatico/a, troviamo automa, vale a dire “che si muove da sé”. Un termostato, un fucile a ripetizione e infiniti altri manufatti hanno questo in comune: liberano gli umani da un gran numero di azioni ripetitive e sono dei moltiplicatori di forze e risorse, facendo inoltre risparmiare tempo e fatica.

Poiché, parlando di macchine, belliche o meno, la transizione tra automatismo e autonomia è un continuum, uno spettro in cui non è facile indicare il punto di svolta tra l’una e l’altra caratteristica, è importante ricordare che, grosso modo, più una macchina è ciclica nella sua azione meno si può parlare di autonomia; beninteso il ciclo lavorativo, o i cicli, possono essere anche molto complessi ma alla fin fine si tratta di partire-lavorare-ripartire.

Autonomo sta per “ha le proprie leggi”, “opera secondo sé stesso”. La storia delle macchine autonome, nell’accezione appena richiamata, inizia con le prime macchine per la computazione e la decrittazione, il cui esempio operativamente più riuscito fu la macchina ideata dal gruppo riunito intorno a Alan Turing che diede un significativo contributo alla vittoria alleata nel secondo conflitto mondiale. Il processo di autonomizzazione delle macchine, come evoluzione dell’automazione, è infatti direttamente proporzionale alla capacità di assorbire ed elaborare una quantità di dati sempre crescente, allo scopo di ottenere una soluzione per un qualsiasi problema in forma intelligibile per una macchina.

Anche l’input che proviene dall’operatore è essenziale. Non è tanto la complessità o il numero delle istruzioni che una macchina riceve a fare la differenza (se ci si pensa, una lavatrice automatica deve assolvere a molti compiti) quanto la loro astrattezza e generalità. Semplificando veramente al massimo, la macchina automatica deve eseguire un’istruzione, quella autonoma deve risolvere un problema, posto in termini generali e con la necessità di interagire con l’ambiente.

Ecco perché i progressi nella computazione, nel calcolo sono la base dell’evoluzione nell’autonomizzazione; accompagnati ovviamente dalle crescenti possibilità di una quantità di altri fattori quali la trasmissione di dati, la crescente miniaturizzazione dei componenti o l’abbattimento dei costi.

Non è facile però delineare l’andamento dell’evoluzione delle armi autonome.[1] Un primo passo fu rappresentato dalla teleguida, la guida a distanza, o attraverso la presenza di un “cordone ombelicale fisico”, un cavo per intenderci, tra l’operatore e l’ordigno,[2] oppure mediante un sentiero immateriale, un impulso radio continuo, un raggio laser o radar che l’arma, una volta lanciata, era programmata a seguire fino al bersaglio.[3] Altro step è rappresentato dalla presenza di sensori attivi all’interno dell’arma che le permettono di trovare, seguire e colpire il bersaglio con una assistenza umana sempre decrescente.[4] Tutti questi stadi evolutivi si sono accavallati e sovrapposti in modo sempre più rapido fino a giungere ai forsennati ritmi odierni.[5]

L’importante è ricordare che il direttore d’orchestra dell’evoluzione odierna è sempre la capacità di calcolo; essa è il terremoto che sta gonfiando un’onda di tsunami scientifico che sta cambiando radicalmente il mondo in cui viviamo. Tutte le tecnologie emergenti, e ormai anche dominanti (nuovi materiali, nano tecnologie, bioingegneria, robotica) sono innervate nella ricerca di base e nelle applicazioni per il mercato dall’informatica. In campo militare le implicazioni sono rivoluzionarie e inquietanti. A essere interessati ormai non sono più solo gli ordigni quali bombe e missili ma anche quei sistemi d’arma che un tempo contenevano forzatamente un equipaggio umano e che oggi possono farne a meno. Tutti questi ormai sono da considerarsi Sistemi d’Arma Autonomi (Autonomous Weapon Systems).[6] Le definizioni in letteratura sono molte ma sostanzialmente convergono nell’identificare gli AWS come le armi che, una volta attivate, identificano, selezionano e ingaggiano i loro bersagli con un minimo ruolo dell’intervento umano o nella sua assenza.[7]

Naturalmente si deve rammentare che il presente vede la coesistenza, all’interno degli arsenali dei paesi più avanzati tecnologicamente, di armi e sistemi d’arma il cui grado di autonomia, secondo la precedente definizione, è variabile; esistono ancora retaggi di tecnologie “vecchie” di decenni accanto a giocattoli che sembrano usciti da un film di fantascienza.

Le ragioni iniziali del successo degli AWS (o robot, droni, Unmanned Vehicles) sono in parte da far risalire a impieghi che datano fin dagli anni ’70 (Vietnam, Guerra dello Yom Kippur) cioè la capacità di svolgere, a costi più bassi, rispetto ai mezzi pilotati da umani a bordo, missioni lunghe, noiose e pericolose, soprattutto ricognizione e attacchi mirati.

Presente e Prospettive

I cieli, i mari e le terre sono ormai affollati dai droni che osservano, trasportano, trasmettono, sminano, fanno guerra elettronica e spesso sparano. Con dimensioni che vanno da quelle di un aeromodello all’imponenza del super ricognitore americano Global Hawk. Ormai si parla di “guerra dronica” e in effetti vi sono contesti geopolitici, come la Striscia di Gaza o l’Afghanistan, dove la presenza dei droni è continua ed ossessiva. I paesi che comprano o producono in proprio droni sono ormai una ventina, una riprova dell’accessibilità delle tecnologie necessarie e della convenienza dal punto di vista dei costi.

Ma se il presente è affollato, il futuro, che si sta già inverando, sarà caratterizzato da alcuni cambiamenti tecnologici che, in sintesi, renderanno quello degli AWS un vero problema; non più solo un cambiamento nel modo di fare la guerra ma un salto di stato, una singolarità capace di cambiare, con buona probabilità l’essenza della guerra, il suo nocciolo. Vediamoli in sintesi.

I droni, specialmente i velivoli ma non solo, hanno due talloni d’Achille: una modesta velocità accoppiata ad una tenuta del volo piuttosto prevedibile: questo li rende più facilmente abbattibili di un moderno aereo da combattimento; l’altro handicap è il fatto che essi sono il terminale di un complesso e costoso sistema, fatto di stazioni a terra e satelliti: ciò li espone ad attacchi elettronici che possono confonderli, deviarli e addirittura farli atterrare in un aeroporto nemico. L’evoluzione tecnologica sta progredendo nel rimediare a questi difetti, in modi che, come accennato prima, potrebbero rendere la guerra dronica, o degli AWS, rischiosa per l’umanità quasi quanto quella nucleare.

Il primo modo è aumentare l’“intelligenza” nelle macchine in modo da renderle abbastanza autonome da poter fare a meno dei collegamenti a lunga distanza: a quel punto diventa difficile intercettarle e prevederne le mosse.

Il secondo modo è renderle più veloci, molto più veloci. Il volo ipersonico (dai 5.000 K/h ai 30.000 k/h.!) sta iniziando ad essere impiegato su missili che sono già supersonici (fino ai 3.000 K/h), quindi è questione di pochi anni perché diventi caratteristica comune anche agli AWS. La conseguenza sarà avere armi molto autonome e difficilmente controllabili perché velocissime.

Il secondo cambiamento di impronta rivoluzionaria è dato dalla possibilità che un AWS possa essere lanciato, in qualunque ambiente geografico da un veicolo-madre, anche esso pilotato da umani o meno, e i due possano collaborare svolgendo insieme la missione. Al momento esistono macchine che sono giunte quasi al termine della fase prototipica: mini velivoli sganciati da aerei, piccoli sottomarini messi in acqua da navi o altri sottomarini, robot terrestri in grado di accompagnare un plotone di soldati o una compagnia di carri.

Quest’ultimo passo ci porta a considerare quello successivo, la cui concretizzazione non può essere considerata troppo lontana: gli sciami di AWS che, alla stregua di uccelli, insetti o pesci possano essere lanciati contro il nemico in un ventaglio molto ampio di missioni, dalla saturazione delle sue difese alla devastazione del territorio. Il fatto più sorprendente è che gli ordigni componenti questi sciami potrebbero, o meglio potranno, comunicare fra di loro e coordinarsi, senza intervento umano, allo scopo di compiere la loro missione.

Il posto dell’Uomo

Gli uomini crescono, o meglio evolvono, anche grazie alla tecnologia. L’avvento delle macchine autonome, sia in campo militare che civile, non stia cambiando profondamente gli esseri umani. A cominciare da gran parte della fatica fisica gli uomini cedono continuamente facoltà o fardelli una volta a loro esclusivi alle macchine, ricevendone in cambio accrescimenti del potere sul mondo. Abbiamo delegato ai circuiti elettronici buona parte della nostra memoria, la possibilità di orientarci, la tecnica del calcolo. Questo processo ha il suo punto di svolta nel momento in cui, ed è il nostro presente, le macchine stanno imparando ad imparare.

In campo militare, possiamo distinguere grosso modo tre posizioni dell’essere umano in quello che viene chiamato loop, cioè l’ambito operativo di un’arma, ciò che l’arma deve fare nello scenario cui è destinata. Tre posizioni cui corrispondono tre diversi modi di fare la guerra nonché implicazioni etiche, giuridiche, politiche e storiche estremamente diverse tra loro.

La prima è indicata con la proposizione man in the loop: l’operatore umano controlla l’azione della macchina, le impartisce ordini e, punto focale in questo scenario, la fa sparare. È la scena ormai famigliare in quei film dove compare un drone aereo.

La seconda posizione è man on the loop: l’operatore umano impartisce gli ordini di missione alla macchina, la lascia operare e interviene solo se la macchina non fa quello che dovrebbe oppure se nuove contingenze fanno mutare le caratteristiche della missione.

La terza posizione è man out of the loop: gli ordini dati alla macchina sono di carattere generale, che essa esegue “decidendo” modi e tempi; l’umano non interviene se non per attivare la macchina all’inizio dell’azione.

Non bisogna pensare che quest’ultimo modus operandi appartenga esclusivamente al futuro: l’estrema difesa antimissile di navi, basi, porti e così via è affidata, da molti anni, a complessi di armi da fuoco che da sole scoprono, intercettano e cercano di abbattere missili in arrivo; le sentry-weapons (armi sentinella), piccoli robot armati, difendono attivamente basi militari e aeroporti contro intrusi o droni. Si tratta di missioni semplici, che gli uomini delegano alle macchine o perché non sarebbero in grado di svolgerle dati i tempi di reazione ristrettissimi, come nel primo caso, o per non impegnare troppo personale, come nel secondo. Il futuro vedrà ampliarsi e complicarsi le caratteristiche delle missioni: ad aerei senza pilota, a navi e sottomarini senza equipaggi e a veicoli terrestri sarà dato l’incarico di ottenere la supremazia in un certo teatro bellico, di contrastare un attacco, o di eliminare chiunque entro una certa area.

Questioni Etiche e Giuridiche

Una consistente parte della comunità di giuristi, filosofi e scienziati è seriamente preoccupata dall’irruzione dell’Intelligenza Artificiale nel mondo militare (Cracco, 2020; Balistreri, 2015 e 2017). Si teme che gli AWS, se usati in combattimento, possano da una parte facilitare la violazione delle norme del Diritto internazionale umanitario e dall’altra ostacolare l’individuazione delle responsabilità nel caso tali violazioni si verifichino. Queste preoccupazioni sono le stesse, però molto amplificate, rispetto a quelle suscitate in ambito civile: chi incolpare se un’auto a guida autonoma provoca un incidente? Con chi prendersela se un robot chirurgo uccide un paziente? Nel momento in cui si cede quantità di sovranità decisionale ad una macchina, la responsabilità umana si divide, si frantuma ben più rispetto ai tempi in cui gli uomini usavano le macchine, per curare o uccidere qui non importa, in modo del tutto ascrivibile alla sola loro volontà.

Tale mobilitazione ha prodotto la richiesta della messa al bando degli AWS attraverso uno o più trattati internazionali. Si spera, insomma, di ripetere il successo, almeno in termini legali, ottenuto con le mine antiuomo e le bombe a grappolo dette cluster bombs. Per scendere più nello specifico delle motivazioni per queste azioni, si fa notare, in letteratura,[8] che gli AWS: potrebbero rendere più appetibile l’idea di scendere in guerra sia per il minor rischio corso dalle truppe umane sia per la difficoltà per l’opinione pubblica di vigilare sulle operazioni belliche; potrebbero rendere più facile l’esecuzione di crimini di guerra;[9] potrebbero far scomparire del tutto, riducendolo ad una icona su uno schermo, l’identità umana del nemico, così de-umanizzando completamente la guerra; gli AWS assumendo sempre maggiori quote di potere decisionale potrebbero innescare meccanismi conflittuali tali da far perdere il controllo della situazione all’istanza politica; infine, non esiste software che non possa mal funzionare, e soprattutto che non possa essere fatto mal funzionare: di nuovo si correrà il rischio di perdere il controllo di una guerra combattuta più dalle macchine che da uomini.

A fronte di tali preoccupazioni, occorre ricordarsi, onde non nutrire troppe facili illusioni, che le spinte a favore dell’affermazione degli AWS sono formidabili. I costi sono in linea generale molto più bassi dei veicoli con personale, sicché è possibile pensare ad un ritorno delle masse in battaglia, questa volta di metallo e circuiti e non di carne e sangue. Inoltre, cosa molto importante, gli AWS sono sacrificabili, possono essere impiegati in missioni ad alto rischio: la logica del kamikaze non più come extrema ratio e segno di disperazione strategica, come nel Pacifico del secondo conflitto mondiale, ma come opzione praticabile fin dall’inizio delle operazioni. Inoltre gli AWS, se funzionano correttamente, sono armi molto precise e rivolte specificamente, nella maggior parte dei casi, alle strutture e alle forze nemiche e non alle popolazioni civili: fattore che ne rafforza l’appetibilità, anche in termini di consenso all’uso e propaganda.

Insomma, qualsiasi argomento contro gli AWS può essere ribaltato nel suo contrario e viceversa.

Alla base comunque c’è il fatto che la guerra è sempre l’espressione di un certo tipo di società e cultura. La rivoluzione tecnologica che sta cambiando il mondo è di fatto inarrestabile; la contaminazione con il mondo militare inevitabile, e quest’ultimo è ancora l’espressione privilegiata del confronto politico internazionale.[10]

Con questo non si vuole affermare che i tentativi di messa al bando, o di limitazione, di questi ordigni siano illusori e velleitari quanto che, forse, certi successi si verificano più perché convengono agli attori in termini di razionalizzazione della forza militare e non per sincera convinzione. Le mine antiuomo e le submunizioni rilasciate dalle bombe a grappolo hanno il grave difetto di continuare ad esplodere per anni dopo la fine di un conflitto, coinvolgendo anche la parte vincitrice e rendendo difficile cogliere i frutti della vittoria e della pace. I vari Trattati per la limitazione delle armi nucleari (a partire dal SALT1 del 1972) sono serviti a resettare l’equilibrio del terrore su livelli tecnologici più avanzati e non certo a limitare il rischio nucleare, per non parlare di eliminarlo. In sintesi le argomentazioni morali, pur necessarie, non hanno il peso sufficiente a fermare l’avvento degli AWS. Un bando totale quindi è con tutta probabilità fuori dall’orizzonte del possibile; se si parla di limitazioni concordate invece, forse esiste qualche chance in più, purché risultino chiare ai decisori politici e militari le contro indicazioni di maggior peso ad un impiego indiscriminato degli AWS.

Questioni Politiche e Militari

La domanda fondamentale da porsi è: quali sono le condizioni in cui gli AWS potrebbero mettere a repentaglio l’esistenza stessa dell’umanità? Gli scenari di guerra prevalenti in questo scorcio di secolo sono prevalentemente due. Il primo è quello medio orientale, dove il sangue scorre copioso, le rivalità sono profonde e milioni di persone hanno la vita rovinata dall’imperversare degli scontri. Ciò malgrado si può nutrire la speranza che l’uso di AWS (già frequente, soprattutto per via aerea) non lasci il livello tattico, cioè localizzato e limitato perché le risorse a disposizione dei contendenti sono tutto sommato limitate, non tanto a livello finanziario quanto di personale e di infrastrutture logistiche.

Il quadro è molto diverso se ci spostiamo all’altro scenario, il Pacifico/Estremo Oriente. Un eventuale confronto militare tra due potenze quali Stati Uniti e Cina, con i loro alleati, vedrebbe sicuramente un uso massiccio di AWS a livello tattico e strategico con il tentativo dei contendenti di forare e distruggere le rispettive “bolle difensive”[11] in un teatro di migliaia di chilometri quadrati, lungo l’intero spettro elettromagnetico e dai fondali fino allo spazio.

In questo scenario, quello di una guerra convenzionale[12] al massimo livello, si innestano i pericoli di un deragliamento, causato dagli AWS, dagli esiti prevedibilmente catastrofici. Partiamo dal rischio definitivo, quello di un ricorso all’arma nucleare. Ricordiamo quali sono i requisiti per un equilibrio del terrore stabile: a) il fatto che l’attaccato possa accorgersi di essere sotto attacco: ciò si ottiene attraverso mezzi di rilevazione e allarme non preventivamente messi fuori uso dall’attaccante; b) avere a disposizione un tempo ragionevole (ai tempi del climax della Guerra Fredda era mezz’ora al minimo) per lanciare la rappresaglia; c) i mezzi dell’attaccante devono essere rilevabili, cominciando dalle loro traiettorie; d) i mezzi per la rappresaglia dell’attaccato non devono essere preventivamente messi fuori uso dall’attaccante. Soddisfatti questi requisiti di base, la reciprocità è sostanzialmente assicurata, come è accaduto negli ultimi settant’anni di era atomica. Purtroppo, come già sta accadendo nel mondo degli arsenali propriamente nucleari, la tecnologia sta intorbidando una situazione, l’equilibrio del terrore appunto, che invece, pur nella sua tragicità, dovrebbe essere limpida per poter essere stabile. Gli AWS, infatti, sono progettati e costruiti per seguire rotte e profili di volo imprevedibili, spesso a quota bassissima e in un futuro molto prossimo a velocità altissime. Cosa accadrà se ad un certo punto qualcuno caricherà una testata nucleare su un AWS con queste caratteristiche? Oppure se qualcuno comincerà a temere che qualcun altro possa farlo?

Naturalmente, l’altra questione foriera di pericoli di livello esistenziale è la quota di autonomia decisionale lasciata agli AWS. Cosa accadrà se agli AWS, anche se caricati con esplosivo non nucleare, verrà data la possibilità di attaccare bersagli facenti parte, direttamente o indirettamente, del complesso nucleare di uno Stato competitore? O se uno Stato temi che qualche competitore possa farlo?

Sembrerebbe allora che i passi da percorrere verso una limitazione concordata nell’impiego degli AWS riguardino la natura dei carichi bellici da installare e l’elenco dei bersagli da escludere. Può sembrare certamente utopistico, ma tenere separato il livello nucleare (e in genere quello delle armi di distruzione di massa, compresi i virus informatici più devastanti) conviene a tutti gli attori internazionali maggiori. È già accaduto tra USA e Russia, anche se fra tentennamenti e assunzioni di rischio non necessarie. Anche perché l’avvento dell’Intelligenza Artificiale in campo militare è già sufficientemente destabilizzante di suo, in quanto rischia seriamente di intaccare il controllo politico sulla guerra. In questo senso sono legittime le preoccupazioni illustrate precedentemente e vale la pena approfondire un poco la questione.

Che la tecnologia, cioè il “che cosa possiamo fare”, condizioni pesantemente il progetto politico, il “che cosa vogliamo ottenere”, alla base della decisione di scendere in guerra, è un dato di fatto. Si potrebbe forse sostenere che tale condizionamento avvenga per difetto di tecnologia, per eccesso di tecnologia, per distorsione da tecnologia.

Per difetto di tecnologia: credo si possa legittimamente affermare che uno degli handicap più gravi al raggiungimento degli scopi politici del nazismo, attraverso la guerra, fu la mancanza di una aviazione strategica da bombardamento, che invece fu una delle carte vincenti degli angloamericani.

Per eccesso di tecnologia: vale la pena ricordare solo l’immenso potere degli arsenali nucleari che ha inibito la guerra così come gli uomini l’avevano conosciuta, a partire dal raggiungimento della reciprocità nucleare tra USA e URSS.

Per distorsione da tecnologia: troppo condizionati dal loro elefantiaco apparato militare, gli americani non riescono a comprendere i meccanismi storici, politici e militari della guerriglia vietnamita e vanno incontro ad una sonora sconfitta.

Sarebbe errato voler per forza inscrivere la guerra robotica, la guerra degli AWS, in una di queste categorie, peraltro puramente indicative. Il salto tecnologico si sta inverando nel nostro presente, mentre per capire il ruolo dei molteplici fattori bellici occorre una ampia prospettiva storica.

Quello che è certo è che gli AWS sono un formidabile moltiplicatore di forze. Di qualsiasi dimensione e in qualunque ambiente geografico gli AWS si preparano a giocare un ruolo preponderante nei futuri conflitti. Essi incideranno sui principali assi di riferimento che da sempre connotano la guerra (Breccia, 2009): lo spazio/tempo, la mobilità e la potenza di fuoco. Il primo sarà enormemente contratto, grazie alle velocità ipersoniche, alla sostanziale mancanza di limitazioni, per un robot, di accedere a qualsivoglia ambiente, e perfino alle dimensioni che, se le potenzialità attuali saranno realizzate, potranno arrivare alla miniaturizzazione più spinta. Le altre due “dimensioni esistenziali”, la mobilità e la potenza di fuoco saranno certamente esaltate dagli AWS militari. Se sommiamo tutti questi fattori, possiamo rispondere affermativamente alla domanda se la politica e la strategia saranno “stressati” dalla presenza sui campi di battaglia dagli AWS. Non è solo una questione che riguarda la maggior tentazione a scendere in guerra dato che saranno per lo più le macchine a “morire”; è che la catena di comando, civile e militare, avrà meno tempo per decidere e soprattutto, in un futuro non lontano, sarà sempre più difficile per gli umani elaborare modelli tattici e strategici che non siano ispirati, dettati o imposti dalle macchine.

Tornando per un attimo a quello che si è detto prima, è difficile stabilire se siamo in presenza di un eccesso di o una distorsione da tecnologia, perché le novità portate dagli AWS sono, e saranno, più di natura qualitativa che quantitativa. In altre parole, qui le macchine da guerra non saranno in difetto (carenze militari tedesche), né troppo distruttive (equilibrio del terrore) né inadatte ad un particolare scenario conflittuale (Vietnam). Ad esempio, poiché è il software di queste macchine quello che conta, l’imprevedibilità del loro comportamento, anche in assenza di malfunzionamenti, può risultare particolarmente inquietante per chi si trova a fronteggiarne un attacco: cosicché il nemico potrebbe essere indotto a reazioni spropositate, tali da aggravare inutilmente la situazione sul campo.

Un nuovo tipo di onnipotenza impotente?

I futuri e prevedibili progressi negli AWS fanno sorgere anche un’altra domanda: potrà mai esistere una nuova deterrenza creata dagli AWS, o meglio dall’Intelligenza Artificiale in essi incorporata, simile negli effetti, non nei modi, a quella nucleare? Detto in altri termini, gli AWS necessariamente renderanno più facile la guerra o, come è accaduto per gli arsenali nucleari, la cacceranno in un vicolo cieco?

Prima di riflettere su questa questione, ricordiamo che gli AWS possono danneggiare l’equilibrio del terrore nucleare in due modi: portando carichi nucleari, o comunque di sterminio di massa, con velocità e traiettorie imprevedibili oppure attaccando, in modo convenzionale, siti di interesse primario, specialmente quelli coinvolti nel sistema di deterrenza nucleare.

Detto ciò, la deterrenza nucleare regge, alla fin fine, perché gli effetti del suo fallimento sono prevedibili, incontestabili e interessano non solo i contendenti ma tutto il pianeta. Infatti si parla di Mutua Distruzione Assicurata. Chiunque cominci un attacco nucleare farà la stessa fine di chi invece sarà attaccato. La guerra convenzionale, invece, è il regno della possibilità e la parola vittoria ha ancora un senso perché la tecnologia usata non è mai perfettamente distribuita tra i contendenti in modo speculare; inoltre i danni inferti o subiti, oltre a prodursi distribuiti nel tempo, non raggiungono mai la soglia dell’apocalisse. Si può essere sconfitti, certo, e devastati ma se la pace successiva sarà abbastanza lunga si potrà risorgere. Ciò si è verificato dal Neolitico fino ad oggi, e da Hiroshima in poi abbiamo assistito ad una divaricazione della guerra: quella nucleare si è trasformata in competizione tecnologica e politica senza mai inverarsi, una sorta di virtualità produttiva di numerosi effetti tranne quello definitivo; invece quella convenzionale ha continuato a produrre Storia insieme ad altre centinaia di fattori.

Così è continuato anche il rapporto tra politica e guerra e abbiamo potuto continuare a leggere Clausewitz senza sentirci obsoleti. Ogni guerra, ma a questo punto ogni guerra convenzionale, nasce da scopi politici ed è, bene o male, diretta dall’istanza politica. Con questo non si vuole affermare che non esista una politica dell’equilibrio del terrore: ma si tratta di una condizione sui generis, che trae la sua originalità, con cui conviviamo da quasi ottanta anni, dallo strapotere della tecnologia nucleare. Una tecnologia che nasce da una realtà fisica, quella che presiede alla vita delle stelle, che è del tutto fuori scala rispetto all’Umano. Cosicché gli umani gestiscono sì il nucleare ma in realtà ne sono posseduti: come dice il detto orientale, sono riusciti a salire in groppa alla tigre nucleare ma non riescono a scenderne.

Hiroshima è stato un punto di svolta, una “singolarità”, termine mutuato dalla fisica per indicare un cambio di stato, un’irreversibile frattura tra il prima e il dopo. Oggi, molti concordano[13] nel pensare che l’avvento dell’Intelligenza Artificiale tra gli umani rappresenti una nuova “singolarità”. La cosa non è difficile da comprendere, almeno in termini razionali: ci si dovrà confrontare con una nuova Intelligenza, con un nuovo Cervello, con pari, o forse superiori, capacità di quello umano. Onde non sconfinare in campi ignoti, restiamo in ambito militare.

In effetti, gli AWS dimostrano che è in atto una nuova corsa agli armamenti, diversa da quelle storicamente conosciute.[14] Il futuro ci mostrerà come non è più tanto la potenza di fuoco, con annesso livello crescente di distruzione, a contare (anche perché con le armi nucleari abbiamo già raggiunto la massima potenza distruttiva raggiungibile), quanto la quantità di dati e informazioni necessarie a recapitare il fuoco sull’obiettivo delegabile alle macchine. Ribadiamo poi che oggi il “fuoco” non è più solo l’esplosivo, ma anche l’informazione e gli algoritmi in grado di disarticolare le strutture informatiche del nemico di turno. Inoltre, a ben guardare, la rivoluzionaria corsa agli armamenti rappresentata dagli AWS è molto più “democratica”, cioè alla portata di moltissime entità anche non statuali, rispetto ai parchi di artiglierie, alle aviazioni, alle navi da guerra, per non parlare degli apparati riservati ai “pochi felici” del club nucleare. Dunque è molto più difficile ipotizzare uno stato di equilibrio che, per così dire, congeli la situazione, così come è accaduto per l’equilibrio del terrore nucleare; non si parla tanto di tecnologia (che anzi, a livello di vettori e testate, è sempre stata in corsa) quanto di regole, di codici di comportamento: ne abbiamo già accennato, le cose da non fare per mantenere la pace atomica stabile sono note, anche se poi spesso si è usciti dalla retta via. Ma per i robot guerrieri la faccenda è molto più complicata, perché il sapere informatico è molto più diffuso, a costi minori e con strutture, infrastrutture e logistica molto più elementare.

C’è di più: la “democratizzazione” degli AWS comporta anche, rispetto al nucleare, che è molto più difficile identificare i possessori di queste macchine. Chi siano i gestori degli arsenali nucleari è noto a tutti; oggi è abbastanza agevole identificare chi ha droni in una certa quantità, ma è probabile che la situazione, a livello conoscitivo, sfugga di mano in prossimo futuro, facendo così aumentare il livello di ansia a livello globale. Ansia che non va molto d’accordo con un sistema di deterrenza stabile.

Volendo sintetizzare, insomma, credo si possa sostenere che, al momento e nel prevedibile futuro, gli AWS, pur essendo marcatamente innovativi, non ricalcheranno la storia degli armamenti nucleari che fin da subito, o perlomeno dal momento in cui si è instaurata la reciprocità della minaccia tra USA e URSS, si sono imposti con una eccezionalità del tutto peculiare dovuta alla loro enorme potenza distruttiva. Gli AWS appartengono, come detto sopra, al regno della guerra convenzionale, cioè della guerra possibile perché vincibile.

La guerra convenzionale è fortemente definita dagli scenari operativi. Stiamo già osservando un massiccio uso di AWS nei teatri di guerra africani, dove i livelli di conflittualità variano dalla bassa intensità (Israele contro Hamas, Mali, Eritrea, e così via) a quelli, ben superiori, osservabili in quei teatri dove la posta in gioco è un intero paese una volta sovrano, come in Siria o in Libia. In questi contesti, gli impieghi delle macchine guerriere sono costituiti essenzialmente da ricognizione, sorveglianza di siti, uccisioni mirate, attacchi “suicidi” contro vari tipi di installazioni nemiche.

Non è detto però che tale condizione permanga in un futuro proiettabile verso i decenni della metà del secolo. Purtroppo vi sono zone del mondo, molto spesso ricchissime di materie prime, in cui la sopravvivenza delle popolazioni è messa fortemente a rischio dalla convergenza di crisi che sono ben note. In tali contesti, non è eccessivamente pessimistico attendersi un uso molto più violento e indiscriminato di macchine che potrebbero svolgere il “lavoro sporco” oggi affidato a bambini soldato, mercenari di organizzazioni private e miliziani, a costi inferiori e meno facilmente rintracciabili dai media internazionali, che già non brillano per la particolare attenzione a ciò che accade nei suburbi del mondo.

Anche a livello di scontro convenzionale tra grandi Stati, gli AWS sono facilitatori di guerra e non inibitori. Abbiamo già ricordato i vantaggi operativi che essi offrono a tutti i gradi del combattimento, dalla squadra di fanti fino alle grandi operazioni multi-ambiente. Ci sono buone probabilità che uno scontro tra Stati Uniti e Cina ricalchi quello visto nel Pacifico durante l’ultimo conflitto mondiale.

  Potremmo affermare però che esiste una piccola possibilità che gli AWS facciano un cattivo servizio agli eserciti contemporanei. Provati in grandi quantità e in grandi operazioni potrebbero fallire, risultando macchine troppo complesse, inaffidabili e in senso generale poco gestibili dal punto di vista politico; ne potrebbe risultare, se l’umanità fosse fortunata, uno stallo o un arresto nel conflitto. Potrebbe verificarsi anche il contrario ma con i medesimi esiti finali: una tale devastante efficienza da ridurre in modo significativo la voglia e la capacità di combattere più a lungo. Certo i due casi dovrebbero interessare tutti i contendenti in campo, qualitativamente se non quantitativamente; un po’ come accade per la deterrenza nucleare: non tutti hanno lo stesso numero di testate, ma tutti sono passibili di danni inaccettabili se la deterrenza fallisse.

Conclusioni

Considerati i vantaggi operativi ed economici che favoriscono l’uso di sistemi d’arma autonomi, espressione peraltro di una evoluzione della società verso una sempre più pervasiva informatizzazione, vi sono ben scarse possibilità di arrivare ad un bando totale di tali armi. Forse più percorribile, in quanto basata sulla convenienza almeno dei paesi più importanti militarmente, è l’ipotesi di un accordo internazionale per impedire che sui vettori AWS, sempre più autonomi e sempre più veloci, siano installati carichi bellici costituiti da armi di distruzione di massa; cosa questa, che se invece realizzata, metterebbe a serissimo rischio la tenuta dell’equilibrio nucleare internazionale.

A livello di guerra convenzionale invece, vi è da attendersi un largo uso degli AWS in tutti i tipi di ambienti operativi e nella maggior parte dei teatri di crisi. Ciò potrebbe sfociare in pratiche di killeraggio di massa nelle aree più povere del mondo e in scontri ad altissimo livello tecnologico tra gli attori internazionali più evoluti.


Bibliografia

Adams Thomas K., «Future Warfare and the Decline of Human Decision-making», Parameters, Winter 2011-12 ‘online’

Alfieri, Luigi, 2012, La stanchezza di Marte: Variazioni sul tema della guerra, 2.a edizione accresciuta, Perugia, Morlacchi Editore

AMOROSO Daniele, TAMBURRINI Guglielmo, 2019, <<I sistemi robotici ad autonomia crescente tra etica e diritto: quale ruolo per il controllo umano?>>, BioLaw Journal – Rivista di BioDiritto, n. 1, pp. 33 – 51

ANNATI Massimo, 2019, <<Autonomous Weapon Systems>>, Rivista Italiana di Difesa, n. 4, 2019, pp. 63

BALISTRERI Maurizio, 2015 <<Umanità e integrità del soldato potenziato: alcune riflessioni di bioetica militare>> Etica & Politica / Ethics & Politics, XVII, n. 1, pp. 127 – 146.

BALISTRERI Maurizio, 2017, <<Robot Killer. La Rivoluzione Robotica nella Guerra e le Questioni Morali>> Etica & Politica / Ethics & Politics, XIX, n. 2, pp. 405 – 430.

BOBBIO Norberto, 1979, Il problema della guerra e le vie della pace, I ed., II ed. 1997, Bologna, il Mulino.

BOULANIN Vincent; VERBRUGGEN, Maaike, 2017, Mapping the Development of Autonomy in Weapon Systems, Stockholm, SIPRI, 2017, ‘online’.

BRECCIA Gastone, 2009, L’arte della guerra da Sun Tzu a Clausewitz, Torino, Einaudi

CHAMAYOU Grégoire, 2014, Théorie du drone, La Fabrique, 2013, trad. it. Teoria del drone: Principi filosofici del diritto di uccidere, Roma, Derive Approdi.

CLAUSEWITZ Carl von, 2000, Vom Kriege, trad. it. Della guerra, nuova edizione a cura di Gian Enrico Rusconi, Torino, Einaudi.

COLOMBO Alessandro, 2006, La guerra ineguale: Pace e violenza nel tramonto della società internazionale, Bologna, Il Mulino.

CONIGLIO Sergio, 2020, <<La corsa agli armamenti ipersonici>>, Rivista Italiana di Difesa, n. 11, pp. 48 – 60

CRACCO Leonardo, 2020, <<Machine ethics: stato dell’arte e osservazioni critiche>>, Filosofia, anno LXV, 2020, pp. 9 – 16, Milano, Mimesis Edizioni, 2020

DE LANDA Manuel, 1996, War in the Age of Intelligent Machines, [S.l.], Urzone Inc., 1991, trad. it. La guerra nell’era delle macchine intelligenti, Milano, Feltrinelli.

EVANS Hayley; SALMANOWITZ Natalie, 2019, Lethal Autonomous Weapon Systems Recent Developments, Lawfare, ‘online’

FELT Coley, 2020, Autonomous Weaponry Are Killer Robots in Our Future?, Washington D.C., The Henry M. Jackson School of International Relations, 2020, ‘online’

FUTURE OF LIFE INSTITUTE, s.d., Lethal Autonomous Weapons Systems, ‘online’

GAZA Cinzia Rita, 2012, Morire, uccidere: L’essenza della Guerra, Milano, Franco Angeli, 2014.

HEISBOURG François, 1999, The future of Warfare, S. l., copyr. F. Heisbourg, 1997, trad. it. Il futuro della guerra. Milano, Garzanti.

HILLMAN James, 2005, A Terrible Love of War, Penguin Press, 2004, trad. it. Un terribile amore per la guerra, Milano, Adelphi,2005.

HUNTINGTON Samuel P., 2000, The Clash of Civilizations and the Remaking of the World Order, New York, Simon & Schuster, 1996, trad. it. Lo scontro di civiltà e il nuovo ordine mondiale: Il futuro geopolitico del pianeta, Milano, Garzanti.

IARIA Adriano, 2018, <<Da autonomi a completamente autonomi: l’applicazione dell’Intelligenza Artificiale nei sistemi d’arma autonomi (LAWS)>> Rassegna della Giustizia Militare: Rivista della Giustizia e della Procedura Penale Militare, n. 6, pp. 24-32.

<difesa.it/Giustizia_Militare/rassegna/Pagine/default.aspx >

INTERNATIONAL COMMITTEE OF THE RED CROSS, 2014, Autonomous Weapon Systems: Technical, Military, Legal and Humanitarian Aspects, (Expert Meeting, Geneva, Switzerland 26 to 28 March 2014), Geneva, ICRC, 2014, ‘online’

IRIAD (Istituto di Ricerche Internazionali – Archivio Disarmo), 2020, LAWS: Lethal Autonomous Weapon Systems: La questione delle armi letali autonome e le possibili azioni italiane ed europee per un accordo internazionale, Aprile 2020, ‘online’

JEAN Carlo, 2004, Manuale di studi strategici, Milano, Franco Angeli.

JEAN Carlo, 2006, <<La guerra virtuale>>, in Rastelli Carlo, Cerino Badone Giovanni (curr.), Storia della guerra futura, Roma, Società Italiana di Storia Militare, 2006, Atti del Convegno, Varallo, 22 settembre 2006.

KLARE Michael T., 2019, Autonomous weapons systems and the Laws of War, Washington D.C.,Arms Control Association, 2019,‘online’

LEWIS Dustin, 2020, An Enduring Impasse on Autonomous Weapons, Just Security, ‘online’

MARAZZI Antonio, 2012, Uomini, cyborg e robot umanoidi: Antropologia dell’uomo artificiale, Roma, Carocci

METZ Steven, CUCCIA Phillip, 2011, Defining War for the 21ST Century, 2010 SSI Strategy Conference Report

< StrategicStudiesInsitute.army.mil>

NATIONAL SECURITY COMMISSION on ARTIFICIAL INTELLIGENCE, 2021, Draft Final Report, ‘online’

PANWAR R.S. (Lt. Gen), <<Lethal Autonomous Weapon Systems: Slaves not Masters! Conflict Scenarios, Autonomy and Unpredictability>>, academia.edu, (online)

PANWAR R.S. (Lt. Gen), <<Lethal Autonomous Weapon Systems: Slaves not Masters! Meaningful Human Control, saving Lives and Non-Feasibility of a Pre-Emptive Ban>>, academia.edu, (online)

PIREDDU Mario, TURSI Antonio (cur.), 2006, Post-umano: Relazione tra uomo e tecnologia nella società delle reti, Milano, Guerini & Associati.

PUTTRÉ Michael, 2003, <<Armi guidate da satellite>>, Le Scienze: ediz. italiana di Scientific American, n. 415, marzo, pp. 54-63.

QUARANTA Paolo, 2013, <<Evoluzione tecnologica in campo UAV>>, Rivista Italiana di Difesa, n. 2/2013, pp. 72 – 79

QUARANTA Paolo, 2021, <<Lo stato della robotica militare>>, Rivista Italiana di Difesa, n. 7/2021, pp. 64 – 72

QUIAO Liang, WANG Xiangsui, 2001, Guerra senza limiti: L’arte della guerra asimmetrica fra terrorismo e globalizzazione (cur.Fabio Mini), Gorizia, Libreria Editrice Goriziana.

RIVISTA ITALIANA DI DIFESA, L’evoluzione degli scenari e le operazioni multi-dominio, X-tra’: Gli Speciali di RID, n. 22, (all. n.12/2020)

RUSCHI Filippo, 2016, <<Il volo del drone: Verso una guerra post-umana? Una riflessione di Filosofia del Diritto Internazionale>>, Jura Gentium, n. 1, pp. 1 – 28

SFERRAZZA PAPA Ernesto, 2016, <<Nuovi spazi, nuove armi, vecchi nemici: Carl Schmitt e la critica filosofica del potere aereo>>, Jura Gentium, XIII, n. 1, pp. 37 – 62

SHAW Ian, 2017, <<Robot Wars: US Empire and geopolitics in the robotic age>>, Security Dialogue, 2017, Vol. 48 (5), pp. 451-470. ‘online’

SINGER Peter W., 2009, <<Wired for War? Robots and Military Doctrine>>, JFQ, issue 52, 1st quarter

SINGER Peter W., 2010, <<La Guerra delle macchine>>, Le Scienze: ediz. italiana di Scientific American, n. 505, settembre, pp. 80 – 87

SIPRI, 2017, Problematics of Autonomous Weapon Systems in Terms of International Weaponry Law and Politics, Stockholm, SIPRI, 2017, ‘online’.

STAUFFER Brian, 2020, Stopping Killer Robots: Country Positions on Banning Fully Autonomous Weapons and Retaining Human Control, New York, HRW, 2020, ‘online’

SUN TZU, 1988, L’arte della guerra, (cur. A. Corneli), Napoli, Guida.

TAMBURRINI Guglielmo, 2018, <<Per la messa al bando delle armi autonome: ragioni morali e deliberazioni politiche>> (penultimate version) in D’ANTUONO Emilia (cur.), 2018, Dignità, libertà e ragione bioetica, (Quaderni di Bioetica, vol. 10), Miliano, Mimesis, pp. 263 – 282

TOGNOCCHI Martino, 2018, Drone warfare and the metamorphosis of battlefield: security, space and technology, Leiden, Leiden University-MAIR Thesis Seminar, 2018, ‘online’

VICENTE João, 2017, <<Glimpses of Tomorrow: the Coming Age of Autonomous Air Warfare>>, Nação e Defesa, n. 146, pp. 66-84. ‘online’


Wirtz James J., 2018, <<How Does Nuclear Deterrence Differ from Conventional Deterrence?>>, Strategic Studies Quarterly, Winter 2018, pp. 58 – 75. ‘online’

[1] Il presente articolo vuole essere un approfondimento di un mio saggio del 2020, la cui versione italiana, «Macchine Guerriere Autonome», si trova nel numero monografico della rivista Filosofia, Quarta Serie, Anno LXV, 2020, Milano, Mimesis Edizioni, pp. 51-62, anche online «Filosofia (mimesisedizioni.it»; la versione inglese, Between TINA and SNAFU: Autonomous War Machines, è alla mia pagina su academia.edu. Per chi non ne avesse a sufficienza, alla stessa pagina compare anche La guerra robotica e post-umana ha messo in crisi il modello clausewitziano della guerra?

[1] Personalmente, sono tentato di escludere dal novero delle armi autonome ordigni quali i palloni incendiari che i giapponesi tentarono di inviare sugli USA durante la II^ G.M. e, soprattutto, le mine. Tutti questi sono ordigni passivi, abbandonati a sé stessi, incapaci di distinguere i bersagli.

[2] Tra gli esempi storici che si possono citare, il Goliath, un mezzo corazzato radiocomandato via cavo, utilizzato dai tedeschi nella II^G.M. come demolitore; il missile anticarro TOW, americano, che in volo si portava dietro un sottile filo da cui riceveva i comandi.

[3] La bomba planante radioguidata tedesca FX1400 affondò la corazzata Roma il 9 settembre 1943…Da allora le armi guidate a distanza, semi-autonome o quasi autonome si sono moltiplicate. Vale la pena ricordare anche la V1, sempre tedesca, che terrorizzò gli inglesi a partire dal giugno 1944.

[4] J. Vicente, in un saggio raccomandabile per l’estrema chiarezza e la ricca bibliografia (Vicente, 2017), distingue quattro livelli di autonomia: 1) macchine controllate da remoto e da umani; 2) macchine che possono svolgere vari compiti a loro delegate da umani, come ad esempio l’auto-pilota nei velivoli commerciali; 3) macchine con supervisione e controllo umani a livello generale, ma per il resto libere di decidere il da farsi; 4) macchine con istruzioni molto generali e di fondo, per il resto libere di interpretare e mettere in pratica da sole le istruzioni ricevute. L’autore fa notare che questo livello si caratterizza dal fatto che gli umani potrebbero intervenire solo in caso di emergenza o per cambiamento degli obiettivi di fondo; cosa, tra l’altro, che comporterebbe un inevitabile ritardo nella ripresa del controllo umano; e in guerra il tempo è oro…

[5] Uno step importante è rappresentato dai missili cruise: operativi, nella loro forma matura dopo una lunga storia, a partire dagli anni ’80 sono significativi sia per la loro traiettoria, non balistica ma a profilo del terreno, sia per la capacità di cambiare rotta in volo e infine per il carico bellico, che può essere anche di natura nucleare. Sotto quest’ultimo aspetto i cruise sono stati, e sono tuttora, una minaccia alla stabilità dell’equilibrio del terrore, in quanto non facilmente rilevabili. Tale caratteristica li accumuna ai contemporanei AWS e spiega perché, come diremo dopo, è di fondamentale importanza prestare attenzione alla questione dei carichi bellici.

[6] Molte fonti aggiungono la “L” di Lethal..

[7] In Coley (2020) si trova la definizione più estesa tratta dalla Directive 3000.09 del 2012 del Dipartimento della Difesa USA per la quale gli AWS possono essere definiti come “a weapon that, once activated, can select and engage targets without further intervention by a human operator. This includes human-supervised autonomous weapon systems that are designed to allow human operators to override operation of the weapon system, but can select and engage in targets without further human input after activation”. Si confrontino anche: AMOROSO Daniele, TAMBURRINI Guglielmo, 2019; BALISTRERI Maurizio, 2017; BOULANIN Vincent, VERBRUGGEN, Maaike, 2017; INTERNATIONAL COMMITTEE OF THE RED CROSS, 2014.

[8] Per una trattazione in lingua italiana veramente esaustiva, cfr. IRIAD, 2020.

[9] Un progetto attuabile già con la tecnologia attuale potrebbe essere quello di insegnare alle macchine ad uccidere solo individui con caratteristiche somatiche ben individuabili, come il colore della pelle.

[10] Si tratta della “Trappola di Tucidide”, espressione coniata dal politologo americano G. Allison. Lo storico greco individuò, come causa scatenante della Guerra del Peloponneso, l’ansia di Sparta per il crescere dell’espansionismo ateniese. Allison ne ricavò una sorta di regola generale: qualsiasi attore internazionale teme, anche al di là del razionale, il ruolo di altri attori.

[11] Le bolle A2AD (Anti-Access/Area-Denial) sono sistemi difensivi multistrato, multi-ambiente e a 360°, composti da sensori, radar, missili, droni, che hanno il compito di impedire l’accesso ad un nemico su estensioni di centinaia o migliaia di chilometri quadrati o, come dice la seconda parte della sigla, di impedire al nemico di operare all’interno della bolla una volta esso fosse riuscito ad entrarvi. Questi equivalenti elettronici delle antiche fortezze sono il costituente essenziale del panorama dei futuri campi di battaglia; ne sono già operative alcune, entrambe ad opera delle forze armate russe, in Siria e nel Donbass.

[12] Ricordiamo che per “guerra convenzionale” si intende un conflitto in cui non sono impiegate armi di distruzione di massa, nucleari, chimiche e biologiche.

[13] Cfr., ad esempio, Iaria 2018, Marazzi 2012, NATIONAL SECURITY COMMISSION on ARTIFICIAL INTELLIGENCE 2021.

[14] Cfr. Klare M.T. 2019

Be First to Comment

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *