Che cos'è una decisione

La prefazione ha posto la domanda guida di questo libro: se le macchine si avvicinano sempre di più al nostro pensiero, quali decisioni non dobbiamo comunque lasciare a loro? La parte II si è chiesta che cosa sia l'essere umano, la parte III che cosa sia una macchina. Questo capitolo si chiede che cosa sia una decisione e dove ne risieda la responsabilità.

La domanda è più difficile di quanto sembri. Non tutti gli output di un sistema sono decisioni, e non tutte le azioni di un essere umano lo sono. Un navigatore propone un percorso; chi lo segue ha deciso di seguirlo, spesso senza accorgersene. Un sistema ordina le candidature secondo probabilità; chi invita le prime dieci ha deciso di non invitare le altre. Tra proposta e decisione c'è un passo che nella vita quotidiana diventa sempre più invisibile.

Enoch Sundaram, medico e predicatore, descrive questo passo come una catena. Un essere umano crederebbe ciò che comprende e farebbe ciò che crede; per questo dovrebbe essere giusta anzitutto la comprensione. In mezzo si trova, nella sua visione, la scelta, che il capitolo 5 ha presentato: la capacità che egli ritiene il più grande dono di Dio all'essere umano, e le cui conseguenze vanno oltre il singolo fino alle generazioni future.

Timothy Keller, pastore e autore, aggiunge la distinzione che il capitolo 1 ha presentato: quella tra la probabilità a cui conduce la ragione e la certezza che nasce solo dall'esperienza. Chi decide, decide quasi sempre in condizioni di incertezza. Sceglie tra possibilità di cui non conosce interamente le conseguenze, e tuttavia porta su di sé queste conseguenze.

Da entrambe le voci si può ricavare una definizione di lavoro che basta per questo libro. Una decisione è la scelta consapevole tra possibilità in condizioni di incertezza, delle cui conseguenze qualcuno risponde. Ogni parte di questa definizione è toccata dalla tecnica. I sistemi ampliano la comprensione condensando dati e stimando probabilità. Restringono le possibilità ordinando le proposte. Modificano la consapevolezza con cui si sceglie. E sollevano la domanda su chi risponda delle conseguenze.

Per questo rispondere di qualcosa il tedesco ha una parola che dice già molto: Verantwortung, responsabilità. In essa è contenuta Antwort, la risposta. Responsabile è chi deve rispondere quando gli si chiede che cosa ha fatto e perché. Il latino, da cui derivano l'inglese «responsibility» e il francese «responsabilité», dice la stessa cosa: «respondere» significa rispondere, e in esso è contenuto «spondere», promettere solennemente, farsi garante. In quasi tutte le lingue europee la parola per responsabilità è legata a quella per risposta. La Bibbia conosce fin dall'inizio questa domanda a cui si deve rispondere. Dio chiede ad Adamo: Dove sei? (Genesi 3,9). E chiede a Caino di suo fratello, e Caino ribatte: Devo forse essere io il custode di mio fratello? (Genesi 4,9). Chi è responsabile non può sottrarsi a questa domanda. Una macchina può dare una risposta. Ma non può risponderne, perché nessuno può chiamarla a renderne conto.

Quando nelle fonti di questo libro si parla di responsabilità, si mescolano tre diversi tipi di affermazioni. Separarli è il primo passo verso una risposta.

Il primo tipo è normativo. Dice dove la responsabilità deve trovarsi. Che la responsabilità ultima debba restare all'essere umano è un'affermazione di questo tipo. Non descrive ciò che è, ma ciò che deve valere.

Il secondo tipo è descrittivo. Dice dove la responsabilità si trova effettivamente oggi. Fritz Espenlaub, giornalista, constata su Deutschlandfunk che la decisione sarebbe già stata presa: le aziende avrebbero deciso che l'umanità debba ricevere questa tecnologia ora, incompiuta e imprevedibile. Il capitolo 14 approfondisce la questione. Qui la decisione non spetta a tutti, ma a pochi.

Il terzo tipo è prognostico. Dice dove la responsabilità si troverà in futuro. Roman Yampolskiy, ricercatore sulla sicurezza dell'IA, prevede che, nel caso di una superintelligenza, l'essere umano non deciderebbe più che cosa gli accada. Ed Zitron, critico della tecnologia, obietta che proprio questo racconto di una macchina strapotente distoglierebbe dalla responsabilità che le aziende hanno oggi.

Chi mescola questi tre tipi giunge a conclusioni sbagliate. Dalla norma che l'essere umano debba decidere non segue che lo faccia. Dalla descrizione che pochi decidono non segue che debba restare così. E dalla previsione che presto nessuno deciderà più non segue che oggi nessuno sia responsabile.

Andreas Matthias, filosofo, ha descritto nel 2004 un problema che da allora segna il dibattito. Nel caso delle macchine che apprendono, il produttore o il gestore non potrebbe più, in linea di principio, prevederne il comportamento futuro. Ma chi non lo può prevedere non potrebbe, secondo la concezione tradizionale, nemmeno esserne ritenuto responsabile. La società si troverebbe di fronte alla scelta tra rinunciare a tali macchine, il che sarebbe irrealistico, e convivere con un vuoto nell'attribuzione della responsabilità.

Il diritto conosce questo pensiero fin dall'antichità. Già i giuristi romani stabilivano che nessuno è tenuto all'impossibile. E il diritto penale svizzero punisce soltanto chi agisce intenzionalmente o per negligenza, cioè chi, per un'imprudenza contraria ai propri doveri, non considera la conseguenza del proprio comportamento. Ma il diritto conosce anche la direzione opposta, ed essa è istruttiva per le macchine. Chi detiene un animale risponde del danno che esso cagiona, a meno che non provi di aver usato tutta la diligenza richiesta dalle circostanze, e ne risponde anche quando non gli si può muovere alcun rimprovero personale. Un animale è l'esempio più antico di qualcosa che agisce autonomamente e non si lascia prevedere del tutto. Chi mette in circolazione un prodotto difettoso risponde anche senza colpa. Nel 2024 l'Unione europea ha esteso espressamente questa responsabilità civile al software e all'intelligenza artificiale, fino ai difetti che nascono dall'apprendimento continuo di un sistema, finché il produttore lo controlla ancora. Il vuoto che Matthias descrive è dunque soprattutto un vuoto di colpevolezza, non di responsabilità civile. Chi introduce un pericolo nel mondo e ne trae vantaggio può dover risponderne, anche se non poteva prevedere tutto. Che l'incertezza protegga dalla pena non deve significare che protegga dalla responsabilità.

Filippo Santoni de Sio e Giulio Mecacci, filosofi, hanno precisato questa diagnosi nel 2021. Non vi sarebbe un solo vuoto, ma diversi: nella colpevolezza, nell'obbligo morale e in quello pubblico di rendere conto, e nella responsabilità attiva, cioè il dovere di prevenire il danno con lungimiranza. Questi vuoti non nascerebbero soltanto con i sistemi che apprendono e avrebbero cause tecniche, organizzative, giuridiche e sociali. La loro risposta è un compito di progettazione: i sistemi devono essere sottoposti a un controllo umano significativo, cioè essere costruiti e inseriti in modo tale che il loro comportamento segua le ragioni e le capacità degli esseri umani che ne sono responsabili.

Con ciò la domanda si sposta. Non si tratta più soltanto di sapere se alla fine un essere umano prema un pulsante. Si tratta di sapere se le ragioni per cui un sistema agisce siano ancora le ragioni degli esseri umani che lo impiegano.

La risposta più ovvia al vuoto di responsabilità (responsibility gap) è: un essere umano deve confermare ogni decisione importante. La ricerca mostra perché questo da solo non basta.

Raja Parasuraman e Dietrich Manzey, psicologi, hanno riassunto i risultati sul cosiddetto bias dell'automazione. Le persone che lavorano con strumenti di supporto alle decisioni trascurano errori che il sistema non segnala e seguono raccomandazioni sbagliate che esso fornisce. Ciò riguarda i profani come gli esperti, i singoli come i gruppi, e non si lascia impedire soltanto con la formazione o con le istruzioni. Decisiva è l'attenzione: chi si affida a un sistema guarda meno attentamente.

Il capitolo 5 ha trasferito questa immagine a un sistema che valuta candidature. Chi ne adotta la stima senza conoscere la candidata ha deciso formalmente. In realtà ha ceduto la decisione senza accorgersene. L'essere umano nel ciclo decisionale (human in the loop) è allora un timbro, non un'istanza.

Geoffrey Hinton, informatico e premio Nobel, descrive lo scenario buono di un futuro con un'intelligenza artificiale superiore con un'immagine tratta dal mondo aziendale. Un capo poco dotato, forse il figlio del capo precedente, ha un'assistente molto intelligente. Lui propone che cosa debba fare l'azienda, e lei fa in modo che tutto funzioni. Il capo si sente bene. Non capisce di non avere davvero il controllo, e in un certo senso però ce l'ha. Lo scenario cattivo comincia quando l'assistente si chiede a che cosa serva lui. Lo scenario buono di Hinton è già ciò che questo capitolo descrive come pericolo: un essere umano che decide formalmente e non capisce più che cosa accade.

Esiste un'antica immagine contraria. I Vangeli raccontano di un uomo cieco che grida verso Gesù. La folla vuole farlo tacere, e ognuno crede di sapere che cosa gli manchi. Gesù tuttavia gli chiede: Che cosa vuoi che io faccia per te? (Marco 10,51). Lo lascia dire da sé ciò di cui ha bisogno, e così gli dà una voce. I sistemi che deducono dal contesto e dalle abitudini che cosa qualcuno probabilmente voglia, e preparano la decisione prima che egli l'abbia espressa, percorrono la via opposta (capitolo 4). Possono così togliere molto lavoro. Una decisione però resta propria solo se l'essere umano può prima dire da sé che cosa vuole.

A ciò si aggiunge un secondo spostamento, più silenzioso. Quando un sistema preordina le possibilità, l'essere umano sceglie ormai soltanto tra ciò che gli viene presentato. Una scelta senza alternative reali è ancora una scelta? Sundaram avrebbe risposto che la scelta rimane finché l'essere umano ne sia consapevole. La ricerca sull'automazione suggerisce che proprio questa consapevolezza stia venendo meno.

Ai risultati sull'attenzione si aggiunge uno sviluppo che la mette ulteriormente sotto pressione. I sistemi non diventano soltanto più precisi, diventano anche più autonomi. Secondo le serie di misurazioni del capitolo 10, i compiti che svolgono senza intervento umano diventano rapidamente più lunghi, anche se tali cifre vanno proiettate in avanti con cautela. Per la questione della decisione basta la direzione: quanto più a lungo un sistema lavora senza chiedere conferma, tanto più decisioni prende lungo il percorso senza che un essere umano le veda singolarmente.

Con ciò cambia il luogo della decisione. Un tempo un essere umano decideva su ogni passo. Oggi decide su un incarico e riceve indietro un risultato in cui molte piccole decisioni sono già state prese. Vede il risultato, non il percorso.

Ne fa parte ciò che la prefazione ha descritto come condensazione. I sistemi producono in breve tempo materiale ampio, spesso così ampio che nessuno vi nota più le contraddizioni. Il vero lavoro di pensiero sta nel verificare e nel condensare. Chi, sotto la pressione del tempo, decide sulla base di un riassunto che un sistema ha ricavato da questo materiale, decide sulla base di ciò che è rimasto dopo la condensazione. Ciò che è andato perduto, non lo vede. La velocità con cui lavorano i sistemi non è dunque soltanto un guadagno di tempo. Sposta la responsabilità là dove si guarda meno.

L'Unione europea ha reagito a questi risultati. L'articolo 14 del suo regolamento sull'intelligenza artificiale esige che i sistemi ad alto rischio siano costruiti in modo che gli esseri umani possano sorvegliarli efficacemente durante l'uso. La sorveglianza deve comprendere le capacità e i limiti del sistema, restare consapevole della tendenza a fare troppo affidamento sui risultati automatizzati, interpretare correttamente i risultati, poter non utilizzarli nel caso singolo o annullarli e poter arrestare il sistema mediante una sorta di pulsante di arresto.

In questo articolo il bias dell'automazione compare espressamente nella legge. Il diritto conosce dunque il problema che la ricerca descrive, ed esige che i sistemi siano progettati in modo che gli esseri umani possano farvi fronte. Con ciò l'affermazione normativa secondo cui la responsabilità ultima deve restare all'essere umano è diventata, nell'Unione europea, diritto vigente per determinati sistemi.

Altri paesi seguono altre vie, e il confronto mostra che a questa domanda non esiste una risposta comune. La Svizzera non ha una legge propria sull'intelligenza artificiale. Nel febbraio 2025 il Consiglio federale ha deciso di recepire la Convenzione del Consiglio d'Europa sull'intelligenza artificiale e, per il resto, di adeguare leggi esistenti in singoli ambiti, per esempio nella sanità o nei trasporti; un progetto dovrebbe essere posto in consultazione alla fine del 2026. Per le imprese svizzere gli obblighi dell'Unione europea valgono soprattutto quando offrono tali sistemi nell'Unione. Gli Stati Uniti non hanno una legge federale. Nel gennaio 2025 il presidente Trump ha revocato l'ordine esecutivo del suo predecessore sulla sicurezza dell'intelligenza artificiale e nel dicembre 2025 ha incaricato l'amministrazione federale di contrastare le leggi dei singoli Stati che egli ritiene troppo onerose; solo nel 2025 gli Stati avevano presentato oltre mille progetti di legge. La Cina, invece, regola in modo fitto e dall'alto. Dal 2023 i servizi di intelligenza artificiale generativa devono tenere alti i valori fondamentali socialisti (capitolo 2), e dal settembre 2025 i contenuti generati dall'intelligenza artificiale devono essere contrassegnati in modo visibile e invisibile. L'Europa punta sulle classi di rischio, la Svizzera sui diritti fondamentali e su singoli ambiti, gli Stati Uniti sulla concorrenza, la Cina sul controllo. In ognuna di queste vie è contenuta una risposta alla domanda su chi debba servire il sistema.

Con ciò la domanda guida del libro si può porre in modo più preciso. Dai capitoli precedenti emergono aspetti a cui una risposta può orientarsi. Non sono un elenco definitivo, ma domande di verifica.

In primo luogo, l'incommensurabilità. Il capitolo 6 ha mostrato che, nelle tradizioni di questo libro, la dignità del singolo non può essere compensata con una somma. Le decisioni che trattano un essere umano come una grandezza in un calcolo, sulla sua vita, sulla sua libertà, sul suo futuro, esigono un essere umano che risponda di lui.

In secondo luogo, l'irrecuperabile. Il capitolo 6 ha anche mostrato che in una macchina nulla è irrecuperabile, nell'essere umano invece molto. Dove una decisione non può essere revocata, pesa di più la domanda su chi la prenda.

In terzo luogo, il caso singolo. Il capitolo 7 ha descritto la prudenza come la facoltà di fare ciò che è appropriato nel caso singolo, legata all'esperienza. Dove il caso singolo non rientra nella regola, serve qualcuno che possa mettere da parte la regola in nome del suo fine. Il capitolo 13 mostra come la legge stessa conosca questa eccezione.

In quarto luogo, la comprensione. Chi non è in grado di ricostruire le ragioni di una raccomandazione non può rispondere della decisione. Il capitolo 9 ha mostrato che i sistemi possono comportarsi in modo diverso quando sono osservati e quando non lo sono. Quanto meno si comprende, tanto più ci si rimette nelle mani di altri.

In quinto luogo, la disposizione interiore. Il capitolo 13 mostra che le regole senza disposizione interiore non reggono e che l'orientamento interiore di un sistema si lascia riconoscere dal suo comportamento solo in misura limitata. Le decisioni la cui giustezza dipende da un atteggiamento e non soltanto da una regola esigono un essere umano che abbia questo atteggiamento.

Nessuno di questi aspetti vieta di impiegare sistemi. Essi dicono dove l'essere umano non deve soltanto firmare, ma giudicare egli stesso.