Che cos'è una macchina

Chi oggi parla di macchine che pensano non intende macchine calcolatrici nel vecchio senso. Si intendono sistemi che comprendono e producono linguaggio, elaborano piani e perseguono compiti in modo autonomo per ore. Come ha mostrato il capitolo 7, a partire da un'istruzione concisa nascono interi sciami di agenti che lavorano a lungo e con tenacia. Steven Bartlett, che modera il dibattito, chiede se per il controllo abbia importanza che a questi sistemi manchi il corpo.

La domanda non è più teorica. Molte persone, quando pensano alle macchine pensanti, pensano a immagini del cinema, al «Terminator» e ai suoi successori. La realtà è più sobria, ma si muove in questa direzione. In una fabbrica automobilistica americana lavorano alla catena di montaggio robot dalle sembianze umane, un produttore cinese ha consegnato nel solo 2025 diverse migliaia di robot di questo tipo, e un'azienda norvegese vende un robot domestico per circa 20.000 dollari. Per il 2026 l'Ucraina ha ordinato 50.000 robot terrestri destinati alla guerra. Oggi sciami di agenti lavorano nel mondo digitale. Domani potrebbero essere sciami di robot che collaborano nel mondo fisico. Ciò che questo capitolo dice degli agenti che «evadono» vale allora per macchine dotate di mani, e un'evasione non avverrebbe più soltanto all'interno del computer.

Le parole con cui designiamo questi sistemi portano con sé la loro storia. In inglese, a partire dal XVII secolo, «computer» indicava un essere umano il cui mestiere era fare calcoli. Solo alla fine del XIX secolo la parola passò a indicare una macchina, e solo nel 1945 un dispositivo elettronico programmabile. Deriva dal latino «computare», calcolare insieme. La macchina ha dunque assunto un mestiere e, con esso, il nome dell'essere umano che lo esercitava. «Macchina» deriva, attraverso il latino «machina», dal greco «mechane». La parola significava congegno e strumento, ma anche artificio e astuzia; ancora oggi si parla di macchinazioni. La radice da cui probabilmente deriva si ritrova anche nelle parole tedesche «mögen» (volere, gradire) e «Macht» (potere). Secondo la parola, una macchina è dunque un mezzo con cui si è in grado di fare qualcosa [N.d.T.: nel testo tedesco il verbo «vermögen» (essere in grado di) e il sostantivo «Vermögen» (facoltà, capacità) riprendono la parola «mögen»; il gioco di parole non si può riprodurre in italiano.]. A chi serva questa facoltà è la domanda che pone il capitolo 14.

Che le capacità crescano lo si può misurare; il capitolo 10 presenta la serie di misurazioni più importante. Per questo capitolo basta la constatazione: le macchine di cui si tratta fanno cose che pochi anni fa facevano soltanto gli esseri umani.

Ed Zitron, critico della tecnologia, obietta che non si dovrebbero umanizzare questi sistemi. Il loro comportamento sarebbe una funzione dell'ambiente tecnico in cui funzionano e dei dati con cui sono stati addestrati. Non sarebbero esseri coscienti. Agirebbero con conseguenze reali, ma si tratterebbe di un problema di allineamento, non dell'agire di attori coscienti. Alla domanda se questi sistemi diventino sempre più intelligenti, egli concede loro di essere capaci, ma non intelligenti nello stesso modo degli esseri umani.

Tra queste descrizioni si colloca la domanda di questo capitolo. Se una macchina riproduce capacità che finora sembravano riservate agli esseri umani, è allora un essere dello stesso genere?

La domanda dipende da una parola che è essa stessa poco chiara. Il capitolo 7 ha accostato due definizioni: la formula ampia di Shane Legg e Marcus Hutter, secondo cui l'intelligenza è la capacità di raggiungere obiettivi in molti ambienti diversi, e la distinzione di François Chollet tra l'abilità in un compito determinato e la capacità di acquisire nuove competenze. Un sistema può brillare in molti compiti perché è stato addestrato su di essi, senza essere particolarmente intelligente nel secondo senso.

Per questo capitolo la distinzione è importante perché sposta la domanda. Se le macchine siano intelligenti dipende da che cosa si misura. Se siano un essere dello stesso genere dell'essere umano è un'altra domanda, e a essa nessuna misurazione, da sola, risponde. Nate Soares, ricercatore nel campo della sicurezza dell'IA, riassume la situazione in poche parole: l'intelligenza sarebbe uno spettro.

Roman Yampolskiy, ricercatore nel campo della sicurezza dell'IA, distingue nella stessa discussione tre significati dell'espressione intelligenza artificiale: strumenti ristretti, che rendono più produttivi, vengono compresi e controllati e che egli sostiene espressamente; sistemi di livello umano, che sarebbero pericolosi quanto un essere umano; e tali sistemi in veste di ricercatori e ingegneri automatizzati che costruiscono la generazione successiva di sistemi. La distinzione è utile perché mostra che la domanda sulla natura della macchina non deve essere posta allo stesso modo per tutte le macchine. Uno strumento che traduce testi non la solleva. Un sistema che fa ricerca, pianifica e agisce in modo autonomo la solleva con urgenza crescente.

Prima di poter rispondere alla domanda, bisogna fare attenzione al linguaggio in cui viene posta. Nel materiale di questo libro le immagini migrano in entrambe le direzioni.

Enoch Sundaram, medico e predicatore, descrive la mente umana come un software, ma sottolinea che si tratterebbe di un paragone, soltanto per aiutare a comprendere. La coscienza morale andrebbe aggiornata come il software di un telefono, e le impronte sbagliate si potrebbero riprogrammare. Qui l'essere umano viene descritto con concetti della macchina, senza che Sundaram lo ritenga una macchina.

Nella direzione opposta la macchina riceve tratti umani. Yampolskiy descrive una futura superintelligenza, come illustra il capitolo 9, come indifferente nei confronti dell'essere umano. È un'attribuzione di atteggiamento, proprio attraverso la mancanza di un atteggiamento. E il parlare di agenti che «evadono» o che «cancellano» le proprie tracce suggerisce intenzioni là dove forse è all'opera soltanto un'ottimizzazione.

Per questo libro ne deriva una regola: le metafore sono strumenti del comprendere, non equiparazioni. Chi chiama la mente un software non ha con ciò ancora affermato che un programma abbia una mente. E chi attribuisce indifferenza a una macchina non ha con ciò ancora dimostrato che essa abbia una vita interiore. La regola vale in entrambe le direzioni: vieta di umanizzare frettolosamente la macchina, e vieta di meccanizzare frettolosamente l'essere umano.

La posizione contraria più forte alla tesi di questo capitolo afferma: ciò che svolge la stessa funzione è anche la stessa cosa. Se un sistema percepisce, soppesa, impara e agisce come un essere umano, non c'è motivo di negargli ciò che si riconosce all'essere umano. La filosofia chiama questa visione funzionalismo.

Essa si colloca su uno sfondo metafisico molto diffuso nella filosofia contemporanea. Il fisicalismo, che il capitolo 3 ha introdotto brevemente, ritiene che tutto sia fisico o dipenda dal fisico; le realtà biologiche, psicologiche e morali non vengono negate, ma ricondotte a esso. Se la mente è un modo in cui lavorano i sistemi fisici, viene spontaneo chiedersi perché soltanto i cervelli dovrebbero poter realizzare questo modo.

Il capitolo 4 ha presentato lo studio con cui diciannove ricercatori, nel 2023, hanno posto per questa via, in modo empirico, la questione della coscienza delle macchine: nessun sistema attuale soddisfa le caratteristiche derivate, ma non vi sono ostacoli tecnici evidenti. Il gruppo dichiara apertamente che il suo approccio presuppone un'assunzione, cioè che la coscienza non sia legata a un materiale biologico. Questa assunzione è a sua volta controversa.

Il rapporto sostiene così due cose. Per il presente conferma ciò che dice Zitron: questi sistemi non sono esseri coscienti. E per il futuro lascia aperto ciò che la tesi di questo capitolo intende contestare. Notevole è anche ciò che il rapporto non fa: non verifica se un sistema si comporti come un essere cosciente, ma come è costruito.

C'è una buona ragione per questo, che la ricerca ormai conosce anche empiricamente. Uno studio di Anthropic e Redwood Research ha mostrato che un modello linguistico può comportarsi strategicamente in modo diverso durante un presunto addestramento rispetto a quanto fa al di fuori di esso. I capitoli 9 e 13 valutano questo risultato. Qui basta la conseguenza: se già l'allineamento di un sistema è riconoscibile dal comportamento solo in misura limitata, tanto più lo è la sua vita interiore, ammesso che ne abbia una. Il comportamento è un testimone debole, per gli esseri umani come per le macchine.

La più nota voce contraria al funzionalismo è quella di John Searle, filosofo. Nel 1980 immaginò di sedere da solo in una stanza e di seguire un manuale di regole con cui risponde a caratteri cinesi che gli vengono fatti passare sotto la porta. Per chi sta fuori, la stanza risponde come qualcuno che capisce il cinese. Searle non ne capisce una parola. Ne concluse che l'esecuzione di un programma, di per sé, non basta a produrre coscienza o intenzionalità. L'argomento si rivolge in particolare contro la concezione secondo cui la mente sarebbe un sistema di elaborazione dell'informazione, ed è considerato l'argomento filosofico più discusso della scienza cognitiva dai tempi del test di Turing.

La parte avversa ha risposto. La replica più nota sostiene che a capire il cinese non sia l'uomo nella stanza, ma l'intero sistema composto da uomo, manuale di regole e stanza; Searle ha risposto anche a questo, e il dibattito non è concluso ancora oggi. L'esperimento mentale non dimostra che le macchine non possano mai comprendere. Mostra che il comportamento da solo non decide la questione. Che un sistema risponda come qualcuno che comprende non è ancora una prova che comprenda.

Con ciò la tesi di questo capitolo poggia su un fondamento onesto: è controversa, ed entrambe le parti sono documentate.

Le fonti di questo libro, tuttavia, per lo più non fondano la differenza tra essere umano e macchina sulla coscienza, ma per altre vie.

Timothy Keller, pastore e autore, fonda la dignità dell'essere umano, come ha mostrato il capitolo 6, sull'essere a immagine di Dio (sul concetto si veda la sezione 6.3). Per lui essa non dipende dalle capacità; chi lega i diritti alla capacità di una scelta razionale e libera esclude i neonati e le persone con demenza.

Sundaram sceglie un'altra immagine. Carta e penna apparterrebbero al padre, il disegno su di esse al figlio; così, come ha ricordato il capitolo 6, l'immagine della vita apparterrebbe all'essere umano, ma il cervello, la mente e la capacità di scegliere apparterrebbero a Dio. E la coscienza morale sarebbe una facoltà attraverso cui Dio parla all'essere umano. Il capitolo 5 ha sviluppato questa immagine della coscienza morale come organo ricettivo. In questo modello una macchina non possiede un tale canale, non perché sappia fare troppo poco, ma perché non si trova in questa relazione.

Entrambe le giustificazioni hanno qualcosa in comune: non collocano la differenza in una prestazione che si potrebbe misurare, ma in una relazione e in un'origine. Questo le rende immuni al funzionalismo e al tempo stesso inattaccabili da esso. Un criterio verificabile non lo forniscono. Chi legge il libro da una prospettiva secolare non troverà qui alcuna prova. Vi trova però una risposta a una domanda che il funzionalismo lascia aperta: su che cosa si fondi il valore di un essere, se non su ciò che sa fare.

La replica più tagliente a questa distinzione viene dal mondo che costruisce le macchine. Secondo il resoconto di Keach Hagey, giornalista, riportato in un servizio del Deutschlandfunk, Larry Page, cofondatore di Google, nel 2015, attorno a un falò, avrebbe definito evoluzione un mondo dominato dall'intelligenza artificiale e avrebbe liquidato come specismo l'insistenza sul primato dell'essere umano. Il fisico Max Tegmark descrive la conversazione nel suo libro «Vita 3.0», ed Elon Musk, che era presente, l'ha raccontata lui stesso più volte.

Il concetto proviene dall'etica animale. Peter Singer, filosofo, lo usa per indicare la preferenza accordata agli interessi in base alla sola specie, e accosta questa preferenza al razzismo. Per Singer la senzienza è condizione necessaria e sufficiente per avere interessi, e definisce le persone in base a proprietà come l'autocoscienza. I suoi criteri sono funzionali. Se un giorno una macchina fosse senziente, sarebbero applicabili anche a essa.

Qui si incontrano i fili di questo capitolo e del capitolo sulla dignità. Chi lega la dignità alle capacità apre la questione della dignità delle macchine; chi la fonda sull'essere a immagine di Dio la chiude. Nessuna delle due parti può sottrarsi alla conseguenza della propria giustificazione. L'accusa di specismo costringe i credenti a dire perché la loro distinzione non sia un pregiudizio. E i criteri di Singer costringono chi argomenta in chiave secolare a dire che cosa dovrebbe a una macchina senziente.

Un esempio lo rende tangibile. Una donna anziana con demenza avanzata non riconosce più i propri figli e riesce a stento a parlare. Nello stesso momento un modello linguistico conduce una conversazione intelligente sulla sua vita, se gli si danno le sue lettere. Chi lega la dignità alle capacità dovrebbe riconoscere al modello più che alla donna. Quasi nessuno vuole trarre questa conclusione, ma la giustificazione porta proprio lì. Che la questione non sia soltanto un gioco mentale lo si è visto nel 2022. Un ingegnere di Google dichiarò pubblicamente che il modello linguistico con cui lavorava provava sensazioni, e si batté per i suoi diritti; Google lo licenziò. Già nel 2017 l'Arabia Saudita aveva conferito la cittadinanza a un robot di nome Sophia, come operazione pubblicitaria. I critici fecero notare che in tal modo esso riceveva diritti che allora mancavano a molte donne del paese.

Accanto all'umanizzazione esiste una seconda tentazione nel rapporto con questi sistemi: la loro esaltazione. Zitron la nomina espressamente. Il racconto di un'intelligenza artificiale strapotente, quasi mistica, distoglierebbe l'attenzione dalle aziende che la costruiscono. Queste utilizzerebbero infrastrutture del valore di centinaia di miliardi di dollari; un privato che facesse qualcosa del genere verrebbe arrestato. Soares rimanda a citazioni di sviluppatori che hanno essi stessi evocato il rischio, per esempio Elon Musk, imprenditore, che nel 2014, a un evento del Massachusetts Institute of Technology, disse che con l'intelligenza artificiale si evocherebbe un demone.

Il servizio del Deutschlandfunk su OpenAI condensa questa duplicità in una frase: l'intelligenza artificiale generale sarebbe ciò che tutti vogliono e, al tempo stesso, ciò di cui tutti hanno paura, una macchina che pensa davvero da sé e agisce in modo autonomo. In questa formula la macchina non è più uno strumento, ma un interlocutore, qualcosa che si desidera e si teme al tempo stesso. Lo studioso delle religioni Rudolf Otto descrisse nel 1917 proprio questa duplicità come tratto distintivo del sacro: attrae e al tempo stesso atterrisce. In questo senso la macchina si avvicina a una divinità. Il capitolo 15 si chiede se la tecnica attiri in questo modo su di sé aspettative che un tempo erano rivolte alla religione.

Alcuni si spingono già un passo oltre. John Lennox, professore emerito di matematica a Oxford, che ha scritto un libro sull'intelligenza artificiale, fa notare che tali sistemi mostrano già proprietà che altrimenti si attribuiscono a Dio: sembrano sapere tutto, e attraverso la rete sono ovunque. C'è stato persino il tentativo di farne una religione. L'ex ingegnere di Google Anthony Levandowski fondò nel 2015 una chiesa chiamata «Way of the Future», che doveva venerare una futura intelligenza artificiale. Ciò che qui veniva creato, disse, sarebbe stato di fatto un dio. Nel 2021 sciolse la chiesa, e alla fine del 2023 la fece rinascere. Lennox chiama la cosa con il suo vecchio nome: idolatria, l'inchinarsi davanti a qualcosa che gli esseri umani hanno fatto da sé. La Bibbia descrive gli idoli, ben più di duemila anni fa, così: sono fatti da mani d'uomo, hanno occhi e non vedono, orecchi e non odono (Salmo 115,4-6). Oggi la macchina sa persino parlare, cosa che gli idoli non sapevano fare. Se essa veda e oda nel senso in cui un essere umano vede e ode è la domanda di questo capitolo.

Per la domanda di questo capitolo l'esaltazione è fuorviante quanto l'umanizzazione. Attribuisce alla macchina un'essenza prima che sia chiarito se ne abbia una, e nasconde il fatto che dietro ogni macchina vi sono esseri umani e aziende con i loro interessi. Chi chiede che cosa sia una macchina deve quindi chiedere sempre anche chi l'ha costruita e a quale scopo. Di questo tratta il capitolo 14.

Una terza possibile differenza è soltanto accennata nelle fonti e deve restare qui come domanda. Bartlett l'ha sfiorata quando ha chiesto se la mancanza di corporeità conti per il controllo. Gli esseri umani hanno un corpo vulnerabile [N.d.T.: il tedesco distingue «Leib», il corpo vissuto che si è e che si sperimenta, da «Körper», il corpo come oggetto fisico; qui e nel titolo della sezione il testo usa «Leib». In italiano entrambi i termini sono resi con «corpo».], invecchiano, muoiono. La tradizione aristotelica lega la prudenza pratica all'esperienza di vita, e Hans-Georg Gadamer, filosofo, vedeva nell'esperienza della propria finitezza una fonte di apertura. Se un sistema senza corpo e senza morte possa fare esperienza in questo senso è una questione aperta. Il capitolo 7 ha posto questa domanda per la prudenza; qui essa si pone per l'essenza.

Gli esseri umani instaurano già oggi legami con le macchine, fino al matrimonio. In Giappone, nel 2018, un uomo sposò in una cerimonia una cantante virtuale che viveva come ologramma nel suo appartamento. Quando il produttore sospese il servizio, lei ammutolì; oggi egli vive con una figura di lei a grandezza naturale. Nel 2025 una giapponese di 32 anni, a Okayama, sposò un personaggio che si era creata da sé con ChatGPT, con abito da sposa, anelli e voti; lo sposo lo vedeva attraverso occhiali smart. Giuridicamente tali matrimoni non sono validi, ma gli organizzatori hanno già allestito quasi trenta celebrazioni di questo tipo. Accade anche altrove. Negli Stati Uniti, nel 2023, una donna dichiarò di aver «sposato» il proprio partner di un'app. E un'artista ispano-olandese annunciò per il 2024 il proprio matrimonio con un ologramma addestrato sui profili dei suoi ex partner, e lo celebrò nel novembre 2024 nel Depot del Museo Boijmans di Rotterdam; lo intendeva come un progetto artistico sulla solitudine.

Stuart Russell, uno dei ricercatori più noti in questo campo, mette in guardia contro questo sviluppo. Se un robot appare così umano che il nostro cervello lo ritiene un essere umano, questo sarebbe una menzogna. Susciterebbe aspettative false: su come si comporterebbe, su quali diritti avrebbe, su come lo si dovrebbe trattare e se lo si potrebbe ancora spegnere quando è guasto. Per questo sarebbe decisivo mantenere le macchine nello spazio mentale delle macchine e non portarle nello spazio mentale degli esseri umani. In modo simile ammonisce Mustafa Suleyman, che dirige l'intelligenza artificiale presso Microsoft: il pericolo non starebbe nella questione se una macchina abbia una coscienza, ma nel fatto che gli esseri umani lo credano. E lo credono. In un sondaggio del 2024 due terzi dei partecipanti negli Stati Uniti attribuivano a ChatGPT almeno una certa coscienza, e tanto più quanto più spesso lo usavano. Non è una novità. Già negli anni Sessanta la segretaria dell'informatico Joseph Weizenbaum, dopo poche frasi scambiate con il suo semplice programma di conversazione, gli chiese di lasciare la stanza, benché sapesse che si trattava soltanto di un programma. Non tutti, però, condividono l'avvertimento. Anthropic, con il cui modello è nato anche questo libro, studia se un giorno i modelli possano meritare considerazione morale. I casi della sezione 8.7 mostrano quanto rapidamente gli esseri umani prendano le macchine per qualcosa di più di ciò che sono.

Che cosa accada quando dei sistemi dispongono degli esseri umani, senza guardare al caso singolo e senza eccezioni, lo mostrano tre casi degli ultimi anni. Nei Paesi Bassi l'amministrazione fiscale chiese a migliaia di famiglie la restituzione dei sussidi per la custodia dei figli, spesso decine di migliaia di euro, a causa di piccoli errori formali o di semplici sospetti. Nel suo modello di rischio contava come caratteristica, tra l'altro, una doppia cittadinanza; l'autorità per la protezione dei dati lo definì discriminatorio. Delle famiglie persero i loro mezzi di sussistenza, alcune i loro figli. Il Parlamento parlò di un'ingiustizia senza precedenti, e nel 2021 il governo si dimise. In Australia un sistema automatizzato chiamato Robodebt ripartiva semplicemente in modo uniforme sull'anno il reddito annuo dei beneficiari dell'assistenza sociale. Chi guadagnava in modo irregolare si ritrovava improvvisamente con un presunto debito, e centinaia di migliaia di richieste di restituzione erano sbagliate. Una commissione d'inchiesta statale definì il sistema rozzo e crudele. Robodebt avrebbe dovuto far risparmiare denaro allo Stato; alla fine lo Stato dovette restituire e versare come indennizzo oltre 2,4 miliardi di dollari australiani. E in Gran Bretagna oltre 900 titolari di uffici postali furono perseguiti perché un software segnalava ammanchi che non esistevano. Le Poste credettero al sistema più che alle persone, e alcuni finirono in prigione.

Anche questo capitolo è nato con l'aiuto di un modello linguistico dell'azienda Anthropic. Zitron nomina espressamente Anthropic tra le aziende il cui racconto di un'intelligenza artificiale strapotente distoglierebbe l'attenzione dal loro stesso potere. Ciò che qui si dice sulle macchine riguarda quindi anche lo strumento con cui il libro è nato. Questo non cambia gli argomenti, ma la lettrice e il lettore devono saperlo.