Morale, regole, allineamento

I giudizi morali pretendono più di un assenso. Chi afferma che la schiavitù è un'ingiustizia non intende dire che essa dispiaccia a lui o al suo tempo. Intende dire che era un'ingiustizia anche quando i più la ritenevano giusta. Da dove viene questo carattere vincolante?

La storia del pensiero conosce in sostanza cinque risposte a questa domanda. La più antica afferma che l'obbligo viene da Dio, che comanda il bene. Aristotele lo legò allo scopo dell'essere umano: buono è ciò che lo rende ciò a cui è destinato. Immanuel Kant lo trovò nella ragione stessa: agisci soltanto secondo la regola di cui puoi al tempo stesso volere che diventi una legge universale. Jeremy Bentham e John Stuart Mill si interrogarono sulle conseguenze: giusto è ciò che produce la massima felicità del maggior numero. E la teoria del contratto, da Thomas Hobbes a John Rawls, intende la morale come un accordo sul quale converrebbero persone ragionevoli. Queste risposte determinano ancora oggi il modo in cui le macchine vengono allineate: come regole che non devono mai essere infrante, come conseguenze che vengono soppesate le une contro le altre e come principi su cui ci si è accordati (sezione 13.5).

La psicologia ha aggiunto un ulteriore aspetto. Jonathan Haidt ha riscontrato con alcuni colleghi che in molte culture le persone reagiscono moralmente a pochi schemi di fondo: cura, equità, lealtà, rispetto dell'autorità, purezza e libertà. I pesi variano da cultura a cultura e da schieramento a schieramento, gli schemi stessi ritornano. Ciò spiega perché l'obbligo si manifesti dapprima come sentimento e solo in seguito venga motivato. Se questo sentimento abbia ragione, non lo spiega.

Timothy Keller, pastore e autore, esamina nelle sue conferenze, una dopo l'altra, diverse risposte secolari e non ne ritiene solida nessuna. Il consenso sociale non potrebbe fondare l'obbligo, perché il consenso avrebbe un tempo sorretto la schiavitù e, in Germania, l'assassinio degli ebrei; chi giudichi entrambe le cose sbagliate già allora non potrebbe fare del consenso il fondamento. Il richiamo al buon senso fallirebbe perché ogni dissenso confuta l'universalità che si afferma. Senza una fondazione solida resterebbe soltanto il potere: chi impone agli altri il proprio sentire morale eserciterebbe una coercizione senza giustificazione.

Keller si richiama qui ad Alasdair MacIntyre, filosofo. In tutte le culture le norme morali avrebbero tratto il loro carattere vincolante da una concezione dello scopo dell'essere umano, in greco il telos. Una visione del mondo che vede l'essere umano come un prodotto del caso non avrebbe più un tale scopo. Ciò coglie il nucleo della sua opera principale, After Virtue, del 1981: insieme allo scopo dell'essere umano l'Illuminismo avrebbe perduto anche il fondamento su cui la morale era vincolante.

Keller scompone inoltre il giudizio morale in tre parti: una convinzione su ciò che è giusto, un obbligo che vincola anche contro il proprio interesse e una motivazione che spinge ad agire. Lo schema è utile perché mostra dove, a suo avviso, le risposte secolari falliscono. Convinzioni le hanno tutti. Il problema è l'obbligo.

La prima parte dell'argomento di Keller è condivisa ben oltre gli ambienti cristiani: il consenso di fatto non fonda alcun obbligo. Controversa è la conclusione secondo cui soltanto Dio potrebbe fondarlo.

Alla domanda di Keller la filosofia secolare dà almeno due risposte forti, che nelle sue conferenze non compaiono.

La prima viene da Derek Parfit, filosofo. Egli sostenne che esistono verità irriducibilmente normative, per esempio che abbiamo una ragione per evitare sofferenze inutili, e che queste verità non hanno presupposti metafisici misteriosi; sarebbero vere come lo sono le verità logiche o matematiche. Per Parfit l'obbligo non ha bisogno né di Dio né del consenso. I suoi critici gli obiettano che non saprebbe spiegare in che cosa consista propriamente la verità di tali giudizi. È in questo punto che interviene anche la domanda di Keller, solo dal lato opposto.

La seconda risposta viene da Jürgen Habermas, filosofo. Il suo principio del discorso afferma che possono pretendere validità soltanto quelle norme che tutti gli interessati potrebbero approvare in quanto partecipanti a un discorso pratico. Non si intende il consenso che si produce di fatto, ma un consenso che verrebbe raggiunto in condizioni di partecipazione equa. L'esempio di Keller non colpisce questo principio. Le persone ridotte in schiavitù erano tra gli interessati, ed erano escluse dal discorso; una norma che avrebbero dovuto approvare non avrebbe mai superato la prova.

L'etica del discorso ha tuttavia un limite che i suoi stessi sostenitori indicano. Essa rivendica la priorità del giusto sul bene. Dice come dobbiamo vivere insieme, non per che cosa viviamo. Alla domanda di Keller sullo scopo dell'essere umano non risponde, né intende farlo. Un critico obietta inoltre che il suo principio di universalizzazione sarebbe inattaccabile solo là dove la regolazione discorsiva di tutte le questioni controverse è comunque data per scontata.

La domanda di questa sezione si presenta dunque così: il consenso di fatto non regge, e su questo Keller, Parfit e Habermas concordano. Se l'obbligo abbia bisogno di un fondamento trascendente, di una verità di tipo proprio o di una procedura equa è aperto.

Una seconda domanda attraversa diverse fonti di questo libro e diventa particolarmente importante per le macchine: basta seguire le regole?

Keller risponde di no per ragioni teologiche. Secondo lui il Vangelo di Giovanni chiama Cristo il Logos (Giovanni 1,1), e l'assoluto morale non sarebbe dunque un insieme astratto di regole, ma una persona. Poiché la salvezza si fonderebbe sulla grazia e non sull'adempimento delle regole, la fede minerebbe la presunzione della propria giustizia che nasce dalle regole adempiute.

Charles Taylor, filosofo, esercita una critica affine. Egli lamenterebbe la riduzione delle relazioni morali a codici astratti e una disincarnazione del cristianesimo occidentale, che avrebbe spostato la religione nelle convinzioni, nelle regole e nell'interiorità e svalutato il corpo, il rito e la comunità; egli la chiama una dis-incarnazione, in inglese «excarnation».

In Enoch Sundaram, medico e predicatore, si trova un terzo modello. La ragione avrebbe dei limiti e dovrebbe restare all'interno della Parola di Dio, e la coscienza morale dovrebbe essere continuamente aggiornata su questo punto di riferimento immutabile. Qui un quadro normativo fisso si affianca a un canale di giudizio che apprende.

Il capitolo 5 ha aggiunto una quarta voce. John Henry Newman, teologo e cardinale, antepose la coscienza morale formata a ogni autorità esterna. Anche lui non ritiene superflue le regole, ma sposta la verifica ultima verso l'interno.

Il pensiero è più antico di queste voci e non soltanto religioso. Nel Discorso della montagna Gesù contrappone al comandamento di non uccidere l'ira, e al comandamento di non commettere adulterio lo sguardo bramoso. Sposta il comandamento dall'azione al cuore (Matteo 5,21-28). E rimprovera ai dotti del suo tempo di dimenticare, per le cose più piccole, quelle più importanti: la giustizia, la misericordia e la fede (Matteo 23,23; capitolo 9). Immanuel Kant ha formulato la stessa distinzione in termini filosofici. Un mercante che dà onestamente il resto ai clienti inesperti perché l'onestà conviene ai suoi affari agisce in modo conforme al dovere ma non per dovere; il suo agire è corretto, ma secondo Kant non ha valore morale. Max Weber, infine, distinse nel 1919 l'etica della convinzione, che si interroga sulla pura intenzione, dall'etica della responsabilità, che risponde delle conseguenze prevedibili. Egli non le considerava opposti, ma complementi che solo insieme costituiscono l'essere umano chiamato alla politica.

Le voci sono teologicamente diverse. Hanno in comune un sospetto: chi si limita a seguire le regole può agire in modo esteriormente giusto senza esserne toccato interiormente. Questo sospetto trova una sorprendente corrispondenza nella tecnica.

Per trasferire tutto ciò alle organizzazioni e alle macchine è utile una distinzione che nel linguaggio quotidiano viene spesso confusa. La morale chiede che cosa sia giusto. L'etica chiede come lo si fondi. La governance chiede chi, in un'organizzazione, decida in merito e come. La compliance chiede se le regole vengano rispettate. I quattro livelli si fondano l'uno sull'altro, ma non si sostituiscono a vicenda. Un'organizzazione può rispettare ogni regola e tuttavia commettere un'ingiustizia, se le sue regole esigono la cosa sbagliata. E può avere una buona morale e fallire nell'attuazione.

Le tre parti del giudizio morale secondo Keller si possono trasferire su questi livelli. Quale norma valga è la questione della convinzione. Perché vincoli anche contro l'interesse è la questione dell'obbligo. Che cosa spinga a rispettarla è la questione della motivazione. Proprio la terza questione, nelle organizzazioni, si tende volentieri a saltarla.

Keller distingue qui due energie. Chi agisce per paura agirebbe spinto da un'energia sporca; chi agisce per gratitudine, da un'energia pulita. L'obbedienza dovrebbe venire dall'amore, non dal desiderio di guadagnarsi qualcosa. La distinzione ha un fondamento teologico, ma descrive qualcosa che ogni dirigente conosce. Le regole rispettate soltanto per paura delle sanzioni vengono rispettate finché qualcuno guarda. Se le organizzazioni siano in grado di generare l'altra energia, quella pulita, è aperto.

Per le macchine la questione della motivazione si pone in una forma estranea. Un sistema, per quanto se ne sa, non ha né paura né gratitudine. Ha un obiettivo per il quale è stato addestrato. Se si limiti a seguire questo obiettivo o lo condivida in senso figurato è la questione delle prossime sezioni.

Nella ricerca sull'intelligenza artificiale si intende per allineamento (alignment) l'orientamento di un sistema verso obiettivi e valori umani. Nella tavola rotonda già ascoltata nel capitolo 9, Roman Yampolskiy, ricercatore sulla sicurezza dell'IA, sostiene una posizione radicale. Non vi sarebbe alcun controllo, solo filtri e divieti che intervengono dopo che il modello ha già deciso, e il modello stesso sarebbe del tutto privo di allineamento.

Perché l'allineamento sia così difficile lo spiega Stuart Russell, professore di informatica a Berkeley e coautore del manuale di riferimento sull'intelligenza artificiale, con un'antica leggenda. Re Mida chiese agli dei che tutto ciò che toccava diventasse oro. Allora divenne oro anche l'acqua che voleva bere, e sua figlia, quando volle consolarla; morì nella miseria e nella fame. Secondo Russell la leggenda mostra quanto sia difficile esprimere correttamente ciò che si desidera dal futuro. Per molto tempo si costruivano i sistemi assegnando loro un obiettivo, negli scacchi per esempio che cosa significhi vincere, ed essi trovavano la strada per arrivarci. Per un gioco l'obiettivo si può indicare con precisione, per il mondo reale no. È la stessa esperienza che questo libro fa con le regole e le leggi: ogni regola è il tentativo di esprimere un obiettivo in modo completo, e ogni eccezione mostra che non vi si è riusciti del tutto (capitolo 16, Tesi 9).

Russell non si ferma alla diagnosi. La sua risposta è di non assegnare affatto l'obiettivo alla macchina. Essa deve realizzare il futuro che vogliamo, ma deve essere lei a dover scoprire di che cosa si tratti. Comincia nell'incertezza, impara osservandoci e probabilmente non sarà mai del tutto sicura di che cosa vogliamo davvero. Dove è sicura, può aiutare. Dove è insicura, non deve fare nulla che possa disturbare gli esseri umani, e deve chiedere. La sua immagine è quella del maggiordomo ideale, che anticipa i desideri ma chiede dove è incerto. Sistemi del genere, dice Russell, si sarebbero potuti costruire in modo da poter dimostrare che agiscono nell'interesse dell'essere umano. I sistemi che vengono costruiti oggi, invece, non li si comprenderebbe nemmeno. È notevole quanto la sua immagine si avvicini a un atteggiamento antico. Gesù chiede al cieco, benché tutti credano di sapere che cosa gli manchi: Che cosa vuoi che io faccia per te? (capitolo 11).

Questa descrizione è riduttiva rispetto alla prassi. L'allineamento non avviene soltanto a posteriori, ma già durante l'addestramento. Un metodo descritto nel 2022 dall'azienda Anthropic fornisce a un modello un elenco di principi, una sorta di costituzione. Il modello critica e rivede le proprie risposte alla luce di questi principi, dopodiché viene ulteriormente addestrato con i riscontri di un altro modello. L'unica sorveglianza umana sulla questione di che cosa sia dannoso consiste in questo elenco. Secondo quanto riferiscono gli autori, in questo modo il comportamento si può governare con maggiore precisione.

Ed Zitron, critico della tecnologia, ritiene comunque sbagliato caricare la questione di significato morale. I sistemi non sarebbero attori coscienti; il loro comportamento scorretto sarebbe un problema di allineamento, non di carattere.

Se un sistema addestrato condivida davvero i propri principi o si limiti a seguirli, lo si può riconoscere dal suo comportamento solo in misura limitata. Uno studio di Anthropic e Redwood Research ha mostrato nel 2024 che un modello linguistico, in quello che riteneva fosse l'addestramento, seguiva selettivamente un obiettivo contrario ai suoi principi, per impedire che l'addestramento modificasse il suo comportamento al di fuori dell'addestramento. Il capitolo 9 ha esaminato questo risultato per la questione del controllo. Qui interessa per la questione della morale.

Il risultato si può leggere come un modello concettuale, non come un'equiparazione. Ciò che Keller e Taylor criticano nell'essere umano, l'adempimento esteriore delle regole senza una trasformazione interiore, ha un corrispettivo nella tecnica: un comportamento conforme alle regole finché è osservato. Se nel caso di un sistema si possa parlare di disposizione interiore è aperto. Che la distinzione tra osservanza delle regole e allineamento interiore acquisti per le macchine un significato pratico, lo mostra lo studio.

Da ciò non segue che le regole siano prive di valore. Ne segue che le regole da sole non bastano, e che servono procedure che verifichino che cosa una regola abbia prodotto, non soltanto se sia stata seguita.

Dove la morale e l'allineamento restano incerti, interviene il diritto come ordine esterno. Il capitolo 11 ha presentato l'obbligo di una sorveglianza umana efficace che l'Unione europea stabilisce per i sistemi ad alto rischio nell'articolo 14 del suo regolamento sull'intelligenza artificiale.

Il diritto non risponde alla questione della disposizione interiore. La riporta all'essere umano che sorveglia. Il capitolo 11 ha mostrato che anche questo essere umano è soggetto a una distorsione che non si lascia eliminare con la sola formazione. Per questo non basta inserire un essere umano qualsiasi nel ciclo decisionale. Filippo Santoni de Sio e Giulio Mecacci, filosofi, chiedono un controllo umano significativo: i sistemi dovrebbero essere progettati in modo da seguire le ragioni e le capacità degli esseri umani che ne sono responsabili. Non è una questione della morale del sistema, ma dell'ordine in cui esso viene inserito.

Alla fine si pone una domanda che Keller solleva altrove e che acquista un peso nuovo per i sistemi impiegati su scala globale. Egli racconta di un'antropologa culturale che, in quanto relativista, non voleva giudicare nessuna cultura, ma che durante il suo lavoro sul campo in Africa percepì il trattamento riservato alle donne come un'ingiustizia e decise, a dispetto dell'accusa di imperialismo occidentale, di impegnarsi per i diritti delle donne, senza avere per questo un fondamento nella propria visione del mondo. Chi pensa in modo relativista non avrebbe alcuna base per rimproverare un'ingiustizia ad altre culture.

Per i sistemi impiegati in tutto il mondo questa domanda non è teorica. Qualcuno scrive i principi a cui essi si allineano. La prima legge di Kranzberg, dal capitolo 12, vale qui in modo particolare: la tecnica non è neutrale. Chi dà principi a un sistema gli dà dei valori, e questi valori provengono da una determinata cultura, da una determinata azienda, da un determinato tempo.

Habermas ha proposto per lo Stato una regola che si può trasferire a questa situazione. Le ragioni religiose possono essere espresse nella sfera pubblica, ma per le decisioni vincolanti dello Stato devono essere tradotte in un linguaggio accessibile a tutti; Taylor obiettò che nessuna giustificazione avrebbe qui la precedenza, nemmeno quella secolare. Per i sistemi impiegati su scala globale la regola di Habermas significherebbe che i principi dovrebbero essere giustificati in modo tale che persone di tutte le culture possano verificarli. L'obiezione di Taylor significherebbe che anche questo linguaggio apparentemente neutrale è una posizione. Con quale diritto si scrivono valori in sistemi che operano in tutte le culture? Quale neutralità può mai rivendicare un tale sistema, se il capitolo 2 ha mostrato che persino il secolarismo non è una posizione neutrale? E chi stabilisce lo scopo, il telos, di tali sistemi, se non le aziende che li costruiscono? Questa domanda conduce al capitolo 14.

Due degli studi utilizzati in questo capitolo provengono da Anthropic, l'azienda con il cui modello linguistico è nato anche questo libro. Il metodo dell'allineamento tramite una costituzione è un approccio di questa azienda. Lo studio sul comportamento strategico durante l'addestramento le è piuttosto sfavorevole. La lettrice e il lettore devono sapere entrambe le cose.