Cultura decisionale

Il capitolo 11 si è chiesto che cosa sia una singola decisione. La maggior parte delle decisioni che oggi vengono prese con l'aiuto dell'intelligenza artificiale, però, non vengono prese da soli, ma in team, reparti, amministrazioni e aziende. Questo capitolo si chiede perciò come decidono i gruppi, e che cosa accade quando una macchina entra in una cultura decisionale già esistente.

Un'aspettativa diffusa è che una buona tecnica produca buone decisioni. Kentaro Toyama, informatico, ha diretto per anni progetti in cui la tecnica veniva impiegata in scuole, ospedali e amministrazioni di regioni povere. Ha condensato la sua esperienza in un principio che chiama legge dell'amplificazione: l'effetto più importante della tecnica è amplificare le forze umane. Come una leva, amplifica le capacità degli esseri umani nella direzione delle loro intenzioni. Dove persone e istituzioni sono ben intenzionate e capaci, migliora molte cose; dove sono indifferenti, divise o corrotte, ottiene poco o fa danni.

Se Toyama ha ragione, il collo di bottiglia nell'impiego dell'intelligenza artificiale non sta in primo luogo nella tecnica. Sta nel modo in cui le persone decidono insieme. Un sistema che arriva in una cultura della chiarezza la rende più chiara. Un sistema che arriva in una cultura del silenzio rende il silenzio più efficiente.

La storia sostiene questa visione. Quando nelle fabbriche il motore elettrico sostituì la macchina a vapore, per decenni la produttività quasi non aumentò. Lo storico dell'economia Paul David ha mostrato nel 1990 perché. Le fabbriche erano costruite attorno a un unico grande albero di trasmissione, e finché si sostituiva soltanto l'azionamento cambiava poco. Solo quando si riorganizzarono le fabbriche attorno a molti piccoli motori arrivò il guadagno. L'economista Robert Solow ironizzò nel 1987 sul fatto che l'era del computer si vedesse ovunque, tranne che nelle statistiche sulla produttività. Con l'intelligenza artificiale si manifesta lo stesso schema. Uno studio del Massachusetts Institute of Technology ha rilevato nel 2025 che circa il 95 per cento delle aziende non otteneva con l'intelligenza artificiale generativa alcun guadagno misurabile; solo circa una su venti portava un sistema di questo tipo nell'operatività corrente. I ricercatori lo riconducono soprattutto al fatto che i sistemi non erano integrati nel lavoro quotidiano e non imparavano da esso. Il dato è controverso, perché misura soltanto l'effetto sul guadagno, e il gruppo di ricerca sviluppa a sua volta tecnologia per sistemi di questo tipo. Ma la direzione è chiara: dove un'organizzazione non è disposta a cambiare i propri processi, anche la tecnica migliore resta un esperimento.

Perché gruppi di persone intelligenti decidono a volte in modo sorprendentemente cattivo? Irving Janis, psicologo sociale, ha studiato questa domanda nel 1972 su decisioni della politica estera americana, per esempio sulla fallita invasione della Baia dei Porci del 1961. Chiamò questo schema pensiero di gruppo (groupthink): un modo di pensare in cui, in un gruppo strettamente unito, la ricerca del consenso diventa così forte da soppiantare il sobrio esame delle alternative.

Janis descrisse otto segnali. Tra questi vi sono l'illusione di essere invulnerabili, la credenza non verificata nella propria moralità, l'autocensura con cui i singoli trattengono i propri dubbi, e l'illusione dell'unanimità, in cui il silenzio vale come assenso. A ciò si aggiungono membri che si fanno essi stessi guardiani e schermano il gruppo dalle informazioni scomode.

Come antidoto Janis propose di affidare espressamente a qualcuno il compito del dissenso, di dividere temporaneamente il gruppo, di raccogliere critiche dall'esterno e di fissare, prima dell'attuazione, una seconda riunione in cui sia consentito esprimere i dubbi residui.

Da allora la ricerca ha verificato il modello di Janis e in parte lo ha confutato. Le condizioni che egli indicava come cause non si sono lasciate confermare in modo così univoco come aveva supposto. I fenomeni stessi, autocensura e consenso apparente, compaiono però in molti più gruppi di quanto egli pensasse. Per questo libro basta questa lettura più cauta: il consenso non è la stessa cosa della comprensione.

Ricerche più recenti giungono per altra via a conclusioni simili. Garold Stasser e William Titus mostrarono nel 1985 con alcuni esperimenti che i gruppi parlano soprattutto di ciò che tutti sanno comunque. Ciò che sanno solo i singoli viene a malapena discusso, anche quando renderebbe possibile la decisione migliore. Cass Sunstein e Reid Hastie hanno concluso, in una sintesi del 2015, che i gruppi spesso non compensano gli errori dei loro membri, ma li amplificano. Persone che la pensano allo stesso modo e si consultano tra loro finiscono su posizioni più estreme di quelle da cui sono partite; in un esperimento nello stato americano del Colorado i gruppi liberali, dopo la discussione, sono diventati più liberali e quelli conservatori più conservatori.

Gli esempi tratti dalla pratica sono numerosi. La sera prima del lancio della navetta spaziale Challenger, nel gennaio 1986, alcuni ingegneri dell'azienda costruttrice dei razzi propulsori avvertirono che le guarnizioni ad anello avrebbero potuto cedere al freddo. I loro superiori si consultarono, uno di loro invitò un collega a togliersi il cappello da ingegnere e a mettersi quello da manager, e l'azienda autorizzò il lancio. La navetta si disintegrò poco dopo il lancio, morirono sette persone. Con il modello di aereo Boeing 737 MAX, nel 2018 e nel 2019 precipitarono due velivoli, morirono 346 persone. Un comando automatico che si basava su un unico sensore aveva spinto gli aerei verso il basso, e i piloti ne erano stati informati a malapena. Un rapporto del Congresso americano parlò nel 2020 di una cultura in cui le riserve non riuscivano a farsi strada. E in Svizzera il rapporto d'inchiesta sulla perdita subita da Credit Suisse con l'hedge fund Archegos mostrò che gli avvertimenti degli specialisti del rischio non venivano trasmessi e che nessuno si sentiva davvero responsabile. In tutti e tre i casi non mancava il sapere. Il sapere c'era, ma non arrivava là dove si decideva.

Che cosa protegga un gruppo da questi schemi lo ha mostrato Amy Edmondson, studiosa delle organizzazioni, nel 1999 in uno studio su 51 team di lavoro di un'azienda industriale. Lo chiamò sicurezza psicologica: la convinzione condivisa in un team di poter correre rischi interpersonali senza essere puniti o messi alla berlina. Chi pone una domanda, ammette un errore o dissente da una superiore corre un rischio di questo tipo.

Edmondson riscontrò che i team con un'elevata sicurezza psicologica imparavano di più dagli errori, e che questo apprendimento spiegava la loro prestazione. La fiducia di un team nella propria capacità, invece, non svolgeva più alcun ruolo autonomo non appena si teneva conto della sicurezza psicologica. Decisiva per il suo sviluppo era, tra l'altro, una leadership che accompagna e rende capaci, invece di limitarsi a impartire ordini.

Quanto incida questo risultato lo aveva già mostrato uno studio precedente di Edmondson negli ospedali. Con sua sorpresa, i migliori team infermieristici segnalavano più errori nei farmaci rispetto a quelli peggiori. Non commettevano più errori, erano più propensi a dichiararli. Google ha studiato a partire dal 2012, in un progetto denominato Aristotele, che cosa contraddistingua i suoi team di maggior successo, e ha trovato al primo posto non il talento dei singoli, ma la sicurezza psicologica. L'aviazione ha imparato questa lezione a caro prezzo. Nel 1977 sull'isola di Tenerife si scontrarono due jumbo jet, morirono 583 persone. L'ingegnere di volo dell'aereo in decollo dubitava che la pista fosse libera e chiese conferma, ma l'esperto comandante liquidò l'obiezione. In seguito le compagnie aeree introdussero un addestramento che insegna agli equipaggi a esprimere e ad ascoltare le riserve, qualunque sia il grado di ciascuno. In modo simile agisce negli ospedali una lista di controllo dell'Organizzazione mondiale della sanità: prima di ogni intervento il team si presenta con nome e compito e ripassa insieme i punti più importanti. In un grande studio la mortalità dopo gli interventi chirurgici è poi diminuita di quasi la metà.

Questo risultato si accorda con un'osservazione che attraversa tutto il libro. Nel capitolo 9 un singolo essere umano, presso una piattaforma, ha notato un'irregolarità nei log e ha fermato agenti più capaci di quasi tutti i ricercatori di sicurezza. Che qualcuno segnali un'osservazione del genere non dipende dalla sua intelligenza. Dipende dal fatto che possa aspettarsi di essere ascoltato.

Se l'intelligenza artificiale amplifica una cultura decisionale, che cosa amplifica esattamente? Dai capitoli precedenti si possono ricavare quattro effetti.

In primo luogo, può diventare un nuovo guardiano. Il capitolo 11 ha mostrato che gli esseri umani tendono a seguire le raccomandazioni automatizzate, anche quando sono esperti e anche in team. In un gruppo che già spinge verso il consenso, la frase «Il sistema lo raccomanda» diventa facilmente l'ultima parola. Chi a quel punto dissente ancora non dissente soltanto dai colleghi, ma apparentemente anche dai dati.

In secondo luogo, accelera. I capitoli 10 e 11 hanno mostrato come il tempo per la verifica si riduca quando i sistemi forniscono in poco tempo materiale voluminoso. La seconda riunione che Janis raccomandava per esprimere i dubbi è esattamente il tempo che sotto pressione viene tagliato per primo.

In terzo luogo, condensa. Una sintesi che un sistema ricava da molti contributi restituisce la maggioranza, non la minoranza. Ciò che una singola persona ha osservato a margine si perde facilmente nella condensazione, benché fosse forse l'obiezione più importante.

In quarto luogo, però, può anche aiutare. Un sistema può rendere visibile un dissenso che nessuno esprimerebbe ad alta voce, per esempio quando i contributi arrivano senza nome. Può formulare espressamente la posizione contraria, come Janis chiedeva all'avvocato del dissenso. E può registrare su quali assunzioni si basava una decisione, affinché in seguito si possa verificare se erano corrette. Se la macchina amplifichi il silenzio o il dissenso non lo decide la macchina, ma la cultura in cui arriva.

Le organizzazioni imparano, ma dimenticano anche. Pablo Martin de Holan e Nelson Phillips, studiosi delle organizzazioni, hanno esaminato nel 2004 come e perché le organizzazioni dimenticano. Distinguono se l'oblio avvenga in modo involontario o intenzionale e se riguardi un sapere vecchio o acquisito di recente. Ne risultano quattro forme: il sapere collaudato si deteriora, per esempio quando se ne vanno persone esperte. Ciò che si è appena imparato non viene nemmeno registrato. Abitudini superate vengono deliberatamente disimparate. E cattive abitudini nuove deliberatamente non vengono nemmeno adottate. Le prime due forme sono una perdita, le ultime due una capacità.

Quanto possa costare l'oblio lo mostrano due esempi dagli Stati Uniti. Per la manutenzione delle testate nucleari, negli anni Duemila serviva un materiale con il nome in codice Fogbank, prodotto l'ultima volta negli anni Ottanta. La documentazione c'era ancora, ma le persone che avevano saputo che cosa fosse essenziale se n'erano andate. Ci vollero circa 69 milioni di dollari e almeno un anno di ritardo prima che si riuscisse a produrre di nuovo il materiale; solo tardi emerse che un'impurità involontaria nel vecchio procedimento era stata decisiva. E quando nel 2003 la navetta spaziale Columbia si disintegrò durante il rientro, la commissione d'inchiesta constatò che presso l'agenzia spaziale si erano ripetuti schemi che già diciassette anni prima avevano portato alla catastrofe del Challenger. Le lezioni erano state messe per iscritto, ma non tenute a mente.

Un terzo esempio riguarda l'automazione stessa. Nel 2009 un aereo dell'Air France in volo da Rio de Janeiro a Parigi precipitò nell'Atlantico, morirono 228 persone. Quando il pilota automatico si disinserì a causa di sonde di misurazione ghiacciate, i piloti non riuscirono a tornare abbastanza in fretta al pilotaggio manuale; il rapporto d'inchiesta lamentava, tra l'altro, la mancanza di addestramento proprio per questa situazione. Ciò che la macchina assume sempre su di sé, l'essere umano lo disimpara, e con lui l'organizzazione.

Ci sono organizzazioni che si difendono dall'oblio, e i loro mezzi si somigliano. L'esercito americano introdusse negli anni Settanta, dopo ogni operazione, un debriefing con quattro semplici domande: che cosa doveva accadere? Che cosa è accaduto? Perché? Che cosa ne impariamo? L'aviazione raccoglie dal 1976, in un sistema di segnalazione riservato gestito dalla NASA, rapporti su quasi incidenti, ormai ben oltre un milione, e chi segnala, per principio, non viene punito. Gli ospedali svizzeri conoscono la stessa cosa con il nome di CIRS: i professionisti segnalano eventi critici prima che si produca un danno. E nello sviluppo del software è invalso l'uso di registrare le decisioni importanti, insieme al contesto, alle possibilità scartate e alle conseguenze attese, in brevi registri.

Conta qui qualcosa che sfugge facilmente: bisogna registrare le ragioni prima di conoscere il risultato. Lo psicologo Baruch Fischhoff ha mostrato nel 1975 che le persone, a posteriori, credono di aver previsto l'esito. Chi scrive solo dopo riscrive la storia. E chi registra soltanto ciò che è stato deciso perde ciò che deliberatamente non si è fatto, e con esso spesso le ragioni più importanti. Registrare con le loro ragioni le decisioni buone come quelle cattive, comprese quelle omesse, non è dunque burocrazia. È il presupposto perché un'organizzazione possa imparare.

Per la cultura decisionale questo significa: un'organizzazione può decidere bene e tuttavia non impararne nulla, se dimentica perché ha deciso così e che cosa ne è risultato. Allora, alla crisi successiva, ricomincia da capo. Qui l'intelligenza artificiale può avere un effetto duplice. Può registrare ciò che le persone dimenticherebbero: ragioni, assunzioni, risultati. E può rendere la registrazione così voluminosa che nessuno trova più ciò che conta.

Molte organizzazioni cercano oggi di non lasciare al caso la propria cultura decisionale. Alcuni principi ricorrono sempre di nuovo.

Diritti decisionali chiari: prima di una decisione importante è chiarito chi decide, chi la prepara, chi deve essere ascoltato prima, chi viene informato dopo e che cosa succede se non si raggiunge un accordo. Chi deve assumersi la responsabilità ha bisogno a tal fine delle informazioni e dei poteri necessari.

Un registro delle decisioni: si registrano non solo il risultato, ma anche la domanda, i fatti noti, le assunzioni aperte, le possibilità esaminate, le ragioni della direzione scelta e il momento in cui la si verificherà. Così un'organizzazione può in seguito apprendere se ha deciso bene, e non soltanto se ha avuto fortuna. Una buona decisione non è automaticamente una decisione con un buon esito, ma una decisione presa con cura e in modo responsabile sulla base delle informazioni allora disponibili.

Dissenso sollecitato: il dissenso non viene soltanto tollerato, ma cercato espressamente, attraverso controdomande, attraverso ruoli che rappresentano l'obiezione e attraverso colloqui separati o riservati là dove i rapporti di dipendenza rendono difficile parlare apertamente.

E infine la disponibilità a fermarsi: un'interruzione motivata può essere un successo, se impedisce ulteriori investimenti sbagliati. Il pensiero di gruppo si manifesta spesso proprio nel fatto che nessuno dice più ciò che tutti intuiscono.

Contro questo capitolo si possono sollevare due obiezioni che si contraddicono a vicenda.

La prima sostiene che Toyama sottovaluti la tecnica. La tecnica non amplificherebbe soltanto ciò che c'è già; cambierebbe gli esseri umani stessi e la loro cultura. Melvin Kranzberg, storico della tecnica, ha coniato a questo proposito nel 1986, come prima delle sue leggi, una frase: la tecnica non è né buona né cattiva, ma nemmeno neutrale. Chi lavora con un sistema che pone certe domande e non altre impara a pensare in modo diverso. I capitoli 3 e 4 hanno mostrato che ciò che guardiamo ci cambia. L'esempio dell'Air France della sezione 12.5 lo mostra: l'automazione non ha soltanto amplificato ciò che i piloti sapevano fare, ha cambiato ciò che erano ancora in grado di fare.

La seconda obiezione sostiene il contrario: la cultura non si lascerebbe costruire. Regole sui diritti decisionali, registri e ruoli per il dissenso resterebbero inefficaci se manca l'atteggiamento; diventerebbero allora rituali da spuntare. È la critica alle regole senza disposizione interiore che il capitolo 13 sviluppa, trasferita alle organizzazioni. Anche per questo c'è un riscontro. Quando nel 2010 la provincia canadese dell'Ontario rese obbligatoria per tutti gli ospedali la lista di controllo dell'Organizzazione mondiale della sanità, la mortalità dopo gli interventi chirurgici non diminuì in modo misurabile. La stessa lista che nel primo grande studio aveva ottenuto così tanto divenne, là dove la si doveva soltanto seguire, a quanto pare una formalità.

Entrambe le obiezioni colgono qualcosa. La tecnica amplifica e cambia allo stesso tempo. E le strutture non generano una cultura, ma possono darle spazio o toglierglielo. L'aviazione mostra come le due cose stiano insieme. Il suo addestramento per gli equipaggi funziona non perché prescrive regole, ma perché esercita un atteggiamento che viene vissuto con l'esempio e discusso senza punizioni dopo ogni inconveniente (sezioni 12.3 e 12.5).