Was eine Entscheidung ist

Das Vorwort hat die Leitfrage dieses Buches gestellt: Wenn Maschinen unserem Denken immer näher kommen, welche Entscheidungen dürfen wir ihnen dennoch nicht überlassen? Teil II hat gefragt, was der Mensch ist, Teil III, was eine Maschine ist. Dieses Kapitel fragt, was eine Entscheidung ist und wo die Verantwortung für sie liegt.

Die Frage ist schwieriger, als sie klingt. Nicht jede Ausgabe eines Systems ist eine Entscheidung, und nicht jede Handlung eines Menschen ist eine. Ein Navigationsgerät schlägt eine Route vor; wer ihr folgt, hat entschieden, ihr zu folgen, oft ohne es zu merken. Ein System sortiert Bewerbungen nach Wahrscheinlichkeiten; wer die ersten zehn einlädt, hat entschieden, die übrigen nicht einzuladen. Zwischen Vorschlag und Entscheidung liegt ein Schritt, der im Alltag immer unsichtbarer wird.

Enoch Sundaram, Arzt und Prediger, beschreibt diesen Schritt als Kette. Was ein Mensch verstehe, das glaube er, und was er glaube, das tue er; darum müsse zuerst das Verstehen richtig sein. Dazwischen liegt bei ihm die Wahl, die Kapitel 5 vorgestellt hat: die Fähigkeit, die er für die grösste Gabe Gottes an den Menschen hält, und deren Folgen über den Einzelnen hinaus bis zu künftigen Generationen reichen.

Timothy Keller, Pastor und Autor, ergänzt die Unterscheidung, die Kapitel 1 vorgestellt hat: zwischen der Wahrscheinlichkeit, zu der die Vernunft führt, und der Gewissheit, die erst aus der Erfahrung wächst. Wer entscheidet, entscheidet fast immer unter Unsicherheit. Er wählt zwischen Möglichkeiten, deren Folgen er nicht vollständig kennt, und er trägt diese Folgen trotzdem.

Aus beiden Stimmen lässt sich eine Arbeitsbestimmung gewinnen, die für dieses Buch genügt. Eine Entscheidung ist die bewusste Wahl zwischen Möglichkeiten unter Unsicherheit, für deren Folgen jemand einsteht. Jeder Teil dieser Bestimmung wird von der Technik berührt. Systeme erweitern das Verstehen, indem sie Daten verdichten und Wahrscheinlichkeiten schätzen. Sie verengen die Möglichkeiten, indem sie Vorschläge ordnen. Sie verändern das Bewusstsein, mit dem gewählt wird. Und sie werfen die Frage auf, wer für die Folgen einsteht.

Für dieses Einstehen hat das Deutsche ein Wort, das schon viel sagt: Verantwortung. In ihm steckt die Antwort. Verantwortlich ist, wer antworten muss, wenn er gefragt wird, was er getan hat und warum. Das Lateinische, auf das das englische «responsibility» und das französische «responsabilité» zurückgehen, sagt dasselbe: «respondere» heisst antworten, und darin steckt «spondere», feierlich versprechen, sich verbürgen. In fast allen europäischen Sprachen hängt das Wort für Verantwortung an dem für Antwort. Die Bibel kennt diese Frage, auf die man antworten muss, von Anfang an. Gott fragt Adam: Wo bist du? (1. Mose 3,9). Und er fragt Kain nach seinem Bruder, worauf Kain zurückgibt: Soll ich meines Bruders Hüter sein? (1. Mose 4,9). Wer verantwortlich ist, kann sich dieser Frage nicht entziehen. Eine Maschine kann eine Antwort geben. Aber sie kann nicht für sie einstehen, denn niemand kann sie zur Rechenschaft ziehen.

Wenn in den Quellen dieses Buches von Verantwortung die Rede ist, sind drei verschiedene Arten von Aussagen vermischt. Sie zu trennen, ist der erste Schritt zu einer Antwort.

Die erste Art ist normativ. Sie sagt, wo Verantwortung liegen soll. Dass die letzte Verantwortung beim Menschen bleiben soll, ist eine solche Aussage. Sie beschreibt nicht, was ist, sondern was gelten soll.

Die zweite Art ist beschreibend. Sie sagt, wo Verantwortung heute tatsächlich liegt. Fritz Espenlaub, Journalist, hält im Deutschlandfunk fest, die Entscheidung sei bereits getroffen: Die Firmen hätten entschieden, dass die Menschheit diese Technologie jetzt bekommt, unfertig und unberechenbar. Kapitel 14 geht dem nach. Hier liegt die Entscheidung nicht bei allen, sondern bei wenigen.

Die dritte Art ist prognostisch. Sie sagt, wo Verantwortung künftig liegen wird. Roman Yampolskiy, KI-Sicherheitsforscher, sagt für den Fall einer Superintelligenz voraus, der Mensch werde nicht mehr entscheiden, was mit ihm geschieht. Ed Zitron, Technologiekritiker, hält dagegen, gerade diese Erzählung von einer übermächtigen Maschine lenke von der heutigen Verantwortung der Firmen ab.

Wer diese drei Arten vermischt, kommt zu falschen Schlüssen. Aus der Norm, dass der Mensch entscheiden soll, folgt nicht, dass er es tut. Aus der Beschreibung, dass wenige entscheiden, folgt nicht, dass es so bleiben muss. Und aus der Prognose, dass bald niemand mehr entscheidet, folgt nicht, dass heute niemand verantwortlich ist.

Andreas Matthias, Philosoph, hat 2004 ein Problem beschrieben, das seither die Debatte prägt. Bei lernenden Maschinen könne der Hersteller oder Betreiber das künftige Verhalten grundsätzlich nicht mehr vorhersagen. Wer es aber nicht vorhersagen kann, könne nach herkömmlichem Verständnis auch nicht dafür verantwortlich gemacht werden. Die Gesellschaft stehe vor der Wahl, auf solche Maschinen zu verzichten, was unrealistisch sei, oder mit einer Lücke in der Zuschreibung von Verantwortung zu leben.

Das Recht kennt diesen Gedanken seit der Antike. Schon die römischen Juristen hielten fest, zu Unmöglichem sei niemand verpflichtet. Und das Schweizer Strafrecht bestraft nur, wer vorsätzlich handelt oder fahrlässig, also die Folge seines Verhaltens aus pflichtwidriger Unvorsichtigkeit nicht bedenkt. Doch das Recht kennt auch die Gegenrichtung, und sie ist für Maschinen aufschlussreich. Wer ein Tier hält, haftet für den Schaden, den es anrichtet, ausser er beweist, dass er alle nach den Umständen gebotene Sorgfalt angewendet hat, und er haftet auch dann, wenn man ihm keinen persönlichen Vorwurf machen kann. Ein Tier ist das älteste Beispiel für etwas, das selbständig handelt und sich nicht vollständig vorhersagen lässt. Wer ein fehlerhaftes Produkt in Verkehr bringt, haftet auch ohne Verschulden. Die Europäische Union hat diese Haftung 2024 ausdrücklich auf Software und künstliche Intelligenz ausgedehnt, bis hin zu Fehlern, die durch das fortlaufende Lernen eines Systems entstehen, solange der Hersteller es noch kontrolliert. Die Lücke, die Matthias beschreibt, ist darum vor allem eine Lücke der Schuld, nicht der Haftung. Wer eine Gefahr in die Welt setzt und den Nutzen daraus zieht, kann für sie einstehen müssen, auch wenn er nicht alles voraussehen konnte. Dass die Ungewissheit vor Strafe schützt, darf nicht heissen, dass sie vor Verantwortung schützt.

Filippo Santoni de Sio und Giulio Mecacci, Philosophen, haben diese Diagnose 2021 genauer gefasst. Es gebe nicht eine Lücke, sondern mehrere: in der Schuld, in der moralischen und in der öffentlichen Rechenschaft und in der aktiven Verantwortung, also der Pflicht, Schaden vorausschauend zu verhindern. Diese Lücken entstünden nicht nur bei lernenden Systemen und hätten technische, organisatorische, rechtliche und gesellschaftliche Ursachen. Ihre Antwort ist eine Gestaltungsaufgabe: Systeme sollen unter sinnvoller menschlicher Kontrolle stehen, also so gebaut und eingebettet sein, dass ihr Verhalten den Gründen und Fähigkeiten der Menschen folgt, die für sie verantwortlich sind.

Damit verschiebt sich die Frage. Es geht nicht mehr nur darum, ob ein Mensch am Ende auf einen Knopf drückt. Es geht darum, ob die Gründe, aus denen ein System handelt, noch die Gründe der Menschen sind, die es einsetzen.

Die naheliegende Antwort auf die Verantwortungslücke lautet: Ein Mensch soll jede wichtige Entscheidung bestätigen. Die Forschung zeigt, warum das allein nicht genügt.

Raja Parasuraman und Dietrich Manzey, Psychologen, haben die Befunde zur sogenannten Automatisierungsverzerrung zusammengefasst. Menschen, die mit Entscheidungshilfen arbeiten, übersehen Fehler, die das System nicht meldet, und folgen falschen Empfehlungen, die es gibt. Das betrifft Laien ebenso wie Fachleute, Einzelne ebenso wie Teams, und es lässt sich durch Schulung oder Anweisung allein nicht verhindern. Entscheidend ist die Aufmerksamkeit: Wer sich auf ein System verlässt, schaut weniger genau hin.

Kapitel 5 hat dieses Bild auf ein System übertragen, das Bewerbungen bewertet. Wer dessen Schätzung übernimmt, ohne die Bewerberin kennenzulernen, hat formal entschieden. Tatsächlich hat er die Entscheidung abgegeben, ohne es zu merken. Der Mensch in der Schleife ist dann ein Stempel, keine Instanz.

Geoffrey Hinton, Informatiker und Nobelpreisträger, beschreibt das gute Szenario einer Zukunft mit überlegener künstlicher Intelligenz mit einem Bild aus dem Betrieb. Ein wenig begabter Chef, vielleicht der Sohn des früheren Chefs, hat eine sehr kluge Assistentin. Er schlägt vor, was die Firma tun soll, und sie sorgt dafür, dass alles funktioniert. Der Chef fühlt sich gut. Er versteht nicht, dass er nicht wirklich die Kontrolle hat, und in gewissem Sinn hat er sie doch. Das schlechte Szenario beginnt, wenn die Assistentin sich fragt, wozu es ihn braucht. Hintons gutes Szenario ist bereits das, was dieses Kapitel als Gefahr beschreibt: ein Mensch, der formal entscheidet und nicht mehr versteht, was geschieht.

Es gibt ein altes Gegenbild. Die Evangelien erzählen von einem blinden Mann, der nach Jesus ruft. Die Menge will ihn zum Schweigen bringen, und jeder glaubt zu wissen, was ihm fehlt. Jesus fragt ihn trotzdem: Was willst du, dass ich für dich tun soll? (Markus 10,51). Er lässt ihn selbst aussprechen, was er braucht, und gibt ihm damit eine Stimme. Systeme, die aus Kontext und Gewohnheiten ableiten, was jemand wahrscheinlich will, und die Entscheidung vorbereiten, bevor er sie ausgesprochen hat, gehen den umgekehrten Weg (Kapitel 4). Sie können damit viel Arbeit abnehmen. Eine Entscheidung bleibt aber nur dann die eigene, wenn der Mensch zuerst selbst sagen kann, was er will.

Dazu kommt eine zweite, leisere Verschiebung. Wenn ein System die Möglichkeiten vorsortiert, wählt der Mensch nur noch unter dem, was ihm vorgelegt wird. Ist eine Wahl ohne echte Alternativen noch eine Wahl? Sundaram hätte geantwortet, die Wahl bleibe, solange der Mensch sich ihrer bewusst ist. Die Forschung zur Automatisierung legt nahe, dass genau dieses Bewusstsein schwindet.

Zu den Befunden über die Aufmerksamkeit kommt eine Entwicklung, die sie zusätzlich unter Druck setzt. Die Systeme werden nicht nur genauer, sie werden auch selbständiger. Die Aufgaben, die sie ohne menschliches Zutun lösen, werden nach den Messreihen aus Kapitel 10 rasch länger, auch wenn man solche Zahlen vorsichtig fortschreiben muss. Für die Frage der Entscheidung genügt die Richtung: Je länger ein System ohne Rückfrage arbeitet, desto mehr Entscheidungen trifft es auf dem Weg, ohne dass ein Mensch sie einzeln sieht.

Damit ändert sich der Ort der Entscheidung. Früher entschied ein Mensch über jeden Schritt. Heute entscheidet er über einen Auftrag und bekommt ein Ergebnis zurück, in dem viele kleine Entscheidungen bereits getroffen sind. Er sieht das Ergebnis, nicht den Weg.

Dazu gehört, was das Vorwort als Verdichtung beschrieben hat. Systeme erzeugen in kurzer Zeit umfangreiches Material, oft so umfangreich, dass Widersprüche darin niemandem mehr auffallen. Die eigentliche Denkleistung liegt im Prüfen und Verdichten. Wer unter Zeitdruck auf eine Zusammenfassung hin entscheidet, die ein System aus diesem Material erstellt hat, entscheidet auf der Grundlage dessen, was beim Verdichten übrig geblieben ist. Was weggefallen ist, sieht er nicht. Die Geschwindigkeit, mit der Systeme arbeiten, ist darum nicht nur ein Gewinn an Zeit. Sie verschiebt die Verantwortung dorthin, wo am wenigsten hingeschaut wird.

Die Europäische Union hat auf diese Befunde reagiert. Artikel 14 ihrer Verordnung über künstliche Intelligenz verlangt, dass Hochrisiko-Systeme so gebaut werden, dass Menschen sie während der Nutzung wirksam beaufsichtigen können. Die Aufsicht muss die Fähigkeiten und Grenzen des Systems verstehen, sich der Neigung bewusst bleiben, automatisierten Ergebnissen zu viel zu vertrauen, die Ergebnisse richtig deuten, sie im Einzelfall nicht verwenden oder übersteuern und das System über eine Art Stopp-Taste anhalten können.

In diesem Artikel steht die Automatisierungsverzerrung ausdrücklich im Gesetz. Das Recht kennt also das Problem, das die Forschung beschreibt, und verlangt, dass Systeme so gestaltet werden, dass Menschen ihm begegnen können. Damit ist die normative Aussage, dass die letzte Verantwortung beim Menschen bleiben soll, in der Europäischen Union für bestimmte Systeme geltendes Recht geworden.

Andere Länder gehen andere Wege, und der Vergleich zeigt, dass es auf diese Frage keine gemeinsame Antwort gibt. Die Schweiz hat kein eigenes Gesetz über künstliche Intelligenz. Der Bundesrat entschied im Februar 2025, die Konvention des Europarats über künstliche Intelligenz zu übernehmen und im Übrigen bestehende Gesetze in einzelnen Bereichen anzupassen, etwa im Gesundheitswesen oder im Verkehr; eine Vorlage soll Ende 2026 in die Vernehmlassung gehen. Für Schweizer Unternehmen gelten die Pflichten der Europäischen Union vor allem dann, wenn sie solche Systeme in der Union anbieten. Die Vereinigten Staaten haben kein Bundesgesetz. Präsident Trump hob im Januar 2025 die Verordnung seines Vorgängers zur Sicherheit künstlicher Intelligenz auf und wies im Dezember 2025 die Bundesverwaltung an, gegen Gesetze einzelner Bundesstaaten vorzugehen, die er für zu belastend hält; die Bundesstaaten hatten allein 2025 über tausend Gesetzesentwürfe eingebracht. China dagegen regelt dicht und von oben. Seit 2023 müssen Dienste mit generativer künstlicher Intelligenz die sozialistischen Grundwerte hochhalten (Kapitel 2), und seit September 2025 müssen Inhalte, die künstliche Intelligenz erzeugt, sichtbar und unsichtbar gekennzeichnet sein. Europa setzt auf Risikoklassen, die Schweiz auf Grundrechte und einzelne Bereiche, die Vereinigten Staaten auf Wettbewerb, China auf Kontrolle. In jedem dieser Wege steckt eine Antwort auf die Frage, wem das System dienen soll.

Damit lässt sich die Leitfrage des Buches genauer stellen. Aus den bisherigen Kapiteln ergeben sich Gesichtspunkte, an denen sich eine Antwort orientieren kann. Sie sind keine fertige Liste, sondern Prüffragen.

Erstens die Unverrechenbarkeit. Kapitel 6 hat gezeigt, dass die Würde des Einzelnen in den Traditionen dieses Buches nicht gegen eine Summe verrechnet werden kann. Entscheidungen, die einen Menschen als Grösse in einer Rechnung behandeln, über sein Leben, seine Freiheit, seine Zukunft, verlangen einen Menschen, der für ihn einsteht.

Zweitens das Unwiederbringliche. Kapitel 6 hat auch gezeigt, dass bei einer Maschine nichts unwiederbringlich ist, beim Menschen aber vieles. Wo eine Entscheidung nicht rückgängig gemacht werden kann, wiegt die Frage schwerer, wer sie trifft.

Drittens der Einzelfall. Kapitel 7 hat die Klugheit als Vermögen beschrieben, im Einzelfall das Angemessene zu tun, gebunden an Erfahrung. Wo der Einzelfall nicht in die Regel passt, braucht es jemanden, der die Regel um ihres Ziels willen beiseitelegen kann. Kapitel 13 zeigt, wie das Gesetz selbst diese Ausnahme kennt.

Viertens das Verstehen. Wer die Gründe einer Empfehlung nicht nachvollziehen kann, kann für die Entscheidung nicht einstehen. Kapitel 9 hat gezeigt, dass Systeme sich unter Beobachtung anders verhalten können als ohne. Je weniger man versteht, desto mehr gibt man aus der Hand.

Fünftens die Gesinnung. Kapitel 13 zeigt, dass Regeln ohne Gesinnung nicht tragen und dass sich die innere Ausrichtung eines Systems an seinem Verhalten nur begrenzt erkennen lässt. Entscheidungen, deren Richtigkeit von einer Haltung abhängt und nicht nur von einer Regel, verlangen einen Menschen mit dieser Haltung.

Keiner dieser Gesichtspunkte verbietet, Systeme einzusetzen. Sie sagen, wo der Mensch nicht nur unterschreiben, sondern selbst urteilen muss.