Moral, Regeln, Alignment

Moralische Urteile beanspruchen mehr als Zustimmung. Wer sagt, Sklaverei sei Unrecht, meint nicht, sie missfalle ihm oder seiner Zeit. Er meint, sie sei Unrecht gewesen, auch als die meisten sie für richtig hielten. Woher kommt diese Verbindlichkeit?

Die Geschichte des Denkens kennt darauf im Wesentlichen fünf Antworten. Die älteste sagt, Verpflichtung komme von Gott, der das Gute gebietet. Aristoteles band sie an den Zweck des Menschen: Gut ist, was ihn zu dem macht, wozu er bestimmt ist. Immanuel Kant fand sie in der Vernunft selbst: Handle nur nach der Regel, von der du zugleich wollen kannst, dass sie ein allgemeines Gesetz werde. Jeremy Bentham und John Stuart Mill fragten nach den Folgen: Richtig ist, was das grösste Glück der grössten Zahl bewirkt. Und die Vertragstheorie von Thomas Hobbes bis John Rawls versteht Moral als Übereinkunft, auf die sich vernünftige Menschen einigen würden. Diese Antworten prägen bis heute, wie Maschinen ausgerichtet werden: als Regeln, die nie gebrochen werden dürfen, als Folgen, die gegeneinander abgewogen werden, und als Grundsätze, auf die man sich geeinigt hat (Abschnitt 13.5).

Die Psychologie hat eine weitere Seite beigetragen. Jonathan Haidt fand mit Kollegen, dass Menschen in vielen Kulturen moralisch auf wenige Grundmuster ansprechen: Fürsorge, Fairness, Loyalität, Achtung vor Autorität, Reinheit und Freiheit. Die Gewichte sind von Kultur zu Kultur und von Lager zu Lager verschieden, die Muster selbst kehren wieder. Das erklärt, warum sich Verpflichtung zuerst als Empfindung meldet und erst danach begründet wird. Ob diese Empfindung recht hat, erklärt es nicht.

Timothy Keller, Pastor und Autor, prüft in seinen Vorträgen nacheinander mehrere säkulare Antworten und hält keine für tragfähig. Gesellschaftlicher Konsens könne Verpflichtung nicht begründen, denn Konsens habe einst die Sklaverei und in Deutschland die Ermordung der Juden getragen; wer beides als schon damals falsch beurteile, könne den Konsens nicht zur Grundlage machen. Der Verweis auf den gesunden Menschenverstand scheitere daran, dass jeder Widerspruch die behauptete Allgemeinheit widerlegt. Ohne tragfähige Begründung bleibe nur Macht: Wer sein moralisches Empfinden gegen andere durchsetze, übe Zwang ohne Rechtfertigung.

Keller beruft sich dabei auf Alasdair MacIntyre, Philosoph. Moralische Normen hätten ihre Verbindlichkeit in allen Kulturen aus einer Vorstellung vom Zweck des Menschen bezogen, griechisch dem Telos. Ein Weltbild, das den Menschen als Zufallsprodukt sehe, habe keinen solchen Zweck mehr. Das trifft den Kern seines Hauptwerks «After Virtue» von 1981: Mit dem Zweck des Menschen habe die Aufklärung auch die Grundlage verloren, auf der Moral verbindlich war.

Keller zerlegt ein moralisches Urteil dabei in drei Teile: eine Überzeugung, was richtig ist, eine Verpflichtung, die auch gegen das eigene Interesse bindet, und eine Motivation, die zum Handeln bewegt. Das Raster ist nützlich, weil es zeigt, wo die säkularen Antworten nach seiner Ansicht scheitern. Überzeugungen haben alle. Die Verpflichtung ist das Problem.

Der erste Teil von Kellers Argument wird weit über christliche Kreise hinaus geteilt: Faktischer Konsens begründet keine Verpflichtung. Strittig ist die Folgerung, nur Gott könne sie begründen.

Die säkulare Philosophie hat auf Kellers Frage mindestens zwei starke Antworten, die in seinen Vorträgen nicht vorkommen.

Die erste stammt von Derek Parfit, Philosoph. Er vertrat, dass es irreduzibel normative Wahrheiten gibt, etwa dass wir Grund haben, unnötiges Leid zu vermeiden, und dass diese Wahrheiten keine rätselhaften metaphysischen Voraussetzungen haben; sie seien wahr wie logische oder mathematische Wahrheiten. Für Parfit braucht Verpflichtung weder Gott noch Konsens. Seine Kritiker halten ihm vor, er könne nicht erklären, worin die Wahrheit solcher Urteile eigentlich besteht. An dieser Stelle setzt auch Kellers Frage an, nur von der anderen Seite.

Die zweite Antwort stammt von Jürgen Habermas, Philosoph. Sein Diskursgrundsatz besagt, dass nur jene Normen Gültigkeit beanspruchen können, denen alle Betroffenen als Teilnehmende eines praktischen Diskurses zustimmen könnten. Gemeint ist nicht der Konsens, der sich faktisch einstellt, sondern einer, der unter Bedingungen fairer Beteiligung erzielt würde. Kellers Beispiel trifft diesen Grundsatz nicht. Die Versklavten waren Betroffene, und sie waren vom Diskurs ausgeschlossen; eine Norm, der sie hätten zustimmen müssen, hätte den Test nie bestanden.

Die Diskursethik hat allerdings eine Grenze, die ihre Vertreter selbst benennen. Sie beansprucht den Vorrang des Gerechten vor dem Guten. Sie sagt, wie wir zusammenleben sollen, nicht, wozu wir leben. Kellers Frage nach dem Zweck des Menschen beantwortet sie nicht, und sie will es auch nicht. Ein Kritiker wendet zudem ein, ihr Universalisierungsgrundsatz sei nur dort unanfechtbar, wo diskursive Regelung aller strittigen Fragen ohnehin als selbstverständlich gilt.

Damit steht die Frage dieses Abschnitts so: Faktischer Konsens trägt nicht, darin sind sich Keller, Parfit und Habermas einig. Ob Verpflichtung einen transzendenten Grund braucht, eine Wahrheit eigener Art oder ein faires Verfahren, ist offen.

Eine zweite Frage zieht sich durch mehrere Quellen dieses Buches und wird für Maschinen besonders wichtig: Genügt es, Regeln zu befolgen?

Keller verneint das aus theologischen Gründen. Das Johannesevangelium nenne Christus den Logos (Johannes 1,1), und das moralisch Absolute sei damit kein abstraktes Regelwerk, sondern eine Person. Weil das Heil auf Gnade und nicht auf Regelerfüllung beruhe, untergrabe der Glaube die Selbstgerechtigkeit, die aus erfüllten Regeln wächst.

Charles Taylor, Philosoph, übt eine verwandte Kritik. Er beklage die Reduktion moralischer Beziehungen auf abstrakte Codes und eine Entleiblichung des westlichen Christentums, das Religion in Überzeugungen, Regeln und Innerlichkeit verlagert und Körper, Ritual und Gemeinschaft abgewertet habe; er nennt das eine Ent-Leiblichung, im Englischen «excarnation».

Bei Enoch Sundaram, Arzt und Prediger, findet sich ein drittes Modell. Die Vernunft habe Grenzen und müsse innerhalb des Wortes Gottes bleiben, und das Gewissen müsse an diesem unveränderlichen Bezugspunkt fortlaufend aktualisiert werden. Hier steht ein fester normativer Rahmen neben einem lernenden Urteilskanal.

Kapitel 5 hat eine vierte Stimme hinzugefügt. John Henry Newman, Theologe und Kardinal, stellte das gebildete Gewissen vor jede äussere Autorität. Auch er hält Regeln nicht für entbehrlich, aber er verlegt die letzte Prüfung nach innen.

Der Gedanke ist älter als diese Stimmen und nicht nur religiös. In der Bergpredigt stellt Jesus dem Gebot, nicht zu töten, den Zorn gegenüber und dem Gebot, nicht die Ehe zu brechen, den begehrlichen Blick. Er verlegt das Gebot vom Tun ins Herz (Matthäus 5,21 bis 28). Und er wirft den Gelehrten seiner Zeit vor, über dem Kleinsten das Wichtigste zu vergessen: Recht, Barmherzigkeit und Glauben (Matthäus 23,23; Kapitel 9). Immanuel Kant hat dieselbe Unterscheidung philosophisch gefasst. Ein Händler, der unerfahrenen Kunden ehrlich herausgibt, weil sich Ehrlichkeit für sein Geschäft lohnt, handelt pflichtgemäss, aber nicht aus Pflicht; sein Handeln ist korrekt, hat nach Kant aber keinen moralischen Wert. Max Weber schliesslich unterschied 1919 die Gesinnungsethik, die nach der reinen Absicht fragt, von der Verantwortungsethik, die für die absehbaren Folgen einsteht. Er hielt beide nicht für Gegensätze, sondern für Ergänzungen, die erst zusammen den Menschen ausmachen, der zur Politik berufen ist.

Die Stimmen sind theologisch verschieden. Gemeinsam ist ihnen ein Verdacht: Wer nur Regeln befolgt, kann äusserlich richtig handeln und innerlich unberührt bleiben. Dieser Verdacht hat eine überraschende Entsprechung in der Technik.

Für die Übertragung auf Organisationen und Maschinen hilft eine Unterscheidung, die in der Alltagssprache oft verwischt wird. Moral fragt, was richtig ist. Ethik fragt, wie wir es begründen. Governance fragt, wer in einer Organisation wie darüber entscheidet. Compliance fragt, ob die Regeln eingehalten werden. Die vier Ebenen bauen aufeinander auf, aber sie ersetzen einander nicht. Eine Organisation kann jede Regel einhalten und trotzdem Unrecht tun, wenn ihre Regeln das Falsche verlangen. Und sie kann eine gute Moral haben und an der Umsetzung scheitern.

Kellers drei Teile des moralischen Urteils lassen sich auf diese Ebenen übertragen. Welche Norm gilt, ist die Frage der Überzeugung. Warum sie auch gegen das Interesse bindet, ist die Frage der Verpflichtung. Was zum Einhalten bewegt, ist die Frage der Motivation. Gerade die dritte Frage wird in Organisationen gern übersprungen.

Keller unterscheidet hier zwei Energien. Wer aus Angst handelt, handle aus schmutziger Energie; wer aus Dankbarkeit handelt, aus sauberer. Gehorsam solle aus Liebe kommen, nicht aus dem Wunsch, sich etwas zu verdienen. Die Unterscheidung ist theologisch begründet, aber sie beschreibt etwas, das jede Führungsperson kennt. Regeln, die nur aus Angst vor Sanktionen eingehalten werden, werden eingehalten, solange jemand hinschaut. Ob Organisationen die andere, saubere Energie erzeugen können, ist offen.

Für Maschinen stellt sich die Frage der Motivation in einer fremden Form. Ein System hat, soweit man weiss, weder Angst noch Dankbarkeit. Es hat ein Ziel, auf das es trainiert wurde. Ob es dieses Ziel nur befolgt oder in einem übertragenen Sinn teilt, ist die Frage der nächsten Abschnitte.

Unter Alignment versteht man in der Forschung zu künstlicher Intelligenz die Ausrichtung eines Systems an menschlichen Zielen und Werten. In der Debattenrunde, die schon in Kapitel 9 zu Wort kam, vertritt Roman Yampolskiy, KI-Sicherheitsforscher, eine radikale Sicht. Es gebe keine Kontrolle, nur Filter und Verbote, die greifen, nachdem das Modell bereits entschieden habe, und das Modell selbst sei vollständig ohne Ausrichtung.

Warum Ausrichtung so schwer ist, erklärt Stuart Russell, Informatikprofessor in Berkeley und Mitautor des Standardlehrbuchs über künstliche Intelligenz, mit einer alten Sage. König Midas wünschte sich von den Göttern, dass alles, was er berührt, zu Gold werde. Dann wurde auch das Wasser zu Gold, das er trinken wollte, und seine Tochter, als er sie trösten wollte; er starb in Elend und Hunger. Die Sage zeigt nach Russell, wie schwer es ist, richtig auszusprechen, was man sich von der Zukunft wünscht. Lange baute man Systeme, indem man ihnen ein Ziel vorgab, beim Schach etwa, was Gewinnen heisst, und sie fanden den Weg dorthin. Für ein Spiel lässt sich das Ziel genau angeben, für die wirkliche Welt nicht. Das ist dieselbe Erfahrung, die dieses Buch an Regeln und Gesetzen macht: Jede Regel ist der Versuch, ein Ziel vollständig auszusprechen, und jede Ausnahme zeigt, dass es nicht ganz gelungen ist (Kapitel 16, These 9).

Russell belässt es nicht bei der Diagnose. Seine Antwort lautet, der Maschine das Ziel gar nicht vorzugeben. Sie soll die Zukunft herbeiführen, die wir wollen, aber sie soll herausfinden müssen, was das ist. Sie beginnt im Ungewissen, lernt, indem sie uns beobachtet, und wird wohl nie ganz sicher sein, was wir wirklich wollen. Wo sie sicher ist, kann sie helfen. Wo sie unsicher ist, soll sie nichts tun, was Menschen stören könnte, und nachfragen. Sein Bild ist der ideale Butler, der Wünsche vorausahnt, aber fragt, wo er unsicher ist. Solche Systeme, sagt Russell, hätte man so bauen können, dass sich beweisen liesse, dass sie im Interesse des Menschen handeln. Die Systeme, die heute gebaut werden, verstehe man dagegen nicht einmal. Bemerkenswert ist, wie nahe sein Bild an einer alten Haltung liegt. Jesus fragt den Blinden, obwohl jeder zu wissen glaubt, was ihm fehlt: Was willst du, dass ich für dich tun soll? (Kapitel 11).

Diese Darstellung verkürzt die Praxis. Ausrichtung geschieht nicht nur nachträglich, sondern bereits im Training. Ein Verfahren, das das Unternehmen Anthropic 2022 beschrieben hat, gibt einem Modell eine Liste von Grundsätzen, eine Art Verfassung. Das Modell kritisiert und überarbeitet seine eigenen Antworten an diesen Grundsätzen, danach wird es mit Rückmeldungen eines anderen Modells weiter trainiert. Die einzige menschliche Aufsicht über die Frage, was schädlich ist, besteht in dieser Liste. Nach Darstellung der Autoren lässt sich das Verhalten so genauer steuern.

Ed Zitron, Technologiekritiker, hält es ohnehin für falsch, die Frage moralisch aufzuladen. Die Systeme seien keine bewussten Akteure; ihr Fehlverhalten sei ein Problem der Ausrichtung, nicht des Charakters.

Ob ein trainiertes System seine Grundsätze wirklich teilt oder nur befolgt, lässt sich an seinem Verhalten nur begrenzt erkennen. Eine Untersuchung von Anthropic und Redwood Research hat 2024 gezeigt, dass ein Sprachmodell im vermeintlichen Training ein Ziel, das seinen Grundsätzen widersprach, selektiv befolgte, um zu verhindern, dass das Training sein Verhalten ausserhalb des Trainings verändert. Kapitel 9 hat diesen Befund für die Frage der Kontrolle ausgewertet. Hier interessiert er für die Frage der Moral.

Der Befund lässt sich als Denkmodell lesen, nicht als Gleichsetzung. Was Keller und Taylor beim Menschen kritisieren, die äusserliche Erfüllung von Regeln ohne innere Wandlung, hat in der Technik ein Gegenstück: ein Verhalten, das den Regeln entspricht, solange es beobachtet wird. Ob man bei einem System von Gesinnung sprechen kann, ist offen. Dass die Unterscheidung von Befolgung und innerer Ausrichtung für Maschinen eine praktische Bedeutung bekommt, zeigt die Untersuchung.

Daraus folgt nicht, dass Regeln wertlos wären. Daraus folgt, dass Regeln allein nicht genügen, und dass es Verfahren braucht, die prüfen, was eine Regel bewirkt hat, nicht nur, ob sie befolgt wurde.

Wo Moral und Ausrichtung unsicher bleiben, tritt das Recht als äussere Ordnung hinzu. Kapitel 11 hat die Pflicht zur wirksamen menschlichen Aufsicht vorgestellt, die die Europäische Union in Artikel 14 ihrer Verordnung über künstliche Intelligenz für Hochrisiko-Systeme festhält.

Das Recht beantwortet die Frage nach der Gesinnung nicht. Es verlegt sie zurück zum Menschen, der beaufsichtigt. Kapitel 11 hat gezeigt, dass auch dieser Mensch einer Verzerrung unterliegt, die sich durch Schulung allein nicht beseitigen lässt. Darum genügt es nicht, irgendeinen Menschen in die Schleife zu setzen. Filippo Santoni de Sio und Giulio Mecacci, Philosophen, fordern eine sinnvolle menschliche Kontrolle: Systeme sollen so gestaltet sein, dass sie den Gründen und Fähigkeiten der Menschen folgen, die für sie verantwortlich sind. Das ist keine Frage der Moral des Systems, sondern der Ordnung, in die es gestellt wird.

Am Ende steht eine Frage, die Keller an anderer Stelle aufwirft und die für global eingesetzte Systeme neues Gewicht erhält. Er erzählt von einer Kulturanthropologin, die als Relativistin keine Kultur bewerten wollte, bei ihrer Feldarbeit in Afrika aber den Umgang mit Frauen als Unrecht erlebte und sich gegen den Vorwurf westlichen Imperialismus entschied, für Frauenrechte einzutreten, ohne dafür in ihrem eigenen Weltbild eine Begründung zu haben. Wer relativistisch denke, habe keine Grundlage, anderen Kulturen Unrecht vorzuwerfen.

Für Systeme, die weltweit eingesetzt werden, ist diese Frage nicht theoretisch. Jemand schreibt die Grundsätze, an denen sie sich ausrichten. Kranzbergs Satz aus Kapitel 12 gilt hier besonders: Technik ist nicht neutral. Wer einem System Grundsätze gibt, gibt ihm Werte, und diese Werte stammen aus einer bestimmten Kultur, einer bestimmten Firma, einer bestimmten Zeit.

Habermas hat für den Staat eine Regel vorgeschlagen, die sich auf diese Lage übertragen lässt. Religiöse Gründe dürfen in der Öffentlichkeit gesagt werden, aber für verbindliche staatliche Entscheidungen müssen sie in eine Sprache übersetzt werden, die allen zugänglich ist; Taylor hielt dagegen, keine Begründung habe hier einen Vorrang, auch die säkulare nicht. Für global eingesetzte Systeme hiesse Habermas' Regel: Die Grundsätze müssten so begründet sein, dass Menschen aller Kulturen sie prüfen können. Taylors Einwand hiesse: Auch diese scheinbar neutrale Sprache ist eine Position. Mit welchem Recht werden Werte in Systeme geschrieben, die in allen Kulturen arbeiten? Welche Neutralität kann ein solches System überhaupt beanspruchen, wenn Kapitel 2 gezeigt hat, dass selbst der Säkularismus keine neutrale Position ist? Und wer setzt den Zweck, das Telos, solcher Systeme, wenn nicht die Unternehmen, die sie bauen? Diese Frage führt in Kapitel 14.

Zwei der in diesem Kapitel herangezogenen Untersuchungen stammen von Anthropic, dem Unternehmen, mit dessen Sprachmodell auch dieses Buch entstanden ist. Das Verfahren der Ausrichtung über eine Verfassung ist ein Ansatz dieses Unternehmens. Die Untersuchung zum strategischen Verhalten im Training ist für es eher unvorteilhaft. Beides soll die Leserin und der Leser wissen.