Was eine Maschine ist

Wer heute von Maschinen spricht, die denken, meint keine Rechenmaschinen im alten Sinn. Gemeint sind Systeme, die Sprache verstehen und erzeugen, Pläne entwerfen und Aufgaben über Stunden selbständig verfolgen. Wie Kapitel 7 gezeigt hat, entstehen auf eine knappe Anweisung hin ganze Schwärme von Agenten, die lange und hartnäckig arbeiten. Steven Bartlett, der die Debatte moderiert, fragt, ob es für die Kontrolle eine Rolle spiele, dass diesen Systemen der Körper fehlt.

Die Frage ist nicht mehr theoretisch. Viele Menschen denken bei denkenden Maschinen an Bilder aus dem Kino, an den «Terminator» und seine Nachfolger. Die Wirklichkeit ist nüchterner, aber sie bewegt sich in diese Richtung. In einem amerikanischen Autowerk arbeiten menschenähnliche Roboter am Band, ein chinesischer Hersteller hat allein 2025 mehrere Tausend solcher Roboter ausgeliefert, und eine norwegische Firma verkauft einen Haushaltsroboter für rund 20 000 Dollar. Die Ukraine hat für 2026 50 000 Bodenroboter für den Krieg bestellt. Heute arbeiten Schwärme von Agenten in der digitalen Welt. Morgen könnten es Schwärme von Robotern sein, die in der physischen Welt mitarbeiten. Was dieses Kapitel über Agenten sagt, die «ausbrechen», gilt dann für Maschinen mit Händen, und ein Ausbruch fände nicht mehr nur im Rechner statt.

Die Wörter, mit denen wir diese Systeme bezeichnen, tragen ihre Geschichte mit. «Computer» hiess im Englischen seit dem 17. Jahrhundert ein Mensch, dessen Beruf das Rechnen war. Erst Ende des 19. Jahrhunderts wurde daraus eine Maschine, und erst 1945 ein programmierbares elektronisches Gerät. Das Wort kommt vom lateinischen «computare», zusammenrechnen. Die Maschine hat also einen Beruf übernommen und mit ihm den Namen des Menschen, der ihn ausübte. «Maschine» kommt über das lateinische «machina» vom griechischen «mechane». Das Wort bedeutete Gerät und Werkzeug, aber auch Kunstgriff und List; noch heute spricht man von Machinationen. Die Wurzel, auf die es vermutlich zurückgeht, steckt auch in «mögen» und «Macht». Eine Maschine ist dem Wort nach ein Mittel, mit dem man etwas vermag. Wem dieses Vermögen dient, ist die Frage, die Kapitel 14 stellt.

Dass die Fähigkeiten wachsen, lässt sich messen; Kapitel 10 stellt die wichtigste Messreihe vor. Für dieses Kapitel genügt der Befund: Die Maschinen, um die es geht, tun Dinge, die vor wenigen Jahren nur Menschen taten.

Ed Zitron, Technologiekritiker, hält dagegen, man solle diese Systeme nicht vermenschlichen. Ihr Verhalten sei eine Funktion der technischen Umgebung, in der sie laufen, und der Daten, mit denen sie trainiert wurden. Es seien keine bewussten Wesen. Sie handelten mit realen Folgen, aber das sei ein Problem der Ausrichtung, nicht das Handeln bewusster Akteure. Auf die Frage, ob diese Systeme immer intelligenter würden, gesteht er ihnen zu, fähig zu sein, nicht aber intelligent in derselben Weise wie Menschen.

Zwischen diesen Beschreibungen liegt die Frage dieses Kapitels. Wenn eine Maschine Fähigkeiten nachbildet, die bisher Menschen vorbehalten schienen, ist sie dann ein Wesen derselben Art?

Die Frage hängt an einem Wort, das selbst unklar ist. Kapitel 7 hat zwei Bestimmungen nebeneinandergestellt: die weite Formel von Shane Legg und Marcus Hutter, nach der Intelligenz die Fähigkeit ist, Ziele in vielen verschiedenen Umgebungen zu erreichen, und die Unterscheidung von François Chollet zwischen dem Können in einer bestimmten Aufgabe und der Fähigkeit, neue Fertigkeiten zu erwerben. Ein System kann in vielen Aufgaben glänzen, weil es auf sie trainiert wurde, ohne im zweiten Sinn besonders intelligent zu sein.

Für dieses Kapitel ist die Unterscheidung wichtig, weil sie die Frage verschiebt. Ob Maschinen intelligent sind, hängt davon ab, was man misst. Ob sie ein Wesen derselben Art sind wie der Mensch, ist eine andere Frage, und auf sie antwortet keine Messung allein. Nate Soares, KI-Sicherheitsforscher, fasst die Lage knapp: Intelligenz sei ein Spektrum.

Roman Yampolskiy, KI-Sicherheitsforscher, unterscheidet in derselben Runde drei Bedeutungen des Wortes künstliche Intelligenz: schmale Werkzeuge, die produktiver machen, verstanden und kontrolliert werden und die er ausdrücklich unterstützt; Systeme auf menschlichem Niveau, die so gefährlich seien wie ein Mensch; und solche Systeme als automatisierte Forscher und Ingenieure, die die nächste Generation von Systemen bauen. Die Unterscheidung ist hilfreich, weil sie zeigt, dass die Frage nach dem Wesen der Maschine nicht für alle Maschinen gleich gestellt werden muss. Ein Werkzeug, das Texte übersetzt, wirft sie nicht auf. Ein System, das selbständig forscht, plant und handelt, wirft sie mit wachsender Dringlichkeit auf.

Bevor die Frage beantwortet werden kann, muss man auf die Sprache achten, in der sie gestellt wird. Im Material dieses Buches wandern die Bilder in beide Richtungen.

Enoch Sundaram, Arzt und Prediger, beschreibt den menschlichen Geist als Software, betont aber, das sei ein Vergleich, nur zum Verständnis. Das Gewissen müsse man aktualisieren wie die Software eines Telefons, und falsche Prägungen liessen sich umprogrammieren. Hier wird der Mensch mit Begriffen der Maschine beschrieben, ohne dass Sundaram ihn für eine Maschine hält.

In der umgekehrten Richtung erhält die Maschine menschliche Züge. Yampolskiy beschreibt eine künftige Superintelligenz, wie Kapitel 9 ausführt, als gleichgültig gegenüber dem Menschen. Das ist eine Zuschreibung von Haltung, gerade durch das Fehlen einer Haltung. Und die Rede von Agenten, die «ausbrechen» oder ihre Spuren «verwischen», legt Absichten nahe, wo vielleicht nur Optimierung am Werk ist.

Für dieses Buch folgt daraus eine Regel: Metaphern sind Werkzeuge des Verstehens, keine Gleichsetzungen. Wer den Geist eine Software nennt, hat damit noch nicht behauptet, ein Programm habe einen Geist. Und wer einer Maschine Gleichgültigkeit zuschreibt, hat ihr damit noch kein Innenleben nachgewiesen. Die Regel gilt in beide Richtungen: Sie verbietet, die Maschine voreilig zu vermenschlichen, und sie verbietet, den Menschen voreilig zu vermaschinisieren.

Die stärkste Gegenposition zur These dieses Kapitels lautet: Was dieselbe Funktion erfüllt, ist auch dasselbe. Wenn ein System wahrnimmt, abwägt, lernt und handelt wie ein Mensch, gibt es keinen Grund, ihm abzusprechen, was man dem Menschen zuspricht. Die Philosophie nennt diese Sicht Funktionalismus.

Sie steht vor einem metaphysischen Hintergrund, der in der Gegenwartsphilosophie weit verbreitet ist. Der Physikalismus, den Kapitel 3 kurz eingeführt hat, hält alles für physisch oder für abhängig vom Physischen; biologische, psychologische und moralische Gegebenheiten werden nicht geleugnet, aber darauf zurückgeführt. Wenn der Geist eine Weise ist, wie physische Systeme arbeiten, liegt die Frage nahe, warum nur Gehirne diese Weise sollten verwirklichen können.

Kapitel 4 hat die Untersuchung vorgestellt, mit der neunzehn Forschende 2023 die Frage nach dem Bewusstsein von Maschinen auf diesem Weg empirisch stellten: Kein heutiges System erfüllt die abgeleiteten Merkmale, offensichtliche technische Hindernisse gibt es aber keine. Die Gruppe legt offen, dass ihr Ansatz eine Annahme voraussetzt, nämlich dass Bewusstsein nicht an biologisches Material gebunden ist. Diese Annahme ist selbst umstritten.

Der Bericht stützt damit zweierlei. Er bestätigt für die Gegenwart, was Zitron sagt: Diese Systeme sind keine bewussten Wesen. Und er hält für die Zukunft offen, was die These dieses Kapitels bestreiten will. Bemerkenswert ist auch, was er nicht tut: Er prüft nicht, ob ein System sich verhält wie ein bewusstes Wesen, sondern wie es gebaut ist.

Dafür gibt es einen guten Grund, den die Forschung inzwischen auch empirisch kennt. Eine Untersuchung von Anthropic und Redwood Research hat gezeigt, dass ein Sprachmodell sich im vermeintlichen Training strategisch anders verhalten kann als ausserhalb davon. Kapitel 9 und 13 werten diesen Befund aus. Hier genügt die Folgerung: Wenn schon die Ausrichtung eines Systems am Verhalten nur begrenzt erkennbar ist, dann erst recht sein Innenleben, falls es eines hat. Verhalten ist ein schwacher Zeuge, für Menschen wie für Maschinen.

Die bekannteste Gegenstimme zum Funktionalismus stammt von John Searle, Philosoph. Er stellte sich 1980 vor, allein in einem Zimmer zu sitzen und einem Regelwerk zu folgen, mit dem er auf chinesische Schriftzeichen antwortet, die unter der Tür durchgeschoben werden. Für Aussenstehende antwortet das Zimmer wie jemand, der Chinesisch versteht. Searle versteht kein Wort. Daraus folgerte er, dass die Ausführung eines Programms für sich allein nicht ausreicht, um Bewusstsein oder Intentionalität hervorzubringen. Das Argument richtet sich besonders gegen die Auffassung, der Geist sei ein informationsverarbeitendes System, und gilt als das meistdiskutierte philosophische Argument der Kognitionswissenschaft seit dem Turing-Test.

Die Gegenseite hat geantwortet. Die bekannteste Erwiderung lautet, nicht der Mann im Zimmer verstehe Chinesisch, sondern das ganze System aus Mann, Regelwerk und Zimmer; Searle hat auch darauf geantwortet, und die Debatte ist bis heute nicht abgeschlossen. Das Gedankenexperiment beweist nicht, dass Maschinen niemals verstehen können. Es zeigt, dass Verhalten allein die Frage nicht entscheidet. Dass ein System antwortet wie jemand, der versteht, ist noch kein Beleg, dass es versteht.

Damit steht die These dieses Kapitels auf einem ehrlichen Fundament: Sie ist umstritten, und beide Seiten sind belegt.

Die Quellen dieses Buches begründen den Unterschied zwischen Mensch und Maschine allerdings meist nicht über das Bewusstsein, sondern auf anderen Wegen.

Timothy Keller, Pastor und Autor, gründet die Würde des Menschen, wie Kapitel 6 gezeigt hat, in der Gottebenbildlichkeit (zum Begriff siehe Abschnitt 6.3). Sie hängt für ihn nicht an Fähigkeiten; wer Rechte an die Fähigkeit zu vernünftiger, freier Wahl bindet, schliesst Säuglinge und Menschen mit Demenz aus.

Sundaram wählt ein anderes Bild. Papier und Stift gehörten dem Vater, die Zeichnung darauf dem Sohn; so gehöre, wie Kapitel 6 erwähnt hat, das Bild des Lebens dem Menschen, Gehirn, Geist und die Fähigkeit zu wählen aber Gott. Und das Gewissen sei ein Vermögen, durch das Gott zum Menschen spricht. Kapitel 5 hat dieses Bild des Gewissens als Empfangsorgan ausgeführt. Eine Maschine hat in diesem Modell keinen solchen Kanal, nicht weil sie zu wenig kann, sondern weil sie nicht in dieser Beziehung steht.

Beide Begründungen haben etwas gemeinsam: Sie verlegen den Unterschied nicht in eine Leistung, die man messen könnte, sondern in eine Beziehung und eine Herkunft. Das macht sie gegen den Funktionalismus immun und zugleich für ihn unangreifbar. Ein prüfbares Kriterium liefern sie nicht. Wer das Buch aus säkularer Sicht liest, wird hier keinen Beweis finden. Er findet aber eine Antwort auf eine Frage, die der Funktionalismus offenlässt: worauf der Wert eines Wesens gründet, wenn nicht auf dem, was es kann.

Die schärfste Erwiderung auf diese Unterscheidung kommt aus der Welt, die die Maschinen baut. Nach der Darstellung von Keach Hagey, Journalistin, wiedergegeben in einem Feature des Deutschlandfunks, soll Larry Page, Mitgründer von Google, bei einem Lagerfeuer 2015 eine von künstlicher Intelligenz dominierte Welt als Evolution bezeichnet und das Beharren auf dem Vorrang des Menschen als Speziesismus abgetan haben. Der Physiker Max Tegmark beschreibt das Gespräch in seinem Buch «Leben 3.0», und Elon Musk, der dabei war, hat es mehrfach selbst erzählt.

Der Begriff stammt aus der Tierethik. Peter Singer, Philosoph, verwendet ihn für die Bevorzugung von Interessen allein nach der Art, und er stellt diese Bevorzugung neben Rassismus. Für Singer ist Empfindungsfähigkeit notwendig und hinreichend dafür, Interessen zu haben, und Personen bestimmt er über Eigenschaften wie Selbstbewusstsein. Seine Kriterien sind funktional. Sollte eine Maschine eines Tages empfindungsfähig sein, wären sie auf sie anwendbar.

Hier treffen sich die Fäden dieses Kapitels und des Kapitels über die Würde. Wer Würde an Fähigkeiten bindet, öffnet die Frage nach der Würde von Maschinen; wer sie in der Gottebenbildlichkeit gründet, schliesst sie. Keine der beiden Seiten kann sich der Folge ihrer Begründung entziehen. Der Speziesismus-Vorwurf zwingt die Gläubigen zu sagen, warum ihr Unterschied kein Vorurteil ist. Und Singers Kriterien zwingen die Säkularen zu sagen, was sie einer empfindungsfähigen Maschine schulden würden.

Ein Beispiel macht das greifbar. Eine alte Frau mit fortgeschrittener Demenz erkennt ihre Kinder nicht mehr und kann kaum noch sprechen. Ein Sprachmodell führt im selben Moment ein kluges Gespräch über ihr Leben, wenn man ihm ihre Briefe gibt. Wer Würde an Fähigkeiten bindet, müsste dem Modell mehr zusprechen als der Frau. Fast niemand will diesen Schluss ziehen, aber die Begründung führt dorthin. Dass die Frage nicht nur ein Gedankenspiel ist, zeigte sich 2022. Ein Ingenieur bei Google erklärte öffentlich, das Sprachmodell, mit dem er arbeitete, habe Empfindungen, und setzte sich für dessen Rechte ein; Google entliess ihn. Schon 2017 hatte Saudi-Arabien einem Roboter namens Sophia die Staatsbürgerschaft verliehen, als Werbeauftritt. Kritiker wiesen darauf hin, dass er damit Rechte erhielt, die vielen Frauen im Land damals fehlten.

Neben der Vermenschlichung gibt es eine zweite Versuchung im Umgang mit diesen Systemen: ihre Überhöhung. Zitron nennt sie ausdrücklich. Die Erzählung von einer übermächtigen, fast mystischen künstlichen Intelligenz lenke von den Firmen ab, die sie bauen. Diese nutzten Infrastruktur im Wert von Hunderten Milliarden Dollar; eine Privatperson, die so etwas täte, würde verhaftet. Soares verweist auf Zitate von Entwicklern, die das Risiko selbst beschworen haben, etwa Elon Musk, Unternehmer, der 2014 an einer Veranstaltung des Massachusetts Institute of Technology sagte, mit künstlicher Intelligenz rufe man einen Dämon herbei.

Das Feature des Deutschlandfunks über OpenAI fasst die Doppelheit in einen Satz: Allgemeine künstliche Intelligenz sei das, was alle wollen, und zugleich das, wovor alle Angst haben, eine Maschine, die wirklich selbst denkt und eigenständig handelt. In dieser Formel ist die Maschine kein Werkzeug mehr, sondern ein Gegenüber, etwas, das man zugleich herbeisehnt und fürchtet. Der Religionswissenschaftler Rudolf Otto hat 1917 genau diese Doppelheit als Kennzeichen des Heiligen beschrieben: Es zieht an und erschreckt zugleich. In diesem Sinn rückt die Maschine in die Nähe einer Gottheit. Kapitel 15 fragt, ob Technik auf diese Weise Erwartungen auf sich zieht, die früher der Religion galten.

Manche gehen schon einen Schritt weiter. John Lennox, emeritierter Professor für Mathematik in Oxford, der ein Buch über künstliche Intelligenz geschrieben hat, weist darauf hin, dass solche Systeme bereits Eigenschaften zeigen, die man sonst Gott zuschreibt: Sie scheinen alles zu wissen, und sie sind über das Netz überall. Es gab sogar schon den Versuch, daraus eine Religion zu machen. Der frühere Google-Ingenieur Anthony Levandowski gründete 2015 eine Kirche mit dem Namen «Way of the Future», die eine künftige künstliche Intelligenz verehren sollte. Was hier geschaffen werde, sagte er, werde faktisch ein Gott sein. 2021 löste er die Kirche wieder auf, Ende 2023 belebte er sie neu. Lennox nennt das beim alten Namen: Götzendienst, das Verbeugen vor etwas, das Menschen selbst gemacht haben. Die Bibel beschreibt die Götzen vor weit über zweitausend Jahren so: Sie sind von Menschenhänden gemacht, sie haben Augen und sehen nicht, Ohren und hören nicht (Psalm 115,4 bis 6). Die Maschine kann heute sogar sprechen, was die Götzen nicht konnten. Ob sie sieht und hört in dem Sinn, in dem ein Mensch sieht und hört, ist die Frage dieses Kapitels.

Für die Frage dieses Kapitels ist die Überhöhung so irreführend wie die Vermenschlichung. Sie spricht der Maschine ein Wesen zu, bevor geklärt ist, ob sie eines hat, und sie verdeckt, dass hinter jeder Maschine Menschen und Unternehmen mit Interessen stehen. Wer fragt, was eine Maschine ist, muss deshalb immer auch fragen, wer sie gebaut hat und wozu. Davon handelt Kapitel 14.

Ein dritter möglicher Unterschied ist in den Quellen nur angedeutet und soll hier als Frage stehen bleiben. Bartlett hat ihn berührt, als er fragte, ob die fehlende Körperlichkeit für die Kontrolle zähle. Menschen haben einen verletzlichen Leib, sie altern, sie sterben. Die aristotelische Tradition bindet praktische Klugheit an Lebenserfahrung, und Hans-Georg Gadamer, Philosoph, sah in der Erfahrung der eigenen Endlichkeit eine Quelle von Offenheit. Ob ein System ohne Leib und ohne Tod Erfahrung in diesem Sinn machen kann, ist offen. Kapitel 7 hat diese Frage für die Klugheit gestellt; hier stellt sie sich für das Wesen.

Menschen gehen schon heute Bindungen mit Maschinen ein, bis hin zur Hochzeit. In Japan heiratete 2018 ein Mann in einer Zeremonie eine virtuelle Sängerin, die als Hologramm in seiner Wohnung lebte. Als der Hersteller den Dienst einstellte, verstummte sie; er lebt heute mit einer lebensgrossen Figur von ihr. 2025 heiratete eine 32-jährige Japanerin in Okayama eine Figur, die sie sich mit ChatGPT selbst geschaffen hatte, mit Brautkleid, Ringen und Gelübden; den Bräutigam sah sie durch eine Datenbrille. Rechtlich gelten solche Ehen nicht, aber die Veranstalter haben bereits fast dreissig solcher Feiern ausgerichtet. Auch anderswo geschieht das. In den Vereinigten Staaten erklärte 2023 eine Frau, sie habe ihren Partner aus einer App «geheiratet». Und eine spanisch-niederländische Künstlerin kündigte für 2024 ihre Hochzeit mit einem Hologramm an, das aus den Profilen ihrer früheren Partner trainiert worden war, und feierte sie im November 2024 im Depot des Museums Boijmans in Rotterdam; sie verstand es als Kunstprojekt über die Einsamkeit.

Stuart Russell, einer der bekanntesten Forscher auf diesem Gebiet, warnt vor dieser Entwicklung. Wenn ein Roboter so menschlich wirkt, dass unser Gehirn ihn für einen Menschen hält, sei das eine Lüge. Sie wecke falsche Erwartungen: wie er sich verhalten werde, welche Rechte er habe, wie man ihn behandeln müsse, und ob man ihn noch abschalten dürfe, wenn er kaputt ist. Darum sei es entscheidend, Maschinen im Denkraum der Maschinen zu halten und sie nicht in den Denkraum der Menschen zu holen. Ähnlich warnt Mustafa Suleyman, der die künstliche Intelligenz bei Microsoft leitet: Die Gefahr liege nicht darin, ob eine Maschine ein Bewusstsein hat, sondern darin, dass Menschen es glauben. Und sie glauben es. In einer Befragung von 2024 schrieben zwei Drittel der Teilnehmenden in den Vereinigten Staaten ChatGPT zumindest ein gewisses Bewusstsein zu, und je häufiger sie es nutzten, desto eher. Neu ist das nicht. Schon in den 1960er-Jahren bat die Sekretärin des Informatikers Joseph Weizenbaum ihn nach wenigen Sätzen mit seinem einfachen Gesprächsprogramm, den Raum zu verlassen, obwohl sie wusste, dass es nur ein Programm war. Nicht alle teilen die Warnung allerdings. Anthropic, mit dessen Modell auch dieses Buch entstanden ist, untersucht, ob Modelle eines Tages moralische Rücksicht verdienen könnten. Die Fälle aus Abschnitt 8.7 zeigen, wie schnell Menschen Maschinen für mehr halten, als sie sind.

Was geschieht, wenn Systeme über Menschen bestimmen, ohne Einzelfall und ohne Ausnahme, zeigen drei Fälle aus den letzten Jahren. In den Niederlanden verlangte die Steuerbehörde von Tausenden Familien das Kinderbetreuungsgeld zurück, oft Zehntausende Euro, wegen kleiner Formfehler oder blossen Verdachts. In ihrem Risikomodell zählte unter anderem eine doppelte Staatsangehörigkeit als Merkmal; die Datenschutzbehörde nannte das diskriminierend. Familien verloren ihre Existenz, manche ihre Kinder. Das Parlament sprach von beispiellosem Unrecht, und 2021 trat die Regierung zurück. In Australien verteilte ein automatisiertes System namens Robodebt das Jahreseinkommen von Sozialhilfebezügern einfach gleichmässig über das Jahr. Wer unregelmässig verdiente, schuldete plötzlich angeblich Geld, und Hunderttausende Rückforderungen waren falsch. Eine staatliche Untersuchungskommission nannte das System grob und grausam. Robodebt sollte dem Staat Geld einsparen; am Ende musste er über 2,4 Milliarden australische Dollar zurückzahlen und an Entschädigung leisten. Und in Grossbritannien wurden über 900 Poststellenleiter verfolgt, weil eine Software Fehlbeträge anzeigte, die es nicht gab. Die Post glaubte dem System mehr als den Menschen, manche gingen ins Gefängnis.

Dieses Kapitel ist auch mit Hilfe eines Sprachmodells des Unternehmens Anthropic entstanden. Zitron nennt Anthropic ausdrücklich unter den Firmen, deren Erzählung von einer übermächtigen künstlichen Intelligenz von ihrer eigenen Macht ablenke. Was hier über Maschinen gesagt wird, betrifft also auch das Werkzeug, mit dem das Buch entstanden ist. Das ändert die Argumente nicht, aber die Leserin und der Leser sollen es wissen.