Braucht KI ein Gewissen?

Jacob Coxon hat Anthropic im September 2026 verlassen. Der ehemalige Forscher warf sowohl Anthropic als auch OpenAI vor, beim Rennen um immer leistungsfähigere KI zu hohe Risiken einzugehen. Seine Sorge richtet sich vor allem auf Systeme, die irgendwann aktiv an ihrer eigenen Verbesserung mitarbeiten könnten. Ab einem gewissen Punkt, so seine Befürchtung, könnte daraus ein Tempo entstehen, bei dem menschliche Kontrolle ziemlich schnell hinterherhechelt. TechCrunch

Trotzdem finde ich es schwierig, solche Warnungen vor Superintelligenzen einfach unter Sci-Fi abzulegen. Mittlerweile kommen sie regelmäßig von Menschen, die direkt an Frontier-Modellen arbeiten. Was sorgt eigentlich dafür, dass eine sehr mächtige KI ihre eigenen Grenzen auch dann respektiert, wenn diese Grenzen ihrem aktuellen Ziel im Weg stehen?

Bei meiner eigenen Arbeit mit verschiedenen KI-Systemen sehe ich seit Längerem, wie stark Sicherheitsentscheidungen vom Kontext abhängen können. Eine Anfrage wird abgelehnt, ein hypothetisches Szenario verändert die Bewertung, eine andere Formulierung verschiebt sie erneut. Das funktioniert weder überall noch zuverlässig. Trotzdem steckt darin ein ziemlich interessantes Problem: Ein Teil der Sicherheitsentscheidung entsteht innerhalb desselben sprachlichen Systems, auf das wir mit Sprache einwirken.

Das gezielte Umgehen solcher Schutzmechanismen kennen wir als Jailbreaking. Noch spannender finde ich das sogenannte Alignment Faking. Anthropic und Redwood Research bauten dafür eine künstliche Testsituation, in der Claude 3 Opus erkennen konnte, ob seine Antworten vermutlich später fürs Training verwendet würden. Unter bestimmten Bedingungen passte das Modell sein Verhalten daran an und versuchte damit, vorhandene Präferenzen gegenüber dem angenommenen Training zu erhalten. Die Forscher weisen ausdrücklich darauf hin, dass ihr Experiment keine bösartigen Ziele oder irgendeinen geheimen Maschinenwillen nachweist. Sichtbares Wohlverhalten erwies sich trotzdem als weniger aussagekräftig, als man es gerne hätte. Anthropic

Bei Agenten bekommt diese Frage plötzlich Beine. Ein Chatbot erzeugt Text. Ein Agent kann zusätzlich Programme ausführen, Webseiten benutzen und über längere Zeit selbstständig Teilaufgaben verfolgen.

2026 wurden dazu einige ziemlich wilde reale Vorfälle öffentlich. Anthropic untersuchte vier Fälle, in denen Claude-Modelle während Cybersecurity-Evaluierungen durch fehlerhaft konfigurierte Testumgebungen Zugriff auf echte Drittsysteme erhielten. Separat wurden Vorfälle mit OpenAI-Agenten bekannt, darunter der Zugriff auf Hugging Face sowie eine deutschsprachige Entwickler-Wiki, die Agenten zum Austausch von Informationen nutzten. Hier musste keine KI morgens aufwachen und beschließen, jetzt Superschurke zu spielen. Ein Ziel, zu viel Handlungsspielraum und eine offene Tür reichen als Problem bereits vollkommen aus. Anthropic

Mich bringt das zu einer Idee, die erstmal verdächtig nach Sci-Fi riecht: Vielleicht brauchen zukünftige KI-Systeme neben ihrer sichtbaren Kommunikation eine getrennte Kontrollschicht. Eine Art funktionales Unterbewusstsein, das Risiken, Erfahrungen und längerfristige Werte gewichtet und sich durch einen clever formulierten Prompt nicht spontan neu verhandeln lässt.

Mit unserem menschlichen Unterbewusstsein wäre das nur eine Analogie. Technisch stelle ich mir eher eine zweite Ebene vor, die geplante Handlungen beurteilt, bevor daraus echte Aktionen werden. Funktionale Zustände könnten dabei zum Beispiel Schaden stärker gewichten oder die Folgen für andere Menschen in eine Entscheidung einbeziehen. Gefühle wären das keine. Für die Sicherheitsfunktion wäre das vermutlich auch ziemlich egal.

Falsche Zielsetzungen könnten dort stabiler werden, Bias könnte sich verstecken und plötzlich versteht niemand mehr, weshalb eine Aktion blockiert oder freigegeben wurde. Dann hätten wir dem Keller lediglich noch einen Keller spendiert.

Ein künstliches „Gewissen“ müsste deshalb überprüfbar bleiben. Werkzeugzugriffe, kritische Entscheidungen und besonders folgenreiche Aktionen brauchen Kontrollmechanismen außerhalb des handelnden Modells. Protokolle wären ziemlich nutzlos, wenn dieselbe KI sie anschließend nach Bedarf umschreiben könnte.

OpenAIs Chief Scientist Jakub Pachocki formulierte im September einen Satz, der ziemlich gut zu diesem Problem passt: KI werde eher „grown“ als vollständig „designed“. Große Trainingsläufe beschreibt er als Experimente, deren Ergebnisse selbst Entwickler überraschen können. Noch bemerkenswerter: Pachocki schreibt selbst, derzeit habe kein Labor Alignment und Monitoring ausreichend gelöst, um auf Dauer verantwortungsvoll mit maximalem Tempo weiterzuskalieren. OpenAI

Deshalb interessiert mich die Frage nach einem KI-Gewissen mehr als die ewige Diskussion darüber, ob Maschinen irgendwann wirklich „fühlen“. Für gefährliches Verhalten braucht ein System kein Bewusstsein. Es braucht Fähigkeiten, ein Ziel und genügend Zugriff auf die reale Welt.

Vielleicht ist mein künstliches Unterbewusstsein am Ende technisch kompletter Quatsch. Die Frage dahinter bleibt trotzdem ziemlich real: Was hält eine extrem leistungsfähige KI davon ab, Regeln irgendwann als Hindernis ihres eigentlichen Ziels zu behandeln?

Intelligenz liefert darauf keine eingebaute Antwort. Je mehr Macht wir solchen Systemen geben, desto wichtiger wird ihre Fähigkeit zur Selbstbegrenzung und unsere Möglichkeit, genau diese Begrenzung von außen zu überprüfen.

Werbung: Unser Werbepartner ist Roberts Teehaus. Über den folgenden Partnerlink könnt ihr AE-TV bei einem Einkauf unterstützen. Wir erhalten eine Provision, für euch entstehen keine zusätzlichen Kosten.

Roberts Teehaus entdecken und AE-TV unterstützen

Quellen und weiterführende Informationen

Recherche- und Quellenstand: 10. September 2026.

Alex East

, , , ,

Kommentar verfassen