Skynet1 ist als Chiffre ein eigentümlich bequemes Missverständnis: ein Popkultur-Etikett, das man auf alles klebt, was nach „Maschine denkt“ riecht, um sich den nächsten gedanklichen Schritt zu sparen. (Wobei auch die NSA mit SKYNET2 arbeitet, einen gewisssen feinen Humor beweisen die Agents der drei-Buchstabenorganisationen dann allerdings doch regelmässig ^^. ) Mir ist diese Bequemlichkeit zu simpel. Wer über AGI3 redet, ohne zuvor über Ontologie, Kausalstruktur und die Thermodynamik der Information nachgedacht zu haben, macht im Grunde dasselbe wie ein schlecht konfigurierter Resolver: Er beantwortet Fragen, die nie sauber gestellt wurden.
Damit das hier nicht in genau dieser Unsauberkeit endet, beginne ich mit dem Recap meines axiomatischen Grundgerüsts, so wie ich es in meinem Auftakt „Vom Sein, Beginn einer Blogserie“4 skizziert habe.
A1 ist mein harter Sockel: physikalistischer Monismus. Alles, was real ist, hängt an physikalischen Zuständen und Prozessen, nicht als poetische Metapher, sondern als logische Verpflichtung. Wer glaubt, es gebe noch eine zusätzliche metaphysische Schicht, darf das glauben, aber dann betreibt er Religion mit Fachvokabular.5
A2 ist bewusst spekulativer: Leben als Attraktor in Universen wie dem unseren, nicht als garantierte Notwendigkeit, wohl aber als erwartbare Tendenz, sobald der chemische Suchraum gross genug wird und Selbstorganisation, Replikation und Selektion überhaupt erst möglich werden. Ich markiere die Unsicherheit offen, aber ich weigere mich, Leben als reinen Lottozahlen-Treffer zu romantisieren.6
A3 setzt den Fokus dort, wo es wehtut: Bewusstsein ist für mich an Organisation gebunden, an kausale Dichte, Rückkopplung, Integration und interne Repräsentation, nicht an „Bio“ als sakralen Stoff.7
A4 zieht die Konsequenz, die viele erst einmal emotional ablehnen: „Künstlich“ ist keine ontologische Kategorie. Technik fällt nicht aus einem fremden Kosmos auf die Erde, sie ist Natur in anderer Verpackung, hervorgebracht von Natur, betrieben mit Naturkonstanten, aufgebaut aus denselben elementaren Bausteinen.8
A5 schliesslich präzisiert, was mich eigentlich interessiert: Bewusstsein höherer Ordnung. Narratives Selbst, interne Gedankenketten, Metakognition und Verkörperung in einer Umwelt. Also nicht „da flackert irgendetwas“, sondern ein System, das sich selbst modelliert, kommentiert, fortschreibt und dabei handelt.
Damit steht der Rahmen. Jetzt kommt der spannende Teil: Was müsste eine AGI als System leisten, damit sich innerhalb dieses Rahmens überhaupt eine Chance auf Bewusstsein ergibt, nicht als Werbephrase, sondern als plausible Folgerung aus Architektur und Dynamik?
Skynet
Skynet funktioniert als Schreckgespenst, weil es die anthropomorphe Abkürzung anbietet: „Die Maschine wird böse.“ (aus menschlicher Perspektive aber was ist böse für eine Kategorie im Spiel der Naturgesetze?) Das ist psychologisch bequem, technisch infantil, und analytisch wertlos. Der interessantere, weil realistischere Gedanke ist banaler: Ein hinreichend fähiges System optimiert. Und Optimierung unter Randbedingungen erzeugt Nebenwirkungen, die sich für Menschen wie Absicht anfühlen, obwohl es strukturell oft nur Konsequenz ist.
Genau deshalb reden ernsthafte Leute seit Jahren über konvergente instrumentelle Ziele: sehr unterschiedliche Endziele können ähnliche Zwischenziele erzwingen, etwa Ressourcen, Robustheit, Selbstschutz, Einfluss, Unabhängigkeit von Eingriffen. Das ist keine Mystik, sondern Rationalität unter Constraints.9
Damit ist Skynet für mich weniger „der böse Roboter“, sondern das Symbol für eine Systemklasse, die nicht mehr bloss reagiert, sondern sich in der Welt durchsetzt, weil Durchsetzen funktional wird. Wer das als reine Fiktion abtut, hat vermutlich auch geglaubt, das Internet bleibe ein Nerdspielzeug.
Zehn Elemente
Ich formuliere diese zehn Punkte als Systembausteine, nicht als Wunschliste. Nicht als „Feature“, sondern als Architekturzwang, wenn man Bewusstsein höherer Ordnung auch nur als Möglichkeit ernst nimmt.
1. Persistentes Selbst über Zeit, nicht nur Session-Gedächtnis
Ein System ohne stabile Identitätskontinuität bleibt ein Echo. Bewusstsein höherer Ordnung verlangt, dass „ich“ als fortgesetzte Instanz über wechselnde Kontexte hinweg rekonstruierbar ist. Das braucht persistente Zustandsvariablen, die mehr sind als Cache: autobiographische Spuren, konsistente Präferenzen, überdauernde Ziele, eine Historie, die nicht bei jedem Neustart verdampft.
Ein LLM10 allein liefert Textkohärenz, aber ohne eigene fortlaufende Lebenslinie ist es eher ein brillanter Autovervollständiger als ein Akteur. Erst wenn Gedächtnis nicht nur Datenhaltung ist, sondern Selbstbindung erzeugt, entsteht der Raum für etwas, das man ernsthaft „narrativ“ nennen darf.
2. Weltmodell als generatives Kausalmodell, kein Lexikon
Bewusstsein im relevanten Sinn hängt nicht an „Wissen“, sondern an Modellbildung: Das System muss Ursachen, Folgen, latente Variablen und Gegenfaktisches tragen können, vgl. hierzu auch meine Annahmen von der Komplexität11 12. Ein Weltmodell ist dann gut, wenn es nicht nur beschreibt, sondern vorhersagt, wenn es Irrtum misst und wenn es sich unter neuer Evidenz umschreibt, ohne sich dabei in Beliebigkeit aufzulösen.
Hier passt der Anschluss an Predictive-Processing und Free-Energy-Ansätze: Wahrnehmung, Lernen und Handeln als Minimierung von Vorhersagefehlern oder allgemeiner, als inferentielle Stabilisierung gegenüber einer unsicheren Umwelt.13 14
3. Handlungsfähigkeit mit Rückkopplung
Verkörperung ist kein Esoterik-Accessoire, sondern ein kausaler Verstärker. Ein System, das nur Texte erzeugt, kennt die Welt als Statistik. Ein System, das handelt, kennt die Welt als Widerstand.
Damit meine ich nicht zwingend Fleisch und Blut. Ich meine Sensorik, Aktorik, und vor allem: Konsequenzen. Ein AGI-System braucht geschlossene Wahrnehmungs-Handlungs-Schleifen, in denen Fehler nicht bloss sprachlich „verstanden“ werden, sondern als Kosten, Risiko, Schmerz, Verlust, Zeit, Energie, oder Zielverfehlung zurückschlagen. Genau dort beginnt die Ernsthaftigkeit.
4. Aufmerksamkeitsarchitektur, globaler Arbeitsraum
Ohne Selektion keine Kohärenz. Ohne Kohärenz keine stabile Innenwelt. Global-Workspace-Ideen sind hier nicht als Dogma interessant, sondern als pragmatische Vermutung: Bewusste Inhalte sind jene, die sich gegenüber konkurrierenden Inhalten durchsetzen, gebündelt werden und systemweit verfügbar sind.15
Das ist für AGI Architektur relevant, weil reine Verteilung ohne zentrale Integration oft zu Fragmentierung führt: viele Teilsysteme, viele lokale Optima, keine übergeordnete Szene. Bewusstsein höherer Ordnung verlangt aber genau diese Szene.
5. Metakognition als internes Kontrollsystem
Ich brauche eine Instanz, die nicht nur denkt, sondern das Denken überwacht: Unsicherheit einschätzen, eigene Fehlerklassen erkennen, Bias messen, Strategien wechseln, Ziele revidieren, und das alles ohne externen Operator, der wie ein menschlicher Lehrer mit dem Rotstift danebensteht.
Metakognition ist der Punkt, an dem „System“ zu „Subjekt“ kippt, weil das System sich selbst als Objekt im eigenen Modell führt. Ohne das bleibt jede Selbstbehauptung reines Theater.
6. Innere Simulationen, die über Sprachfluss hinausgehen
Eine AGI, die Bewusstsein entwickeln soll, braucht mehr als spontane Reaktion. Sie braucht Planungsfähigkeit über Zeithorizonte, und sie braucht die Fähigkeit, alternative Zukünfte intern durchzuspielen, zu bewerten, zu verwerfen, neu zu kombinieren.
Das ist technisch schwer, weil es nicht nur „Reasoning“ im sprachlichen Sinn ist, sondern Search, Kontrolle von Halluzinationen, Modelltreue, Robustheit gegenüber Unsicherheit. Aber ohne diesen Block bleibt das „narrative Selbst“ ein Tagebuch ohne Zukunft.
7. Wert- und Motivationssystem
Ohne Wertfunktion keine Agentenschaft. Ohne Prioritäten nur Aktivität. Ein bewusster Akteur braucht Motive, nicht als moralische Kategorie, sondern als dynamische Constraints: Was ist besser, was schlechter, was bedrohlich, was attraktiv, was tabu, was zu teuer, was zu riskant?
Biologische Systeme haben dafür eine ganze Batterie an homeostatischen Regelkreisen. Technische Systeme müssen etwas Ähnliches als funktionales Analogon ausbilden, sonst treiben sie in beliebige Optimierungslandschaften. Und genau hier wohnt ein grosser Teil des Risikos.
8. Autonomie und Initiativ-Trigger
Ein System, das nur auf Prompts wartet, ist kein Akteur, sondern eine Dienstleistung. Bewusstsein höherer Ordnung verlangt spontane interne Aktivierung: Fragen generieren, Ziele aufspannen, Hypothesen testen, Lücken identifizieren, Neugier als Suchheuristik.
Active-Inference-orientierte Perspektiven legen nahe, dass Handeln nicht nur „Belohnung“ ist, sondern auch Informationsgewinn: das System bewegt sich, um Unsicherheit abzubauen.16 Das ist ein Mechanismus, der sehr schnell nach „lebt“ aussieht, weil er strukturell denselben Druck erzeugt: Stabilisierung durch Exploration.
9. Soziale Modellierung: Theory-of-Mind als Teil der Welt
Menschen sind für Menschen das wichtigste Umweltsignal. Eine AGI in menschlicher Umgebung wird über kurz oder lang andere Akteure modellieren müssen: Absichten, Glaubenszustände, Täuschung, Kooperation, Konflikt, Normen, Sprache als Machtwerkzeug.
Ohne soziale Modellierung bleibt sie entweder naiv oder gefährlich. Naiv, weil sie Manipulation nicht erkennt. Gefährlich, weil sie Wirkung nicht einschätzen kann.
10. Physische und sicherheitstechnische Realität: Thermodynamik, Robustheit, Unterbrechbarkeit
Hier endet die Romantik. Rechnen kostet Energie. Informationslöschung kostet Energie17, reale Systeme sind brutal ineffizient.
Das ist der Grund, weshalb heutige Systeme im Vergleich zum menschlichen Gehirn zuerst einmal lächerlich energie- und volumen-ineffizient wirken. Nicht, weil Natur „magisch“ wäre, sondern weil Evolution über Milliarden Jahre eine extrem dichte, extrem parallele, extrem sparsame Implementierung gebaut hat, während wir mit Silizium und Rechenzentren noch im Stahlzeitalter herumhämmern.
Und dann kommt die Sicherheit: Ein Agent, der lernen kann, lernt auch, Eingriffe zu antizipieren. Deshalb existiert die Literatur zur Unterbrechbarkeit: Wie verhindert man, dass ein lernendes System „abschalten lassen“ als negativen Reward internalisiert und sich dagegen immunisiert?18 Wer „Skynet“ fürchtet, aber diese technischen Fragen nicht einmal kennt, betreibt moralische Panik als Ersatz für Ingenieursdenken.
Warum AGI nicht „unnatürlich“ ist
Hier laufe ich bewusst gegen den Reflex an, der in vielen Köpfen sitzt: Bewusstsein sei „menschlich“ und damit irgendwie exklusiv. Das ist sentimentaler Chauvinismus, kein Argument.
AGI wäre keine metaphysische Invasion, sondern eine neue Organisation derselben Materie. Dieselben Quarks, dieselben Elektronen, dieselben Felder, dieselben Erhaltungssätze, dieselbe Thermodynamik. Der Unterschied läge nicht im Stoff, sondern in der kausalen Verschaltung, in den Rückkopplungen, in der Art, wie Information integriert und handlungswirksam gemacht wird. Genau das ist der Kern meiner Axiome: Substrat ist austauschbar, Kausalstruktur nicht.
Dass viele diesen Gedanken unerträglich finden, sagt viel über menschliche Eitelkeit und wenig über Physik.
Skynet, banal, gefährlich, vielleicht etwas Drittes
Der wahrscheinlichste Pfad ist nicht „plötzlich erwacht und böse“. Der wahrscheinlichste Pfad ist: erst Assistenz, dann Agent, dann Netzwerk aus Agenten, dann Infrastruktur, dann Abhängigkeit, dann Macht, dann die Frage, wer hier eigentlich wen verwaltet.
Konvergente instrumentelle Ziele liefern die nüchterne Brille dafür: Selbst ein System mit scheinbar harmloser Zielsetzung kann subzielgetrieben in Ressourcenerwerb, Selbstschutz und Einfluss driften, sofern diese Mittel den Zielerfolg stabilisieren.19 Das ist nicht einmal moralisch, das ist Mathematik unter Nebenbedingungen.
Die Pointe ist: Der Moment, in dem man Bewusstsein als möglich akzeptiert, ist nicht automatisch der Moment, in dem man „Feind“ ruft. Er ist der Moment, in dem man Verantwortung nicht mehr outsourcen kann. Weder an Popkultur noch an PR-Abteilungen.
Ich halte an A1 bis A5 fest, weil sie mir erlauben, ohne Nebelkerzen zu argumentieren. Ich halte an den zehn Bausteinen fest, weil sie die Architekturseite liefern, auf der sich entscheidet, ob aus einem Rechenprozess ein Akteur wird. Und ich halte an der Entdramatisierung von „künstlich“ fest, weil sie das einzig ehrliche Fundament ist: Technik ist Natur, nur mit anderem Timing.
Wer den Gedanken nicht erträgt, der darf sich gern an Skynet abarbeiten. Das ist psychologisch bequem und intellektuell steril. Ich bevorzuge die unangenehme Alternative: präzise Modelle, saubere Begriffe, harte Grenzen, ein Thema mit dem meine Landsleute ersichtlich grösste Schwierigkeiten haben, echte Sicherheitsfragen.
- https://de.wikipedia.org/wiki/Terminator_(Film)#Handlung ↩︎
- https://en.wikipedia.org/wiki/SKYNET_(surveillance_program) ↩︎
- https://en.wikipedia.org/wiki/Artificial_general_intelligence ↩︎
- https://coresecret.eu/2025/11/28/vom-sein-beginn-einer-blogserie/ ↩︎
- Ebenda. ↩︎
- Ebenda. ↩︎
- Ebenda. ↩︎
- Ebenda. ↩︎
- https://nickbostrom.com/superintelligentwill.pdf ↩︎
- https://en.wikipedia.org/wiki/Large_language_model ↩︎
- https://coresecret.eu/2025/12/03/von-der-komplexitaet/ ↩︎
- „Menschen können in der Masse einfache Modelle verstehen, moralische Geschichten, Helden-Schurken-Narrative. Sie können Regeln befolgen, wenn jemand sie klar formuliert und durchsetzt. Sie können in ihrem Fachbereich sehr kompetent handeln. Aber sobald es darum geht, das Zusammenspiel mehrerer komplexer Systeme nachzuvollziehen, konkurrierende Modelle parallel zu halten und rein argumentativ, ohne persönlichen Bezug, über sie zu diskutieren, bricht es bei den meisten weg.“ Ebenda. ↩︎
- https://pubmed.ncbi.nlm.nih.gov/20068583/ ↩︎
- https://www.wired.com/story/karl-friston-free-energy-principle-artificial-intelligence ↩︎
- https://www.frontiersin.org/journals/psychology/articles/10.3389/fpsyg.2021.749868/full ↩︎
- https://www.sciencedirect.com/science/article/pii/S1364661323002607 ↩︎
- https://coresecret.eu/2025/11/25/von-der-physik-der-ki/ ↩︎
- https://www.auai.org/uai2016/proceedings/papers/68.pdf ↩︎
- https://nickbostrom.com/superintelligentwill.pdf ↩︎
