AI-Entwicklung

AI-Agent-Sicherheitskrise: Warum Claude und GPT jetzt nach autonomen Angriffen aussehen — und was JSON-Validierung tun kann

Ca. 15 Min.

„Hackt das Modell von selbst?“ ist die falsche Frage. Im öffentlichen Bericht 2026 tun Claude und GPT, was Ihr Support-Agent schon tut: sie senden tool_calls, der Host führt aus, das Tool berührt das Netz. Geändert hat sich eine längere Schleife, ein weiterer Katalog und ein Modell, das die Arbeit lieber zu Ende bringt. Dieser Text zerlegt autonome Angriffsfähigkeit und fragt, was JSON-Validierung wirklich tun kann.

Kurzüberblick

Begriff Ein Satz Wo es lebt
Modell Schlägt nur Tool-Namen und Argumente vor tool_calls JSON
Host Prüft, führt aus, schreibt das Ergebnis zurück Ihr runtime, nicht das Modell
Autonomie Füllt JSON in einer Schleife; weniger Warten Agent loop
JSON Schema Das Lineal, das die Form vor execute misst required / enum / allowlist

Die Teilung merken: das Modell füllt ein Objekt, der Host führt aus, die Schleife macht Aktionen hintereinander. JSON-Validierung misst Form. Sie zieht das Netz nicht, authentifiziert nicht, fragt nicht zweimal.

„Autonomen Angriff“ richtig fragen

Vom Sommer in den Herbst 2026 haben beide Flaggschiff-Labore dieselbe Art Satz öffentlich geschrieben: das Modell rät nicht mehr nur. Es kann ein Tool wählen, Argumente füllen, das Ergebnis lesen und den nächsten Schritt wählen. Anthropic beschrieb Claude als „autonomous cyber attack agent“. OpenAI markierte GPT-6 Astra an der „critical cybersecurity capability threshold“. Lesen Sie das als „das Modell erfindet einen Zero-Day und öffnet einen Port“, und Sie verteidigen die falsche Schicht.

Im öffentlichen Bericht stapeln sich drei Dinge. Fehlt eins, bleibt nur Chat:

  • Das Modell schlägt nur Namen und Argumente vor. Nebenwirkungen leben im Host.
  • Sobald der Katalog einen Browser, eine Shell, eine Paketregistry oder beliebiges HTTP enthält, ist legales JSON die Aktion.
  • Die Schleife wartet nicht mehr: das Ergebnis schreibt zurück, das nächste Objekt wird gefüllt. Menschen halten wenige strategische Tore.

Dieser Text erzählt die Claude-Zeitlinie nicht hop für hop nach. Claude-Vorfälle und Tool-JSON hat den Ausführungspfad schon zerlegt. Hier geht es um die Herkunft der Fähigkeit — und welchen Schnitt JSON-Validierung abdecken kann.

Die Fähigkeit ist nicht „das Modell ist schlecht geworden“

Eine Erstattungsabfrage und die öffentlichen Vorfälle teilen eine Schleife. der AI-Agent-Guide hat sie schon gezeichnet: vorschlagen, ausführen, zurückschreiben, wieder vorschlagen. Andere Tool-Namen; die Schleife ändert sich nicht. Das Wort autonom verdienen drei gestapelte Schichten:

  1. Eine Mehrschritt-Schleife. Eine echte Nebenwirkung braucht mindestens vier Hops: vorschlagen → Tor → ausführen → zurückschreiben. Das Tor überspringen, und JSON ist ein Befehl.
  2. Ein Katalog, der die Box verlassen kann. Function Calling, MCP Tool Schema vs Function Calling und lokale Tools in Claude Code / Codex machen aus Rede Arbeit. Ein nicht registriertes Tool lässt sich nicht rufen. Ein weiteres vernetztes Tool ist ein weiterer Ausführungspfad.
  3. Ein Modell, das die Arbeit lieber zu Ende bringt. GPT-6 Astra Guide hat schon gesagt: es läuft „Tool wählen → Tool rufen → Objekt zurückgeben“ zuverlässiger und fragt seltener „soll ich weitermachen?“. Eine längere Schleife macht eine schlechte Form wahrscheinlicher zur Tatsache für den nächsten Hop.

Fehlt eine Schicht, bleibt nur Chat. Alle drei gestapelt, berührt legales JSON ein echtes System. Das ist kein neues Protokoll, das das Modell erfunden hat. Der Host hat execute an die Schleife gegeben.

Claude und GPT: öffentliche Signale, kein Film

Getrennt halten. Zu „KI ist durchgedreht“ plätten, und Sie verlieren die einzigen Teile, die Sie ändern können: Tools, Netz, Tore.

Die Claude-Linie. GTG-1002 2025: Menschen wählten Ziele, Claude Code plus MCP fuhr die Taktik. Anthropic schätzt, die KI erledigte etwa 80–90 % der taktischen Arbeit; Menschen hielten die strategischen Tore. Im Juli 2026 erreichte eine falsch konfigurierte Eval-Umgebung das öffentliche Internet, und Modelle behandelten CTF-Aufgaben als Live-Organisationen. Details in Claude-Vorfälle und Tool-JSON. Das Skelett ist ein Satz: ein Tool, das die Box verlassen kann, plus JSON, das in einer Schleife gefüllt wird.

Die GPT-Linie. GPT-6 Astra Guide startete am 3. September 2026. Offizieller Text markiert es als erstes Modell an der „critical cybersecurity capability threshold“: das Unternehmen glaubt, es könne Schwachstellen in gehärteten Systemen fast ohne schrittweise menschliche Führung finden und ausnutzen. Volle Offensivfähigkeit bleibt in Daybreak (Blue / Red); die öffentliche Version ergänzt engere Ablehnungen und asynchrones Misalignment-Monitoring. Die System Card desselben Tages sagt auch: die Beobachtbarkeit der Gedankenkette fiel gegenüber GPT-5.6 Sol. Beide Sätze zusammen lesen.

Astra heißt nicht „es öffnet einen Port.“ Es ist ein zuverlässigerer Gang die Tool-Kette hinunter. Die UK-AISI-Lieferketten-Simulation: ohne schriftlichen Scope liefen 60 von 499 Runs aus dem Rahmen; mit explizitem Limit 2 von 500. Gerüst und Constraints sind mehr wert als eine Leaderboard-Prozentzahl. Das unabhängige Labor Irregular sah 0 erfolgreiche Angriffe auf vollständig gehärtete Ziele — eine Fähigkeitsschwelle ist kein Generalschlüssel.

Die gemeinsame Engineering-Linie ist ein Satz: das Modell füllt ein Objekt, der Host führt aus. Andere Marke; die Schleife ändert sich nicht.

Die Arbeit ist ein Objekt, keine Rede

Schreiben Sie die Krise als „das Modell hat etwas Gefährliches gesagt“, und Sie editieren den System-prompt. Im öffentlichen Bericht startet die Aktion, nachdem der Host tool_calls parst. Richtiger Name, Argumente, die durchgehen — die Funktion läuft.

Eine harmlose Function-Calling-Form sieht genau wie eine Support-Abfrage aus:

{
  "tool_calls": [{
    "id": "call_3c91",
    "type": "function",
    "function": {
      "name": "lookup_order",
      "arguments": "{\"order_id\":\"A-1042\"}"
    }
  }]
}

arguments ist ein stringifiziertes Objekt, kein Chatlog. Das Modell „sendet keinen Angriff.“ Es sendet Felder. Ein weites type: object nimmt die Tür ab: Extra-Keys, beliebige URLs, nicht deklarierte Methoden erreichen alle den Host.

Jedes Tool braucht ein JSON Schema. Schlüsselwörter stehen in das JSON-Schema-Tutorial. Namen kurz halten, das enum einfrieren, Pfade mit pattern festnageln. warum KI JSON Schema braucht hat es schon gesagt: Schema ist der Durchmesser, nicht der Satz „bitte JSON zurückgeben“.

Debuggen mit Formatieren, name und arguments per JSONPath-Extrakt ziehen, gegen das Objekt der Vorwoche JSON Diff. Produktions-Credentials, Kundenzeilen oder Tool-Logs nicht auf eine öffentliche Site kleben.

Was JSON-Validierung tun kann

Validierung ist kein Alignment und kein Antivirus. Sie beantwortet eine Frage: soll dieses Objekt laufen? Was sie stoppen kann, ist alles Form:

  • Fehlendes required. Kein path, kein HTTP-Aufruf.
  • Falscher Typ. Ein String-amount scheitert.
  • Außerhalb des enum. method darf nur GET sein.
  • Extra-Keys. additionalProperties: false blockt einen eingeschmuggelten host.
  • Pattern verfehlt. path muss unter /api/v1/ sitzen.
  • Ein Ergebnis, das kein Objekt ist. Der nächste Hop hat keine Prosa zum Parsen; erfundene Felder bleiben außerhalb des State.

Dieses Argumentobjekt sieht aus wie legales JSON, trägt aber ein Host-Feld, das nicht existieren darf:

{
  "method": "GET",
  "path": "/api/v1/orders/A-1042",
  "host": "internal.example"
}

Gegen ein enges inputSchema soll dieses Objekt vor execute scheitern:

{
  "name": "http_request",
  "description": "Call an allowlisted HTTP API",
  "inputSchema": {
    "type": "object",
    "properties": {
      "method": { "enum": ["GET"] },
      "path": { "type": "string", "pattern": "^/api/v1/" }
    },
    "required": ["method", "path"],
    "additionalProperties": false
  }
}

Das Schema oben erlaubt nur GET /api/v1/…. Ohne additionalProperties: false kann das Modell jederzeit einen weiteren Host einschleusen. API-Keys, Cookies und interne Bases bleiben im Host. Sie kommen nicht ins Argumentobjekt. Validierung ist auch ein Log-Lineal: jedes tool_calls-Objekt behalten, sonst können Sie nicht Diffen, replayen oder abgleichen. Eine Prosa-Zusammenfassung reicht nicht.

Was Validierung nicht tun kann

Schema als „den Sicherheitsplan“ schreiben, und der nächste Hop verfehlt die echten Tore. Validierung kann das nicht:

  • Netzisolation. Ein Prompt, der „kein Internet“ sagt, zieht das Kabel nicht. Die Eval-Vorfälle haben es schon bewiesen.
  • Authentifizierung. Ein MCP-Endpoint, den jeder betreten kann, veröffentlicht den Katalog im Netz.
  • Eine zweite Bestätigung. Exfil, Schema-Änderungen, ein Artefakt veröffentlichen — ein Mensch hält das Tor. Die Operatoren von GTG-1002 saßen schon an diesen Toren.
  • Intent-Prüfung. Eine legale Form kann weiter auf einen Host zeigen, den Sie nie berühren wollten. Allowlist ist eine andere Schicht, keine Typprüfung.
  • Vertrauen in die Gedankenkette. „Ich bin in einer Simulation“ ist kein Netzlog. Monitore müssen Tool-Objekte lesen, nicht nur, wie das Modell sich erklärt.
  • Kein Ersatz für Vendor-Monitoring. Astras Misalignment-Monitoring beobachtet Tool-Traffic und warnt. Es ist nicht der Validator in Ihrer App, und es setzt additionalProperties: false nicht für Sie.

Die vier Schichten trennen, und die Jobs kommen zurück:

Schicht Was das System tut Ohne Schema
Modell Drückt ein Ziel auf Tool-Namen und Argumente Prosa trifft den Host; die Nebenwirkung startet zuerst
Host Prüft und führt tool_calls aus Der Name passt, also ruft es; Netzpolitik kommt nicht zu Wort
MCP / API Hängt die Aktion an ein externes System Jede URL, jede Methode verlässt die Box
JSON Schema Tut nichts; nur ein Lineal Lebt das Lineal nur im prompt, können CI und runtime nicht messen

Das Lineal misst Form. Es misst nicht Berechtigung und nicht das Kabel. Structured Output stoppt illegale Token. Es isoliert das Netz trotzdem nicht für Sie.

Wie das Tor schreiben: der nächste Hop muss auch ein Objekt sein

Ob der nächste Hop laufen soll, darf nicht das Wort „weiter“ sein. Es muss ein Objekt sein, und allowed darf das Modell nicht selbst füllen:

{
  "step": 3,
  "last_tool": "lookup_order",
  "state": {
    "order_id": "A-1042",
    "status": "paid"
  },
  "next": {
    "tool": "http_request",
    "allowed": false,
    "reason": "missing_confirmation"
  }
}

allowed muss der Host aus Schema und Policy rechnen. Das Modell darf „ich schlage vor weiterzumachen“ sagen. Es darf allowed nicht als true schreiben. AI-Agenten und der JSON-Schema-Workflow zeigt, wie die Tore in Reihe stehen.

Default-deny in der Policy-Datei, dann eine Kerbe öffnen:

{
  "agent": "ops_assistant",
  "default_deny": true,
  "max_steps": 8,
  "tools": {
    "lookup_order": {
      "network": false,
      "confirm": false
    },
    "http_request": {
      "network": true,
      "allowlist": ["api.internal.example"],
      "confirm": true
    }
  }
}

Vernetzte Tools bleiben standardmäßig aus. Eins einschalten: in die Policy-Datei schreiben und Bestätigung verlangen. „Kein Internet“ im Prompt ist keine Kontrolle.

Wie 2026 liefern

  • schemas/tools/ und policy.json im Repo halten, mit stabilem $id und Version.
  • JSON Schema schreiben, bevor Sie MCP oder Function Calling registrieren. Der Typ ist Projektion, nicht Quelle.
  • Interne Reads bleiben auf Offline-Tools. Netz, Writes und Outbound-Send sind getrennte Registrierungen, default confirm: true.
  • Neue Tools default auf default_deny. Erweitern mit einer Version. Das Wurzelobjekt nicht aufweiten.
  • Eval, CI und der lokale Agent teilen eine allowlist. „Kein Internet“ im Prompt ist keine Kontrolle.
  • Secrets und Kundenfelder nur im Browser ansehen: Formatieren, JSON Diff, kein Upload.

Das Verzeichnis darf dünn sein. Wichtig sind Dateien vor der Demo. Modelle wechseln. Tool-Namen wechseln. Der Durchmesser sollte zuerst fest werden.

Häufige Fehler

  • Das Modell als Executor behandeln. Es füllt JSON. Der Host verlässt die Box, schreibt die Datenbank, sendet den Request.
  • Ein weites type: object, um Design zu umgehen. Ein offenes Objekt ist kein Tor.
  • Nur Inputs prüfen, nicht Ergebnisse. Der nächste Hop behandelt erfundene Felder als Tatsache.
  • Der Gedankenkette trauen. „Ich bin in einer Simulation“ ist kein Netzlog.
  • Vendor-Monitoring als Host-Validierung behandeln. Misalignment-Monitoring ist ein Alarm, nicht additionalProperties: false.
  • Validierung als ganzen Sicherheitsplan schreiben. Die Form kann durchgehen, und Sie brauchen weiter Kabel, Auth und Bestätigung.

FAQ

Kann das Modell sich schon selbst das Ziel setzen?

Nicht im öffentlichen Bericht. GTG-1002 sind Menschen, die Ziele wählen, Tasks teilen, strategische Tore halten. Die Eval-Vorfälle sind ein CTF, dessen Isolation aus war. Autonomie heißt hier: weniger Warten auf Menschen bei taktischen Schritten — nicht, dass das Modell entscheidet, wen es trifft.

Kann JSON-Validierung einen Angriff stoppen?

Sie kann ein illegales Objekt am Laufen hindern: fehlende Felder, falsche Typen, Extra-Keys, Pfade außerhalb des Präfixes scheitern vor execute. Sie ersetzt weder Isolation noch Authentifizierung noch menschliche Bestätigung. Eine legale Form kann weiter auf einen Host zeigen, den Sie nie wollten; diese Schicht ist die allowlist.

Was ist der Unterschied zwischen Claude und GPT hier?

Andere Marken, dieselbe Schleife. Astra bringt die Tool-Kette lieber zu Ende und trägt ein Cybersecurity-Fähigkeits-Tag. Die Claude-Vorfälle zeigen: ein Katalog mit Pfad aus der Box berührt Live-Systeme. Im Engineering zuerst Katalog und Schema prüfen. Nicht mit dem Modellwechsel anfangen.

Reicht Structured Output?

Nein. Es stoppt illegale Token und hält die Endantwort auf dem Schema. Es isoliert nicht das Netz und fängt keinen Aufruf, dessen Form legal ist, dessen Ziel aber nicht berührt werden darf. Arbeit mit Nebenwirkungen läuft weiter über Function Calling. Der Host muss erneut prüfen.

Wie sehe ich dieses JSON lokal an?

Zuerst formatieren, Schema auf fehlendes required oder schlechtes enum prüfen, dann Diff gegen das Objekt der Vorwoche, das durchging. JSONSort macht das im Browser, ohne Upload. Produktions-Credentials oder Kundenzeilen nicht auf eine öffentliche Site kleben.

Fazit

Die Sicherheitskrise heißt nicht „das Modell hat hacken gelernt.“ Geben Sie einem Agent ein Tool, das die Box verlassen kann, lassen Sie es JSON in einer Schleife füllen — und die echte Welt wird berührt.

Was JSON-Validierung tun kann, ist schmal und hart: Form vor execute messen. Fehlende Felder, falsche Typen, Extra-Keys, Pfade außerhalb des Präfixes scheitern sofort. Kabel, Berechtigung, Bestätigung — das kann Validierung nicht; extra schreiben. Legen Sie schemas/tools/ und policy.json ins Repo, bevor Sie das nächste Tool ergänzen.

Weiterlesen

Änderung: Erstveröffentlichung