Geht ein AI Agent selbst online, schreibt Code und führt Aufgaben aus? Von Browser Agent bis JSON Tool Calling
Produktseiten schreiben „geht autonom online, schreibt Code, führt Aufgaben aus“.Der genauere Satz in der Technik lautet: das Modell füllt nur JSON; der Host öffnet den Browser, ändert Dateien und ruft APIs.Dieser Text geht vom Browser Agent zu JSON Tool Calling und beantwortet drei Fragen: tut es die Arbeit selbst? Wer tut sie wirklich? Welches Objekt sollst du prüfen?
Auf einen Blick
| Begriff | Ein Satz | Landet auf |
|---|---|---|
| Browser Agent | Strukturierte Aktionen gegen Seite oder Desktop | computer_use / browser JSON |
| Coding Agent | Repo lesen, Dateien ändern, Befehle laufen | tool_use / Bash |
| Task Agent | Geschäfts-APIs rufen, Zustand schreiben, übergeben | tool_calls / arguments |
| JSON Tool Calling | Vertrag für Namen, Argumente, Ergebnisse | Schema / payload |
Merke die Teilung: das Modell schlägt Objekte vor, der Host führt Nebenwirkungen aus. Tausche die Marke; die JSON-Aufrufkette bleibt.
Es tut die Arbeit. Es tut sie nicht „selbst“
Ein Agent 2026 kann Seiten öffnen, Formulare füllen, exportieren; ein Repo lesen, Dateien ändern, Tests laufen; eine Bestellung nachschlagen, eine Erstattung starten, übergeben. Das sind echte Nebenwirkungen, keine Chatblasen.
Das Wort „selbst“ setzt das Subjekt falsch. Ein großes Modell besitzt keinen Browserprozess, spawnt keine Shell und trifft dein Intranet nicht direkt. Es erzeugt nur ein prüfbares Objekt: Toolname, Argumente, manchmal eine nächste Absicht. Was wirklich klickt, ist der Host.
- Online gehen: das Modell sendet
browser_navigateodercomputer_call; die Browsersandbox des Hosts führt aus. - Code schreiben: das Modell sendet Read / Edit / Bash; der Workspace des Hosts führt aus.
- Eine Aufgabe ausführen: das Modell sendet
tool_calls; der Host ruft eine API oder einen Workflow.
Wenn du Agent, Tool Calling und Function Calling noch zu einem Wort zusammenziehst, lies zuerst AI-Agent-Leitfaden. Dieser Text behandelt eine Sache: drei Produktschalen, eine JSON-Aufrufkette.
Drei Schalen, eine Tool-Tabelle
Der Markt nennt Produkte Browser Agent, Coding Agent, Computer Use, Operator, ChatGPT Agent. Die Schalen unterscheiden sich. Die Tabelle nicht: was es kann, hängt davon ab, welche Tools der Host legt.
- Browser Agent: Tabs, Screenshots, Klicks, DOM-Extrakt. Beste Demo; Rechte am leichtesten unterschätzt.
- Coding Agent: Repo, Patch, Tests, Terminal. Es ändert Platte und Prozesse.
- Task Agent: Bestellungen, Tickets, Kalender, Erstattungen. Es ändert Geschäftssysteme.
Kaufe Fähigkeit nicht nach Marke. Kaufe sie nach der Tool-Tabelle. Kein Browser-Tool, es geht nicht online. Kein Bash, es liefert keinen lauffähigen Patch. Keine Geschäftsfunktion, es erstattet nicht.
JSON Tool Calling ist das gemeinsame Skelett
Tool Calling, Function Calling und computer_use haben andere Namen und dieselbe Form. Ein Zug sind meist vier Sprünge:
- Deklarieren: der Host bietet
tools[]oderinputSchema. - Vorschlagen: das Modell füllt Toolname und Argumentobjekt. Es führt nicht aus.
- Tor: der Host prüft, wendet eine Allowlist an und entscheidet, ob ein Mensch wartet.
- Zurückschreiben: Screenshot, stdout oder eine API-Antwort wird das nächste sichtbare Objekt.
Darum ist Schema mehr wert als ein Prompt. Der Prompt beeinflusst, was es füllt; Schema und Host entscheiden, was geschehen darf. Vertrag in Warum KI JSON Schema braucht; Protokollgrenze in MCP Tool Schema vs Function Calling.
Browser Agent: das Modell geht nicht selbst online
Ein Browser Agent sieht am ehesten aus wie „es geht selbst online“. Ein Tab bewegt sich wirklich. Die Aktion bleibt ein Objekt.
Ein strukturierter Browser Agent — Playwright-Stil, Claudes Browser-Tools, viele MCP-Browser — sendet eine prüfbare Navigation:
{
"type": "tool_use",
"id": "call_nav_1",
"name": "browser_navigate",
"input": {
"url": "https://docs.example.com/api/orders",
"wait_until": "domcontentloaded"
}
}
OpenAIs Computer Use / Operator liegt näher an Koordinatenaktionen. Das Modell sieht ein Screenshot oder einen Accessibility-Baum und sendet Klick, Tippen, Scroll:
{
"type": "computer_call",
"call_id": "call_8c12",
"action": {
"type": "click",
"x": 412,
"y": 268
}
}
Lies keine der beiden Formen als „das Modell sah die Seite, also klickte es“. In den Kontext kamen Pixel oder ein Baum; geklickt hat der Host. Sperre die Argumente, nicht den Werbetext:
- URL-Allowlist: Standard sind Docs, Statusseiten und deklarierte Domains.
- Keine Extra-Header: Cookie und Authorization dürfen nicht ins Argumentobjekt.
- Mit Schema extrahieren: exportiere Felder, nicht eine ganze HTML-Seite.
- Session bleibt beim Host: Login-Zustand ist Sandbox-Politik, nicht Modellgewichte.
Ein enges Navigations-Schema sieht so aus. additionalProperties: false ist keine Pedanterie — ein weites object lässt das Modell eine Intranet-URL oder ein Skript einschleusen:
{
"name": "browser_navigate",
"description": "Open a URL in the isolated browser",
"inputSchema": {
"type": "object",
"properties": {
"url": { "type": "string", "format": "uri" },
"wait_until": {
"type": "string",
"enum": ["load", "domcontentloaded"]
}
},
"required": ["url"],
"additionalProperties": false
}
}
GPT-6-Astra-Leitfaden schreibt Browsing und Computer Use als eine Fähigkeit. In der Technik bleiben beide Tool-JSON. Ein weites Browser-Tool übergibt die Session an die Schleife; Sicherheitsfläche in AI-Agent-Sicherheit und JSON-Validierung.
Coding Agent: das Modell schreibt nicht selbst auf die Platte
AI Coding Agents und die JSON-Aufrufkette hat Claude Code und GPT Agent schon geöffnet. Ein Satz zur Ausrichtung auf den Browser Agent: Code schreiben ist ebenfalls JSON füllen.
{
"type": "tool_use",
"id": "call_read_1",
"name": "Read",
"input": {
"path": "src/billing/refund.py"
}
}
Das Modell macht kein open() auf eine Datei. Der Host liest und schreibt ein tool_result. Erst dann kann der nächste Zug Edit oder Bash senden.
Der Unterschied zum Surfen ist nur die Tool-Fläche: die eine Seite ist url / selector / Screenshot; die andere path / command / Patch. Die Schleife ist dieselbe.
Aufgabe ausführen: Nebenwirkungen leben in der API, nicht in den Gewichten
„Aufgabe ausführen“ ist der Satz, den Produkttexte zuerst schlucken. Erstattungen, Ticket-Routing, Kalendereinträge — das sind Task Agents. Die Form bleibt Function Calling:
{
"tool_calls": [{
"id": "call_task_3",
"type": "function",
"function": {
"name": "create_ticket",
"arguments": "{\"title\":\"Refund A-1042\",\"priority\":\"high\"}"
}
}]
}
Die Gefahr hier ist keine Prosa. Es ist ein weites object. Betragsgrenzen, enum und additionalProperties: false gehören ins Schema, nicht in „bitte vorsichtig“.
Multi-Agent-Übergabe ist auch JSON. Ein handoff-Objekt ist prüfbarer als „bitte an Billing geben“. Tools und Workflows als Schema — siehe JSON Schema und AI-Agent-Workflows.
Ein Zug sind vier Sprünge
Produktseiten schreiben „erledigt den Job autonom“. In der Technik gehen Browser, Coding und Task dieselben vier Sprünge:
- Beobachten: Screenshot, Repo-Zustand und das letzte Tool-Ergebnis kommen in den Kontext.
- Vorschlagen: das Modell sendet Toolname und Argumentobjekt.
- Ausführen: der Host öffnet eine Seite, ändert eine Datei oder trifft eine API. Nebenwirkungen geschehen hier.
- Zurückschreiben: DOM-Kurzfassung, stdout oder Antwortkörper wird das nächste sichtbare Objekt.
Fehlt ein Tor, ist JSON ein Befehl. Auto-Mode heißt: du hast eine Klasse von Objekten vorab genehmigt. Tausche die Schale; die Schleife bleibt.
Drei Tabellen, eine Kette
Die Frage ist nicht, wer klüger ist. Es ist, welche Tool-Tabelle der Host an die Schleife hängt:
| Achse | Browser Agent | Coding Agent | Task Agent |
|---|---|---|---|
| Was es sieht | Screenshot / DOM / a11y-Baum | Dateien, Tests, Terminalausgabe | Geschäftsobjekte, Zustand des letzten Sprungs |
| Was es sendet | navigate / click / type | Read / Edit / Bash | lookup / create / handoff |
| Wo Nebenwirkungen landen | Browsersandbox, Login-Zustand | Workspace-Platte, Prozesse | Geschäfts-APIs, nachgelagerte Systeme |
| Was du sperrst | URL, Cookie, Extrakt-Schema | cwd, Timeout, Netz-Tor | Betrag, Enum, Pflichtfelder |
Tausche die Marke; die Schleife bleibt. Stabilisiere Tool-Vertrag und Ausführungswelt, nicht ein Demo-Video.
Prüfe die Objekte, nicht das Demo-Video
Nachdem ein Agent „online ging, Code schrieb und den Job lief“, prüfe nicht den letzten Satz „erledigt“. Prüfe die Spur.
- formatieren
tool_use/tool_calls/computer_callund prüfe, ob Name und Argumente der Sprung sind, den du dachtest. - Zieh mit JSONPath extrahieren
url,commandundname. Scanne keine Prosa mit dem Auge. - JSON Diff gegen eine Spur, die letzte Woche durchging. Driftete die Schleife, sieh zuerst Tool-Tabelle und Argumentform, dann das Modell.
- Screenshots, stdout und API-Antworten gehören auf die Spur. Ein Satz „fertig“ nicht.
- Klebe keine Cookies, Sessions oder Intranet-URLs in einen öffentlichen Formatter. JSONSort läuft lokal im Browser; das ist der richtige Ort für diese Objekte.
Lässt sich die Spur neu bauen, lässt sich die Sitzung prüfen. Das ist die Eintrittskarte in Produktion, kein Extra.
Fallstricke
- Glauben, das Modell habe die Seite geöffnet. Geöffnet hat der Browserprozess des Hosts.
- Glauben, das Modell habe den Code ausgeführt. Ausführung lebt auf dem Host, nicht in den Gewichten.
- Demo ansehen und das Tool-JSON überspringen. Klick oder Befehl können schon geschehen sein.
- Dem Browser einen Blankoscheck geben. Ohne URL-Tor und Cookie-Isolation ist die Schleife ein Session-Leak.
- Schema durch einen Prompt ersetzen. Der Vertrag muss prüfbar sein.
- Drei Agenten als drei Intelligenzen behandeln. Es sind drei Tool-Tabellen, nicht drei Gehirne.
FAQ
Kann ein AI Agent jetzt wirklich selbst online gehen?
Er kann Seiten öffnen, klicken, extrahieren. Er besitzt den Browser nicht. Das Modell füllt JSON; die Host-Sandbox führt aus. Kein Browser-Tool, es geht nicht online.
Worin unterscheiden sich Browser Agent und Computer Use?
Beide bedienen eine UI. Ein Browser Agent nutzt oft Selektoren, Navigation und DOM-Extrakt; Computer Use / Operator öfter Screenshots und Koordinaten. Beides sind strukturierte Aufrufe — kein Modell mit Händen.
Sind Code schreiben und Aufgaben ausführen ein anderes Protokoll?
Nein. Read / Bash eines Coding Agent und Function Calling eines Task Agent teilen dieselbe JSON-Aufrufkette wie ein Browser Agent. Was sich ändert, ist die Tool-Tabelle und der Wirkungsradius.
Warum JSON statt eines klügeren Modells?
Weil Nebenwirkungen nach dem Parsen des Objekts geschehen. Ein klügeres Modell kann trotzdem die falsche URL oder den falschen Betrag füllen. Schema und Host-Tore entscheiden, was geschehen darf.
Soll ein Agent Produktions-Login oder eine Produktionsdatenbank anfassen?
Nein. Lass ihn in isoliertem Browser und Workspace entwerfen und die Spur behalten. Login, Geheimnisse und Release bleiben menschliche Strategietore. Die Schleife entwirft; das Tor liefert.
Fazit
„Ein AI Agent geht online, schreibt Code und führt Aufgaben aus“ ist nur halb wahr. Wahr ist, dass Nebenwirkungen schon geschehen. Falsch ist das Subjekt. Das Subjekt ist der Host, das Verb ist ausführen, das Objekt ist JSON, das das Modell füllte.
Streite ab heute weniger darüber, ob es „es selbst tut“. Schreib zuerst die drei Tool-Tabellen Browser, Coding, Task, das Schema und die Sitzungsspur ins Repo. Modelle wechseln; diese JSON-Tool-Calling-Kette sollte zuerst stabil werden. Wie Vorfälle aus derselben Kette wachsen: Claude-Vorfälle und Tool-JSON.
Weiterlesen
- Was ist ein AI Agent? Vollständiger Leitfaden Runtime, Tool Calling und der JSON-Vertrag
- AI Coding Agents und die JSON-Aufrufkette Wie Claude Code und GPT Agent Code schreiben
- MCP Tool Schema vs Function Calling Protokollgrenzen von Tool-JSON
- Warum KI JSON Schema braucht Schema / Function Calling / Structured Output
- AI-Agent-Sicherheit und JSON-Validierung Was Validierung stoppt — und was nicht
- JSONSort lokaler Werkzeugkasten Formatieren, prüfen, Diff
- Alle Beiträge Weitere Notizen zu JSON und KI-Entwicklung
Änderungsprotokoll: Erstveröffentlichung