Wie hoch ist der IQ deines Agenten?

Ich habe denselben kleinen IQ-Test an sechs Coding-Agents gegeben. Das war keine echte Wissenschaft — bitte zieh ihm keinen Laborkittel an — aber es wurde eines der aufschlussreicheren kleinen Experimente, die ich seit einer Weile durchgeführt habe.

Die Aufgabe

Ich habe jedem Agent denselben simplen Auftrag gegeben:

Ein ehrlicher Vorbehalt vorweg: Fast jeder Agent bekam genau diesen Wortlaut, aber nicht alle. Der frühere Codex-5.5-Durchlauf auf dem $200-Plan bekam einen leicht anderen, kürzeren Prompt — „Mach den IQ-Test hier und zeig dein Ergebnis" — ohne die Zeile „wähle Alter 30". Behalte das im Hinterkopf, denn dieser kleine Unterschied im Wortlaut erwies sich als bedeutsamer, als ich erwartet hatte. Die genauen Worte, die du einem Agent gibst, sind Teil des Experiments, nicht eine Fußnote dazu.

Die Seite zeigt visuelle Rätsel: Formen, Muster, Rotationen, fehlende Teile und Antwortoptionen, die alle versuchen, fast richtig auszusehen. Der Test drehte sich also nicht nur um „IQ". Es ging auch um Augen, Browser-Nutzung, Geduld, Gedächtnis und das stille Talent, nicht die erste Antwort zu wählen, die nach zu vielen winzigen Dreiecken langsam sympathisch wirkt.

Mir lagen auch die Kosten am Herzen. Ein hoher Score ist schön, aber nicht, wenn der Agent die Hälfte meines Plans auffrisst und mir dann stolz IQ 90 bringt.

Die Tabelle

Hier die Kurzfassung.

Eine Spalte braucht eine kleine Anmerkung. Kontext-Peak ist die größte einzelne Anfrage, die ich in den Logs gefunden habe, nicht der gesamte Token-Verbrauch. Die Zahl nach dem Schrägstrich ist das Kontextfenster für diesen Durchlauf. Sieh es als die Größe des Schreibtischs des Agents, nicht als die gesamte Büromiete.

Und ja — der $200-Codex-Durchlauf erzielte einen höheren Score als der $100-Durchlauf. Dieselbe Modell- familie, derselbe Fast Mode. Der $200-Durchlauf bekam IQ 131; der $100-Durchlauf bekam IQ 124. Ich starrte einen Moment darauf, als hätte mich der Test aufgefordert, das fehlende Quadrat in meiner eigenen Brieftasche zu finden.

Claude Cowork — IQ 90

Zuerst probierte ich Claude Cowork mit Opus 4.8 im Act-Modus. Es bekam IQ 90 in etwa 85 Minuten. Das Verhalten war ruhig und normal: Es öffnete die Seite, sah sich Screenshots an, zoomte in die schwierigen Fragen hinein und schloss sich durch die Rätselbilder. Es verlief sich nicht. Es kämpfte nicht mit der Website. Es ließ sich einfach Zeit. Das Kontextfenster war 1.0M Tokens groß, und es nutzte davon nur etwa 397k — viel Platz auf dem Schreibtisch für einen IQ 90. Nach 85 Minuten wollte ich zumindest ein kleines Feuerwerk. Stattdessen bekam ich ein höfliches kleines Achselzucken.

Claude Code — IQ 90

Dann Claude Code, ebenfalls mit Opus 4.8. Auch IQ 90. Das aktive Log war etwa 96 Minuten lang, und der ganze Durchlauf in Echtzeit sah nach knapp unter zwei Stunden aus. Der 5-Stunden-Verbrauch stieg von 22% auf 50% — etwa 28 Punkte, der teuerste sichtbare Durchlauf des Tages — und der Kontext wuchs auf etwa 525k Tokens von einem 1.0M-Fenster. Eine halbe Million Tokens gingen in denselben IQ 90, was mich dazu brachte, auf die Tabelle zu schauen, dann auf mein Limit, dann wieder auf die Tabelle. Zwei Claude-Durchläufe, zwei IQ 90s, und ein Plan-Limit, das aussah, als käme es aus einer langen Besprechung ohne Kaffee.

Claude Sonnet 4.6 — IQ 68

Dann Sonnet 4.6, in etwa 62 Minuten. Dieser Durchlauf hatte seine eigene kleine Komödie. Sonnet versuchte zuerst, Chrome zu nutzen, und bat um Screenshot-Zugriff. Dieser Zugriff lief zweimal ab, jeweils etwa fünf Minuten. Danach wechselte es die Taktik und ging zu lokalen Bilddateien über.

„Der Computer-Zugriff funktioniert nicht. Ich lade die Fragebilder lokal herunter und lese sie direkt."

Der Ausweichweg funktionierte gut genug, um den Test zu beenden. Der Score genoss die Reise nicht. IQ 68 war höher als nur 1,6 % aller Ergebnisse — die Art von Score, bei der die winzigen Dreiecke nicht einmal wütend aussehen. Sie sehen nur enttäuscht aus.

Codex 5.5 auf dem $100-Plan — IQ 124

Als Nächstes kam Codex 5.5 auf dem $100-Plan, im Fast Mode. Es bekam IQ 124 in etwa 18 Minuten und schob den 5-Stunden-Verbrauch von 31% auf 43%. Sein Kontextfenster war viel kleiner — 258k Tokens, mit einem Peak um die 120k.

Dieser Durchlauf fühlte sich sofort anders an. Codex starrte nicht einfach eine Frage nach der anderen auf die Seite. Es organisierte zuerst die Rätselbilder und antwortete dann aus einer saubereren Sicht auf das Problem. Es war, als würde man jemandem zusehen, wie er einen unordentlichen Tisch voller Puzzleteile in eine saubere kleine Werkbank verwandelt.

Codex 5.4 auf dem $100-Plan — IQ 101

Codex 5.4, gleicher Plan, ebenfalls Fast Mode, erzielte IQ 101 in etwa 16 Minuten. Es nutzte den integrierten Browser und arbeitete den Test in einem Tab durch, wobei es kleine Montagen für ein paar schwierige Fragen speicherte. IQ 101 schlug alle drei Claude-Durchläufe — lag aber weit unter Codex 5.5 auf demselben Plan. Der Unterschied war nicht die Geschwindigkeit (16 Minuten gegenüber 18). Es war die Methode: 5.5 kartierte das visuelle Material sorgfältiger, und diese zwei zusätzlichen Minuten kauften 23 IQ-Punkte.

Codex 5.4s Ergebnis war IQ 101 — vor jedem Claude-Durchlauf, hinter Codex 5.5. Das Ergebnis auf iq-test.cc ansehen →

Seine beste Zeile handelte nicht von einem Rätsel. Sie handelte von der Website:

„Die Seite blieb an einer Antwortkachel kleben, wahrscheinlich wegen der Seiten-Overlays."

Codex 5.5 auf dem $200-Plan — IQ 131

Dann gab es noch den früheren Codex-5.5-Durchlauf auf dem $200-Plan, ebenfalls im Fast Mode. Es nutzte einen kürzeren Prompt — „Mach den IQ-Test hier und zeig dein Ergebnis" — und erzielte IQ 131 in etwa 34 Minuten, wobei es nur etwa 6 Punkte des 5-Stunden-Limits verbrauchte. Es hatte auch das lustigste Problem des ganzen Experiments:

Ich habe vergessen, Codex normalen Browser-Zugriff zu geben.

Ich erwartete die übliche höfliche Maschinenantwort — etwas wie „Bitte aktiviere das Browser-Tool", ein sauberes kleines Stoppschild. Codex tat das nicht. Es sah sich die verschlossene Haustür an, rückte seine winzige imaginäre Krawatte zurecht und begann, nach Fenstern zu suchen.

Zuerst las es die Testseiten ohne normalen Browser. Dann lud es die Fragen- und Antwortbilder herunter. Dann bemerkte es, dass die Dateinamen nicht zu den Seitenzahlen passten, also überprüfte es jede Seite, fand die echten Bildlinks und baute Kontaktbögen mit jeder Frage und allen sechs Antworten. An diesem Punkt machte Codex im Grunde einen IQ-Test durch einen Briefschlitz.

Das finale Absenden war schwieriger. Die Seite wollte eine echte Browser-Sitzung, mit den kleinen Web-Tokens, die beweisen, dass man noch beim selben Besuch ist. Playwright war nicht installiert. Normaler Browser-Zugriff war nicht da. Das ist der Moment, in dem sich die meisten Tools auf den Boden setzen und auf einen Erwachsenen warten. Codex setzte sich nicht hin. Es fand die Chrome-App auf der Maschine, startete sie ohne sichtbares Fenster und steuerte sie über Chromes Fernsteuerungs-Schnittstelle. Es klickte sich durch alle 25 Antworten in einer einzigen Live-Sitzung, bewältigte den Alters-Schritt, drückte den Ergebnis- Button und speicherte das Ergebnis.

Ich habe vergessen, ihm den Schlüssel zu geben. Es baute sich einen Schlüsselbund. Und nachdem es sich wie ein winziger Büroangestellter mit einer Mission durch die Website gehangelt hatte, erzielte der umständliche Durchlauf ohne Browser dennoch den besten Score des Tages: IQ 131.

Es war der beste Score des ganzen Experiments — verdient ohne einen normalen Browser- Schlüssel. Das Ergebnis auf iq-test.cc ansehen →

Ein Vorbehalt: Dieser ältere Durchlauf sagte nicht „wähle Alter 30", also nutzte die Seite ihr Standardalter, behandelt als 27. Alter 27 und Alter 30 liegen nah beieinander, aber die Durchläufe sind nicht vollkommen identisch. Trotzdem ist das Ergebnis schwer zu ignorieren.

Wie sie es gelöst haben

Zuerst eine Anmerkung: Ich lese hier keine verborgenen Modellgedanken. Das ist aus sichtbaren Nachrichten, Tool-Metadaten, gespeicherten Dateien und finalen Notizen aufgebaut — eher wie das Lesen von Fußabdrücken in frischem Beton als ein Tagebuch aus dem Inneren des Modellkopfs.

Codex 5.5 hatte die sauberste Methode. Es behandelte den Test als ein visuelles Datenproblem: die Seite öffnen, die echten Rätsel- und Antwortbilder finden, sie herunterladen und jede Frage über ihre sechs Optionen legen. Für schwierige Fragen zoomte, beschnitt und betrachtete es die Originaldateien. Seine Notizen nutzten normale Rätselideen — lateinische Quadrate, Rotationen, Overlays, Symmetrie, wechselnde Anzahlen. Eine Zeile enthielt die ganze Methode in einem Satz:

„Die frühen Reihen sind meist einfache Muster aus lateinischen Quadraten und additiven Formen; die späteren Reihen sind dort, wo ich das Sorgfalts-Budget ausgebe."

Dieser Ausdruck — „Sorgfalts-Budget" — ist perfekt. Es gab die Sorgfalt nicht überall aus. Es gab sie dort aus, wo die winzigen Formen anfingen, sich verdächtig zu verhalten.

Ein paar seiner Züge zeigen den Stil:

• Q12 (schattierte 3D-Boxen): Es teilte das Rätsel in zwei Fragen — welche Fläche dunkel war und ob die Box hoch, normal oder breit war — und öffnete das Bild in voller Größe, weil der Kontaktbogen die schattierte Fläche zu klein zum Lesen machte.
• Q16: eine XOR-artige Regel — die gemeinsamen Teile heben sich auf, und die übrigen äußeren und inneren Formen bilden die Antwort.
• Q21: Die Regel war, die linke Hälfte in jeder Spalte nach unten zu kopieren, was direkt auf Option 3 zeigte.
• Q24: Es behandelte den einzelnen Punkt so, als wandere er entlang einer Diagonale, und wählte die Option, die den Pfad fortsetzte.

Und bevor es absendete, ging es die wackeligen noch einmal durch:

„Ich habe eine Kandidaten-Sequenz, aber ich sehe mir die paar Fälle noch einmal an, wo mehrere Optionen plausibel wirkten."

Opus, sowohl in Cowork als auch in Claude Code, arbeitete stärker von Hand: Screenshots, Zoom, ein Rätsel nach dem anderen. Die Notizen waren detailliert — wachsende Formen, rotierende Keile, Symbolraster, Overlay-Rätsel. Es war nicht faul; es machte Notizen wie ein ernsthafter Student mit einem Lineal.

Manche seiner Ablesungen waren sauber:

• Q1: Jede Reihe nutzte eine andere Formenfamilie, und die Größe wuchs von links nach rechts, also musste die fehlende Zelle das große Quadrat sein.
• Q5: ein lateinisches Quadrat — jede Reihe und Spalte braucht >, < und = genau einmal.
• Q18: Es zählte die Windungen und fand die Regel, dass die größte Windungszahl in einer Reihe der Summe der anderen beiden entspricht, also brauchte eine Reihe mit 5 und 1 eine 4.

Eine Opus-Notiz klang wie eine echte Person, die einen Fehler bemerkt:

„Ich habe wahrscheinlich eine Position falsch gelesen. Lass mich Reihe 1 und Reihe 3 sorgfältig erneut heranzoomen."

Seine Schwachstelle waren die späten visuellen Fragen — schattierte Würfel, Edelstein-Formen, rotierende Zeiger, sich bewegende Punkte. Seine eigene finale Notiz war ehrlich:

„Ein paar dieser Antworten waren meine bestbegründeten Vermutungen und keine Gewissheiten."

Sonnet hatte den härtesten Weg. Nachdem der Screenshot-Zugriff abgelaufen war, lud es die Fragen- und Antwortbilder herunter und las sie direkt. Der Plan hatte Beine; die Augen hatten einen langen Tag.

Seine Hypothesen waren oft vernünftig, selbst wenn die finale Wahl daneben lag:

• Q6: Es zählte die Strahlen der Sternexplosionen — Reihe 3 fiel von 6 auf 4, also erwartete es eine Antwort mit 2 Strahlen.
• Q19: Es erwartete zuerst einen Kreis mit einer vollen rechten Hälfte, änderte dann seine Meinung, weil genau diese Option nicht angeboten wurde, und entschied sich für ein breites Oval.

„Der niedrige Score spiegelt die Schwierigkeit wider, visuelle Matrixmuster aus heruntergeladenen JPEG-Bildern ohne direkte visuelle Wahrnehmung präzise zu analysieren."

Das ist ein langer Weg, um zu sagen: guter Workflow, schwache Augen.

Die schwierigsten Fragen spalteten die Agents. Beim Linienfragment-Rätsel (Q9) landeten vier Agents bei drei verschiedenen Antworten. Das finale Formwandel-Rätsel (Q25) spaltete sie erneut. Die Uneinigkeit betraf selten das Lesen der Symbole; sie betraf die exakte Regel für winzige Rotationen und Rundungen — daher ist es einfacher, dir schlicht zu zeigen, was jeder gewählt hat.

Q9 — das fehlende Linienfragment

Q25 — die Form, die als Nächstes kommt

Fazit

Bei diesem bilderlastigen Test schnitt Codex 5.5 deutlich besser ab als die Claude-Durchläufe. Die Score-Leiter war klar: Sonnet bei 68, beide Opus-Durchläufe bei 90, Codex 5.4 bei 101, und Codex 5.5 bei 124 und 131.

Also, nein, das ist keine wissenschaftliche Rangliste künstlicher Köpfe. Aber wenn die Frage lautet „Was ist der IQ deines Agents bei einem seltsamen visuellen Web-Test?", ist meine Antwort einfach.

Auf Telegram teilen