--- title: "Do Coding Agents Need Executable World Models, Simplification, and Verification to Solve ARC-AGI-3?" source: https://arxiv.org/abs/2607.15439 plattform: youtube channel: export-arxiv-org-rss-cs-ai duration_seconds: None thema: Agent-Architektur-Ablation & Verification nutzen: "Methodik-Referenz fuer saubere Komponenten-Attribution in Agent-Evals und Reality-Check gegen Over-Engineering." umsetzungsidee: "" prioritaet: P2 klassifikation: Brain-Entry confidence: 0.72 status: aktiv tags: [arc-agi, coding-agents, world-model, ablation-study, verification, reasoning-effort, agent-architecture, eval-methodik, akp, video, auto-ingested] date: 2026-07-21 akp_run: kar-74 --- # Do Coding Agents Need Executable World Models, Simplification, and Verification to Solve ARC-AGI-3? **Channel:** export-arxiv-org-rss-cs-ai · **Dauer:** 0 min · **URL:** https://arxiv.org/abs/2607.15439 ## Kernaussage Ein Ablationsstudie zu ARC-AGI-3-Agenten zerlegt eine gebuendelte Loesung (executable world model + scheduled simplification + exact replay verification) in vier verschachtelte Codex-Agenten und zeigt: staerkere Modelle und mehr Reasoning-Effort dominieren, waehrend die Einzelkomponenten je nach Setting unterschiedlich wirken. Das komplette Verification-Treatment gewinnt konsistent, saettigt aber nur das public Set. ## 7-Punkt Praxisanalyse ### 1. Was koennen wir lernen? Attribution-Design fuer Agent-Architekturen: statt Feature-Bundles als Ganzes zu bewerten, nested Ablation-Agenten bauen, die genau eine Komponente hinzufuegen. Kernbefunde: Model-Staerke und Reasoning-Effort schlagen Architektur-Tricks; ein persistenter executable Deliverable ist nicht immer besser als reiner Text; exact replay verification ist am robustesten, aber teuer. ### 2. Wie koennen wir es einsetzen? Fuer Aria/KADi-Agenten-Eval: bei Feature-Vergleichen nested/incremental Varianten statt One-Shot-Bundles messen. Verification-by-replay als Pattern fuer deterministische Task-Reproduktion pruefen. Reasoning-Effort und Modellwahl als erste Stellhebel vor Prompt-Engineering priorisieren. ### 3. Konkreter Vorteil fuer Aria / KADi / Supplier Pulse / Workflow / Tools? Liefert eine saubere Eval-Methodik (Ablation statt Bundle) und die ernuechternde, aber wertvolle Erkenntnis, dass Ressourcen-Skalierung (Modell/Effort) oft mehr bringt als komplexe Agent-Konstruktionen — spart uns Over-Engineering bei MRR-Agenten. ### 4. Was koennen wir dadurch besser machen? Die Studie testet nur public Games (Saturation-Problem, kein held-out). Wir sollten bei eigener Anwendung immer held-out/generalization messen und Kosten-Nutzen (Verification = 'substantially more resources') explizit tracken statt nur Ranking. ### 5. Lohnt sich die Umsetzung — warum? Lohnt als Methodik-Referenz und Reality-Check, nicht als direkt umsetzbares Feature. Verhindert, dass wir teure Verification-Mechanismen bauen, ohne den echten Attributions-Beitrag zu kennen. ### 6. Naechste Schritte Als Brain-Note ablegen, mit den 3 Cross-Ref-Videos (agents-do-not-fail-alone, world-modeling, hierarchical-prompt) zu einem Agent-Architecture-Cluster verlinken. Kein Build-Item. ## Kritik (Pflichtfeld) Rein empirische Ablation ohne generalisierbare Theorie: 'Effekte variieren ueber Settings' ist wissenschaftlich ehrlich, aber praktisch schwach verwertbar. Das Hauptergebnis (staerkeres Modell + mehr Effort hilft) ist trivial/schon-bekannt. Der Saettigungs-Befund am public Set ist explizit als nicht-generalisierbar markiert — also kein echter Fortschritt, nur ein Benchmark-Artefakt. Zudem hochspezifisch auf ARC-AGI-3 und nicht-oeffentliche gpt-5.x-Modelle, damit fuer uns kaum reproduzierbar. Redundant zu bestehendem world-modeling-Video im Cluster. ## Multi-Level-Challenge (inline, KAR-72) **Devils-Advocate:** Die Ergebnisse sind ARC-AGI-3-spezifisch, beruhen auf nicht-verfuegbaren gpt-5.x-Modellen und der Hauptbefund ist banal — der ROI eines Deep-Entrys ist niedrig. **Steel-Man:** Die Ablations-Methodik (nested Agenten fuer Komponenten-Attribution) ist ein sauberes, uebertragbares Eval-Pattern, das uns vor teurem Over-Engineering bei eigenen Agenten schuetzt. **Synthese:** Refine — als kompakte Brain-Note mit Fokus auf die Ablations-Methodik und den Anti-Over-Engineering-Learn behalten, in den Agent-Architecture-Cluster einbinden, aber nicht als eigenes Build-Item weiterverfolgen. ## Adversarial-Critic (separater Call, Cross-Model, KAR-747) **Verdict:** refine · **Confidence:** 0.78 · **Halluzinations-Risiko:** low **Urteil:** Akkurate Zusammenfassung, aber der praktische Transferwert für Aria/KADi wird systematisch überschätzt — P2 und Confidence 0.72 sind nicht gerechtfertigt bei nicht-verfügbaren Modellen und trivialem Hauptbefund. **Schwaechen:** - Kernaussage und Fakten sind weitgehend korrekt aus dem Transcript abgeleitet — kein signifikantes Halluzinationsrisiko. - Die Praxisanalyse überschätzt den Transferwert: 'nested Ablation für Aria/KADi-Agenten' ist generische Methodik-Empfehlung, die nicht aus dem Paper heraus spezifisch wird — klassisches AI-Hype-Wiederkäuen der 'sauberen Eval-Methodik'. - Der Hauptbefund ('stärkeres Modell + mehr Effort hilft') ist trivial und wird in der eigenen Kritik korrekt als solcher markiert — aber die Klassifikation P2 (statt P3) wird dadurch nicht nach unten korrigiert. - gpt-5.x-Modelle existieren nicht öffentlich — die Reproduzierbarkeit für Aria/KADi ist faktisch null, was den praktischen Nutzen weiter schmälert als die Analyse einräumt. - Die 'verification-by-replay als Pattern für deterministische Task-Reproduktion' Empfehlung ist spekulativ: das Paper zeigt nur, dass es in ARC-AGI-3 funktioniert und 'substantially more resources' kostet — ein direkter Transfer ist nicht belegt. - Confidence 0.72 ist leicht zu hoch angesichts der Nicht-Reproduzierbarkeit der zentralen Ergebnisse (closed gpt-5.x, public-set-only saturation). - Priorität P2 ist zu hoch für ein Paper mit null Reproduzierbarkeit, trivialem Hauptbefund und explizit begrenzter Generalisierbarkeit — P3 wäre angemessener. ## Cross-Reference (Brain-Match) - [[2026-07-18-export-arxiv-org-rss-ai-agents-do-not-fail-alonethe-context-f]] (score 1641.094) - [[2026-05-29-export-arxiv-org-rss-hierarchical-prompt-domain-control-and-l]] (score 1135.792) - [[2026-07-04-export-arxiv-org-rss-opine-world-programmatic-world-modeling-]] (score 994.54) ## Klassifikation: **Brain-Entry** · Prioritaet **P2** · Confidence **0.72** --- *Auto-generated by aria-akp-deep.py · cost $0.1828 · 2026-07-21T04:09:26.339554+00:00*