--- title: "RevengeBench: Reverse Engineering Code-Space Policies from Behavioral Experiments" source: https://arxiv.org/abs/2606.26094v1 plattform: youtube channel: cs.LG duration_seconds: None thema: Behavioral Policy Recovery / Inverse Code Inference nutzen: "Pattern fuer aktives Probing zur Rekonstruktion von Agent-Verhalten als ausfuehrbarer Code — Inspiration fuer Opponent-Modeling und Agent-Debugging." umsetzungsidee: "" prioritaet: P2 klassifikation: Brain-Entry confidence: 0.72 status: aktiv tags: [benchmark, llm, program-synthesis, inverse-problem, opponent-modeling, active-intervention, policy-recovery, interpretability, akp, video, auto-ingested] date: 2026-06-26 akp_run: kar-74 --- # RevengeBench: Reverse Engineering Code-Space Policies from Behavioral Experiments **Channel:** cs.LG · **Dauer:** 0 min · **URL:** https://arxiv.org/abs/2606.26094v1 ## Kernaussage RevengeBench ist ein Benchmark mit 75 Elo-kalibrierten LLM-Policies in fuenf Spielumgebungen, der testet, ob ein Learner aus reinen Verhaltensspuren das zugrundeliegende Entscheidungsprogramm als ausfuehrbaren Code rekonstruieren kann — inklusive aktiver Experimente via Probe-Gegner. Ergebnis: aktive Intervention verbessert die Rekonstruktion deutlich (34-72% Distanz geschlossen) und der wiederhergestellte Code bringt messbaren Wettbewerbsvorteil. ## 7-Punkt Praxisanalyse ### 1. Was koennen wir lernen? Behavioral Recovery von programmatischen Policies als inverses Problem im Code-Space: aus Beobachtung + gezielter Intervention (custom opponent probes) ausfuehrbaren Code rekonstruieren und mit kontinuierlichen Action-Distance-Metriken evaluieren. ### 2. Wie koennen wir es einsetzen? Methodik fuer Opponent-Modeling / Black-Box-Verhaltensanalyse: in Aria/KADi-Kontexten relevant, wenn man das Verhalten eines fremden Agenten oder einer Policy nur aus Logs/Traces rekonstruieren will, statt internen Zugriff zu haben. ### 3. Konkreter Vorteil fuer Aria / KADi / Supplier Pulse / Workflow / Tools? Liefert ein Framework-Pattern fuer 'aktives Probing statt passiver Beobachtung' — uebertragbar auf Agent-Debugging, Regressions-Inspektion und das Reverse-Engineering von Verhalten externer Tools/Modelle. ### 4. Was koennen wir dadurch besser machen? Nur Spielumgebungen, kein realer Agent-/Tooling-Bezug; Transfer auf Code-Agenten oder MRR-Pipelines waere die naheliegende Erweiterung. Continuous-Distance-Metrik koennte um semantische Code-Aequivalenz erweitert werden. ### 5. Lohnt sich die Umsetzung — warum? Konzeptuell interessant (active-intervention > passive-observation ist generalisierbar), aber fuer den konkreten KAR-/Aria-Stack aktuell rein theoretisch — kein direkter Bauauftrag. ### 6. Naechste Schritte Als Brain-Note ablegen, mit den Cross-Ref-Notes (reasoning-traces-to-reusable-module) verknuepfen; bei spaeterem Bedarf an Opponent-/Behavior-Modeling wieder aufgreifen. ## Kritik (Pflichtfeld) Reine Benchmark-Paper-Neuheit mit engem Game-Environment-Scope; 75 Policies sind klein, und die LLM-generierten Targets koennten Recovery kuenstlich erleichtern. Die 'inverse problem'-Rahmung ist rhetorisch aufgeblasen — im Kern ist es Program-Synthesis-from-Behavior mit Active-Query-Twist, was nicht voellig neu ist. Kein direkter Aria/KADi/MRR-Bezug, daher mehr akademisch-inspirierend als umsetzbar. ## Multi-Level-Challenge (inline, KAR-72) **Devils-Advocate:** Das Paper bewegt sich ausschliesslich in Game-Sandboxes ohne Bezug zu unserem Stack; der Aufwand fuer einen Transfer auf reale Agenten ist unklar und der Nutzen spekulativ. **Steel-Man:** Die Kernidee 'aktive Intervention schliesst 34-72% der Recovery-Luecke' ist ein generalisierbares Prinzip, das fuer jedes Reverse-Engineering von Black-Box-Agent-Verhalten in Aria/KADi wertvoll sein kann. **Synthese:** Refine zu Brain-Note: Wissen festhalten und mit reasoning-traces-Note verknuepfen, aber kein Issue — Praxisbezug zu duenn fuer Backlog-Item. ## Adversarial-Critic (separater Call, Cross-Model, KAR-747) **Verdict:** refine · **Confidence:** 0.81 · **Halluzinations-Risiko:** low **Urteil:** Analyse ist faktuell sauber und selbstkritisch, aber P2 ist zu hoch und der Aria/KADi-Nutzen bleibt generisches Analogie-Hype ohne echten Transferpfad — auf P3 downgraeden, Confidence auf 0.65 senken. **Schwaechen:** - Die Behauptung 'aktive Intervention verbessert die Rekonstruktion deutlich' ist faktisch korrekt zitiert (34-72%), aber das Transcript macht KEINEN expliziten Vergleich passive-vs-aktive Bedingung — der Delta-Vorteil der Intervention ist im Auszug nicht quantifiziert, nur das Gesamtergebnis. Die Analyse impliziert einen Kontrollvergleich, der im vorliegenden Transcript nicht belegt ist. - Der behauptete Aria/KADi-Nutzen ('aktives Probing fuer Agent-Debugging, Regressions-Inspektion, Reverse-Engineering externer Tools') ist generisches Analogie-Denken ohne konkreten Stack-Bezug — der Generator erkennt das selbst ('rein theoretisch'), trotzdem wird P2 vergeben, was zu hoch ist fuer ein rein inspiratorisches Paper ohne Transferpfad. - 75 Policies ist klein und der Generator nennt es selbst, aber zieht daraus keine Konsequenz fuer die Confidence-Bewertung (0.72 bleibt unverändert). Bei einem engen Scope und LLM-generierten Targets, die Recovery kuenstlich erleichtern koennen, waere 0.65 realistischer. - Die Klassifikation Brain-Entry ist korrekt, aber P2 ist nicht gerechtfertigt — kein Issue-Kandidat, kein direkter Bauauftrag, kein Zeitdruck. P3 waere ehrlicher. - Der Steel-Man ('34-72% geschlossen ist generalisierbares Prinzip') ist rhetorisch stark, aber inhaltlich duenn: das Prinzip 'active queries helfen bei Blackbox-Inference' ist in der Active Learning / Program Synthesis Literatur seit Jahren bekannt. Die Neuheit liegt im Benchmark-Setup, nicht im Prinzip — der Generator ueberbewertet das konzeptuelle Gewicht leicht. ## Cross-Reference (Brain-Match) - [[2026-06-18-cslg-from-reasoning-traces-to-reusable-module]] (score 134.572) - [[2026-06-06-cslg-handoff-humanoid-agentic-task-space-whol]] (score 95.213) - [[2026-06-12-cslg-on-subquadratic-architectures-from-appli]] (score 77.953) ## Klassifikation: **Brain-Entry** · Prioritaet **P2** · Confidence **0.72** --- *Auto-generated by aria-akp-deep.py · cost $0.1707 · 2026-06-26T04:17:27.083925+00:00*