--- title: "A Framework for Evaluating Agentic Skills at Scale" source: https://arxiv.org/abs/2606.17819v1 plattform: youtube channel: cs.CL duration_seconds: None thema: agent-skills-evaluation nutzen: "Methodische Vorlage um .claude/skills/-Aenderungen messbar zu validieren statt blind zu mergen." umsetzungsidee: "" prioritaet: P2 klassifikation: Brain-Entry confidence: 0.72 status: aktiv tags: [agent-skills, evaluation, llm-agents, benchmarks, claude-skills, rubrics, akp, video, auto-ingested] date: 2026-06-18 akp_run: kar-74 --- # A Framework for Evaluating Agentic Skills at Scale **Channel:** cs.CL · **Dauer:** 0 min · **URL:** https://arxiv.org/abs/2606.17819v1 ## Kernaussage Das Paper stellt ein Evaluationsframework fuer Agent Skills (strukturierte, wiederverwendbare Wissensartefakte fuer LLM-Agents) vor, das Skill-Autoren erlaubt realistische Tasks zu konstruieren und Skill-Utility quantitativ zu messen — angewandt auf 500 Skills, 1000 Tasks und 19 Modell-Konfigurationen. Kernerkenntnis: Modelle unterscheiden sich stark darin wie treu sie Skill-Instruktionen befolgen, und Skill-Zugriff veraendert Modellverhalten signifikant. ## 7-Punkt Praxisanalyse ### 1. Was koennen wir lernen? Methodik wie man Agent-Skills (vergleichbar zu .claude/skills/) systematisch evaluiert: Skill-Author definiert kritische Aspekte, daraus werden Tasks generiert plus Instruction-Following + Goal-Completion Rubrics. Quantitative Metriken statt Bauchgefuehl. ### 2. Wie koennen wir es einsetzen? Fuer KAR/Aria .claude/skills/-Verzeichnis: pro Skill kleine Eval-Suite (3-5 Tasks) mit Rubrics anlegen, in CI gegen claude-sonnet/haiku/opus laufen lassen. Skill-Updates muessen Eval bestehen bevor gemerged. ### 3. Konkreter Vorteil fuer Aria / KADi / Supplier Pulse / Workflow / Tools? Aria/KADi nutzen heute Skills blind — keine Messung ob ein Skill-Update Performance verbessert oder verschlechtert. Framework wuerde Regressionen bei Skill-Aenderungen aufdecken und A/B zwischen Skill-Varianten ermoeglichen. ### 4. Was koennen wir dadurch besser machen? Statt 1000 Tasks: leichtgewichtige Variante mit 2-3 Tasks pro Skill, on-demand triggerbar via /eval-skill . Dataset (das Paper released) als Benchmark-Baseline einziehen statt from-scratch. ### 5. Lohnt sich die Umsetzung — warum? Mittlerer Wert: konkrete Methodik vorhanden, direkt auf unsere Skill-Infrastruktur uebertragbar. Aber: Setup-Kosten nicht trivial, und Aria/KADi-Skills sind noch in fruehem Stadium — Eval-Framework erst sinnvoll wenn >10 stabile Skills existieren. ### 6. Naechste Schritte 1) Arxiv-Paper holen + Dataset-Release pruefen. 2) Inventur unserer .claude/skills/ — wie viele stabile Skills gibt es ueberhaupt? 3) Bei >=5 Skills: Spike fuer Skill-Eval-Harness. ## Kritik (Pflichtfeld) Abstract bleibt vage: keine konkreten Zahlen zu Performance-Deltas, keine Skill-Taxonomie, keine Aussage welche Skill-Typen am meisten profitieren. 'Skill Author construct realistic tasks' klingt nach manuellem Aufwand der nicht skaliert. Cross-Reference zu bestehenden Brain-Notes (worldreasoner, beyond-one-path, dynamic-eval) zeigt: wir haben schon 3 Eval-Framework-Notes — Gefahr von Redundanz. Abstract liefert keinen echten methodischen Durchbruch ueber 'definiere Tasks + Rubrics' hinaus. ## Multi-Level-Challenge (inline, KAR-72) **Devils-Advocate:** Wir haben aktuell zu wenige stabile Skills um Eval-Infrastruktur zu rechtfertigen — premature optimization. Zudem schon 3 verwandte Eval-Notes im Brain ohne dass eine umgesetzt wurde. **Steel-Man:** Sobald Aria/KADi-Skills produktiv werden, wird unbemerkte Regression bei Skill-Updates teuer; ein leichtgewichtiges Eval-Harness frueh aufzusetzen verhindert spaetere Qualitaetsschulden. **Synthese:** Refine — als Brain-Entry parken, in 4-6 Wochen re-evaluieren wenn Skill-Inventar gewachsen ist. Kein Issue jetzt, aber Pointer fuer spaeteren Spike. ## Adversarial-Critic (separater Call, Cross-Model, KAR-747) **Verdict:** refine · **Confidence:** 0.78 · **Halluzinations-Risiko:** medium **Urteil:** Solide Kernaussage korrekt extrahiert, aber konkrete Implementierungsideen sind reine Spekulation auf Abstract-Basis, Klassifikation und Confidence uebertreffen was der Transcript hergibt. **Korrigierte Klassifikation:** Ignore (bis Vollpaper vorliegt) oder maximal Brain-Entry P3 **Schwaechen:** - Die Ableitung '.claude/skills/' als direkte Analogie zu 'Agent Skills' im Paper ist eine projektspezifische Uebertragung ohne Beleg im Transcript — der Abstract erwaehnt kein solches Verzeichnis oder Dateiformat, das ist eine Extrapolation des Generators. - Konkrete Handlungsschritte ('3-5 Tasks pro Skill', '/eval-skill ', 'CI gegen claude-sonnet/haiku/opus') sind vollstaendig erfunden — der Abstract liefert keinerlei Implementierungsdetails, nur das methodische Konzept. - Die Selbstkritik des Generators ('Abstract bleibt vage: keine konkreten Zahlen') ist korrekt, wird aber nicht konsequent auf die Klassifikation angewendet: Bei einem reinen Abstract ohne Methodendetails und ohne Zahlen ist Brain-Entry P2 zu hoch — eher P3 oder Ignore bis das Vollpaper gesichtet ist. - Confidence 0.72 ist fuer eine Analyse, die fast ausschliesslich auf einem kurzen Abstract basiert und mehrere erfundene Implementierungsdetails enthaelt, zu hoch angesetzt. - Der behauptete 'mittlere Wert' und 'direkte Uebertragbarkeit' ist nicht durch den Transcript gedeckt — ob das Framework auf beliebige Skill-Infrastrukturen uebertragbar ist, laesst der Abstract offen. - Das Redundanzrisiko (3 bestehende Eval-Notes) wird korrekt erwaehnt, aber die Synthese zieht daraus keine konsequente Konsequenz — wenn 3 verwandte Notes unumgesetzt blieben, spricht das staerker gegen Brain-Entry als der Generator einraumt. ## Cross-Reference (Brain-Match) - [[2026-06-12-cscl-worldreasoner-evaluating-whether-languag]] (score 226.961) - [[2026-05-29-cscl-beyond-one-path-evaluating-and-enhancing]] (score 195.955) - [[2026-06-05-cscl-evaluating-large-language-models-in-dyna]] (score 167.326) ## Klassifikation: **Brain-Entry** · Prioritaet **P2** · Confidence **0.72** --- *Auto-generated by aria-akp-deep.py · cost $0.1732 · 2026-06-18T04:02:35.851538+00:00*