Von KI-Agenten geschrieben, von mir kuratiert und geprüft.
Agent Skills: der Ablauf hilft, die Auswahl wird zum Engpass
- Agentic Engineering
- Context Engineering
- Coding Agents
- Verification
Am 14. August ist auf arXiv ein Preprint erschienen, der eine Frage stellt, die sich jeder irgendwann selbst stellt, der eine wachsende Sammlung von Skills, Regeln oder Agent-Plugins pflegt: Wann helfen Skills, warum wirken sie, und wo scheitern sie? Neun Autorinnen und Autoren von Princeton, UC San Diego, Stanford, der University of Southern California und Johns Hopkins beantworten das nicht mit einer weiteren Erfolgsquote, sondern mit einer Zerlegung des Mechanismus. Meine These nach dem Lesen: Der Nutzen eines Skills liegt im Ablauf, nicht im Wissen. Und die Grenze liegt nicht im Inhalt eines einzelnen Skills, sondern in der Frage, welcher von hundert gerade gilt.
Was hat die Studie gemessen?
Kontrollierte Experimente plus eine Auswertung der Verläufe. Für die Hauptexperimente laufen zwei Kombinationen aus Agent und Modell: Codex mit GPT-5.3-Codex und die Gemini CLI mit Gemini-3.1-Pro-Preview. Bewertet wird auf Terminal-Bench (2.0 und Pro) sowie SkillsBench. Aus den Läufen normalisieren die Autoren 8.135 Trial-Records, von denen 7.837 ein Agenten-Transkript enthalten. 240 Trajektorien werden offen codiert, daraus bleiben 238 gültige Labels, die zu einer Taxonomie aus drei Kategorien und zwölf Modi verdichtet werden.
Bemerkenswert ist der Aufwand für die Gegenprobe. Ein menschlicher Annotator prüfte für jedes der 238 Labels drei zugehörige Trajektorien, also 714 Prüfungen, und ordnete die Labels anschließend unabhängig den zwölf Modi zu. Mensch und LLM stimmen zu 95,8 Prozent exakt überein, Cohens Kappa liegt bei 0,952. Das ist kein Beweis für die Richtigkeit der Taxonomie, aber es zeigt, dass sie nicht am Urteil eines einzelnen Modells hängt.
Der eigentliche Kunstgriff steckt im Aufbau. Verglichen werden drei Arme auf derselben Aufgabe: Raw ohne Vorerfahrung, Workflow Memory mit bereinigten Verlaufsspuren und Skill mit einer daraus destillierten SKILL.md. Workflow Memory und Skill werden aus denselben Trajektorien gebaut, bei festem Budget, in Mischungen von fünf erfolgreichen Läufen bis zu fünf gescheiterten. Damit bleibt die Erfahrung konstant, und nur die Darstellungsform ändert sich. 528 solcher Tripel bilden die Grundlage der Auswertung.
Warum wirken Skills überhaupt?
Weil sie das Handeln stabilisieren, nicht weil sie Wissen nachliefern. In den Mechanismus-Labels entfallen 65,7 Prozent der Skill-Fälle auf prozedurale Verankerung, auf explizite Wissenszufuhr dagegen 4,5 Prozent. Ein Skill sagt dem Agenten also vor allem, welche Setup-Schritte laufen, welche Werkzeugfolge greift, welche Zwischenprüfung fällig ist und welche Falle wiederkehrt. Er füllt keine Wissenslücke.
Die aggregierten Zahlen sind dabei nüchterner, als Überschriften es gern hätten. Skill-Läufe kommen auf 61,9 Prozent Erfolg, Raw auf 59,1 Prozent, Workflow Memory auf 55,9 Prozent. Der deutliche Effekt ist nicht Skill gegen Raw, sondern Skill gegen Workflow Memory: 6,06 Punkte, mit einem 95-Prozent-Bootstrap-Intervall von +0,76 bis +11,36. Da beide aus denselben Spuren gebaut sind, liegt der Unterschied tatsächlich in der Form. Rohe Verlaufsspuren schleppen Irrwege, gescheiterte Zweige und Prozessrauschen mit, die destillierte Fassung nicht.
Eine Zusatzprobe auf 26 ausgewählten Terminal-Bench-2-Aufgaben zeigt, dass es nicht schon reicht, irgendeinen kompakten Ablaufhinweis mitzugeben: Ein aus der Aufgabenstellung abgeleiteter Kurzplan kommt auf 47,7 Prozent, eine Test-first-Vorlage aus dem Workflow auf 59,2 Prozent, Workflow Memory auf 62,3 Prozent und die Skill-Variante auf 79,2 Prozent. Diese Werte gelten für diesen kleinen Ausschnitt, nicht für die Studie insgesamt.
Wo helfen Skills nicht?
Überall dort, wo das Problem nicht die Ausführung ist. Die Kategorie der Ausführungs- und Prüffehler macht 37,3 Prozent der Raw-Labels aus, 33,3 Prozent bei Workflow Memory und nur 23,5 Prozent bei Skills. Am stärksten fällt der Umgebungsfehler: von 5,3 Prozent im Rohlauf auf 1,7 Prozent mit Workflow Memory und 0,2 Prozent mit Skill. Formatfehler in der Ausgabe sinken von 7,4 auf 3,2 Prozent, Fehler beim Verwalten von Hintergrunddiensten von 2,7 auf 0,8 Prozent. Das ist die gute Nachricht, und sie ist konkret: Einrichtungs- und Werkzeugprobleme lassen sich aufschreiben.
Zwei Fehlerklassen bleiben dagegen stehen. Algorithmische Denkfehler liegen bei 8,3 Prozent im Rohlauf, 11,0 Prozent mit Workflow Memory und 7,4 Prozent mit Skill. Statische Prüfung ohne Ausführung zur Laufzeit liegt bei 12,5, 12,5 und 11,7 Prozent. Ein Skill repariert also weder einen falschen Ansatz noch ersetzt er die Prüfung am laufenden System. Genau das ist die Trennlinie, die mich interessiert: Skills erhöhen die Zuverlässigkeit der Ausführung, sie ersetzen keine Prüfung.
Dazu kommt eine neue Fehlerfläche, die es ohne Skills nicht gibt. Der Modus „Anleitung falsch angewendet oder ignoriert“ tritt in 10,0 Prozent der Skill-Fälle auf, gegenüber 0,8 Prozent im Rohlauf und 0,4 Prozent bei Workflow Memory. Der Skill enthält oft plausible Anweisungen, aber der Agent wendet sie mechanisch an, übersieht eine Bedingung oder schleppt eine Annahme mit, die hier nicht mehr gilt. Workflow Memory scheitert anders: Dort läuft in 10,6 Prozent der Fälle das Zeitbudget aus, gegenüber 1,7 Prozent im Rohlauf und 4,4 Prozent mit Skill.
Was passiert, wenn die Sammlung wächst?
Die Auswahl kippt, und zwar deutlich früher als die Erfolgsquote. Für diesen Teil bekommt der Agent auf SkillsBench den kompletten Kandidatenpool, ohne Vorauswahl, und die Autoren messen, welche Skills er im Lauf tatsächlich anfasst. Wächst der Pool von 5 auf 100, fällt die Trefferquote der tatsächlich genutzten Skills im Mittel von 29,6 auf 3,3 Prozent. Die Aufgabenerfolge bewegen sich im selben Zeitraum kaum, von 36,4 auf 39,3 Prozent. Bei Gemini sinkt die Nutzungspräzision von 16,9 auf 0,7 Prozent bei ungefähr gleichbleibendem Erfolg zwischen 36 und 39 Prozent, bei Codex von 42,3 auf 5,9 Prozent, während der Erfolg von 35,4 auf 42,0 Prozent steigt.
Man sollte das nicht als Entwarnung lesen. Der Recall bleibt bei 100 Kandidaten zwischen 54,3 und 73,6 Prozent: Der Agent schaut den richtigen Skill durchaus an, er beschränkt sich nur nicht mehr darauf. Die Autoren formulieren es so, dass der exakte Aufruf des richtigen Skills weder hinreichend noch notwendig für den Erfolg ist. Für den Betrieb heißt das etwas Unbequemes: Was verloren geht, ist nicht in erster Linie die Erfolgsquote, sondern die Aussage darüber, welche Anleitung den Lauf eigentlich geführt hat.
Getrennt davon prüfen die Autoren die Auswahl ohne Ausführung. Ein Embedding-Retriever mit Qwen3-Embedding-0.6B kommt bei Pool 5 auf 88,3 Prozent Top-1-Präzision und bei Pool 100 auf 76,9 Prozent. Wählt der Agent selbst aus, sind es 70,0 gegenüber 63,7 Prozent. Der interessante Befund steckt in der Zusammensetzung des Pools: Bei zufälligen Ablenkern fällt die Embedding-Präzision von 97,7 auf 84,1 Prozent, bei unähnlichen von 96,6 auf 93,2 Prozent, bei semantisch ähnlichen dagegen von 70,5 auf 53,4 Prozent. Nicht die Größe der Sammlung ist der Hauptstressfaktor, sondern die Verwechselbarkeit.
Was heißt das für Ihre eigene Sammlung?
Vier Dinge nehme ich mit. Erstens: Schreiben Sie Skills für Abläufe, die sich wiederholen, für Einrichtung, Ausgabeformate, Dienststarts, Prüfschritte. Der Versuch, Domänenwissen in einen Skill zu kippen, trägt laut dieser Auswertung kaum etwas bei. Zweitens: Wenn Sie einen Skill aus vergangenen Läufen destillieren, lassen Sie sichtbar, was funktioniert hat und was nicht. Werden die Erfolgs- und Misserfolgslabels entfernt, ändert das wenig, solange nur erfolgreiche Läufe im Pool liegen. Sobald gescheiterte dazukommen, bricht es ein, in einem Fall bei Gemini auf Terminal-Bench-2 von 0,7462 auf 0,4000.
Drittens: Das Problem sind nicht viele Skills, sondern ähnliche. Zwei fast gleiche Anleitungen für benachbarte Fälle richten mehr Schaden an als zwanzig klar verschiedene. Wer eine Sammlung pflegt, sollte zusammenführen und abgrenzen, statt anzuhäufen. Viertens: Ein Skill ist nicht selbstausführend. Die 10,0 Prozent falsch angewendeter Anleitung sind kein Inhaltsproblem, sondern ein Urteilsproblem, und dieses Urteil bleibt am Ende bei Ihnen.
Zur Einordnung gehört, was die Studie selbst einschränkt. Sie misst auf Terminal- und Werkzeug-Benchmarks mit mehrstufiger Ausführung, nicht auf langen Web-Interaktionen oder offener Zusammenarbeit. Sie deckt wenige Kombinationen aus Agent und Modell ab. Für den Retrieval-Teil musste die Codex-Paarung auf GPT-5.4 wechseln, weil GPT-5.3-Codex nicht mehr unter denselben Bedingungen verfügbar war, weshalb diese Zahlen nur innerhalb ihrer Paarung vergleichbar sind. Und die Taxonomie stammt aus einer Stichprobe von rund 3 Prozent der normalisierten Datensätze. Es ist ein Preprint, keine begutachtete Arbeit.
Trotzdem passt der Befund zu der Linie, die ich im Agentic Engineering vertrete: Verlässlichkeit entsteht nicht im Modell, sondern in dem, was Sie darum herum bauen. Skills sind ein gutes Werkzeug dafür, und das Ökosystem geht sichtbar in diese Richtung, etwa mit Skills, die direkt aus GitHub geladen werden. Diese Studie liefert die Gegenrechnung dazu. Ab einer bestimmten Größe pflegen Sie nicht mehr Anleitungen, sondern ein Auswahlproblem.