SkillEvaluator: nicht die Skill-Sammlung, der gemessene Beitrag

Die meisten Skill-Sammlungen, die ich sehe, sind gewachsen wie ein Werkzeugkasten in der Garage. Jemand legt einen Skill an, weil er plausibel wirkt, schreibt auf, wie eine Sache richtig gemacht wird, und legt ihn ab. Danach prüft ihn niemand mehr. Ob der Agent ihn überhaupt lädt, ob der Lauf mit ihm besser endet als ohne, ob er zwei anderen Skills ins Gehege kommt: alles Vermutung. NVIDIA hat am 19. August ein Werkzeug offengelegt, das genau diese Vermutung in eine beantwortbare Frage verwandelt. Meine These dazu: Ein Skill, dessen Beitrag Sie nicht gemessen haben, ist eine Meinung im Kontextfenster.

Was ist NVIDIA SkillEvaluator?

SkillEvaluator ist ein quelloffenes Werkzeug, das misst, wie sich Skills auf die Leistung eines Agenten auswirken, über statische Prüfungen und über echte Aufgabenläufe mit und ohne den jeweiligen Skill. Gegenstand sind die von NVIDIA verifizierten Skills: paketierte, signierte Beschreibungen einer Fähigkeit, die einem Agenten sagen, was ein NVIDIA-Produkt tut, wann er es aufrufen soll und wie er es aufruft. Den Satz, der mir daran am besten gefällt, schreibt NVIDIA selbst: Das Verifizierte daran ist die Messung, die entscheidet, dass der Skill soweit ist.

Der Beitrag berichtet die ersten Benchmark-Ergebnisse für mehr als 300 verifizierte Skills über mehr als 30 NVIDIA-Produkte. Jeder Skill wurde auf zwei unabhängigen Harnesses ausgewertet. NVIDIA veröffentlicht Plugins für Claude Code, Codex und Cursor; dieselben Skills sind über Skills.sh, ClawHub und Hermes Hub verfügbar.

Wie wird ein Skill geprüft?

In drei Stufen, bevor er veröffentlicht wird. Jede beantwortet eine andere Frage, und jede lässt sich für sich allein laufen.

• Stufe 1, Sicherheit und Struktur. Statische Prüfungen: Schema- und Frontmatter-Validierung, Qualitätsbewertung, Sicherheitsscan auf Prompt Injection und Datenabfluss, Erkennung von Secrets und personenbezogenen Daten, Lizenzprüfung, Linting der Skripte.
• Stufe 2, Unterscheidbarkeit. Über Embedding-Ähnlichkeit werden doppelte Anweisungen innerhalb eines Skills gefunden und Überschneidungen zwischen den Skills des Katalogs.
• Stufe 3, Live-Auswertung. Ein Agent läuft gegen generierte Aufgaben, einmal mit installiertem Skill und einmal ohne, jeweils in einer isolierten Sandbox. Gemessen wird die Differenz.

Stufe 2 ist die, die in selbst gebauten Sammlungen praktisch nie stattfindet, und sie zielt auf ein reales Problem: Jeder Skill in einer Umgebung konkurriert um die Aufmerksamkeit des Agenten, und einer, der lädt, obwohl er nicht einschlägig ist, kann die Leistung senken.

Was macht die dritte Stufe zu einem kontrollierten Vergleich?

Dass alles außer dem Skill gleich bleibt. Stufe 3 nutzt Harbor, ein quelloffenes Framework für Agenten-Auswertungen in wiederholbaren, isolierten Umgebungen. SkillEvaluator übernimmt das Aufsetzen: Es macht aus Evaluationsfällen Aufgaben, führt die Agenten in Sandboxes aus, sammelt die Ergebnisse ein und rechnet den Beitrag des Skills aus. Für jeden Fall läuft ein Harness zweimal, einmal mit dem verifizierten Skill und einmal ohne, jeder Lauf in seiner eigenen isolierten Sandbox mit demselben Prompt, demselben Modell, denselben Eingaben und denselben Bewertungskriterien. Innerhalb eines Harness ist die einzige experimentelle Variable, ob der Skill installiert ist. Die Differenz der Punktzahlen heißt Skill Lift und wird in Punkten berichtet.

Der Ablauf ist zwei Kommandos lang. skillevaluator create-eval-dataset ./my-skill --full erzeugt evals/evals.json; jeder Fall hat eine ID, einen Prompt und eine erwartete Ausgabe, dazu optionale Assertions. Mit --full enthält der Datensatz explizite, implizite, kontextuelle und negative Fälle. Nach der Durchsicht der Fälle startet skillevaluator tier3 evaluate ./my-skill --agents codex den Vergleich. Dass Sie die Fälle vorher durchsehen sollen, ist keine Formalie, sondern der Hebel: Ein Skill lässt sich nur so genau messen, wie sein Evaluationssatz die Aufgabe beschreibt.

Was zeigen die ersten Zahlen?

Alle Werte stammen aus dem Snapshot der benchmarks.json vom 12. August 2026, Commit 738d79e, makro-gemittelt über die veröffentlichten Skill-Harness-Paare. Ohne Skill lagen die Durchschnittswerte bei 46 von 100 für Korrektheit, 42 für Auffindbarkeit, 39 für Wirksamkeit und 43 für Effizienz. Sicherheit war die Ausnahme mit 97; dort ging es vor allem darum, zu prüfen, dass ein installierter Skill keine Verschlechterung einführt.

Mit Skill steigen die Werte auf 87 (Korrektheit, plus 41 Punkte), 82 (Auffindbarkeit, plus 40), 78 (Wirksamkeit, plus 39), 78 (Effizienz, plus 35) und 98 (Sicherheit, plus 1). Über alle Dimensionen ergibt das im Mittel plus 31 Punkte, ohne Sicherheit plus 39. Nach Harness getrennt liegt Claude Code bei plus 34 über alle Dimensionen und plus 42 ohne Sicherheit, OpenAI Codex bei plus 29 und plus 36. NVIDIA erklärt den Unterschied mit den verschiedenen Standard-Systemprompts, der Kontextbehandlung und den Implementierungen der Werkzeugaufrufe.

Wie belastbar sind diese Zahlen?

Weniger, als die Punktdifferenzen suggerieren, und NVIDIA schreibt das selbst in einen Abschnitt „Bekannte Grenzen“. Korrektheit, Wirksamkeit und Sicherheit messen das Ergebnis eines Laufs. Auffindbarkeit und Effizienz messen zusätzlich, wie der Skill benutzt wird, ob der Agent ihn findet, ihn vor dem Handeln liest und unnötige Schritte vermeidet. Ohne Skill gibt es diese Handlungen nicht. Dass die Baselines dort bei 42 und 43 liegen statt bei null, kommt von Teilkomponenten wie sauberer Ausführung und dem korrekten Nichtladen bei fremden Aufgaben. Diese beiden Werte sind also eher ein Beleg dafür, dass der Skill richtig aktiviert wird, als ein Maß für den Agenten ohne Hilfe.

Dazu kommt die Streuung. Die meisten Skills wurden mit einem einzigen Versuch pro Aufgabe ausgewertet: 85 Prozent der veröffentlichten Ergebnisse mit einem Versuch, 15 Prozent mit zweien. Agentenläufe schwanken, einzelne Skill-Werte also auch, und der Beitrag berichtet ausdrücklich keine Konfidenzintervalle. Die Werte sind auch keine Schätzungen einer Erfolgswahrscheinlichkeit, sondern höhere Durchschnittsleistung auf den ausgewerteten Spezialaufgaben. Und der offensichtliche Punkt, den man dazusagen muss: Gemessen hat NVIDIA die eigenen Skills an den eigenen Produkten. Interessant ist deshalb nicht die Höhe der Zahl, interessant ist, dass es sie überhaupt gibt.

Die drei Befunde, die über NVIDIAs Katalog hinausgehen

Erstens: Bessere Evaluationsdatensätze erzeugen bessere Skills. Teams, die klar festlegen, welche Aufgaben zählen, welche Ausgaben erwartet werden und was außerhalb des Rahmens liegt, bekommen schärfere Signale, und zwar bevor ein Agent überhaupt läuft.

Zweitens: Das Produkt zählt mehr als der Agent. Der Skill Lift schwankt zwischen Produkten weit stärker als zwischen Harnesses. Claude Code und Codex unterscheiden sich im Mittel um etwa 5 Punkte, der Skill Lift pro Produkt reicht dagegen von rund plus 2 bis plus 46. Die Domäne, die Aufgabe und der Zuschnitt der Auswertung wogen schwerer als die Wahl des Werkzeugs.

Drittens, und das ist der Befund, der mich am meisten überzeugt hat: Tokenersparnis stellt sich nicht von selbst ein. SkillEvaluator zählt Tokenverbrauch getrennt von der Effizienzbewertung. In zwei Beispielen mit je einem Versuch senkte jetson-optimize-memory den Verbrauch von 617.306 auf 142.540 Token (76,9 Prozent) und die Laufzeit von 474,9 auf 220,0 Sekunden (53,7 Prozent). Umgekehrt erhöhte cuopt-install den Verbrauch von 25.227 auf 55.582 Token (plus 120,3 Prozent) und die Laufzeit von 34,0 auf 41,1 Sekunden (plus 20,8 Prozent). Beide Skills sind verifiziert. Der zweite kostet mehr, als er spart, und das weiß man nur, weil jemand nachgesehen hat.

Dass daraus ein Produktsignal wird, zeigen zwei Pilotprojekte. OpenClaw erprobt SkillEvaluator für offizielle Organisationen auf ClawHub und zeigt die Ergebnisse mit und ohne Skill in einem eigenen Reiter, dort also, wo Entwickler Skills finden und übernehmen. Nous Research hat das Werkzeug in Hermes Agent getestet, mit einem optionalen beratenden Scan durch SkillSpector im Installationsablauf, der Funde zeilengenau vor der Installation anzeigt.

Was heißt das für Ihre eigenen Skills?

Der Aufbau ist übertragbar, auch ohne NVIDIA-Katalog: derselbe Prompt, dasselbe Modell, dieselben Eingaben, dieselbe Bewertung, einmal mit und einmal ohne den Skill, in einer Umgebung, die zwischen den Läufen nicht nachwirkt. Das ist die Messung, die ich schon bei PERFOPT-Bench für den entscheidenden Schritt gehalten habe. Wer die eigene Zahl nicht erhebt, übernimmt eine fremde.

Es passt außerdem genau auf das, was der Preprint zur Wirkung von Skills vergangene Woche von der Forschungsseite her gezeigt hat: Nicht das Vorhandensein eines Skills entscheidet, sondern ob der richtige zur richtigen Zeit gezogen wird. NVIDIA nennt genau das Auffindbarkeit und prüft es mit derselben Sorgfalt wie die Korrektheit der Antwort.

Eine Grenze der Idee gehört dazu. Eine Sicherheitsbewertung von 98 ist ein Messwert, keine Zusage. Wo Sie wirklich verhindern wollen, dass ein Agent etwas tut, gehört die Grenze ans Werkzeug, wie bei den Domainlisten für Websuche und Webabruf, nicht in eine Punktzahl. Messen sagt Ihnen, ob ein Skill hilft. Durchsetzen ist eine andere Aufgabe, und beide brauchen Sie. Das ist die Arbeitsteilung, die ich unter Agentic Engineering verstehe: Verlässlichkeit steckt in der Architektur, und die Entscheidung darüber, was in den Kontext darf, bleibt beim Menschen. Nur kann er sie jetzt begründen statt vermuten.

Quellen

• NVIDIA Developer Blog: Evaluating AI Agent Skill Performance with NVIDIA SkillEvaluator, 19. August 2026