PullMD Teil 4: Der Skill, und was er wirklich bringt – Einfach erklärt

Der Dienst lief. Ich konnte ihn aufrufen und er tat, was er sollte. Nur war das nicht der Punkt.

Der Punkt war: Claude Code, mein KI-Assistent, sollte den Dienst von selbst benutzen, ohne dass ich jedes Mal danebenstehe und sage „nimm bitte dieses Werkzeug“. Dafür gibt es sogenannte Skills. Und weil ich bei so etwas nie sicher bin, ob es wirklich etwas ändert oder ob ich mir das nur einbilde, haben wir es gemessen.

Was ein Skill ist

Ein Skill (wörtlich: Fähigkeit) ist keine Funktion und kein Programm. Er stellt kein neues Werkzeug bereit. Er beschreibt Verhalten.

Man kann sich das vorstellen wie eine kurze Notiz, die man einem Kollegen auf den Schreibtisch legt: „Wenn jemand dich bittet, eine Webseite zu lesen, dann nimm bitte das hier und nicht das da. Und falls das hier gerade nicht geht, versuch es mit dem anderen, statt einfach aufzugeben.“

Konkret hieß das: Wenn der Agent (also der KI-Assistent, der eigenständig Aufgaben bearbeitet) eine Webseite lesen soll, dann nimm PullMD, nicht WebFetch. WebFetch ist das eingebaute Abruf-Werkzeug von Claude Code. Bei GitHub-Adressen nimm stattdessen gh, das Kommandozeilen-Werkzeug von GitHub. Und wenn PullMD nicht antwortet, fall auf WebFetch zurück, statt abzubrechen.

Das ist der Unterschied zwischen „das Werkzeug existiert“ und „das Werkzeug wird an der richtigen Stelle benutzt“.

Der Skill hieß damals noch web-reader. Den Namen, unter dem das Projekt heute läuft, gab es noch nicht.

Drei Aufgaben, zweimal durchgespielt

Die Frage war also: Merkt man den Unterschied überhaupt? Claude hat drei Aufgaben aufgeschrieben und jede zweimal laufen lassen. Einmal mit Skill, einmal ohne. Die Ergebnisse liegen bis heute nebeneinander im Projekt.

Die drei Aufgaben:

Einen Wikipedia-Artikel lesen und in drei Sätzen zusammenfassen
Die Startseite von Hacker News (eine beliebte Tech-Nachrichtenseite) abrufen und die fünf obersten Titel nennen
Eine Adresse abrufen, die es gar nicht gibt

Die dritte war der eigentliche Test. Die ersten beiden sollten zeigen, ob im Normalfall etwas passiert.

Das Ergebnis

Bei der Zusammenfassung gab es praktisch keinen Unterschied. Beide Fassungen sind richtig, beide ungefähr gleich lang, beide nennen John Gruber und das Jahr 2004. Wer die zwei Absätze nebeneinanderlegt, sieht zwei brauchbare Antworten.

Bei Hacker News wurde es interessanter. Ohne Skill kamen fünf Titel. Mit Skill dieselben fünf Titel, dazu Punktzahlen und Kommentarzahlen:

1. **Motorola GrapheneOS devices will be bootloader unlockable/relockable**
   (773 Punkte, 249 Kommentare)
2. **RFC 9849. TLS Encrypted Client Hello** (93 Punkte, 42 Kommentare)

Warum? Nicht weil der Skill schlauer wäre. Sondern weil über PullMD die ganze Seite als Markdown (ein einfaches Textformat, Text mit Struktur, aber ohne Schnickschnack) ankommt und das Modell sich nehmen kann, was es braucht. Bei WebFetch hat vorher schon ein anderes Modell entschieden, was wichtig ist, und den Rest weggelassen.

Und bei der Adresse, die es nicht gibt, wurde der Unterschied dann deutlich. Ohne Skill:

Fehlermeldung: unable to verify the first certificate

Das ist schlicht irreführend. Die Domain (also die Internetadresse) existiert gar nicht. Mit Zertifikaten hat das nichts zu tun.

Mit Skill stand da, dass die Endung .invalid nach RFC 2606 (einem technischen Standard, der festlegt, welche Adress-Endungen absichtlich nie existieren dürfen) absichtlich nie auflösbar ist. Dazu die Kette der Versuche: erst PullMD, dann WebFetch, beide gescheitert, und warum.

Was im Hintergrund bei WebFetch passiert

Das wussten wir im April noch nicht ganz so genau. Es erklärt aber, warum die Ergebnisse so unterschiedlich ausfielen.

Wenn WebFetch eine Seite abruft, geht das Ergebnis nicht direkt an den Agenten, der die Frage gestellt hat. Es geht zuerst in eine zweite, getrennte Unterhaltung mit einem kleineren Modell. Das kleinere Modell bekommt eine Anweisung: fasse knapp zusammen, Zitate höchstens 125 Zeichen. Was zurückkommt, ist nur diese Zusammenfassung. Die Seite selbst sieht der Agent nie.

Bei einer Zusammenfassung fällt das nicht auf, denn zusammengefasst wird sowieso. Bei Zahlen fällt es auf. Und bei Fehlern fällt es richtig auf, weil die Zwischenstufe eine plausible Erklärung erfindet, wo eine unplausible richtig gewesen wäre.

Was das heißt

Der Gewinn ist nicht groß. Er ist strukturell. PullMD gibt wortgetreu zurück, was auf der Seite steht. WebFetch nur das, was davon übrig bleibt.

Ich hätte das Ergebnis gerne eindeutiger gehabt. „Mit Skill dreimal so gut“ wäre eine schöne Zahl gewesen. So war es aber nicht. Und ich finde es im Nachhinein ganz gut, dass ich es aufgeschrieben habe, statt es zu erzählen.

Ende April hat mir das übrigens jemand auf Reddit noch einmal von der anderen Seite erklärt, ohne den Skill überhaupt zu kennen. Das steht in Teil 9.

Teil 4 von 15 der PullMD Serie.

← PullMD Teil 3: Die API, und wie aus Reddit jede URL wurde | PullMD Teil 5: Die falsche Engine gemessen →