Ich teste derzeit auf beiden Plattformen die Vollständigkeit der Recherche zum Stand der Technik, also den Recall. Bevor ich vergleiche, wie viel die einzelnen Werkzeuge finden, habe ich etwas Grundlegenderes geprüft: Erhalte ich dieselbe Liste, wenn ich dieselbe Suchanfrage zweimal ausführe?
Derwent von Clarivate liefert jedes Mal dieselbe Liste. Ich habe identische Suchanfragen an verschiedenen Tagen ausgeführt und jeden Datensatz im Export verglichen. Die Ergebnisse waren gleich, einschließlich ihrer Reihenfolge. Gebe ich einem Kollegen meine Suchanfrage, erhält er meine Liste.
Bei Patsnap ist das nicht garantiert.
Unter denselben Bedingungen liefert Patsnap häufig bei jedem Durchlauf andere Ergebnisse. Das betrifft sowohl die gefundenen Dokumente zum Stand der Technik als auch ihre Sortierung nach Relevanz. Entscheidend ist die Rangfolge. Ein Werkzeug kann den richtigen Stand der Technik finden und ihn trotzdem in der Trefferliste vergraben. Landet ein Dokument hinter dem 500. Treffer, wird die recherchierende Person es womöglich nie lesen. Praktisch wurde es dann nicht gefunden.
Die Frage ist nicht nur, ob das Werkzeug heute die richtigen Dokumente gefunden hat. Es geht auch darum, ob jemand Ihre Arbeit im nächsten Monat reproduzieren kann.
Ich möchte beiden Werkzeugen gerecht werden. Reproduzierbarkeit ist nicht dasselbe wie Qualität. Ein System, das stets dieselbe falsche Antwort gibt, liegt weiterhin falsch. Ein überraschendes Ergebnis kann dagegen auch ein besseres Ergebnis sein. Welches der beiden Werkzeuge tatsächlich den vom Prüfer herangezogenen Stand der Technik wiederfindet, ist eine andere Frage, auf die es eine andere Antwort gibt.
Noch etwas ist bemerkenswert: Bei einer herkömmlichen Stichwortsuche wissen Sie erst nach dem Ausführen der Suchanfrage, wie viele Treffer sie liefert. Die Anzahl ergibt sich aus den Daten, denn ein Suchwort kommt in einem Dokument entweder vor oder nicht. Diese KI-Suchwerkzeuge verhalten sich anders. Die Zahl bleibt immer gleich oder innerhalb eines festen Bereichs. Derwent liefert jedes Mal genau 200 Treffer. Bei Patsnap liegt die Zahl zwischen ungefähr 700 und 800. Als ich Patsnap vor einigen Monaten testete, lieferte es ebenfalls eine feste Anzahl. Das hat sich inzwischen geändert.
Der Grund: Eine KI-Suche ordnet Dokumente nach Relevanz, statt nach dem Vorkommen eines Begriffs zu suchen. Jemand muss entscheiden, wo die Relevanzgrenze gezogen wird. Diese Entscheidung trifft der Anbieter, nicht die recherchierende Person.
Das finde ich interessant: Viele Produkte werben inzwischen mit integrierter KI. Wo diese KI im Ablauf sitzt und was sie dort genau tut, erfahren wir nur selten.
Im nächsten Beitrag werde ich die Zahlen vorstellen: Wie viel vom Stand der Technik des Prüfers finden die einzelnen Werkzeuge, wo stehen die Treffer in der Rangfolge und was bringt die Kombination beider Systeme? Nach meinen bisherigen Tests liegt Patsnap leicht vorn. Für eine belastbare Aussage brauche ich aber noch mehr Stichproben.
