Je mène actuellement un test de rappel dans la recherche d’état de la technique sur les deux plateformes. Avant de comparer ce que chaque outil retrouve, j’ai vérifié un point plus élémentaire : si je lance deux fois la même requête, est-ce que j’obtiens la même liste ?
Derwent, de Clarivate, renvoie toujours la même liste. J’ai lancé des requêtes identiques à des jours différents et comparé tous les enregistrements exportés. Les résultats étaient les mêmes, y compris leur ordre. Si je transmets ma requête à un collègue, il obtient ma liste.
Patsnap ne le garantit pas.
À conditions identiques, Patsnap renvoie souvent des résultats différents d’une exécution à l’autre. Cela concerne aussi bien les documents de l’état de la technique retrouvés que leur classement par pertinence. C’est ce classement qui compte. Un outil peut retrouver le bon document tout en l’enfouissant dans les résultats. S’il apparaît au-delà du 500e résultat, la personne chargée de la recherche risque de ne jamais le lire ; en pratique, il n’a donc pas été trouvé.
La question n’est pas seulement de savoir si l’outil a retrouvé les bons documents aujourd’hui, mais si quelqu’un pourra reproduire votre travail le mois prochain.
Je veux être équitable envers les deux outils. Reproductibilité ne signifie pas qualité. Un système qui donne toujours la même mauvaise réponse reste dans l’erreur, et un système qui vous surprend peut le faire avec de meilleurs résultats. Savoir lequel retrouve réellement l’état de la technique cité par l’examinateur est une autre question, qui appelle une autre réponse.
Un autre détail mérite d’être partagé. Avec une recherche traditionnelle par mots-clés, on ne connaît le nombre de résultats qu’après avoir lancé la requête. Ce nombre découle des données : un mot figure dans un document ou n’y figure pas. Ces outils de recherche par IA fonctionnent autrement. Le nombre est toujours le même, ou reste dans une plage fixe. Derwent renvoie exactement 200 résultats à chaque fois. Patsnap se maintient entre environ 700 et 800. Lors de mes essais il y a quelques mois, Patsnap renvoyait lui aussi un nombre fixe ; cela a changé depuis.
La raison est qu’une recherche par IA classe les documents selon leur pertinence au lieu de rechercher la présence d’un terme. Quelqu’un doit choisir où placer le seuil de pertinence, et ce choix appartient au fournisseur, pas à la personne qui effectue la recherche.
Voici ce qui m’intéresse : de nombreux produits affirment désormais intégrer de l’IA. On nous dit rarement à quel endroit du processus elle intervient, ni ce qu’elle y fait exactement.
Dans le prochain billet, je présenterai les chiffres : quelle part de l’état de la technique de l’examinateur chaque outil retrouve, où se situent ces documents dans le classement et ce qu’apporte l’utilisation conjointe des deux outils. Mes essais donnent pour l’instant une légère avance à Patsnap, mais il me faut davantage d’échantillons avant de pouvoir l’affirmer avec assurance.
