«Búsqueda con IA» frente a «búsqueda semántica»: ¿la misma tecnología con distinto marketing?

Estoy realizando una prueba de exhaustividad en la búsqueda de estado de la técnica con ambas plataformas. Antes de comparar cuánto encuentra cada herramienta, comprobé algo más básico: si ejecuto dos veces la misma consulta, ¿obtengo la misma lista?

Derwent, de Clarivate, devuelve siempre la misma lista. Ejecuté consultas idénticas en días distintos y comparé todos los registros exportados. Los resultados eran iguales, incluido el orden. Si le doy mi consulta a un compañero, obtiene mi lista.

Patsnap no garantiza eso.

En las mismas condiciones, Patsnap suele devolver resultados distintos en cada ejecución. Cambian tanto los documentos del estado de la técnica que recupera como su clasificación por relevancia. El orden es lo importante. Una herramienta puede encontrar el documento adecuado y, aun así, enterrarlo. Si aparece más allá del resultado número 500, puede que quien hace la búsqueda nunca llegue a leerlo; en la práctica, no se ha encontrado.

La cuestión no es solo si la herramienta ha encontrado hoy los documentos adecuados, sino si alguien podrá reproducir tu trabajo el mes que viene.

Quiero ser justo con las dos herramientas. La reproducibilidad no equivale a calidad. Un sistema que devuelve siempre la misma respuesta errónea sigue equivocándose, y otro que te sorprende podría hacerlo con resultados mejores. Cuál de los dos recupera realmente el estado de la técnica citado por el examinador es otra pregunta, con otra respuesta.

Hay otro detalle que merece la pena compartir. En una búsqueda tradicional por palabras clave, no sabes cuántos resultados dará la consulta hasta ejecutarla. El número depende de los datos, porque una palabra aparece en un documento o no aparece. Estas herramientas de búsqueda con IA se comportan de otro modo: el número siempre es el mismo o se mantiene dentro de una franja fija. Derwent devuelve exactamente 200 resultados cada vez. Patsnap mantiene la cifra entre unos 700 y 800. Cuando probé Patsnap hace unos meses, también devolvía una cantidad fija; desde entonces, eso ha cambiado.

La razón es que una búsqueda con IA ordena los documentos por relevancia en lugar de buscar coincidencias con un término. Alguien tiene que decidir dónde poner el umbral de relevancia, y esa decisión es del proveedor, no de quien realiza la búsqueda.

Esto es lo que me parece interesante: muchos productos dicen ahora que incorporan IA, pero rara vez nos explican en qué parte del proceso interviene o qué hace exactamente.

En la próxima publicación presentaré las cifras: qué proporción del estado de la técnica del examinador recupera cada herramienta, en qué posiciones aparecen los aciertos y qué se obtiene al combinar ambas. Mis pruebas hasta ahora sitúan a Patsnap ligeramente por delante, pero necesito más muestras antes de afirmarlo con seguridad.

Capturas de Derwent Patent Search con la etiqueta «AI search» y de Patsnap con la etiqueta «Semantic».
Capturas de Derwent Patent Search con la etiqueta «AI search» y de Patsnap con la etiqueta «Semantic».