Détails de l’article

Exa a publié le 23 octobre une étude sur le reclassement des résultats web, c’est-à-dire l’ordre des pages candidates après la première étape de recherche. L’entreprise estime que les tests classiques de pertinence distinguent désormais peu les principaux systèmes. Elle a donc comparé ses rerankers utilisés en production à ceux de Cohere, Voyage AI et Google Cloud sur davantage de tâches. Il s’agit d’un rapport de recherche de l’entreprise qui a conçu le système : ses avantages déclarés ne constituent ni une évaluation indépendante ni une mesure de la qualité de recherche de Wellficent.

L’étude distingue la récupération des documents de leur reclassement. Selon Exa, le premier stade parcourt un ensemble de plus de 100 milliards de documents web à l’aide de représentations compactes, privilégiant la vitesse et le rappel des candidats possibles. Le reranker examine ensuite une liste bien plus courte avec davantage de contexte et de calcul afin d’établir l’ordre final. Pour la comparaison, chaque modèle a reçu la même requête et la même liste de candidats dans le même ordre ; seul le classement final variait. Exa indique utiliser le nDCG@10 et des intervalles de confiance à 95 %.

La comparaison associe trois benchmarks publics—BEIR, MIRACL et MAIR—à quatre évaluations qu’Exa dit avoir conçues en interne : codage, requêtes de navigation, fraîcheur et autorité face aux contenus adversariaux. La moyenne macro sur sept benchmarks atteint 0,738 pour Exa Reranker Auto et 0,733 pour Exa Reranker Fast. Le tableau indique 0,693 pour Cohere Rerank 5 Pro, 0,711 pour Voyage Rerank 3 et 0,682 pour Google Semantic Ranker 5. Le score d’Exa Fast dépasse également les moyennes des offres concurrentes en version standard dans cette comparaison. Ces chiffres décrivent les tâches et méthodes retenues par l’entreprise ; ils ne démontrent pas une supériorité universelle.

Les résultats par tâche montrent pourquoi la moyenne globale doit être nuancée. Exa indique que les principaux systèmes se tiennent à environ un ou deux points sur BEIR, qui comprend six jeux de données, et MIRACL, qui couvre 18 langues. Exa Auto obtient 0,840 sur BEIR et 0,887 sur MIRACL ; Voyage et Google dépassent Exa sur MIRACL, tandis que Cohere fait mieux sur BEIR. Sur le test interne de codage, composé de 317 requêtes longues, Exa Auto obtient 0,685 et Fast 0,658, contre 0,771 pour Voyage et 0,744 pour Cohere dans leurs versions standard. Une moyenne générale peut masquer ces écarts entre tâches.

Exa annonce de meilleurs résultats relatifs sur ses évaluations de fraîcheur, de navigation et de résistance aux contenus adversariaux. Le test de fraîcheur comprend 1 000 requêtes synthétiques multilingues, chacune associée à 60 pages récentes ou anciennes ; Fast atteint un nDCG@10 de 0,797 et Auto de 0,738. Le test de navigation compte 639 requêtes sur des pages d’entreprises, des recherches de dirigeants et des destinations générales, à partir de l’index web en direct d’Exa. Le test d’autorité comprend 1 000 requêtes et 60 candidats avec injections d’instructions, bourrage de mots-clés, charges Unicode et fausses affirmations d’autorité. Exa affirme que ses systèmes y résistent mieux.

La méthode limite aussi l’interprétation des résultats. Exa indique que GPT-5.4 a servi à produire les étiquettes des tests de codage et de navigation, tandis que les données de fraîcheur et d’autorité sont synthétiques. L’annexe décrit un bootstrap stratifié de 10 000 rééchantillonnages pour les intervalles de confiance et les comparaisons appariées. La conception interne des tâches, les étiquettes générées par modèle, le choix des candidats et l’utilisation de l’index d’Exa peuvent influer sur les scores. L’égalité des listes de candidats au sein d’un benchmark ne rend pas l’évaluation indépendante et ne garantit pas les mêmes performances pour tout usage de recherche.

L’article précise qu’Exa ne prévoit pas actuellement de proposer un reranker comme API autonome ; la comparaison porte sur le composant qui alimente son propre moteur de recherche. L’étude intéresse les services d’information sur l’énergie et les ressources, car les prix, règles, documents techniques et annonces de sources primaires peuvent devenir obsolètes ou être manipulés. Toutefois, les scores ne vérifient pas les déclarations d’une entreprise, ne localisent pas une mine ou un puits réel et ne remplacent pas la vérification éditoriale des sources. L’annonce ne permet pas d’affirmer quoi que ce soit ici sur les poids du modèle, la licence, les garanties de déploiement ou les tarifs.