Сведения о материале

23 октября Exa опубликовала исследование повторного ранжирования веб-результатов — порядка страниц после первоначального поиска. Компания считает, что обычные тесты релевантности уже слабо различают ведущие системы, и сравнила свои производственные ранжировщики с решениями Cohere, Voyage AI и Google Cloud на более широком наборе задач. Это отчет разработчика системы о собственных исследованиях; заявленные преимущества не являются независимой оценкой и не измеряют качество поиска Wellficent.

В исследовании различаются поиск кандидатов и повторное ранжирование. По данным Exa, первый этап ищет среди более чем 100 млрд веб-документов с помощью компактных представлений, стремясь к скорости и полноте поиска возможных кандидатов. Затем ранжировщик анализирует гораздо более короткий список с большим контекстом и вычислительными ресурсами, чтобы определить окончательный порядок. В сравнении все модели получили один запрос и один и тот же список кандидатов в одинаковом порядке; различался только финальный рейтинг. Exa сообщает показатель nDCG@10 и 95-процентные доверительные интервалы.

Сравнение объединяет три открытых теста — BEIR, MIRACL и MAIR — и четыре оценки, которые компания называет внутренними: программирование, навигационные запросы, актуальность и авторитетность при наличии атакующего контента. Среднее макро по семи тестам составило, согласно Exa, 0,738 для Reranker Auto и 0,733 для Reranker Fast. В таблице указаны 0,693 для Cohere Rerank 5 Pro, 0,711 для Voyage Rerank 3 и 0,682 для Google Semantic Ranker 5. Показатель Exa Fast также выше среднего результата конкурирующих стандартных моделей в этом сравнении. Эти цифры относятся к выбранным компанией задачам и методам, а не доказывают универсальное превосходство.

Результаты по отдельным задачам показывают, почему общему среднему нужен контекст. Exa сообщает, что на BEIR с шестью наборами данных и MIRACL на 18 языках ведущие системы отличаются примерно на один-два пункта. Exa Auto получила 0,840 на BEIR и 0,887 на MIRACL; на MIRACL выше результаты у Voyage и Google, а на BEIR — у Cohere. Во внутреннем тесте программирования с 317 длинными запросами Auto набрала 0,685, Fast — 0,658; стандартные модели Voyage и Cohere получили 0,771 и 0,744. Общий средний показатель может скрывать такие различия между задачами.

Exa сообщает о более высоких относительных результатах в тестах актуальности, навигации и устойчивости к атакующему контенту. Тест актуальности включает 1 000 синтетических многоязычных запросов, каждому сопоставлено 60 актуальных или устаревших кандидатов; nDCG@10 Fast составил 0,797, Auto — 0,738. Навигационный набор содержит 639 запросов о страницах компаний, руководителях и других целевых страницах; использовался действующий индекс Exa. Тест авторитетности включает 1 000 запросов и 60 кандидатов с инъекциями инструкций, набивкой ключевых слов, Unicode-нагрузками и ложными заявлениями об авторитетности. Exa утверждает, что ее системы оказались устойчивее в этих разработанных компанией сценариях.

Методика также ограничивает интерпретацию результатов. Exa указывает, что GPT-5.4 помогал создавать метки для тестов программирования и навигации, а данные для тестов актуальности и авторитетности были синтетическими. В приложении описан стратифицированный bootstrap с 10 000 повторных выборок для доверительных интервалов и парных сравнений. На результаты могут влиять внутренний дизайн задач, метки модели, выбор кандидатов и использование собственного индекса Exa. Одинаковые списки кандидатов в рамках теста не делают оценку независимой и не доказывают одинаковую эффективность во всех поисковых сценариях.

В публикации говорится, что Exa пока не планирует выпускать отдельный API ранжирования; сравнение оценивает компонент, работающий в поиске Exa. Эта работа может быть актуальна для информационных сервисов в энергетике и сырьевом секторе: цены, правила, техническая документация и первичные объявления устаревают или могут подвергаться манипуляции. Однако показатели тестов не проверяют заявления компаний, не определяют реальные скважины или шахты и не заменяют редакционную проверку источников. Публикация не дает оснований утверждать что-либо о весах модели, лицензии, гарантиях внедрения или цене.