Detalhes do artigo
A Exa publicou em 23 de outubro um estudo sobre reclassificação de resultados da web após a etapa inicial de busca. A empresa afirma que testes tradicionais de relevância já distinguem pouco os sistemas líderes e comparou seus rerankers de produção com os da Cohere, Voyage AI e Google Cloud em tarefas mais diversas. O relatório é da própria empresa que desenvolveu o sistema; as vantagens relatadas não constituem avaliação independente nem medem a qualidade de busca da Wellficent.
O estudo separa recuperação de documentos e reclassificação. Segundo a Exa, a primeira etapa pesquisa um conjunto de mais de 100 bilhões de documentos da web usando representações compactas, priorizando velocidade e recuperação de possíveis candidatos relevantes. Em seguida, o reranker analisa uma lista bem menor com mais contexto e capacidade computacional para definir a ordem final. Na avaliação, cada modelo recebeu a mesma consulta e a mesma lista de candidatos na mesma ordem; apenas a classificação final mudou. A Exa diz que relata nDCG@10 e intervalos de confiança de 95%.
A comparação reúne três benchmarks públicos—BEIR, MIRACL e MAIR—e quatro avaliações que a empresa descreve como internas: programação, consultas navegacionais, atualidade e autoridade diante de conteúdo adversarial. A média macro nos sete benchmarks foi 0,738 para o Exa Reranker Auto e 0,733 para o Exa Reranker Fast. A tabela registra 0,693 para Cohere Rerank 5 Pro, 0,711 para Voyage Rerank 3 e 0,682 para Google Semantic Ranker 5. O resultado do Exa Fast também supera as médias das opções padrão concorrentes nesta comparação. Os números descrevem tarefas e métodos escolhidos pela empresa, sem provar superioridade universal.
Os resultados por tarefa mostram por que a média geral precisa de contexto. A Exa diz que os sistemas líderes ficam a cerca de um ou dois pontos nos benchmarks de relevância BEIR, com seis conjuntos de dados, e MIRACL, com 18 idiomas. O Exa Auto marca 0,840 no BEIR e 0,887 no MIRACL; Voyage e Google ficam à frente no MIRACL, enquanto Cohere supera a Exa no BEIR. No teste interno de programação, com 317 consultas longas, Auto obtém 0,685 e Fast 0,658, abaixo de Voyage, com 0,771, e Cohere, com 0,744, em seus modelos padrão. Uma única média pode ocultar diferenças entre tarefas.
A Exa relata resultados relativamente melhores em seus testes de atualidade, navegação e autoridade diante de conteúdo adversarial. O conjunto de atualidade tem 1.000 consultas sintéticas multilíngues, cada uma associada a 60 candidatos atuais ou desatualizados; Fast alcança nDCG@10 de 0,797 e Auto, 0,738. O teste de navegação reúne 639 consultas sobre páginas de empresas, executivos e destinos gerais, usando o índice ativo da Exa. O teste de autoridade inclui 1.000 consultas e 60 candidatos com injeções de instruções, excesso de palavras-chave, cargas Unicode e alegações falsas de autoridade. A empresa afirma que seus rerankers foram mais resistentes nesses cenários desenvolvidos por ela.
A metodologia também limita as conclusões. A Exa informa que o GPT-5.4 ajudou a atribuir rótulos nos testes de programação e navegação, enquanto os dados de atualidade e autoridade eram sintéticos. O apêndice descreve bootstrap estratificado com 10.000 reamostragens para intervalos de confiança e comparações pareadas. O desenho interno das tarefas, rótulos produzidos por modelo, seleção de candidatos e uso do índice próprio da Exa podem afetar os resultados. Dar a todos os sistemas a mesma lista dentro de um benchmark não torna a avaliação independente nem demonstra desempenho equivalente em toda situação de busca.
O texto diz que a Exa não planeja atualmente lançar um API de reranking independente; a comparação avalia o componente que alimenta a busca da empresa. A pesquisa pode interessar a serviços de informação sobre energia e recursos, pois preços, normas, documentação técnica e anúncios de fontes primárias podem ficar desatualizados ou ser manipulados. Ainda assim, as pontuações não verificam declarações de empresas, não localizam minas ou poços reais e não substituem a checagem editorial de fontes. O anúncio não fornece base para afirmar algo sobre pesos do modelo, licença, garantias de implantação ou preços.