Haberin ayrıntıları
Exa, ilk arama aşamasından sonra aday sayfaların nasıl yeniden sıralandığını ele alan web sıralama araştırmasını 23 Ekim’de yayımladı. Şirket, sıradan alaka düzeyi testlerinin önde gelen sistemleri artık net biçimde ayırmadığını söyleyerek üretimde kullandığı sıralayıcıları Cohere, Voyage AI ve Google Cloud sistemleriyle daha çeşitli görevlerde karşılaştırdı. Bulgular, sistemi geliştiren şirketin kendi araştırma raporudur; bildirilen avantajlar bağımsız bir değerlendirme veya Wellficent arama kalitesinin ölçümü değildir.
Araştırmanın temel ayrımı, aday bulma ile yeniden sıralama arasındadır. Exa’ya göre ilk aşama, 100 milyardan fazla web belgesi içinde küçük temsiller kullanarak arama yapar ve hız ile olası ilgili belgeleri kaçırmamaya öncelik verir. Sonraki sıralayıcı daha kısa bir listeyi daha fazla bağlam ve hesaplama kullanarak inceler ve hangi sonuçların üstte gösterileceğine karar verir. Değerlendirmede modeller aynı sorguyu ve aynı sıradaki aynı aday listesini aldı; değişen unsur son sıralamaydı. Exa, nDCG@10 ölçütünü ve yüzde 95 güven aralıklarını raporladığını söylüyor.
Karşılaştırma üç açık kıyaslamayı—BEIR, MIRACL ve MAIR—şirketin iç değerlendirme olarak tanımladığı kodlama, gezinme amaçlı sorgular, güncellik ve saldırgan içerik karşısında kaynak güvenilirliği testleriyle birleştiriyor. Yedi kıyaslamanın makro ortalaması Exa Reranker Auto için 0,738, Exa Reranker Fast için 0,733 olarak bildirildi. Şirket tablosunda Cohere Rerank 5 Pro 0,693, Voyage Rerank 3 0,711 ve Google Semantic Ranker 5 0,682 aldı. Exa Fast’ın 0,733 değeri, bu karşılaştırmadaki rakip varsayılan katman ortalamalarını da aşıyor. Bunlar seçilen görev ve yöntemlerin sonuçlarıdır; evrensel üstünlük kanıtı değildir.
Görev bazındaki sonuçlar, toplam ortalamanın neden tek başına yeterli olmadığını gösteriyor. Şirket, altı veri kümeli BEIR ve 18 dilli MIRACL alaka testlerinde önde gelen sistemlerin yaklaşık bir veya iki puan aralığında olduğunu söylüyor. Exa Auto BEIR’de 0,840 ve MIRACL’da 0,887 aldı; MIRACL’da Voyage ve Google, BEIR’de ise Cohere daha yüksek sonuç verdi. 317 uzun bağlamlı sorgudan oluşan şirket içi kodlama testinde Exa Auto 0,685, Fast 0,658 aldı; varsayılan modellerinde Voyage 0,771, Cohere 0,744 ile öndeydi. Tek bir genel ortalama, görevler arasındaki bu farkları gizleyebilir.
Exa, güncellik, gezinme ve saldırgan içeriğe karşı kaynak güvenilirliği testlerinde görece daha yüksek sonuçlar bildiriyor. Güncellik kümesinde her biri 60 güncel veya eski adayla eşleştirilmiş 1.000 çok dilli sentetik sorgu bulunuyor; Fast nDCG@10’da 0,797, Auto 0,738 aldı. Gezinme kümesi şirket sayfaları, yönetici aramaları ve genel hedef sayfalar olmak üzere 639 sorgudan oluşuyor ve Exa’nın canlı dizininden sonuç kullanıyor. Kaynak güvenilirliği testinde 1.000 sorgu ve 60 aday; prompt injection metni, anahtar kelime doldurma, Unicode yükleri ve sahte otorite iddiaları içeriyor. Exa, kendi tasarladığı bu testlerde sıralayıcılarının daha dayanıklı olduğunu belirtiyor.
Yöntem, sonuçların nasıl yorumlanabileceğine de sınır koyuyor. Exa, kodlama ve gezinme etiketlerinde GPT-5.4 kullandığını, güncellik ve güvenilirlik verilerinin ise sentetik olduğunu söylüyor. Ek bölümde güven aralıkları ve eşleştirilmiş karşılaştırmalar için 10.000 yinelemeli tabakalı bootstrap yöntemi açıklanıyor. Şirket içi görev tasarımı, modelle üretilen etiketler, aday seçimi ve Exa’nın kendi dizininin kullanılması sonuçları etkileyebilir. Her sıralayıcıya kıyaslama içinde aynı aday listesinin verildiği belirtilse de bu, bağımsız denetim yapıldığı veya her arama iş yükünde aynı performansın görüleceği anlamına gelmiyor.
Yazı, Exa’nın ayrı bir sıralama API’si sunmayı şu anda planlamadığını; karşılaştırmaların Exa aramasına güç veren bileşeni değerlendirdiğini belirtiyor. Araştırma enerji ve kaynak bilgi hizmetleri için önem taşıyabilir; fiyatlar, düzenlemeler, teknik belgeler ve birincil kaynaklı duyurular zamanla eskiyebilir veya manipüle edilebilir. Ancak kıyaslama puanları bir şirket iddiasını doğrulamaz, gerçek bir kuyu ya da madeni saptamaz ve editoryal kaynak kontrolünün yerini tutmaz. Duyuru, model ağırlıkları, lisans, dağıtım garantisi veya fiyatlandırma hakkında burada bir iddia kurmaya dayanak sağlamıyor.