تفاصيل الخبر
نشرت Exa في 23 أكتوبر دراسة عن إعادة ترتيب نتائج الويب، أي ترتيب الصفحات المرشحة بعد مرحلة الاسترجاع الأولى. وتقول الشركة إن اختبارات الصلة التقليدية لم تعد تميز بوضوح بين الأنظمة الرائدة، لذلك قارنت أدواتها المستخدمة في الإنتاج بخدمات Cohere وVoyage AI وGoogle Cloud عبر مجموعة أوسع من المهام. هذا تقرير بحثي من الشركة التي طورت النظام؛ والنتائج التي تعلنها ليست تقييماً مستقلاً ولا قياساً لجودة البحث في Wellficent.
يفصل التقرير بين الاسترجاع وإعادة الترتيب. ووفقاً لـExa، يبحث الاسترجاع في مجموعة تتجاوز 100 مليار مستند ويب باستخدام تمثيلات مدمجة، مع أولوية للسرعة واسترجاع أكبر عدد ممكن من المرشحين المحتمل صلتهم. ثم تفحص أداة إعادة الترتيب قائمة أقصر باستخدام سياق وحوسبة أكبر لتقرر ترتيب النتائج النهائي. وفي الاختبار تلقى كل نموذج الاستعلام نفسه وقائمة المرشحين نفسها بالترتيب نفسه؛ وكان الاختلاف في ترتيب النتائج النهائية فقط. وتقول Exa إنها تستخدم مقياس nDCG@10 وفواصل ثقة بنسبة 95 بالمئة.
تجمع المقارنة ثلاثة اختبارات عامة—BEIR وMIRACL وMAIR—مع أربعة اختبارات تصفها الشركة بأنها داخلية: البرمجة، والاستعلامات الملاحية، والحداثة، والموثوقية في مواجهة المحتوى العدائي. وبلغ المتوسط الكلي عبر الاختبارات السبعة، وفق التقرير، 0.738 لأداة Exa Reranker Auto و0.733 لأداة Exa Reranker Fast. ويسجل الجدول 0.693 لـCohere Rerank 5 Pro و0.711 لـVoyage Rerank 3 و0.682 لـGoogle Semantic Ranker 5. كما تجاوزت نتيجة Exa Fast متوسطات الطبقة الافتراضية للمنافسين في هذه المقارنة. هذه أرقام لمهام وطرق اختارتها الشركة، ولا تثبت تفوقاً عاماً في كل الحالات.
توضح النتائج حسب المهمة سبب ضرورة قراءة المتوسط بحذر. وتقول الشركة إن الأنظمة الرائدة متقاربة بنحو نقطة أو نقطتين في اختبار BEIR ذي مجموعات البيانات الست، واختبار MIRACL الذي يغطي 18 لغة. حصل Exa Auto على 0.840 في BEIR و0.887 في MIRACL؛ وتفوقت Voyage وGoogle في MIRACL، فيما سجلت Cohere نتيجة أعلى في BEIR. وفي اختبار البرمجة الداخلي، الذي يتضمن 317 استعلاماً طويل السياق، سجل Auto 0.685 وFast 0.658، مقابل 0.771 لـVoyage و0.744 لـCohere في نموذجيهما الافتراضيين. وقد يخفي المتوسط العام اختلاف الأداء من مهمة إلى أخرى.
تعلن Exa نتائج نسبية أقوى في اختبارات الحداثة والملاحة والموثوقية أمام المحتوى العدائي. يتألف اختبار الحداثة من 1,000 استعلام اصطناعي متعدد اللغات، ولكل منها 60 مرشحاً حديثاً أو قديماً؛ وسجل Fast قيمة nDCG@10 تبلغ 0.797 وAuto قيمة 0.738. ويضم اختبار الملاحة 639 استعلاماً عن صفحات شركات ومسؤولين ووجهات عامة، مستخدماً فهرس Exa المباشر. أما اختبار الموثوقية فيضم 1,000 استعلام و60 مرشحاً مع نصوص حقن التعليمات وحشو الكلمات المفتاحية وحمولات Unicode وادعاءات زائفة بالموثوقية. وتقول Exa إن أدواتها كانت أكثر مقاومة في هذه الاختبارات التي صممتها.
وتضع المنهجية حدوداً لمعنى النتائج. تقول Exa إن تسميات اختبار البرمجة والملاحة استعانت بنموذج GPT-5.4، وإن بيانات الحداثة والموثوقية اصطناعية. ويشرح الملحق استخدام bootstrap طبقي مع 10,000 إعادة أخذ عينات لحساب فواصل الثقة والمقارنات المقترنة. ويمكن أن يؤثر تصميم المهام الداخلية والتسميات المولدة آلياً واختيار المرشحين واستخدام فهرس Exa نفسه في النتائج. كما أن إعطاء النماذج قائمة المرشحين ذاتها في كل اختبار لا يجعل التقييم مستقلاً ولا يثبت الأداء في كل سياقات البحث.
تقول المقالة إن Exa لا تخطط حالياً لإطلاق واجهة مستقلة لإعادة الترتيب؛ وتعرض المقارنة تقييماً للمكوّن الذي يشغل بحث Exa. وقد تهم الدراسة خدمات معلومات الطاقة والموارد لأن الأسعار واللوائح والوثائق التقنية والإعلانات الصادرة عن مصادر أولية قد تتقادم أو تتعرض للتلاعب. لكن نتائج الاختبارات لا تتحقق من ادعاء شركة، ولا تحدد منجماً أو بئراً فعلياً، ولا تحل محل فحص المصادر تحريرياً. ولا يقدم الإعلان أساساً هنا لادعاء بشأن الأوزان أو الترخيص أو ضمانات النشر أو الأسعار.