SWE-bench: لماذا هذا المعيار أهم من غيره

ما هو SWE-bench؟

SWE-bench (معيار هندسة البرمجيات) هو إطار تقييم يختبر نماذج الذكاء الاصطناعي على مشكلات هندسة البرمجيات الحقيقية من مستودعات GitHub مفتوحة المصدر.

لماذا يهم SWE-bench

على عكس المعايير المصطنعة مثل HumanEval، يقيس SWE-bench القدرة على حل مشكلات البرمجة الحقيقية التي يواجهها المطورون يومياً.

الواقعية

• يستخدم تقارير أخطاء حقيقية من مشاريع مفتوحة المصدر

• يتطلب فهم قواعد الكود الكبيرة

• يتضمن بيئات اختبار حقيقية

الصعوبة

• ليست مسائل خوارزمية بسيطة

• تتطلب فهم البنية المعمارية

• تحتاج التنقل عبر ملفات متعددة

كيف يعمل

1. يُعطى النموذج وصف مشكلة من تقرير خطأ GitHub

2. يحصل على وصول إلى قاعدة الكود الكاملة

3. يجب أن يُنتج تصحيحاً يحل المشكلة

4. يُقيّم التصحيح بتشغيل مجموعة الاختبارات

SWE-bench Verified مقابل العادي

SWE-bench الأصلي: 2,294 مشكلة، بعضها غامض أو به ضوضاء SWE-bench Verified: 500 مشكلة منتقاة ومتحقق منها يدوياً، أكثر موثوقية

النتائج الحالية

النموذج

SWE-bench Verified

Claude Opus 4.5

80.9%

Claude Sonnet 4.5

73.5%

GPT-5.1

68.7%

Gemini 3 Pro

71.8%

كيف تفسر النتائج

• فوق 70%: قادر على حل معظم المشكلات البرمجية الحقيقية

• 50-70%: مفيد لكن يحتاج إشرافاً بشرياً

• تحت 50%: يحتاج تحسيناً كبيراً

القيود

• لا يقيس الإبداع أو التصميم المعماري

• يركز على Python بشكل أساسي

• لا يعكس كل جوانب هندسة البرمجيات

الخلاصة

SWE-bench هو أفضل مقياس متاح حالياً لقدرة الذكاء الاصطناعي في البرمجة الحقيقية. رغم قيوده، يوفر إشارة موثوقة لاختيار أدوات البرمجة بالذكاء الاصطناعي.