SWE-bench: почему этот бенчмарк важнее других

Что такое SWE-bench?

SWE-bench (Software Engineering Benchmark) — это бенчмарк, оценивающий способность ИИ-моделей решать реальные инженерные задачи из репозиториев с открытым исходным кодом на GitHub.

Почему SWE-bench важнее HumanEval

HumanEval тестирует алгоритмические задачи в изоляции. SWE-bench тестирует реальные задачи разработки:

• Понимание существующих кодовых баз

• Навигация по множеству файлов

• Исправление реальных багов из issues на GitHub

• Генерация патчей, проходящих тесты

Как работает SWE-bench

1. Берётся реальный issue из GitHub-репозитория

2. ИИ-модель получает описание проблемы и кодовую базу

3. Модель должна сгенерировать патч (изменения кода)

4. Патч проверяется автоматическими тестами

SWE-bench Verified

SWE-bench Verified — курируемая версия из 500 задач, проверенных вручную для устранения неоднозначностей.

Текущие результаты (февраль 2026)

Модель

SWE-bench Verified

Claude Opus 4.5

80.9%

GPT-5.1

74.2%

Gemini 3 Pro

71.8%

Claude Sonnet 4.5

73.5%

Ограничения SWE-bench

• Тестирует только Python-репозитории

• Не все задачи одинаковой сложности

• Не оценивает написание кода с нуля

• Автоматические тесты могут быть неполными

Заключение

SWE-bench остаётся лучшим индикатором практических способностей ИИ к программированию. Для разработчиков, оценивающих ИИ-инструменты, результаты SWE-bench — самый надёжный ориентир.