Claude 5, SWE-bench에서 85% 이상 달성 예상: 벤치마크 분석

Claude 5 SWE-bench 예측

업계 분석가들은 Claude 5가 SWE-bench Verified에서 85% 이상을 달성할 것으로 기대합니다. 이 예측의 기술적 분석을 살펴봅니다.

역사적 진행

모델

SWE-bench

향상

Claude 3 Opus

49.0%

기준선

Claude 3.5 Sonnet

64.0%

+15포인트

Claude 4.5 Opus

80.9%

+16.9포인트

Claude 5 (예상)

85~92%

+4~11포인트

85% 이상이 달성 가능한 이유

1. 아키텍처 개선:

• 에이전트 네이티브 설계로 더 나은 작업 분해 가능

• 확장된 컨텍스트로 전체 코드베이스 이해 가능

2. 훈련 발전:

• 더 다양한 코드 훈련 데이터

• 향상된 추론 체인 훈련

3. Fennec 증거:

• Sonnet 5가 이미 80.9%

• Opus는 일반적으로 Sonnet 대비 +5~10포인트

85%가 실제로 의미하는 것

일반적인 100개 이슈 샘플에서:

• 85개의 이슈가 자율적으로 해결

• 15개는 인간 개입 필요

• 상당한 개발자 시간 절약

결론

Claude 5의 85% 이상 SWE-bench는 스케일링 법칙과 초기 증거에 의해 충분히 뒷받침됩니다. 에이전트 네이티브 아키텍처가 점수를 더욱 높일 수 있습니다.