AI 코딩 실력, 같은 클로드가 29.8%p 갈렸습니다

본문의 각주 번호는 아래 항목과 1:1 로 대응합니다. 정량 주장은 가능한 경우 둘 이상의 출처로 대조했고, 인용문은 원문에서 직접 확인한 것만 실었습니다.

1. arXiv 2609.17394 는 SWE-bench 점수판(리더보드)의 한 항목이 모델과 스캐폴드(에이전트 루프·도구·검색·제어 방식)의 짝으로 만들어진다고 보고, 스캐폴드 아홉 개와 함께 올라 있는 claude-3-5-sonnet 의 점수 범위가 29.8퍼센트포인트, 상위 30개 제출물 전체의 점수 폭이 8.8퍼센트포인트라고 적었다A leaderboard entry is produced by a pair: a model, and the scaffold — the agent loop, tool set, retrieval and control policy — that drives it.https://arxiv.org/abs/2609.17394v1확인 2026-09-28For claude-3-5-sonnet, which appears with nine scaffolds, the range is 168 to 317 — 149 instances, or 29.8pp.https://arxiv.org/abs/2609.17394v1확인 2026-09-28For scale, the entire spread of the top thirty submissions is 8.8pp.https://arxiv.org/abs/2609.17394v1확인 2026-09-28
   ↩
2. 랭체인(LangChain)은 에이전트를 모델과 하네스의 합으로 보고, 하네스를 모델 자체가 아닌 모든 코드·설정·실행 로직으로 정의하며, 그 예로 시스템 프롬프트·도구·스킬·MCP·파일시스템·샌드박스·브라우저·하위 에이전트 생성 같은 조율 로직·훅을 든다. 모델은 지능을 담고 하네스는 그 지능을 쓸모 있게 만든다고 적었다Agent = Model + Harnesshttps://www.langchain.com/blog/the-anatomy-of-an-agent-harness확인 2026-09-28A harness is every piece of code, configuration, and execution logic that isn't the model itself.https://www.langchain.com/blog/the-anatomy-of-an-agent-harness확인 2026-09-28System Prompts, Tools, Skills, MCPs + and their descriptions, Bundled Infrastructure (filesystem, sandbox, browser), Orchestration Logic (subagent spawning, handoffs, model routing), Hooks/Middleware for deterministic executionhttps://www.langchain.com/blog/the-anatomy-of-an-agent-harness확인 2026-09-28The model contains the intelligence and the harness makes that intelligence useful.https://www.langchain.com/blog/the-anatomy-of-an-agent-harness확인 2026-09-28
   ↩
3. 위키백과(Wikipedia)는 에이전트 하네스를 에이전트 스캐폴딩이라고도 부르며, 대규모 언어 모델이 AI 에이전트로 작동하게 하는 주변 소프트웨어 인프라라고 설명한다An agent harness, also known as agent scaffolding, is the software infrastructure surrounding a large language model (LLM) that enables it to operate as an AI agent.https://en.wikipedia.org/wiki/Agent_harness확인 2026-09-28
   ↩
4. Snorkel AI 의 터미널벤치 2.1 리더보드(2026-09-28 확인)에는 같은 모델이 같은 날짜에 다른 하네스로 올라 있다 — 제미나이 3 프로(Gemini 3 Pro)는 Terminus 2 73.9%·Gemini CLI 65.8%, GPT-5.5 는 Codex CLI 83.1%·Terminus 2 78%, 클로드 페이블 5(Claude Fable 5)는 Claude Code 83.8%·Terminus 2 80.4%Gemini 3 Pro — Terminus 2 73.9% vs Gemini CLI 65.8% (동일 날짜 2025-11-18)https://snorkel.ai/leaderboard/terminal-bench-2-1/확인 2026-09-28GPT-5.5 — Codex CLI 83.1% vs Terminus 2 78% (동일 날짜 2026-04-23)https://snorkel.ai/leaderboard/terminal-bench-2-1/확인 2026-09-28Claude Fable 5 — Claude Code 83.8% vs Terminus 2 80.4% (동일 날짜 2026-06-09)https://snorkel.ai/leaderboard/terminal-bench-2-1/확인 2026-09-28
   ↩
5. arXiv 2605.23950 저자들의 직접 실험에서 하네스를 바꾸면 GLM-5.1 의 점수가 13.0퍼센트포인트, GPT-5.4 와 Kimi K2.6 이 각각 8.5퍼센트포인트 움직였고, 하네스를 고정한 채 모델을 바꾸면 3.0·2.5·5.0퍼센트포인트 움직였다. 하네스가 만든 분산은 모델이 만든 분산의 평균 7.80배였고, 저자들은 이 배율이 보편적이라고 주장하지 않는다Average HV is 18.48 pp2 versus average MV of 2.37 pp2, a ratio of 7.80×. Changing the harness moves GLM-5.1 by 13.0 percentage points and GPT-5.4 and Kimi K2.6 by 8.5 points each. Changing the model within a fixed harness moves scores by only 3.0, 2.5, and 5.0 pointshttps://arxiv.org/abs/2605.23950v1확인 2026-09-28We do not claim that the 7.80× ratio is universal.https://arxiv.org/abs/2605.23950v1확인 2026-09-28
   ↩
6. GPT-5.4 를 고정한 채 AHE(Agentic Harness Engineering)로 하네스를 열 차례 자동 개선하자 터미널벤치 2 통과율(pass@1)이 69.7%에서 77.0%로 올랐다Across ten evaluate → analyze → improve iterations, AHE (Agentic Harness Engineering) lifts Terminal-Bench 2 pass@1 from 69.7% to 77.0% on GPT-5.4https://github.com/china-qijizhifeng/agentic-harness-engineering확인 2026-09-28Empirically, ten AHE iterations lift pass@1 on Terminal-Bench 2 from 69.7% to 77.0%, surpassing the human-designed harness Codex-CLI (71.9%) and the self-evolving baselines ACE and TF-GRPO.https://arxiv.org/abs/2604.25850확인 2026-09-28holding the model fixed while changing only the harness raises Terminal-Bench 2 pass@1 from 69.7% to 77.0% [17], and independent third-party benchmark monitoring reports up to 15 percentage points of scaffold-only variation on SWE-bench Verifiedhttps://arxiv.org/abs/2605.23950v1확인 2026-09-28
   ↩
7. arXiv 2605.23950 은 HAL 의 보고를 인용해 SWE-Agent 와 HAL Generalist 사이에서 Claude Sonnet 4.5 의 점수가 68%와 34%로 34포인트 차이가 났다고 적었다HAL reports double-digit cross-scaffold gaps under SWE-Agent versus HAL Generalist, of 34 points for Claude Sonnet 4.5 (68% to 34%), 34 points for GPT-5 Medium (46% to 12%), and nearly 48 points for o4-minihttps://arxiv.org/abs/2605.23950v1확인 2026-09-28
   ↩
8. arXiv 2609.26760 에서 WebArena-Verified 과제 성공률은 Growing Harness 가 모델 규모와 관계없이 44.7~45.3%였고, 도구 호출(Tool-Calling) 에이전트는 4B 모델에서 6.7%로 떨어졌다On WebArena-Verified, its success remains 44.7–45.3% across model scales, whereas Tool-Calling falls to 6.7% with the 4B model.https://arxiv.org/abs/2609.26760v1확인 2026-09-28
   ↩
9. arXiv 2609.17394 는 모델 7개·스캐폴드 10개가 연결된 20칸에 가법 모형을 맞춘 결과 스캐폴드 효과 범위 37.6퍼센트포인트, 모델 효과 범위 47.9퍼센트포인트(비율 0.78)를 얻었고, 이를 스캐폴드가 모델보다 중요하다는 뜻이 아니라 둘이 같은 규모라는 뜻으로 읽었다A least-squares additive fit y = µ + αscaffold + βmodel on the connected core (20 cells, 10 scaffolds, 7 models) gives R2 = 0.989 with a fitted scaffold-effect range of 37.6pp against 47.9pp for models, a ratio of 0.78. The reading is not that scaffolds matter more than models, but that the fitted ranges are of the same order.https://arxiv.org/abs/2609.17394v1확인 2026-09-28
   ↩
10. arXiv 2609.17394 에서 agentless 와 epam-ai-run 두 스캐폴드의 우열은 claude-3-5-sonnet 과 gpt-4o 사이에서 뒤집혔다agentless versus epam-ai-run reverses sign between claude-3-5-sonnet and gpt-4o. The interaction is −75.5 instances (−15.1pp).https://arxiv.org/abs/2609.17394v1확인 2026-09-28
    ↩
11. arXiv 2609.24974(Harness-Zero)에서 에이전트 하네스는 성능을 크게 높일 수 있지만 그 이득은 배포 때 하네스에 묶여 있다고 보고, 기본 모델의 매크로 평균 과제 성공률 23.3%가 전용 하네스를 붙이면 41.7%였고, 하네스를 떼고 배포한 Harness-Zero 는 44.3%였다고 적었다Agent harnesses, the external systems that mediate model-environment interaction, can substantially improve agent performance, but their gains remain tied to the harness at deployment.https://arxiv.org/abs/2609.24974v1확인 2026-09-28With the specialized harness removed at deployment, Harness-Zero improves the base model's macro-average task success from 23.3% to 44.3%, even exceeding the 41.7% it reaches with that harness still attached.https://arxiv.org/abs/2609.24974v1확인 2026-09-28
    ↩