Not a member of Pastebin yet?
Sign Up,
it unlocks many cool features!
- Main collection: 20 tasks, three repeats, 60 trials per configuration; 95% confidence intervals.
- $$
- \\begin{array}{lllrrr}
- \\text{Model} & \\text{Harness} & \\text{Effort} & \\text{Trials} & \\text{Pass@1 (\\%)} & \\text{Pass@3 (\\%)} \\\\
- \\hline
- \\text{GPT-6 Astra} & \\text{codex} & \\text{low} & 60 & 60.0\\,\\pm\\,16.7 & 80.0^{+15.0}_{-20.0} \\\\
- \\text{GPT-6 Astra} & \\text{codex} & \\text{medium} & 60 & 51.7^{+18.3}_{-18.4} & 70.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-6 Astra} & \\text{codex} & \\text{high} & 60 & 50.0\\,\\pm\\,16.7 & 70.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-6 Astra} & \\text{codex} & \\text{xhigh} & 60 & 60.0\\,\\pm\\,18.3 & 70.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-6 Astra} & \\text{codex} & \\text{max} & 60 & 53.3^{+18.4}_{-20.0} & 65.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-6 Sol} & \\text{codex} & \\text{low} & 60 & 41.7^{+16.6}_{-16.7} & 65.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-6 Sol} & \\text{codex} & \\text{medium} & 60 & 46.7\\,\\pm\\,15.0 & 75.0^{+15.0}_{-20.0} \\\\
- \\text{GPT-6 Sol} & \\text{codex} & \\text{high} & 60 & 41.7^{+16.6}_{-16.7} & 65.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-6 Sol} & \\text{codex} & \\text{xhigh} & 60 & 38.3^{+16.7}_{-16.6} & 60.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-6 Sol} & \\text{codex} & \\text{max} & 60 & 36.7^{+18.3}_{-16.7} & 55.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-5.6 Sol} & \\text{codex} & \\text{low} & 60 & 36.7^{+16.6}_{-15.0} & 60.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-5.6 Sol} & \\text{codex} & \\text{medium} & 60 & 36.7^{+13.3}_{-11.7} & 75.0^{+15.0}_{-20.0} \\\\
- \\text{GPT-5.6 Sol} & \\text{codex} & \\text{high} & 60 & 41.7^{+18.3}_{-16.7} & 60.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-5.6 Sol} & \\text{codex} & \\text{xhigh} & 60 & 38.3^{+18.4}_{-16.6} & 55.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-5.6 Sol} & \\text{codex} & \\text{max} & 60 & 35.0^{+16.7}_{-15.0} & 60.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-5.6 Terra} & \\text{codex} & \\text{low} & 60 & 21.7^{+15.0}_{-13.4} & 35.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-5.6 Terra} & \\text{codex} & \\text{medium} & 60 & 28.3^{+13.4}_{-13.3} & 55.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-5.6 Terra} & \\text{codex} & \\text{high} & 60 & 21.7^{+13.3}_{-11.7} & 40.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-5.6 Terra} & \\text{codex} & \\text{xhigh} & 60 & 30.0\\,\\pm\\,13.3 & 55.0\\,\\pm\\,20.0 \\\\
- \\text{GPT-5.6 Terra} & \\text{codex} & \\text{max} & 60 & 43.3^{+16.7}_{-16.6} & 65.0\\,\\pm\\,20.0 \\\\
- \\text{Claude Opus 5.5} & \\text{claude-code} & \\text{low} & 60 & 38.3^{+16.7}_{-16.6} & 60.0\\,\\pm\\,20.0 \\\\
- \\text{Claude Opus 5.5} & \\text{claude-code} & \\text{medium} & 60 & 58.3\\,\\pm\\,15.0 & 90.0^{+10.0}_{-15.0} \\\\
- \\text{Claude Opus 5.5} & \\text{claude-code} & \\text{high} & 60 & 40.0\\,\\pm\\,16.7 & 65.0\\,\\pm\\,20.0 \\\\
- \\text{Claude Opus 5.5} & \\text{claude-code} & \\text{xhigh} & 60 & 43.3^{+16.7}_{-15.0} & 70.0\\,\\pm\\,20.0 \\\\
- \\text{Claude Opus 5.5} & \\text{claude-code} & \\text{max} & 60 & 41.7^{+18.3}_{-16.7} & 60.0\\,\\pm\\,20.0 \\\\
- \\text{Claude Fable 5.1} & \\text{claude-code} & \\text{low} & 60 & 36.7^{+13.3}_{-13.4} & 70.0\\,\\pm\\,20.0 \\\\
- \\text{Claude Fable 5.1} & \\text{claude-code} & \\text{medium} & 60 & 55.0\\,\\pm\\,13.3 & 90.0^{+10.0}_{-15.0} \\\\
- \\text{Claude Fable 5.1} & \\text{claude-code} & \\text{high} & 60 & 41.7^{+18.3}_{-16.7} & 65.0\\,\\pm\\,20.0 \\\\
- \\text{Claude Fable 5.1} & \\text{claude-code} & \\text{xhigh} & 60 & 43.3\\,\\pm\\,15.0 & 70.0\\,\\pm\\,20.0 \\\\
- \\text{Claude Fable 5.1} & \\text{claude-code} & \\text{max} & 60 & 40.0^{+20.0}_{-18.3} & 50.0\\,\\pm\\,20.0 \\\\
- \\text{Claude Opus 5} & \\text{claude-code} & \\text{low} & 60 & 31.7^{+13.3}_{-13.4} & 60.0\\,\\pm\\,20.0 \\\\
- \\text{Claude Opus 5} & \\text{claude-code} & \\text{medium} & 60 & 20.0^{+13.3}_{-11.7} & 40.0\\,\\pm\\,20.0 \\\\
- \\text{Claude Opus 5} & \\text{claude-code} & \\text{high} & 60 & 25.0^{+13.3}_{-11.7} & 55.0\\,\\pm\\,20.0 \\\\
- \\text{Claude Opus 5} & \\text{claude-code} & \\text{xhigh} & 60 & 16.7^{+11.6}_{-10.0} & 35.0\\,\\pm\\,20.0 \\\\
- \\text{Claude Opus 5} & \\text{claude-code} & \\text{max} & 60 & 26.7^{+11.6}_{-11.7} & 55.0\\,\\pm\\,20.0 \\\\
- \\text{Grok 4.7} & \\text{grok-build} & \\text{low} & 60 & 25.0\\,\\pm\\,15.0 & 40.0\\,\\pm\\,20.0 \\\\
- \\text{Grok 4.7} & \\text{grok-build} & \\text{medium} & 60 & 13.3^{+11.7}_{-10.0} & 25.0^{+20.0}_{-15.0} \\\\
- \\text{Grok 4.7} & \\text{grok-build} & \\text{high} & 60 & 11.7^{+11.6}_{-10.0} & 20.0^{+20.0}_{-15.0} \\\\
- \\text{Grok 4.7} & \\text{grok-build} & \\text{xhigh} & 60 & 23.3^{+16.7}_{-15.0} & 35.0\\,\\pm\\,20.0 \\\\
- \\text{Meta Spark 1.3} & \\text{muse-code} & \\text{minimal} & 60 & 5.0\\,\\pm\\,5.0 & 15.0\\,\\pm\\,15.0 \\\\
- \\text{Meta Spark 1.3} & \\text{muse-code} & \\text{low} & 60 & 11.7^{+11.6}_{-10.0} & 20.0^{+20.0}_{-15.0} \\\\
- \\text{Meta Spark 1.3} & \\text{muse-code} & \\text{medium} & 60 & 10.0^{+11.7}_{-8.3} & 20.0^{+20.0}_{-15.0} \\\\
- \\text{Meta Spark 1.3} & \\text{muse-code} & \\text{high} & 60 & 10.0^{+10.0}_{-8.3} & 20.0^{+20.0}_{-15.0} \\\\
- \\text{Meta Spark 1.3} & \\text{muse-code} & \\text{xhigh} & 60 & 13.3^{+13.4}_{-10.0} & 20.0^{+20.0}_{-15.0} \\\\
- \\text{Meta Spark 1.3} & \\text{muse-code} & \\text{max} & 60 & 25.0^{+16.7}_{-13.3} & 40.0\\,\\pm\\,20.0 \\\\
- \\text{GLM-5.3} & \\text{claude-code} & \\text{low} & 60 & 16.7^{+11.6}_{-10.0} & 35.0\\,\\pm\\,20.0 \\\\
- \\text{GLM-5.3} & \\text{claude-code} & \\text{medium} & 60 & 28.3^{+16.7}_{-15.0} & 45.0\\,\\pm\\,20.0 \\\\
- \\text{GLM-5.3} & \\text{claude-code} & \\text{high} & 60 & 25.0^{+15.0}_{-13.3} & 45.0\\,\\pm\\,20.0 \\\\
- \\text{GLM-5.3} & \\text{claude-code} & \\text{xhigh} & 60 & 25.0^{+15.0}_{-13.3} & 45.0\\,\\pm\\,20.0 \\\\
- \\text{GLM-5.3} & \\text{claude-code} & \\text{max} & 60 & 23.3^{+11.7}_{-11.6} & 50.0\\,\\pm\\,20.0
- \\end{array}
- $$
Advertisement
Add Comment
Please, Sign In to add comment