Guest User

Untitled

a guest
Nov 16th, 2026
15
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
text 5.65 KB | None | 0 0
  1. Main collection: 20 tasks, three repeats, 60 trials per configuration; 95% confidence intervals.
  2.  
  3. $$
  4. \\begin{array}{lllrrr}
  5. \\text{Model} & \\text{Harness} & \\text{Effort} & \\text{Trials} & \\text{Pass@1 (\\%)} & \\text{Pass@3 (\\%)} \\\\
  6. \\hline
  7. \\text{GPT-6 Astra} & \\text{codex} & \\text{low} & 60 & 60.0\\,\\pm\\,16.7 & 80.0^{+15.0}_{-20.0} \\\\
  8. \\text{GPT-6 Astra} & \\text{codex} & \\text{medium} & 60 & 51.7^{+18.3}_{-18.4} & 70.0\\,\\pm\\,20.0 \\\\
  9. \\text{GPT-6 Astra} & \\text{codex} & \\text{high} & 60 & 50.0\\,\\pm\\,16.7 & 70.0\\,\\pm\\,20.0 \\\\
  10. \\text{GPT-6 Astra} & \\text{codex} & \\text{xhigh} & 60 & 60.0\\,\\pm\\,18.3 & 70.0\\,\\pm\\,20.0 \\\\
  11. \\text{GPT-6 Astra} & \\text{codex} & \\text{max} & 60 & 53.3^{+18.4}_{-20.0} & 65.0\\,\\pm\\,20.0 \\\\
  12. \\text{GPT-6 Sol} & \\text{codex} & \\text{low} & 60 & 41.7^{+16.6}_{-16.7} & 65.0\\,\\pm\\,20.0 \\\\
  13. \\text{GPT-6 Sol} & \\text{codex} & \\text{medium} & 60 & 46.7\\,\\pm\\,15.0 & 75.0^{+15.0}_{-20.0} \\\\
  14. \\text{GPT-6 Sol} & \\text{codex} & \\text{high} & 60 & 41.7^{+16.6}_{-16.7} & 65.0\\,\\pm\\,20.0 \\\\
  15. \\text{GPT-6 Sol} & \\text{codex} & \\text{xhigh} & 60 & 38.3^{+16.7}_{-16.6} & 60.0\\,\\pm\\,20.0 \\\\
  16. \\text{GPT-6 Sol} & \\text{codex} & \\text{max} & 60 & 36.7^{+18.3}_{-16.7} & 55.0\\,\\pm\\,20.0 \\\\
  17. \\text{GPT-5.6 Sol} & \\text{codex} & \\text{low} & 60 & 36.7^{+16.6}_{-15.0} & 60.0\\,\\pm\\,20.0 \\\\
  18. \\text{GPT-5.6 Sol} & \\text{codex} & \\text{medium} & 60 & 36.7^{+13.3}_{-11.7} & 75.0^{+15.0}_{-20.0} \\\\
  19. \\text{GPT-5.6 Sol} & \\text{codex} & \\text{high} & 60 & 41.7^{+18.3}_{-16.7} & 60.0\\,\\pm\\,20.0 \\\\
  20. \\text{GPT-5.6 Sol} & \\text{codex} & \\text{xhigh} & 60 & 38.3^{+18.4}_{-16.6} & 55.0\\,\\pm\\,20.0 \\\\
  21. \\text{GPT-5.6 Sol} & \\text{codex} & \\text{max} & 60 & 35.0^{+16.7}_{-15.0} & 60.0\\,\\pm\\,20.0 \\\\
  22. \\text{GPT-5.6 Terra} & \\text{codex} & \\text{low} & 60 & 21.7^{+15.0}_{-13.4} & 35.0\\,\\pm\\,20.0 \\\\
  23. \\text{GPT-5.6 Terra} & \\text{codex} & \\text{medium} & 60 & 28.3^{+13.4}_{-13.3} & 55.0\\,\\pm\\,20.0 \\\\
  24. \\text{GPT-5.6 Terra} & \\text{codex} & \\text{high} & 60 & 21.7^{+13.3}_{-11.7} & 40.0\\,\\pm\\,20.0 \\\\
  25. \\text{GPT-5.6 Terra} & \\text{codex} & \\text{xhigh} & 60 & 30.0\\,\\pm\\,13.3 & 55.0\\,\\pm\\,20.0 \\\\
  26. \\text{GPT-5.6 Terra} & \\text{codex} & \\text{max} & 60 & 43.3^{+16.7}_{-16.6} & 65.0\\,\\pm\\,20.0 \\\\
  27. \\text{Claude Opus 5.5} & \\text{claude-code} & \\text{low} & 60 & 38.3^{+16.7}_{-16.6} & 60.0\\,\\pm\\,20.0 \\\\
  28. \\text{Claude Opus 5.5} & \\text{claude-code} & \\text{medium} & 60 & 58.3\\,\\pm\\,15.0 & 90.0^{+10.0}_{-15.0} \\\\
  29. \\text{Claude Opus 5.5} & \\text{claude-code} & \\text{high} & 60 & 40.0\\,\\pm\\,16.7 & 65.0\\,\\pm\\,20.0 \\\\
  30. \\text{Claude Opus 5.5} & \\text{claude-code} & \\text{xhigh} & 60 & 43.3^{+16.7}_{-15.0} & 70.0\\,\\pm\\,20.0 \\\\
  31. \\text{Claude Opus 5.5} & \\text{claude-code} & \\text{max} & 60 & 41.7^{+18.3}_{-16.7} & 60.0\\,\\pm\\,20.0 \\\\
  32. \\text{Claude Fable 5.1} & \\text{claude-code} & \\text{low} & 60 & 36.7^{+13.3}_{-13.4} & 70.0\\,\\pm\\,20.0 \\\\
  33. \\text{Claude Fable 5.1} & \\text{claude-code} & \\text{medium} & 60 & 55.0\\,\\pm\\,13.3 & 90.0^{+10.0}_{-15.0} \\\\
  34. \\text{Claude Fable 5.1} & \\text{claude-code} & \\text{high} & 60 & 41.7^{+18.3}_{-16.7} & 65.0\\,\\pm\\,20.0 \\\\
  35. \\text{Claude Fable 5.1} & \\text{claude-code} & \\text{xhigh} & 60 & 43.3\\,\\pm\\,15.0 & 70.0\\,\\pm\\,20.0 \\\\
  36. \\text{Claude Fable 5.1} & \\text{claude-code} & \\text{max} & 60 & 40.0^{+20.0}_{-18.3} & 50.0\\,\\pm\\,20.0 \\\\
  37. \\text{Claude Opus 5} & \\text{claude-code} & \\text{low} & 60 & 31.7^{+13.3}_{-13.4} & 60.0\\,\\pm\\,20.0 \\\\
  38. \\text{Claude Opus 5} & \\text{claude-code} & \\text{medium} & 60 & 20.0^{+13.3}_{-11.7} & 40.0\\,\\pm\\,20.0 \\\\
  39. \\text{Claude Opus 5} & \\text{claude-code} & \\text{high} & 60 & 25.0^{+13.3}_{-11.7} & 55.0\\,\\pm\\,20.0 \\\\
  40. \\text{Claude Opus 5} & \\text{claude-code} & \\text{xhigh} & 60 & 16.7^{+11.6}_{-10.0} & 35.0\\,\\pm\\,20.0 \\\\
  41. \\text{Claude Opus 5} & \\text{claude-code} & \\text{max} & 60 & 26.7^{+11.6}_{-11.7} & 55.0\\,\\pm\\,20.0 \\\\
  42. \\text{Grok 4.7} & \\text{grok-build} & \\text{low} & 60 & 25.0\\,\\pm\\,15.0 & 40.0\\,\\pm\\,20.0 \\\\
  43. \\text{Grok 4.7} & \\text{grok-build} & \\text{medium} & 60 & 13.3^{+11.7}_{-10.0} & 25.0^{+20.0}_{-15.0} \\\\
  44. \\text{Grok 4.7} & \\text{grok-build} & \\text{high} & 60 & 11.7^{+11.6}_{-10.0} & 20.0^{+20.0}_{-15.0} \\\\
  45. \\text{Grok 4.7} & \\text{grok-build} & \\text{xhigh} & 60 & 23.3^{+16.7}_{-15.0} & 35.0\\,\\pm\\,20.0 \\\\
  46. \\text{Meta Spark 1.3} & \\text{muse-code} & \\text{minimal} & 60 & 5.0\\,\\pm\\,5.0 & 15.0\\,\\pm\\,15.0 \\\\
  47. \\text{Meta Spark 1.3} & \\text{muse-code} & \\text{low} & 60 & 11.7^{+11.6}_{-10.0} & 20.0^{+20.0}_{-15.0} \\\\
  48. \\text{Meta Spark 1.3} & \\text{muse-code} & \\text{medium} & 60 & 10.0^{+11.7}_{-8.3} & 20.0^{+20.0}_{-15.0} \\\\
  49. \\text{Meta Spark 1.3} & \\text{muse-code} & \\text{high} & 60 & 10.0^{+10.0}_{-8.3} & 20.0^{+20.0}_{-15.0} \\\\
  50. \\text{Meta Spark 1.3} & \\text{muse-code} & \\text{xhigh} & 60 & 13.3^{+13.4}_{-10.0} & 20.0^{+20.0}_{-15.0} \\\\
  51. \\text{Meta Spark 1.3} & \\text{muse-code} & \\text{max} & 60 & 25.0^{+16.7}_{-13.3} & 40.0\\,\\pm\\,20.0 \\\\
  52. \\text{GLM-5.3} & \\text{claude-code} & \\text{low} & 60 & 16.7^{+11.6}_{-10.0} & 35.0\\,\\pm\\,20.0 \\\\
  53. \\text{GLM-5.3} & \\text{claude-code} & \\text{medium} & 60 & 28.3^{+16.7}_{-15.0} & 45.0\\,\\pm\\,20.0 \\\\
  54. \\text{GLM-5.3} & \\text{claude-code} & \\text{high} & 60 & 25.0^{+15.0}_{-13.3} & 45.0\\,\\pm\\,20.0 \\\\
  55. \\text{GLM-5.3} & \\text{claude-code} & \\text{xhigh} & 60 & 25.0^{+15.0}_{-13.3} & 45.0\\,\\pm\\,20.0 \\\\
  56. \\text{GLM-5.3} & \\text{claude-code} & \\text{max} & 60 & 23.3^{+11.7}_{-11.6} & 50.0\\,\\pm\\,20.0
  57. \\end{array}
  58. $$
Advertisement
Add Comment
Please, Sign In to add comment