Guest User

Using fixed point for comparing aspect ratios

a guest
Aug 29th, 2012
94
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
  1. w h raw fixed float error round_float(4) round_fixed(4) error2
  2. 352 288 80099 1.222213745 1.222222222 -8.47711E-06 1.2222 1.2222 0
  3. 5 4 81920 1.25 1.25 0 1.25 1.25 0
  4. 1280 1024 81920 1.25 1.25 0 1.25 1.25 0
  5. 2560 2048 81920 1.25 1.25 0 1.25 1.25 0
  6. 4 3 87381 1.333328247 1.333333333 -5.08626E-06 1.3333 1.3333 0
  7. 320 240 87381 1.333328247 1.333333333 -5.08626E-06 1.3333 1.3333 0
  8. 640 480 87381 1.333328247 1.333333333 -5.08626E-06 1.3333 1.3333 0
  9. 800 600 87381 1.333328247 1.333333333 -5.08626E-06 1.3333 1.3333 0
  10. 1024 768 87381 1.333328247 1.333333333 -5.08626E-06 1.3333 1.3333 0
  11. 1280 960 87381 1.333328247 1.333333333 -5.08626E-06 1.3333 1.3333 0
  12. 384 288 87381 1.333328247 1.333333333 -5.08626E-06 1.3333 1.3333 0
  13. 768 576 87381 1.333328247 1.333333333 -5.08626E-06 1.3333 1.3333 0
  14. 1152 864 87381 1.333328247 1.333333333 -5.08626E-06 1.3333 1.3333 0
  15. 1280 960 87381 1.333328247 1.333333333 -5.08626E-06 1.3333 1.3333 0
  16. 1400 1050 87381 1.333328247 1.333333333 -5.08626E-06 1.3333 1.3333 0
  17. 1600 1200 87381 1.333328247 1.333333333 -5.08626E-06 1.3333 1.3333 0
  18. 2048 1536 87381 1.333328247 1.333333333 -5.08626E-06 1.3333 1.3333 0
  19. 1280 854 98227 1.498825073 1.49882904 -3.96657E-06 1.4988 1.4988 0
  20. 3 2 98304 1.5 1.5 0 1.5 1.5 0
  21. 1440 960 98304 1.5 1.5 0 1.5 1.5 0
  22. 1152 768 98304 1.5 1.5 0 1.5 1.5 0
  23. 480 320 98304 1.5 1.5 0 1.5 1.5 0
  24. 320 200 104857 1.599990845 1.6 -9.15527E-06 1.6 1.6 0
  25. 640 400 104857 1.599990845 1.6 -9.15527E-06 1.6 1.6 0
  26. 8 5 104857 1.599990845 1.6 -9.15527E-06 1.6 1.6 0
  27. 1920 1200 104857 1.599990845 1.6 -9.15527E-06 1.6 1.6 0
  28. 1680 1050 104857 1.599990845 1.6 -9.15527E-06 1.6 1.6 0
  29. 1280 800 104857 1.599990845 1.6 -9.15527E-06 1.6 1.6 0
  30. 1440 900 104857 1.599990845 1.6 -9.15527E-06 1.6 1.6 0
  31. 5 3 109226 1.666656494 1.666666667 -1.01725E-05 1.6667 1.6667 0
  32. 1280 768 109226 1.666656494 1.666666667 -1.01725E-05 1.6667 1.6667 0
  33. 800 480 109226 1.666656494 1.666666667 -1.01725E-05 1.6667 1.6667 0
  34. 1920 1080 116508 1.777770996 1.777777778 -6.78168E-06 1.7778 1.7778 0
  35. 1280 720 116508 1.777770996 1.777777778 -6.78168E-06 1.7778 1.7778 0
  36. 16 9 116508 1.777770996 1.777777778 -6.78168E-06 1.7778 1.7778 0
  37. 1024 576 116508 1.777770996 1.777777778 -6.78168E-06 1.7778 1.7778 0
  38. 1366 768 116565 1.778640747 1.778645833 -5.08626E-06 1.7786 1.7786 0
  39. 854 480 116599 1.779159546 1.779166667 -7.12077E-06 1.7792 1.7792 0
  40. 17 9 123790 1.888885498 1.888888889 -3.39084E-06 1.8889 1.8889 0
  41. 2048 1080 124275 1.896286011 1.896296296 -1.02856E-05 1.8963 1.8963 0
RAW Paste Data