API tools faq
paste
Advertisement
dlemire

bitpacking.cpp

dlemire
Mar 6th, 2012
7,173
0
Never
Add comment
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
C++ 171.31 KB | None | 0 0
raw download clone embed print report
  1.  
  2. /**
  3.  * bitpacking.cpp
  4.  * Daniel Lemire, http://lemire.me/blog/
  5.  *
  6.  * Question: if you pack and unpack bits, is it much faster if you
  7.  * pack into 8 or 16 bits than, say, 31 or 7 bits?
  8.  *
  9.  *
  10.  * Hardware: 2011 macbook air with Intel Core i7
  11.  * compiler GNU GCC 4.6.2 (code is optimized for GCC 4.6.2, please
  12.  * don't use older compilers as there are pieces of code that
  13.  * would need to be written more carefully for stupider compilers.)
  14.  *
  15.  * g++-4 -Ofast -o bitpacking bitpacking.cpp
  16.  *
  17.  * bits packtime    unpacktime
  18.  * 1    219         211
  19.  * 2    215         216
  20.  * 3    210         205
  21.  * 4    198         194
  22.  * 5    222         214
  23.  * 6    229         218
  24.  * 7    242         222
  25.  * 8    167         202
  26.  * 9    252         240
  27.  * 10   243         225
  28.  * 11   255         235
  29.  * 12   246         231
  30.  * 13   276         244
  31.  * 14   279         245
  32.  * 15   304         255
  33.  * 16   183         223
  34.  * 17   292         252
  35.  * 18   297         256
  36.  * 19   316         266
  37.  * 20   300         256
  38.  * 21   329         280
  39.  * 22   321         274
  40.  * 23   332         278
  41.  * 24   299         257
  42.  * 25   341         289
  43.  * 26   340         298
  44.  * 27   352         295
  45.  * 28   336         284
  46.  * 29   367         311
  47.  * 30   357         299
  48.  * 31   384         319
  49.  * 32   256         261
  50.  *
  51.  */
  52. #include <iostream>
  53. #include <sys/stat.h>
  54. #include <sys/time.h>
  55. #include <sys/types.h>
  56. #include <vector>
  57. #include <cstdlib>
  58. #include <stdio.h>
  59. #include <string.h>
  60.  
  61. using namespace std;
  62.  
  63.  
  64. vector<uint> generateArray(uint N) {
  65.     vector<uint> ans(N);
  66.     for(uint k = 0; k<N;++k)
  67.       ans[k] = rand();
  68.     return ans;
  69. }
  70.  
  71.  
  72. class ZTimer
  73. {
  74. public:
  75.     struct timeval t1, t2;
  76. public:
  77.     ZTimer() :  t1(), t2() { gettimeofday(&t1,0); t2 = t1; }
  78.     void reset() {gettimeofday(&t1,0); t2 = t1;}
  79.     int elapsed() { return ((t2.tv_sec - t1.tv_sec) * 1000) + ((t2.tv_usec - t1.
  80. tv_usec) / 1000); }
  81.     int split() { gettimeofday(&t2,0); return elapsed(); }
  82. };
  83.  
  84.  
  85. void __fastunpack1(const uint *  __restrict__ in, uint *  __restrict__  out) {
  86.     *out = ( (*in) >>  0  )   & 1 ;
  87.     out++;
  88.     *out = ( (*in) >>  1  )   & 1 ;
  89.     out++;
  90.     *out = ( (*in) >>  2  )   & 1 ;
  91.     out++;
  92.     *out = ( (*in) >>  3  )   & 1 ;
  93.     out++;
  94.     *out = ( (*in) >>  4  )   & 1 ;
  95.     out++;
  96.     *out = ( (*in) >>  5  )   & 1 ;
  97.     out++;
  98.     *out = ( (*in) >>  6  )   & 1 ;
  99.     out++;
  100.     *out = ( (*in) >>  7  )   & 1 ;
  101.     out++;
  102.     *out = ( (*in) >>  8  )   & 1 ;
  103.     out++;
  104.     *out = ( (*in) >>  9  )   & 1 ;
  105.     out++;
  106.     *out = ( (*in) >>  10  )   & 1 ;
  107.     out++;
  108.     *out = ( (*in) >>  11  )   & 1 ;
  109.     out++;
  110.     *out = ( (*in) >>  12  )   & 1 ;
  111.     out++;
  112.     *out = ( (*in) >>  13  )   & 1 ;
  113.     out++;
  114.     *out = ( (*in) >>  14  )   & 1 ;
  115.     out++;
  116.     *out = ( (*in) >>  15  )   & 1 ;
  117.     out++;
  118.     *out = ( (*in) >>  16  )   & 1 ;
  119.     out++;
  120.     *out = ( (*in) >>  17  )   & 1 ;
  121.     out++;
  122.     *out = ( (*in) >>  18  )   & 1 ;
  123.     out++;
  124.     *out = ( (*in) >>  19  )   & 1 ;
  125.     out++;
  126.     *out = ( (*in) >>  20  )   & 1 ;
  127.     out++;
  128.     *out = ( (*in) >>  21  )   & 1 ;
  129.     out++;
  130.     *out = ( (*in) >>  22  )   & 1 ;
  131.     out++;
  132.     *out = ( (*in) >>  23  )   & 1 ;
  133.     out++;
  134.     *out = ( (*in) >>  24  )   & 1 ;
  135.     out++;
  136.     *out = ( (*in) >>  25  )   & 1 ;
  137.     out++;
  138.     *out = ( (*in) >>  26  )   & 1 ;
  139.     out++;
  140.     *out = ( (*in) >>  27  )   & 1 ;
  141.     out++;
  142.     *out = ( (*in) >>  28  )   & 1 ;
  143.     out++;
  144.     *out = ( (*in) >>  29  )   & 1 ;
  145.     out++;
  146.     *out = ( (*in) >>  30  )   & 1 ;
  147.     out++;
  148.     *out = ( (*in) >>  31  )   & 1 ;
  149. }
  150.  
  151.  
  152.  
  153.  
  154. void __fastunpack2(const uint *  __restrict__ in, uint *  __restrict__  out) {
  155.     *out = ( (*in) >>  0  )   % (1U << 2 ) ;
  156.     out++;
  157.     *out = ( (*in) >>  2  )   % (1U << 2 ) ;
  158.     out++;
  159.     *out = ( (*in) >>  4  )   % (1U << 2 ) ;
  160.     out++;
  161.     *out = ( (*in) >>  6  )   % (1U << 2 ) ;
  162.     out++;
  163.     *out = ( (*in) >>  8  )   % (1U << 2 ) ;
  164.     out++;
  165.     *out = ( (*in) >>  10  )   % (1U << 2 ) ;
  166.     out++;
  167.     *out = ( (*in) >>  12  )   % (1U << 2 ) ;
  168.     out++;
  169.     *out = ( (*in) >>  14  )   % (1U << 2 ) ;
  170.     out++;
  171.     *out = ( (*in) >>  16  )   % (1U << 2 ) ;
  172.     out++;
  173.     *out = ( (*in) >>  18  )   % (1U << 2 ) ;
  174.     out++;
  175.     *out = ( (*in) >>  20  )   % (1U << 2 ) ;
  176.     out++;
  177.     *out = ( (*in) >>  22  )   % (1U << 2 ) ;
  178.     out++;
  179.     *out = ( (*in) >>  24  )   % (1U << 2 ) ;
  180.     out++;
  181.     *out = ( (*in) >>  26  )   % (1U << 2 ) ;
  182.     out++;
  183.     *out = ( (*in) >>  28  )   % (1U << 2 ) ;
  184.     out++;
  185.     *out = ( (*in) >>  30  )   % (1U << 2 ) ;
  186.     ++in;
  187.     out++;
  188.     *out = ( (*in) >>  0  )   % (1U << 2 ) ;
  189.     out++;
  190.     *out = ( (*in) >>  2  )   % (1U << 2 ) ;
  191.     out++;
  192.     *out = ( (*in) >>  4  )   % (1U << 2 ) ;
  193.     out++;
  194.     *out = ( (*in) >>  6  )   % (1U << 2 ) ;
  195.     out++;
  196.     *out = ( (*in) >>  8  )   % (1U << 2 ) ;
  197.     out++;
  198.     *out = ( (*in) >>  10  )   % (1U << 2 ) ;
  199.     out++;
  200.     *out = ( (*in) >>  12  )   % (1U << 2 ) ;
  201.     out++;
  202.     *out = ( (*in) >>  14  )   % (1U << 2 ) ;
  203.     out++;
  204.     *out = ( (*in) >>  16  )   % (1U << 2 ) ;
  205.     out++;
  206.     *out = ( (*in) >>  18  )   % (1U << 2 ) ;
  207.     out++;
  208.     *out = ( (*in) >>  20  )   % (1U << 2 ) ;
  209.     out++;
  210.     *out = ( (*in) >>  22  )   % (1U << 2 ) ;
  211.     out++;
  212.     *out = ( (*in) >>  24  )   % (1U << 2 ) ;
  213.     out++;
  214.     *out = ( (*in) >>  26  )   % (1U << 2 ) ;
  215.     out++;
  216.     *out = ( (*in) >>  28  )   % (1U << 2 ) ;
  217.     out++;
  218.     *out = ( (*in) >>  30  )   % (1U << 2 ) ;
  219. }
  220.  
  221.  
  222.  
  223.  
  224. void __fastunpack3(const uint *  __restrict__ in, uint *  __restrict__  out) {
  225.     *out = ( (*in) >>  0  )   % (1U << 3 ) ;
  226.     out++;
  227.     *out = ( (*in) >>  3  )   % (1U << 3 ) ;
  228.     out++;
  229.     *out = ( (*in) >>  6  )   % (1U << 3 ) ;
  230.     out++;
  231.     *out = ( (*in) >>  9  )   % (1U << 3 ) ;
  232.     out++;
  233.     *out = ( (*in) >>  12  )   % (1U << 3 ) ;
  234.     out++;
  235.     *out = ( (*in) >>  15  )   % (1U << 3 ) ;
  236.     out++;
  237.     *out = ( (*in) >>  18  )   % (1U << 3 ) ;
  238.     out++;
  239.     *out = ( (*in) >>  21  )   % (1U << 3 ) ;
  240.     out++;
  241.     *out = ( (*in) >>  24  )   % (1U << 3 ) ;
  242.     out++;
  243.     *out = ( (*in) >>  27  )   % (1U << 3 ) ;
  244.     out++;
  245.     *out = ( (*in) >>  30  )   % (1U << 3 ) ;
  246.     ++in;
  247.     *out |= ((*in) % (1U<< 1 ))<<( 3 - 1 );
  248.     out++;
  249.     *out = ( (*in) >>  1  )   % (1U << 3 ) ;
  250.     out++;
  251.     *out = ( (*in) >>  4  )   % (1U << 3 ) ;
  252.     out++;
  253.     *out = ( (*in) >>  7  )   % (1U << 3 ) ;
  254.     out++;
  255.     *out = ( (*in) >>  10  )   % (1U << 3 ) ;
  256.     out++;
  257.     *out = ( (*in) >>  13  )   % (1U << 3 ) ;
  258.     out++;
  259.     *out = ( (*in) >>  16  )   % (1U << 3 ) ;
  260.     out++;
  261.     *out = ( (*in) >>  19  )   % (1U << 3 ) ;
  262.     out++;
  263.     *out = ( (*in) >>  22  )   % (1U << 3 ) ;
  264.     out++;
  265.     *out = ( (*in) >>  25  )   % (1U << 3 ) ;
  266.     out++;
  267.     *out = ( (*in) >>  28  )   % (1U << 3 ) ;
  268.     out++;
  269.     *out = ( (*in) >>  31  )   % (1U << 3 ) ;
  270.     ++in;
  271.     *out |= ((*in) % (1U<< 2 ))<<( 3 - 2 );
  272.     out++;
  273.     *out = ( (*in) >>  2  )   % (1U << 3 ) ;
  274.     out++;
  275.     *out = ( (*in) >>  5  )   % (1U << 3 ) ;
  276.     out++;
  277.     *out = ( (*in) >>  8  )   % (1U << 3 ) ;
  278.     out++;
  279.     *out = ( (*in) >>  11  )   % (1U << 3 ) ;
  280.     out++;
  281.     *out = ( (*in) >>  14  )   % (1U << 3 ) ;
  282.     out++;
  283.     *out = ( (*in) >>  17  )   % (1U << 3 ) ;
  284.     out++;
  285.     *out = ( (*in) >>  20  )   % (1U << 3 ) ;
  286.     out++;
  287.     *out = ( (*in) >>  23  )   % (1U << 3 ) ;
  288.     out++;
  289.     *out = ( (*in) >>  26  )   % (1U << 3 ) ;
  290.     out++;
  291.     *out = ( (*in) >>  29  )   % (1U << 3 ) ;
  292. }
  293.  
  294.  
  295.  
  296.  
  297. void __fastunpack5(const uint *  __restrict__ in, uint *  __restrict__  out) {
  298.     *out = ( (*in) >>  0  )   % (1U << 5 ) ;
  299.     out++;
  300.     *out = ( (*in) >>  5  )   % (1U << 5 ) ;
  301.     out++;
  302.     *out = ( (*in) >>  10  )   % (1U << 5 ) ;
  303.     out++;
  304.     *out = ( (*in) >>  15  )   % (1U << 5 ) ;
  305.     out++;
  306.     *out = ( (*in) >>  20  )   % (1U << 5 ) ;
  307.     out++;
  308.     *out = ( (*in) >>  25  )   % (1U << 5 ) ;
  309.     out++;
  310.     *out = ( (*in) >>  30  )   % (1U << 5 ) ;
  311.     ++in;
  312.     *out |= ((*in) % (1U<< 3 ))<<( 5 - 3 );
  313.     out++;
  314.     *out = ( (*in) >>  3  )   % (1U << 5 ) ;
  315.     out++;
  316.     *out = ( (*in) >>  8  )   % (1U << 5 ) ;
  317.     out++;
  318.     *out = ( (*in) >>  13  )   % (1U << 5 ) ;
  319.     out++;
  320.     *out = ( (*in) >>  18  )   % (1U << 5 ) ;
  321.     out++;
  322.     *out = ( (*in) >>  23  )   % (1U << 5 ) ;
  323.     out++;
  324.     *out = ( (*in) >>  28  )   % (1U << 5 ) ;
  325.     ++in;
  326.     *out |= ((*in) % (1U<< 1 ))<<( 5 - 1 );
  327.     out++;
  328.     *out = ( (*in) >>  1  )   % (1U << 5 ) ;
  329.     out++;
  330.     *out = ( (*in) >>  6  )   % (1U << 5 ) ;
  331.     out++;
  332.     *out = ( (*in) >>  11  )   % (1U << 5 ) ;
  333.     out++;
  334.     *out = ( (*in) >>  16  )   % (1U << 5 ) ;
  335.     out++;
  336.     *out = ( (*in) >>  21  )   % (1U << 5 ) ;
  337.     out++;
  338.     *out = ( (*in) >>  26  )   % (1U << 5 ) ;
  339.     out++;
  340.     *out = ( (*in) >>  31  )   % (1U << 5 ) ;
  341.     ++in;
  342.     *out |= ((*in) % (1U<< 4 ))<<( 5 - 4 );
  343.     out++;
  344.     *out = ( (*in) >>  4  )   % (1U << 5 ) ;
  345.     out++;
  346.     *out = ( (*in) >>  9  )   % (1U << 5 ) ;
  347.     out++;
  348.     *out = ( (*in) >>  14  )   % (1U << 5 ) ;
  349.     out++;
  350.     *out = ( (*in) >>  19  )   % (1U << 5 ) ;
  351.     out++;
  352.     *out = ( (*in) >>  24  )   % (1U << 5 ) ;
  353.     out++;
  354.     *out = ( (*in) >>  29  )   % (1U << 5 ) ;
  355.     ++in;
  356.     *out |= ((*in) % (1U<< 2 ))<<( 5 - 2 );
  357.     out++;
  358.     *out = ( (*in) >>  2  )   % (1U << 5 ) ;
  359.     out++;
  360.     *out = ( (*in) >>  7  )   % (1U << 5 ) ;
  361.     out++;
  362.     *out = ( (*in) >>  12  )   % (1U << 5 ) ;
  363.     out++;
  364.     *out = ( (*in) >>  17  )   % (1U << 5 ) ;
  365.     out++;
  366.     *out = ( (*in) >>  22  )   % (1U << 5 ) ;
  367.     out++;
  368.     *out = ( (*in) >>  27  )   % (1U << 5 ) ;
  369. }
  370.  
  371.  
  372.  
  373.  
  374. void __fastunpack6(const uint *  __restrict__ in, uint *  __restrict__  out) {
  375.     *out = ( (*in) >>  0  )   % (1U << 6 ) ;
  376.     out++;
  377.     *out = ( (*in) >>  6  )   % (1U << 6 ) ;
  378.     out++;
  379.     *out = ( (*in) >>  12  )   % (1U << 6 ) ;
  380.     out++;
  381.     *out = ( (*in) >>  18  )   % (1U << 6 ) ;
  382.     out++;
  383.     *out = ( (*in) >>  24  )   % (1U << 6 ) ;
  384.     out++;
  385.     *out = ( (*in) >>  30  )   % (1U << 6 ) ;
  386.     ++in;
  387.     *out |= ((*in) % (1U<< 4 ))<<( 6 - 4 );
  388.     out++;
  389.     *out = ( (*in) >>  4  )   % (1U << 6 ) ;
  390.     out++;
  391.     *out = ( (*in) >>  10  )   % (1U << 6 ) ;
  392.     out++;
  393.     *out = ( (*in) >>  16  )   % (1U << 6 ) ;
  394.     out++;
  395.     *out = ( (*in) >>  22  )   % (1U << 6 ) ;
  396.     out++;
  397.     *out = ( (*in) >>  28  )   % (1U << 6 ) ;
  398.     ++in;
  399.     *out |= ((*in) % (1U<< 2 ))<<( 6 - 2 );
  400.     out++;
  401.     *out = ( (*in) >>  2  )   % (1U << 6 ) ;
  402.     out++;
  403.     *out = ( (*in) >>  8  )   % (1U << 6 ) ;
  404.     out++;
  405.     *out = ( (*in) >>  14  )   % (1U << 6 ) ;
  406.     out++;
  407.     *out = ( (*in) >>  20  )   % (1U << 6 ) ;
  408.     out++;
  409.     *out = ( (*in) >>  26  )   % (1U << 6 ) ;
  410.     ++in;
  411.     out++;
  412.     *out = ( (*in) >>  0  )   % (1U << 6 ) ;
  413.     out++;
  414.     *out = ( (*in) >>  6  )   % (1U << 6 ) ;
  415.     out++;
  416.     *out = ( (*in) >>  12  )   % (1U << 6 ) ;
  417.     out++;
  418.     *out = ( (*in) >>  18  )   % (1U << 6 ) ;
  419.     out++;
  420.     *out = ( (*in) >>  24  )   % (1U << 6 ) ;
  421.     out++;
  422.     *out = ( (*in) >>  30  )   % (1U << 6 ) ;
  423.     ++in;
  424.     *out |= ((*in) % (1U<< 4 ))<<( 6 - 4 );
  425.     out++;
  426.     *out = ( (*in) >>  4  )   % (1U << 6 ) ;
  427.     out++;
  428.     *out = ( (*in) >>  10  )   % (1U << 6 ) ;
  429.     out++;
  430.     *out = ( (*in) >>  16  )   % (1U << 6 ) ;
  431.     out++;
  432.     *out = ( (*in) >>  22  )   % (1U << 6 ) ;
  433.     out++;
  434.     *out = ( (*in) >>  28  )   % (1U << 6 ) ;
  435.     ++in;
  436.     *out |= ((*in) % (1U<< 2 ))<<( 6 - 2 );
  437.     out++;
  438.     *out = ( (*in) >>  2  )   % (1U << 6 ) ;
  439.     out++;
  440.     *out = ( (*in) >>  8  )   % (1U << 6 ) ;
  441.     out++;
  442.     *out = ( (*in) >>  14  )   % (1U << 6 ) ;
  443.     out++;
  444.     *out = ( (*in) >>  20  )   % (1U << 6 ) ;
  445.     out++;
  446.     *out = ( (*in) >>  26  )   % (1U << 6 ) ;
  447. }
  448.  
  449.  
  450.  
  451.  
  452. void __fastunpack7(const uint *  __restrict__ in, uint *  __restrict__  out) {
  453.     *out = ( (*in) >>  0  )   % (1U << 7 ) ;
  454.     out++;
  455.     *out = ( (*in) >>  7  )   % (1U << 7 ) ;
  456.     out++;
  457.     *out = ( (*in) >>  14  )   % (1U << 7 ) ;
  458.     out++;
  459.     *out = ( (*in) >>  21  )   % (1U << 7 ) ;
  460.     out++;
  461.     *out = ( (*in) >>  28  )   % (1U << 7 ) ;
  462.     ++in;
  463.     *out |= ((*in) % (1U<< 3 ))<<( 7 - 3 );
  464.     out++;
  465.     *out = ( (*in) >>  3  )   % (1U << 7 ) ;
  466.     out++;
  467.     *out = ( (*in) >>  10  )   % (1U << 7 ) ;
  468.     out++;
  469.     *out = ( (*in) >>  17  )   % (1U << 7 ) ;
  470.     out++;
  471.     *out = ( (*in) >>  24  )   % (1U << 7 ) ;
  472.     out++;
  473.     *out = ( (*in) >>  31  )   % (1U << 7 ) ;
  474.     ++in;
  475.     *out |= ((*in) % (1U<< 6 ))<<( 7 - 6 );
  476.     out++;
  477.     *out = ( (*in) >>  6  )   % (1U << 7 ) ;
  478.     out++;
  479.     *out = ( (*in) >>  13  )   % (1U << 7 ) ;
  480.     out++;
  481.     *out = ( (*in) >>  20  )   % (1U << 7 ) ;
  482.     out++;
  483.     *out = ( (*in) >>  27  )   % (1U << 7 ) ;
  484.     ++in;
  485.     *out |= ((*in) % (1U<< 2 ))<<( 7 - 2 );
  486.     out++;
  487.     *out = ( (*in) >>  2  )   % (1U << 7 ) ;
  488.     out++;
  489.     *out = ( (*in) >>  9  )   % (1U << 7 ) ;
  490.     out++;
  491.     *out = ( (*in) >>  16  )   % (1U << 7 ) ;
  492.     out++;
  493.     *out = ( (*in) >>  23  )   % (1U << 7 ) ;
  494.     out++;
  495.     *out = ( (*in) >>  30  )   % (1U << 7 ) ;
  496.     ++in;
  497.     *out |= ((*in) % (1U<< 5 ))<<( 7 - 5 );
  498.     out++;
  499.     *out = ( (*in) >>  5  )   % (1U << 7 ) ;
  500.     out++;
  501.     *out = ( (*in) >>  12  )   % (1U << 7 ) ;
  502.     out++;
  503.     *out = ( (*in) >>  19  )   % (1U << 7 ) ;
  504.     out++;
  505.     *out = ( (*in) >>  26  )   % (1U << 7 ) ;
  506.     ++in;
  507.     *out |= ((*in) % (1U<< 1 ))<<( 7 - 1 );
  508.     out++;
  509.     *out = ( (*in) >>  1  )   % (1U << 7 ) ;
  510.     out++;
  511.     *out = ( (*in) >>  8  )   % (1U << 7 ) ;
  512.     out++;
  513.     *out = ( (*in) >>  15  )   % (1U << 7 ) ;
  514.     out++;
  515.     *out = ( (*in) >>  22  )   % (1U << 7 ) ;
  516.     out++;
  517.     *out = ( (*in) >>  29  )   % (1U << 7 ) ;
  518.     ++in;
  519.     *out |= ((*in) % (1U<< 4 ))<<( 7 - 4 );
  520.     out++;
  521.     *out = ( (*in) >>  4  )   % (1U << 7 ) ;
  522.     out++;
  523.     *out = ( (*in) >>  11  )   % (1U << 7 ) ;
  524.     out++;
  525.     *out = ( (*in) >>  18  )   % (1U << 7 ) ;
  526.     out++;
  527.     *out = ( (*in) >>  25  )   % (1U << 7 ) ;
  528. }
  529.  
  530.  
  531.  
  532.  
  533. void __fastunpack9(const uint *  __restrict__ in, uint *  __restrict__  out) {
  534.     *out = ( (*in) >>  0  )   % (1U << 9 ) ;
  535.     out++;
  536.     *out = ( (*in) >>  9  )   % (1U << 9 ) ;
  537.     out++;
  538.     *out = ( (*in) >>  18  )   % (1U << 9 ) ;
  539.     out++;
  540.     *out = ( (*in) >>  27  )   % (1U << 9 ) ;
  541.     ++in;
  542.     *out |= ((*in) % (1U<< 4 ))<<( 9 - 4 );
  543.     out++;
  544.     *out = ( (*in) >>  4  )   % (1U << 9 ) ;
  545.     out++;
  546.     *out = ( (*in) >>  13  )   % (1U << 9 ) ;
  547.     out++;
  548.     *out = ( (*in) >>  22  )   % (1U << 9 ) ;
  549.     out++;
  550.     *out = ( (*in) >>  31  )   % (1U << 9 ) ;
  551.     ++in;
  552.     *out |= ((*in) % (1U<< 8 ))<<( 9 - 8 );
  553.     out++;
  554.     *out = ( (*in) >>  8  )   % (1U << 9 ) ;
  555.     out++;
  556.     *out = ( (*in) >>  17  )   % (1U << 9 ) ;
  557.     out++;
  558.     *out = ( (*in) >>  26  )   % (1U << 9 ) ;
  559.     ++in;
  560.     *out |= ((*in) % (1U<< 3 ))<<( 9 - 3 );
  561.     out++;
  562.     *out = ( (*in) >>  3  )   % (1U << 9 ) ;
  563.     out++;
  564.     *out = ( (*in) >>  12  )   % (1U << 9 ) ;
  565.     out++;
  566.     *out = ( (*in) >>  21  )   % (1U << 9 ) ;
  567.     out++;
  568.     *out = ( (*in) >>  30  )   % (1U << 9 ) ;
  569.     ++in;
  570.     *out |= ((*in) % (1U<< 7 ))<<( 9 - 7 );
  571.     out++;
  572.     *out = ( (*in) >>  7  )   % (1U << 9 ) ;
  573.     out++;
  574.     *out = ( (*in) >>  16  )   % (1U << 9 ) ;
  575.     out++;
  576.     *out = ( (*in) >>  25  )   % (1U << 9 ) ;
  577.     ++in;
  578.     *out |= ((*in) % (1U<< 2 ))<<( 9 - 2 );
  579.     out++;
  580.     *out = ( (*in) >>  2  )   % (1U << 9 ) ;
  581.     out++;
  582.     *out = ( (*in) >>  11  )   % (1U << 9 ) ;
  583.     out++;
  584.     *out = ( (*in) >>  20  )   % (1U << 9 ) ;
  585.     out++;
  586.     *out = ( (*in) >>  29  )   % (1U << 9 ) ;
  587.     ++in;
  588.     *out |= ((*in) % (1U<< 6 ))<<( 9 - 6 );
  589.     out++;
  590.     *out = ( (*in) >>  6  )   % (1U << 9 ) ;
  591.     out++;
  592.     *out = ( (*in) >>  15  )   % (1U << 9 ) ;
  593.     out++;
  594.     *out = ( (*in) >>  24  )   % (1U << 9 ) ;
  595.     ++in;
  596.     *out |= ((*in) % (1U<< 1 ))<<( 9 - 1 );
  597.     out++;
  598.     *out = ( (*in) >>  1  )   % (1U << 9 ) ;
  599.     out++;
  600.     *out = ( (*in) >>  10  )   % (1U << 9 ) ;
  601.     out++;
  602.     *out = ( (*in) >>  19  )   % (1U << 9 ) ;
  603.     out++;
  604.     *out = ( (*in) >>  28  )   % (1U << 9 ) ;
  605.     ++in;
  606.     *out |= ((*in) % (1U<< 5 ))<<( 9 - 5 );
  607.     out++;
  608.     *out = ( (*in) >>  5  )   % (1U << 9 ) ;
  609.     out++;
  610.     *out = ( (*in) >>  14  )   % (1U << 9 ) ;
  611.     out++;
  612.     *out = ( (*in) >>  23  )   % (1U << 9 ) ;
  613. }
  614.  
  615.  
  616.  
  617.  
  618. void __fastunpack10(const uint *  __restrict__ in, uint *  __restrict__  out) {
  619.     *out = ( (*in) >>  0  )   % (1U << 10 ) ;
  620.     out++;
  621.     *out = ( (*in) >>  10  )   % (1U << 10 ) ;
  622.     out++;
  623.     *out = ( (*in) >>  20  )   % (1U << 10 ) ;
  624.     out++;
  625.     *out = ( (*in) >>  30  )   % (1U << 10 ) ;
  626.     ++in;
  627.     *out |= ((*in) % (1U<< 8 ))<<( 10 - 8 );
  628.     out++;
  629.     *out = ( (*in) >>  8  )   % (1U << 10 ) ;
  630.     out++;
  631.     *out = ( (*in) >>  18  )   % (1U << 10 ) ;
  632.     out++;
  633.     *out = ( (*in) >>  28  )   % (1U << 10 ) ;
  634.     ++in;
  635.     *out |= ((*in) % (1U<< 6 ))<<( 10 - 6 );
  636.     out++;
  637.     *out = ( (*in) >>  6  )   % (1U << 10 ) ;
  638.     out++;
  639.     *out = ( (*in) >>  16  )   % (1U << 10 ) ;
  640.     out++;
  641.     *out = ( (*in) >>  26  )   % (1U << 10 ) ;
  642.     ++in;
  643.     *out |= ((*in) % (1U<< 4 ))<<( 10 - 4 );
  644.     out++;
  645.     *out = ( (*in) >>  4  )   % (1U << 10 ) ;
  646.     out++;
  647.     *out = ( (*in) >>  14  )   % (1U << 10 ) ;
  648.     out++;
  649.     *out = ( (*in) >>  24  )   % (1U << 10 ) ;
  650.     ++in;
  651.     *out |= ((*in) % (1U<< 2 ))<<( 10 - 2 );
  652.     out++;
  653.     *out = ( (*in) >>  2  )   % (1U << 10 ) ;
  654.     out++;
  655.     *out = ( (*in) >>  12  )   % (1U << 10 ) ;
  656.     out++;
  657.     *out = ( (*in) >>  22  )   % (1U << 10 ) ;
  658.     ++in;
  659.     out++;
  660.     *out = ( (*in) >>  0  )   % (1U << 10 ) ;
  661.     out++;
  662.     *out = ( (*in) >>  10  )   % (1U << 10 ) ;
  663.     out++;
  664.     *out = ( (*in) >>  20  )   % (1U << 10 ) ;
  665.     out++;
  666.     *out = ( (*in) >>  30  )   % (1U << 10 ) ;
  667.     ++in;
  668.     *out |= ((*in) % (1U<< 8 ))<<( 10 - 8 );
  669.     out++;
  670.     *out = ( (*in) >>  8  )   % (1U << 10 ) ;
  671.     out++;
  672.     *out = ( (*in) >>  18  )   % (1U << 10 ) ;
  673.     out++;
  674.     *out = ( (*in) >>  28  )   % (1U << 10 ) ;
  675.     ++in;
  676.     *out |= ((*in) % (1U<< 6 ))<<( 10 - 6 );
  677.     out++;
  678.     *out = ( (*in) >>  6  )   % (1U << 10 ) ;
  679.     out++;
  680.     *out = ( (*in) >>  16  )   % (1U << 10 ) ;
  681.     out++;
  682.     *out = ( (*in) >>  26  )   % (1U << 10 ) ;
  683.     ++in;
  684.     *out |= ((*in) % (1U<< 4 ))<<( 10 - 4 );
  685.     out++;
  686.     *out = ( (*in) >>  4  )   % (1U << 10 ) ;
  687.     out++;
  688.     *out = ( (*in) >>  14  )   % (1U << 10 ) ;
  689.     out++;
  690.     *out = ( (*in) >>  24  )   % (1U << 10 ) ;
  691.     ++in;
  692.     *out |= ((*in) % (1U<< 2 ))<<( 10 - 2 );
  693.     out++;
  694.     *out = ( (*in) >>  2  )   % (1U << 10 ) ;
  695.     out++;
  696.     *out = ( (*in) >>  12  )   % (1U << 10 ) ;
  697.     out++;
  698.     *out = ( (*in) >>  22  )   % (1U << 10 ) ;
  699. }
  700.  
  701.  
  702.  
  703.  
  704. void __fastunpack11(const uint *  __restrict__ in, uint *  __restrict__  out) {
  705.     *out = ( (*in) >>  0  )   % (1U << 11 ) ;
  706.     out++;
  707.     *out = ( (*in) >>  11  )   % (1U << 11 ) ;
  708.     out++;
  709.     *out = ( (*in) >>  22  )   % (1U << 11 ) ;
  710.     ++in;
  711.     *out |= ((*in) % (1U<< 1 ))<<( 11 - 1 );
  712.     out++;
  713.     *out = ( (*in) >>  1  )   % (1U << 11 ) ;
  714.     out++;
  715.     *out = ( (*in) >>  12  )   % (1U << 11 ) ;
  716.     out++;
  717.     *out = ( (*in) >>  23  )   % (1U << 11 ) ;
  718.     ++in;
  719.     *out |= ((*in) % (1U<< 2 ))<<( 11 - 2 );
  720.     out++;
  721.     *out = ( (*in) >>  2  )   % (1U << 11 ) ;
  722.     out++;
  723.     *out = ( (*in) >>  13  )   % (1U << 11 ) ;
  724.     out++;
  725.     *out = ( (*in) >>  24  )   % (1U << 11 ) ;
  726.     ++in;
  727.     *out |= ((*in) % (1U<< 3 ))<<( 11 - 3 );
  728.     out++;
  729.     *out = ( (*in) >>  3  )   % (1U << 11 ) ;
  730.     out++;
  731.     *out = ( (*in) >>  14  )   % (1U << 11 ) ;
  732.     out++;
  733.     *out = ( (*in) >>  25  )   % (1U << 11 ) ;
  734.     ++in;
  735.     *out |= ((*in) % (1U<< 4 ))<<( 11 - 4 );
  736.     out++;
  737.     *out = ( (*in) >>  4  )   % (1U << 11 ) ;
  738.     out++;
  739.     *out = ( (*in) >>  15  )   % (1U << 11 ) ;
  740.     out++;
  741.     *out = ( (*in) >>  26  )   % (1U << 11 ) ;
  742.     ++in;
  743.     *out |= ((*in) % (1U<< 5 ))<<( 11 - 5 );
  744.     out++;
  745.     *out = ( (*in) >>  5  )   % (1U << 11 ) ;
  746.     out++;
  747.     *out = ( (*in) >>  16  )   % (1U << 11 ) ;
  748.     out++;
  749.     *out = ( (*in) >>  27  )   % (1U << 11 ) ;
  750.     ++in;
  751.     *out |= ((*in) % (1U<< 6 ))<<( 11 - 6 );
  752.     out++;
  753.     *out = ( (*in) >>  6  )   % (1U << 11 ) ;
  754.     out++;
  755.     *out = ( (*in) >>  17  )   % (1U << 11 ) ;
  756.     out++;
  757.     *out = ( (*in) >>  28  )   % (1U << 11 ) ;
  758.     ++in;
  759.     *out |= ((*in) % (1U<< 7 ))<<( 11 - 7 );
  760.     out++;
  761.     *out = ( (*in) >>  7  )   % (1U << 11 ) ;
  762.     out++;
  763.     *out = ( (*in) >>  18  )   % (1U << 11 ) ;
  764.     out++;
  765.     *out = ( (*in) >>  29  )   % (1U << 11 ) ;
  766.     ++in;
  767.     *out |= ((*in) % (1U<< 8 ))<<( 11 - 8 );
  768.     out++;
  769.     *out = ( (*in) >>  8  )   % (1U << 11 ) ;
  770.     out++;
  771.     *out = ( (*in) >>  19  )   % (1U << 11 ) ;
  772.     out++;
  773.     *out = ( (*in) >>  30  )   % (1U << 11 ) ;
  774.     ++in;
  775.     *out |= ((*in) % (1U<< 9 ))<<( 11 - 9 );
  776.     out++;
  777.     *out = ( (*in) >>  9  )   % (1U << 11 ) ;
  778.     out++;
  779.     *out = ( (*in) >>  20  )   % (1U << 11 ) ;
  780.     out++;
  781.     *out = ( (*in) >>  31  )   % (1U << 11 ) ;
  782.     ++in;
  783.     *out |= ((*in) % (1U<< 10 ))<<( 11 - 10 );
  784.     out++;
  785.     *out = ( (*in) >>  10  )   % (1U << 11 ) ;
  786.     out++;
  787.     *out = ( (*in) >>  21  )   % (1U << 11 ) ;
  788. }
  789.  
  790.  
  791.  
  792.  
  793. void __fastunpack12(const uint *  __restrict__ in, uint *  __restrict__  out) {
  794.     *out = ( (*in) >>  0  )   % (1U << 12 ) ;
  795.     out++;
  796.     *out = ( (*in) >>  12  )   % (1U << 12 ) ;
  797.     out++;
  798.     *out = ( (*in) >>  24  )   % (1U << 12 ) ;
  799.     ++in;
  800.     *out |= ((*in) % (1U<< 4 ))<<( 12 - 4 );
  801.     out++;
  802.     *out = ( (*in) >>  4  )   % (1U << 12 ) ;
  803.     out++;
  804.     *out = ( (*in) >>  16  )   % (1U << 12 ) ;
  805.     out++;
  806.     *out = ( (*in) >>  28  )   % (1U << 12 ) ;
  807.     ++in;
  808.     *out |= ((*in) % (1U<< 8 ))<<( 12 - 8 );
  809.     out++;
  810.     *out = ( (*in) >>  8  )   % (1U << 12 ) ;
  811.     out++;
  812.     *out = ( (*in) >>  20  )   % (1U << 12 ) ;
  813.     ++in;
  814.     out++;
  815.     *out = ( (*in) >>  0  )   % (1U << 12 ) ;
  816.     out++;
  817.     *out = ( (*in) >>  12  )   % (1U << 12 ) ;
  818.     out++;
  819.     *out = ( (*in) >>  24  )   % (1U << 12 ) ;
  820.     ++in;
  821.     *out |= ((*in) % (1U<< 4 ))<<( 12 - 4 );
  822.     out++;
  823.     *out = ( (*in) >>  4  )   % (1U << 12 ) ;
  824.     out++;
  825.     *out = ( (*in) >>  16  )   % (1U << 12 ) ;
  826.     out++;
  827.     *out = ( (*in) >>  28  )   % (1U << 12 ) ;
  828.     ++in;
  829.     *out |= ((*in) % (1U<< 8 ))<<( 12 - 8 );
  830.     out++;
  831.     *out = ( (*in) >>  8  )   % (1U << 12 ) ;
  832.     out++;
  833.     *out = ( (*in) >>  20  )   % (1U << 12 ) ;
  834.     ++in;
  835.     out++;
  836.     *out = ( (*in) >>  0  )   % (1U << 12 ) ;
  837.     out++;
  838.     *out = ( (*in) >>  12  )   % (1U << 12 ) ;
  839.     out++;
  840.     *out = ( (*in) >>  24  )   % (1U << 12 ) ;
  841.     ++in;
  842.     *out |= ((*in) % (1U<< 4 ))<<( 12 - 4 );
  843.     out++;
  844.     *out = ( (*in) >>  4  )   % (1U << 12 ) ;
  845.     out++;
  846.     *out = ( (*in) >>  16  )   % (1U << 12 ) ;
  847.     out++;
  848.     *out = ( (*in) >>  28  )   % (1U << 12 ) ;
  849.     ++in;
  850.     *out |= ((*in) % (1U<< 8 ))<<( 12 - 8 );
  851.     out++;
  852.     *out = ( (*in) >>  8  )   % (1U << 12 ) ;
  853.     out++;
  854.     *out = ( (*in) >>  20  )   % (1U << 12 ) ;
  855.     ++in;
  856.     out++;
  857.     *out = ( (*in) >>  0  )   % (1U << 12 ) ;
  858.     out++;
  859.     *out = ( (*in) >>  12  )   % (1U << 12 ) ;
  860.     out++;
  861.     *out = ( (*in) >>  24  )   % (1U << 12 ) ;
  862.     ++in;
  863.     *out |= ((*in) % (1U<< 4 ))<<( 12 - 4 );
  864.     out++;
  865.     *out = ( (*in) >>  4  )   % (1U << 12 ) ;
  866.     out++;
  867.     *out = ( (*in) >>  16  )   % (1U << 12 ) ;
  868.     out++;
  869.     *out = ( (*in) >>  28  )   % (1U << 12 ) ;
  870.     ++in;
  871.     *out |= ((*in) % (1U<< 8 ))<<( 12 - 8 );
  872.     out++;
  873.     *out = ( (*in) >>  8  )   % (1U << 12 ) ;
  874.     out++;
  875.     *out = ( (*in) >>  20  )   % (1U << 12 ) ;
  876. }
  877.  
  878.  
  879.  
  880.  
  881. void __fastunpack13(const uint *  __restrict__ in, uint *  __restrict__  out) {
  882.     *out = ( (*in) >>  0  )   % (1U << 13 ) ;
  883.     out++;
  884.     *out = ( (*in) >>  13  )   % (1U << 13 ) ;
  885.     out++;
  886.     *out = ( (*in) >>  26  )   % (1U << 13 ) ;
  887.     ++in;
  888.     *out |= ((*in) % (1U<< 7 ))<<( 13 - 7 );
  889.     out++;
  890.     *out = ( (*in) >>  7  )   % (1U << 13 ) ;
  891.     out++;
  892.     *out = ( (*in) >>  20  )   % (1U << 13 ) ;
  893.     ++in;
  894.     *out |= ((*in) % (1U<< 1 ))<<( 13 - 1 );
  895.     out++;
  896.     *out = ( (*in) >>  1  )   % (1U << 13 ) ;
  897.     out++;
  898.     *out = ( (*in) >>  14  )   % (1U << 13 ) ;
  899.     out++;
  900.     *out = ( (*in) >>  27  )   % (1U << 13 ) ;
  901.     ++in;
  902.     *out |= ((*in) % (1U<< 8 ))<<( 13 - 8 );
  903.     out++;
  904.     *out = ( (*in) >>  8  )   % (1U << 13 ) ;
  905.     out++;
  906.     *out = ( (*in) >>  21  )   % (1U << 13 ) ;
  907.     ++in;
  908.     *out |= ((*in) % (1U<< 2 ))<<( 13 - 2 );
  909.     out++;
  910.     *out = ( (*in) >>  2  )   % (1U << 13 ) ;
  911.     out++;
  912.     *out = ( (*in) >>  15  )   % (1U << 13 ) ;
  913.     out++;
  914.     *out = ( (*in) >>  28  )   % (1U << 13 ) ;
  915.     ++in;
  916.     *out |= ((*in) % (1U<< 9 ))<<( 13 - 9 );
  917.     out++;
  918.     *out = ( (*in) >>  9  )   % (1U << 13 ) ;
  919.     out++;
  920.     *out = ( (*in) >>  22  )   % (1U << 13 ) ;
  921.     ++in;
  922.     *out |= ((*in) % (1U<< 3 ))<<( 13 - 3 );
  923.     out++;
  924.     *out = ( (*in) >>  3  )   % (1U << 13 ) ;
  925.     out++;
  926.     *out = ( (*in) >>  16  )   % (1U << 13 ) ;
  927.     out++;
  928.     *out = ( (*in) >>  29  )   % (1U << 13 ) ;
  929.     ++in;
  930.     *out |= ((*in) % (1U<< 10 ))<<( 13 - 10 );
  931.     out++;
  932.     *out = ( (*in) >>  10  )   % (1U << 13 ) ;
  933.     out++;
  934.     *out = ( (*in) >>  23  )   % (1U << 13 ) ;
  935.     ++in;
  936.     *out |= ((*in) % (1U<< 4 ))<<( 13 - 4 );
  937.     out++;
  938.     *out = ( (*in) >>  4  )   % (1U << 13 ) ;
  939.     out++;
  940.     *out = ( (*in) >>  17  )   % (1U << 13 ) ;
  941.     out++;
  942.     *out = ( (*in) >>  30  )   % (1U << 13 ) ;
  943.     ++in;
  944.     *out |= ((*in) % (1U<< 11 ))<<( 13 - 11 );
  945.     out++;
  946.     *out = ( (*in) >>  11  )   % (1U << 13 ) ;
  947.     out++;
  948.     *out = ( (*in) >>  24  )   % (1U << 13 ) ;
  949.     ++in;
  950.     *out |= ((*in) % (1U<< 5 ))<<( 13 - 5 );
  951.     out++;
  952.     *out = ( (*in) >>  5  )   % (1U << 13 ) ;
  953.     out++;
  954.     *out = ( (*in) >>  18  )   % (1U << 13 ) ;
  955.     out++;
  956.     *out = ( (*in) >>  31  )   % (1U << 13 ) ;
  957.     ++in;
  958.     *out |= ((*in) % (1U<< 12 ))<<( 13 - 12 );
  959.     out++;
  960.     *out = ( (*in) >>  12  )   % (1U << 13 ) ;
  961.     out++;
  962.     *out = ( (*in) >>  25  )   % (1U << 13 ) ;
  963.     ++in;
  964.     *out |= ((*in) % (1U<< 6 ))<<( 13 - 6 );
  965.     out++;
  966.     *out = ( (*in) >>  6  )   % (1U << 13 ) ;
  967.     out++;
  968.     *out = ( (*in) >>  19  )   % (1U << 13 ) ;
  969. }
  970.  
  971.  
  972.  
  973.  
  974. void __fastunpack14(const uint *  __restrict__ in, uint *  __restrict__  out) {
  975.     *out = ( (*in) >>  0  )   % (1U << 14 ) ;
  976.     out++;
  977.     *out = ( (*in) >>  14  )   % (1U << 14 ) ;
  978.     out++;
  979.     *out = ( (*in) >>  28  )   % (1U << 14 ) ;
  980.     ++in;
  981.     *out |= ((*in) % (1U<< 10 ))<<( 14 - 10 );
  982.     out++;
  983.     *out = ( (*in) >>  10  )   % (1U << 14 ) ;
  984.     out++;
  985.     *out = ( (*in) >>  24  )   % (1U << 14 ) ;
  986.     ++in;
  987.     *out |= ((*in) % (1U<< 6 ))<<( 14 - 6 );
  988.     out++;
  989.     *out = ( (*in) >>  6  )   % (1U << 14 ) ;
  990.     out++;
  991.     *out = ( (*in) >>  20  )   % (1U << 14 ) ;
  992.     ++in;
  993.     *out |= ((*in) % (1U<< 2 ))<<( 14 - 2 );
  994.     out++;
  995.     *out = ( (*in) >>  2  )   % (1U << 14 ) ;
  996.     out++;
  997.     *out = ( (*in) >>  16  )   % (1U << 14 ) ;
  998.     out++;
  999.     *out = ( (*in) >>  30  )   % (1U << 14 ) ;
  1000.     ++in;
  1001.     *out |= ((*in) % (1U<< 12 ))<<( 14 - 12 );
  1002.     out++;
  1003.     *out = ( (*in) >>  12  )   % (1U << 14 ) ;
  1004.     out++;
  1005.     *out = ( (*in) >>  26  )   % (1U << 14 ) ;
  1006.     ++in;
  1007.     *out |= ((*in) % (1U<< 8 ))<<( 14 - 8 );
  1008.     out++;
  1009.     *out = ( (*in) >>  8  )   % (1U << 14 ) ;
  1010.     out++;
  1011.     *out = ( (*in) >>  22  )   % (1U << 14 ) ;
  1012.     ++in;
  1013.     *out |= ((*in) % (1U<< 4 ))<<( 14 - 4 );
  1014.     out++;
  1015.     *out = ( (*in) >>  4  )   % (1U << 14 ) ;
  1016.     out++;
  1017.     *out = ( (*in) >>  18  )   % (1U << 14 ) ;
  1018.     ++in;
  1019.     out++;
  1020.     *out = ( (*in) >>  0  )   % (1U << 14 ) ;
  1021.     out++;
  1022.     *out = ( (*in) >>  14  )   % (1U << 14 ) ;
  1023.     out++;
  1024.     *out = ( (*in) >>  28  )   % (1U << 14 ) ;
  1025.     ++in;
  1026.     *out |= ((*in) % (1U<< 10 ))<<( 14 - 10 );
  1027.     out++;
  1028.     *out = ( (*in) >>  10  )   % (1U << 14 ) ;
  1029.     out++;
  1030.     *out = ( (*in) >>  24  )   % (1U << 14 ) ;
  1031.     ++in;
  1032.     *out |= ((*in) % (1U<< 6 ))<<( 14 - 6 );
  1033.     out++;
  1034.     *out = ( (*in) >>  6  )   % (1U << 14 ) ;
  1035.     out++;
  1036.     *out = ( (*in) >>  20  )   % (1U << 14 ) ;
  1037.     ++in;
  1038.     *out |= ((*in) % (1U<< 2 ))<<( 14 - 2 );
  1039.     out++;
  1040.     *out = ( (*in) >>  2  )   % (1U << 14 ) ;
  1041.     out++;
  1042.     *out = ( (*in) >>  16  )   % (1U << 14 ) ;
  1043.     out++;
  1044.     *out = ( (*in) >>  30  )   % (1U << 14 ) ;
  1045.     ++in;
  1046.     *out |= ((*in) % (1U<< 12 ))<<( 14 - 12 );
  1047.     out++;
  1048.     *out = ( (*in) >>  12  )   % (1U << 14 ) ;
  1049.     out++;
  1050.     *out = ( (*in) >>  26  )   % (1U << 14 ) ;
  1051.     ++in;
  1052.     *out |= ((*in) % (1U<< 8 ))<<( 14 - 8 );
  1053.     out++;
  1054.     *out = ( (*in) >>  8  )   % (1U << 14 ) ;
  1055.     out++;
  1056.     *out = ( (*in) >>  22  )   % (1U << 14 ) ;
  1057.     ++in;
  1058.     *out |= ((*in) % (1U<< 4 ))<<( 14 - 4 );
  1059.     out++;
  1060.     *out = ( (*in) >>  4  )   % (1U << 14 ) ;
  1061.     out++;
  1062.     *out = ( (*in) >>  18  )   % (1U << 14 ) ;
  1063. }
  1064.  
  1065.  
  1066.  
  1067.  
  1068. void __fastunpack15(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1069.     *out = ( (*in) >>  0  )   % (1U << 15 ) ;
  1070.     out++;
  1071.     *out = ( (*in) >>  15  )   % (1U << 15 ) ;
  1072.     out++;
  1073.     *out = ( (*in) >>  30  )   % (1U << 15 ) ;
  1074.     ++in;
  1075.     *out |= ((*in) % (1U<< 13 ))<<( 15 - 13 );
  1076.     out++;
  1077.     *out = ( (*in) >>  13  )   % (1U << 15 ) ;
  1078.     out++;
  1079.     *out = ( (*in) >>  28  )   % (1U << 15 ) ;
  1080.     ++in;
  1081.     *out |= ((*in) % (1U<< 11 ))<<( 15 - 11 );
  1082.     out++;
  1083.     *out = ( (*in) >>  11  )   % (1U << 15 ) ;
  1084.     out++;
  1085.     *out = ( (*in) >>  26  )   % (1U << 15 ) ;
  1086.     ++in;
  1087.     *out |= ((*in) % (1U<< 9 ))<<( 15 - 9 );
  1088.     out++;
  1089.     *out = ( (*in) >>  9  )   % (1U << 15 ) ;
  1090.     out++;
  1091.     *out = ( (*in) >>  24  )   % (1U << 15 ) ;
  1092.     ++in;
  1093.     *out |= ((*in) % (1U<< 7 ))<<( 15 - 7 );
  1094.     out++;
  1095.     *out = ( (*in) >>  7  )   % (1U << 15 ) ;
  1096.     out++;
  1097.     *out = ( (*in) >>  22  )   % (1U << 15 ) ;
  1098.     ++in;
  1099.     *out |= ((*in) % (1U<< 5 ))<<( 15 - 5 );
  1100.     out++;
  1101.     *out = ( (*in) >>  5  )   % (1U << 15 ) ;
  1102.     out++;
  1103.     *out = ( (*in) >>  20  )   % (1U << 15 ) ;
  1104.     ++in;
  1105.     *out |= ((*in) % (1U<< 3 ))<<( 15 - 3 );
  1106.     out++;
  1107.     *out = ( (*in) >>  3  )   % (1U << 15 ) ;
  1108.     out++;
  1109.     *out = ( (*in) >>  18  )   % (1U << 15 ) ;
  1110.     ++in;
  1111.     *out |= ((*in) % (1U<< 1 ))<<( 15 - 1 );
  1112.     out++;
  1113.     *out = ( (*in) >>  1  )   % (1U << 15 ) ;
  1114.     out++;
  1115.     *out = ( (*in) >>  16  )   % (1U << 15 ) ;
  1116.     out++;
  1117.     *out = ( (*in) >>  31  )   % (1U << 15 ) ;
  1118.     ++in;
  1119.     *out |= ((*in) % (1U<< 14 ))<<( 15 - 14 );
  1120.     out++;
  1121.     *out = ( (*in) >>  14  )   % (1U << 15 ) ;
  1122.     out++;
  1123.     *out = ( (*in) >>  29  )   % (1U << 15 ) ;
  1124.     ++in;
  1125.     *out |= ((*in) % (1U<< 12 ))<<( 15 - 12 );
  1126.     out++;
  1127.     *out = ( (*in) >>  12  )   % (1U << 15 ) ;
  1128.     out++;
  1129.     *out = ( (*in) >>  27  )   % (1U << 15 ) ;
  1130.     ++in;
  1131.     *out |= ((*in) % (1U<< 10 ))<<( 15 - 10 );
  1132.     out++;
  1133.     *out = ( (*in) >>  10  )   % (1U << 15 ) ;
  1134.     out++;
  1135.     *out = ( (*in) >>  25  )   % (1U << 15 ) ;
  1136.     ++in;
  1137.     *out |= ((*in) % (1U<< 8 ))<<( 15 - 8 );
  1138.     out++;
  1139.     *out = ( (*in) >>  8  )   % (1U << 15 ) ;
  1140.     out++;
  1141.     *out = ( (*in) >>  23  )   % (1U << 15 ) ;
  1142.     ++in;
  1143.     *out |= ((*in) % (1U<< 6 ))<<( 15 - 6 );
  1144.     out++;
  1145.     *out = ( (*in) >>  6  )   % (1U << 15 ) ;
  1146.     out++;
  1147.     *out = ( (*in) >>  21  )   % (1U << 15 ) ;
  1148.     ++in;
  1149.     *out |= ((*in) % (1U<< 4 ))<<( 15 - 4 );
  1150.     out++;
  1151.     *out = ( (*in) >>  4  )   % (1U << 15 ) ;
  1152.     out++;
  1153.     *out = ( (*in) >>  19  )   % (1U << 15 ) ;
  1154.     ++in;
  1155.     *out |= ((*in) % (1U<< 2 ))<<( 15 - 2 );
  1156.     out++;
  1157.     *out = ( (*in) >>  2  )   % (1U << 15 ) ;
  1158.     out++;
  1159.     *out = ( (*in) >>  17  )   % (1U << 15 ) ;
  1160. }
  1161.  
  1162.  
  1163.  
  1164.  
  1165. void __fastunpack17(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1166.     *out = ( (*in) >>  0  )   % (1U << 17 ) ;
  1167.     out++;
  1168.     *out = ( (*in) >>  17  )   % (1U << 17 ) ;
  1169.     ++in;
  1170.     *out |= ((*in) % (1U<< 2 ))<<( 17 - 2 );
  1171.     out++;
  1172.     *out = ( (*in) >>  2  )   % (1U << 17 ) ;
  1173.     out++;
  1174.     *out = ( (*in) >>  19  )   % (1U << 17 ) ;
  1175.     ++in;
  1176.     *out |= ((*in) % (1U<< 4 ))<<( 17 - 4 );
  1177.     out++;
  1178.     *out = ( (*in) >>  4  )   % (1U << 17 ) ;
  1179.     out++;
  1180.     *out = ( (*in) >>  21  )   % (1U << 17 ) ;
  1181.     ++in;
  1182.     *out |= ((*in) % (1U<< 6 ))<<( 17 - 6 );
  1183.     out++;
  1184.     *out = ( (*in) >>  6  )   % (1U << 17 ) ;
  1185.     out++;
  1186.     *out = ( (*in) >>  23  )   % (1U << 17 ) ;
  1187.     ++in;
  1188.     *out |= ((*in) % (1U<< 8 ))<<( 17 - 8 );
  1189.     out++;
  1190.     *out = ( (*in) >>  8  )   % (1U << 17 ) ;
  1191.     out++;
  1192.     *out = ( (*in) >>  25  )   % (1U << 17 ) ;
  1193.     ++in;
  1194.     *out |= ((*in) % (1U<< 10 ))<<( 17 - 10 );
  1195.     out++;
  1196.     *out = ( (*in) >>  10  )   % (1U << 17 ) ;
  1197.     out++;
  1198.     *out = ( (*in) >>  27  )   % (1U << 17 ) ;
  1199.     ++in;
  1200.     *out |= ((*in) % (1U<< 12 ))<<( 17 - 12 );
  1201.     out++;
  1202.     *out = ( (*in) >>  12  )   % (1U << 17 ) ;
  1203.     out++;
  1204.     *out = ( (*in) >>  29  )   % (1U << 17 ) ;
  1205.     ++in;
  1206.     *out |= ((*in) % (1U<< 14 ))<<( 17 - 14 );
  1207.     out++;
  1208.     *out = ( (*in) >>  14  )   % (1U << 17 ) ;
  1209.     out++;
  1210.     *out = ( (*in) >>  31  )   % (1U << 17 ) ;
  1211.     ++in;
  1212.     *out |= ((*in) % (1U<< 16 ))<<( 17 - 16 );
  1213.     out++;
  1214.     *out = ( (*in) >>  16  )   % (1U << 17 ) ;
  1215.     ++in;
  1216.     *out |= ((*in) % (1U<< 1 ))<<( 17 - 1 );
  1217.     out++;
  1218.     *out = ( (*in) >>  1  )   % (1U << 17 ) ;
  1219.     out++;
  1220.     *out = ( (*in) >>  18  )   % (1U << 17 ) ;
  1221.     ++in;
  1222.     *out |= ((*in) % (1U<< 3 ))<<( 17 - 3 );
  1223.     out++;
  1224.     *out = ( (*in) >>  3  )   % (1U << 17 ) ;
  1225.     out++;
  1226.     *out = ( (*in) >>  20  )   % (1U << 17 ) ;
  1227.     ++in;
  1228.     *out |= ((*in) % (1U<< 5 ))<<( 17 - 5 );
  1229.     out++;
  1230.     *out = ( (*in) >>  5  )   % (1U << 17 ) ;
  1231.     out++;
  1232.     *out = ( (*in) >>  22  )   % (1U << 17 ) ;
  1233.     ++in;
  1234.     *out |= ((*in) % (1U<< 7 ))<<( 17 - 7 );
  1235.     out++;
  1236.     *out = ( (*in) >>  7  )   % (1U << 17 ) ;
  1237.     out++;
  1238.     *out = ( (*in) >>  24  )   % (1U << 17 ) ;
  1239.     ++in;
  1240.     *out |= ((*in) % (1U<< 9 ))<<( 17 - 9 );
  1241.     out++;
  1242.     *out = ( (*in) >>  9  )   % (1U << 17 ) ;
  1243.     out++;
  1244.     *out = ( (*in) >>  26  )   % (1U << 17 ) ;
  1245.     ++in;
  1246.     *out |= ((*in) % (1U<< 11 ))<<( 17 - 11 );
  1247.     out++;
  1248.     *out = ( (*in) >>  11  )   % (1U << 17 ) ;
  1249.     out++;
  1250.     *out = ( (*in) >>  28  )   % (1U << 17 ) ;
  1251.     ++in;
  1252.     *out |= ((*in) % (1U<< 13 ))<<( 17 - 13 );
  1253.     out++;
  1254.     *out = ( (*in) >>  13  )   % (1U << 17 ) ;
  1255.     out++;
  1256.     *out = ( (*in) >>  30  )   % (1U << 17 ) ;
  1257.     ++in;
  1258.     *out |= ((*in) % (1U<< 15 ))<<( 17 - 15 );
  1259.     out++;
  1260.     *out = ( (*in) >>  15  )   % (1U << 17 ) ;
  1261. }
  1262.  
  1263.  
  1264.  
  1265.  
  1266. void __fastunpack18(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1267.     *out = ( (*in) >>  0  )   % (1U << 18 ) ;
  1268.     out++;
  1269.     *out = ( (*in) >>  18  )   % (1U << 18 ) ;
  1270.     ++in;
  1271.     *out |= ((*in) % (1U<< 4 ))<<( 18 - 4 );
  1272.     out++;
  1273.     *out = ( (*in) >>  4  )   % (1U << 18 ) ;
  1274.     out++;
  1275.     *out = ( (*in) >>  22  )   % (1U << 18 ) ;
  1276.     ++in;
  1277.     *out |= ((*in) % (1U<< 8 ))<<( 18 - 8 );
  1278.     out++;
  1279.     *out = ( (*in) >>  8  )   % (1U << 18 ) ;
  1280.     out++;
  1281.     *out = ( (*in) >>  26  )   % (1U << 18 ) ;
  1282.     ++in;
  1283.     *out |= ((*in) % (1U<< 12 ))<<( 18 - 12 );
  1284.     out++;
  1285.     *out = ( (*in) >>  12  )   % (1U << 18 ) ;
  1286.     out++;
  1287.     *out = ( (*in) >>  30  )   % (1U << 18 ) ;
  1288.     ++in;
  1289.     *out |= ((*in) % (1U<< 16 ))<<( 18 - 16 );
  1290.     out++;
  1291.     *out = ( (*in) >>  16  )   % (1U << 18 ) ;
  1292.     ++in;
  1293.     *out |= ((*in) % (1U<< 2 ))<<( 18 - 2 );
  1294.     out++;
  1295.     *out = ( (*in) >>  2  )   % (1U << 18 ) ;
  1296.     out++;
  1297.     *out = ( (*in) >>  20  )   % (1U << 18 ) ;
  1298.     ++in;
  1299.     *out |= ((*in) % (1U<< 6 ))<<( 18 - 6 );
  1300.     out++;
  1301.     *out = ( (*in) >>  6  )   % (1U << 18 ) ;
  1302.     out++;
  1303.     *out = ( (*in) >>  24  )   % (1U << 18 ) ;
  1304.     ++in;
  1305.     *out |= ((*in) % (1U<< 10 ))<<( 18 - 10 );
  1306.     out++;
  1307.     *out = ( (*in) >>  10  )   % (1U << 18 ) ;
  1308.     out++;
  1309.     *out = ( (*in) >>  28  )   % (1U << 18 ) ;
  1310.     ++in;
  1311.     *out |= ((*in) % (1U<< 14 ))<<( 18 - 14 );
  1312.     out++;
  1313.     *out = ( (*in) >>  14  )   % (1U << 18 ) ;
  1314.     ++in;
  1315.     out++;
  1316.     *out = ( (*in) >>  0  )   % (1U << 18 ) ;
  1317.     out++;
  1318.     *out = ( (*in) >>  18  )   % (1U << 18 ) ;
  1319.     ++in;
  1320.     *out |= ((*in) % (1U<< 4 ))<<( 18 - 4 );
  1321.     out++;
  1322.     *out = ( (*in) >>  4  )   % (1U << 18 ) ;
  1323.     out++;
  1324.     *out = ( (*in) >>  22  )   % (1U << 18 ) ;
  1325.     ++in;
  1326.     *out |= ((*in) % (1U<< 8 ))<<( 18 - 8 );
  1327.     out++;
  1328.     *out = ( (*in) >>  8  )   % (1U << 18 ) ;
  1329.     out++;
  1330.     *out = ( (*in) >>  26  )   % (1U << 18 ) ;
  1331.     ++in;
  1332.     *out |= ((*in) % (1U<< 12 ))<<( 18 - 12 );
  1333.     out++;
  1334.     *out = ( (*in) >>  12  )   % (1U << 18 ) ;
  1335.     out++;
  1336.     *out = ( (*in) >>  30  )   % (1U << 18 ) ;
  1337.     ++in;
  1338.     *out |= ((*in) % (1U<< 16 ))<<( 18 - 16 );
  1339.     out++;
  1340.     *out = ( (*in) >>  16  )   % (1U << 18 ) ;
  1341.     ++in;
  1342.     *out |= ((*in) % (1U<< 2 ))<<( 18 - 2 );
  1343.     out++;
  1344.     *out = ( (*in) >>  2  )   % (1U << 18 ) ;
  1345.     out++;
  1346.     *out = ( (*in) >>  20  )   % (1U << 18 ) ;
  1347.     ++in;
  1348.     *out |= ((*in) % (1U<< 6 ))<<( 18 - 6 );
  1349.     out++;
  1350.     *out = ( (*in) >>  6  )   % (1U << 18 ) ;
  1351.     out++;
  1352.     *out = ( (*in) >>  24  )   % (1U << 18 ) ;
  1353.     ++in;
  1354.     *out |= ((*in) % (1U<< 10 ))<<( 18 - 10 );
  1355.     out++;
  1356.     *out = ( (*in) >>  10  )   % (1U << 18 ) ;
  1357.     out++;
  1358.     *out = ( (*in) >>  28  )   % (1U << 18 ) ;
  1359.     ++in;
  1360.     *out |= ((*in) % (1U<< 14 ))<<( 18 - 14 );
  1361.     out++;
  1362.     *out = ( (*in) >>  14  )   % (1U << 18 ) ;
  1363. }
  1364.  
  1365.  
  1366.  
  1367.  
  1368. void __fastunpack19(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1369.     *out = ( (*in) >>  0  )   % (1U << 19 ) ;
  1370.     out++;
  1371.     *out = ( (*in) >>  19  )   % (1U << 19 ) ;
  1372.     ++in;
  1373.     *out |= ((*in) % (1U<< 6 ))<<( 19 - 6 );
  1374.     out++;
  1375.     *out = ( (*in) >>  6  )   % (1U << 19 ) ;
  1376.     out++;
  1377.     *out = ( (*in) >>  25  )   % (1U << 19 ) ;
  1378.     ++in;
  1379.     *out |= ((*in) % (1U<< 12 ))<<( 19 - 12 );
  1380.     out++;
  1381.     *out = ( (*in) >>  12  )   % (1U << 19 ) ;
  1382.     out++;
  1383.     *out = ( (*in) >>  31  )   % (1U << 19 ) ;
  1384.     ++in;
  1385.     *out |= ((*in) % (1U<< 18 ))<<( 19 - 18 );
  1386.     out++;
  1387.     *out = ( (*in) >>  18  )   % (1U << 19 ) ;
  1388.     ++in;
  1389.     *out |= ((*in) % (1U<< 5 ))<<( 19 - 5 );
  1390.     out++;
  1391.     *out = ( (*in) >>  5  )   % (1U << 19 ) ;
  1392.     out++;
  1393.     *out = ( (*in) >>  24  )   % (1U << 19 ) ;
  1394.     ++in;
  1395.     *out |= ((*in) % (1U<< 11 ))<<( 19 - 11 );
  1396.     out++;
  1397.     *out = ( (*in) >>  11  )   % (1U << 19 ) ;
  1398.     out++;
  1399.     *out = ( (*in) >>  30  )   % (1U << 19 ) ;
  1400.     ++in;
  1401.     *out |= ((*in) % (1U<< 17 ))<<( 19 - 17 );
  1402.     out++;
  1403.     *out = ( (*in) >>  17  )   % (1U << 19 ) ;
  1404.     ++in;
  1405.     *out |= ((*in) % (1U<< 4 ))<<( 19 - 4 );
  1406.     out++;
  1407.     *out = ( (*in) >>  4  )   % (1U << 19 ) ;
  1408.     out++;
  1409.     *out = ( (*in) >>  23  )   % (1U << 19 ) ;
  1410.     ++in;
  1411.     *out |= ((*in) % (1U<< 10 ))<<( 19 - 10 );
  1412.     out++;
  1413.     *out = ( (*in) >>  10  )   % (1U << 19 ) ;
  1414.     out++;
  1415.     *out = ( (*in) >>  29  )   % (1U << 19 ) ;
  1416.     ++in;
  1417.     *out |= ((*in) % (1U<< 16 ))<<( 19 - 16 );
  1418.     out++;
  1419.     *out = ( (*in) >>  16  )   % (1U << 19 ) ;
  1420.     ++in;
  1421.     *out |= ((*in) % (1U<< 3 ))<<( 19 - 3 );
  1422.     out++;
  1423.     *out = ( (*in) >>  3  )   % (1U << 19 ) ;
  1424.     out++;
  1425.     *out = ( (*in) >>  22  )   % (1U << 19 ) ;
  1426.     ++in;
  1427.     *out |= ((*in) % (1U<< 9 ))<<( 19 - 9 );
  1428.     out++;
  1429.     *out = ( (*in) >>  9  )   % (1U << 19 ) ;
  1430.     out++;
  1431.     *out = ( (*in) >>  28  )   % (1U << 19 ) ;
  1432.     ++in;
  1433.     *out |= ((*in) % (1U<< 15 ))<<( 19 - 15 );
  1434.     out++;
  1435.     *out = ( (*in) >>  15  )   % (1U << 19 ) ;
  1436.     ++in;
  1437.     *out |= ((*in) % (1U<< 2 ))<<( 19 - 2 );
  1438.     out++;
  1439.     *out = ( (*in) >>  2  )   % (1U << 19 ) ;
  1440.     out++;
  1441.     *out = ( (*in) >>  21  )   % (1U << 19 ) ;
  1442.     ++in;
  1443.     *out |= ((*in) % (1U<< 8 ))<<( 19 - 8 );
  1444.     out++;
  1445.     *out = ( (*in) >>  8  )   % (1U << 19 ) ;
  1446.     out++;
  1447.     *out = ( (*in) >>  27  )   % (1U << 19 ) ;
  1448.     ++in;
  1449.     *out |= ((*in) % (1U<< 14 ))<<( 19 - 14 );
  1450.     out++;
  1451.     *out = ( (*in) >>  14  )   % (1U << 19 ) ;
  1452.     ++in;
  1453.     *out |= ((*in) % (1U<< 1 ))<<( 19 - 1 );
  1454.     out++;
  1455.     *out = ( (*in) >>  1  )   % (1U << 19 ) ;
  1456.     out++;
  1457.     *out = ( (*in) >>  20  )   % (1U << 19 ) ;
  1458.     ++in;
  1459.     *out |= ((*in) % (1U<< 7 ))<<( 19 - 7 );
  1460.     out++;
  1461.     *out = ( (*in) >>  7  )   % (1U << 19 ) ;
  1462.     out++;
  1463.     *out = ( (*in) >>  26  )   % (1U << 19 ) ;
  1464.     ++in;
  1465.     *out |= ((*in) % (1U<< 13 ))<<( 19 - 13 );
  1466.     out++;
  1467.     *out = ( (*in) >>  13  )   % (1U << 19 ) ;
  1468. }
  1469.  
  1470.  
  1471.  
  1472.  
  1473. void __fastunpack20(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1474.     *out = ( (*in) >>  0  )   % (1U << 20 ) ;
  1475.     out++;
  1476.     *out = ( (*in) >>  20  )   % (1U << 20 ) ;
  1477.     ++in;
  1478.     *out |= ((*in) % (1U<< 8 ))<<( 20 - 8 );
  1479.     out++;
  1480.     *out = ( (*in) >>  8  )   % (1U << 20 ) ;
  1481.     out++;
  1482.     *out = ( (*in) >>  28  )   % (1U << 20 ) ;
  1483.     ++in;
  1484.     *out |= ((*in) % (1U<< 16 ))<<( 20 - 16 );
  1485.     out++;
  1486.     *out = ( (*in) >>  16  )   % (1U << 20 ) ;
  1487.     ++in;
  1488.     *out |= ((*in) % (1U<< 4 ))<<( 20 - 4 );
  1489.     out++;
  1490.     *out = ( (*in) >>  4  )   % (1U << 20 ) ;
  1491.     out++;
  1492.     *out = ( (*in) >>  24  )   % (1U << 20 ) ;
  1493.     ++in;
  1494.     *out |= ((*in) % (1U<< 12 ))<<( 20 - 12 );
  1495.     out++;
  1496.     *out = ( (*in) >>  12  )   % (1U << 20 ) ;
  1497.     ++in;
  1498.     out++;
  1499.     *out = ( (*in) >>  0  )   % (1U << 20 ) ;
  1500.     out++;
  1501.     *out = ( (*in) >>  20  )   % (1U << 20 ) ;
  1502.     ++in;
  1503.     *out |= ((*in) % (1U<< 8 ))<<( 20 - 8 );
  1504.     out++;
  1505.     *out = ( (*in) >>  8  )   % (1U << 20 ) ;
  1506.     out++;
  1507.     *out = ( (*in) >>  28  )   % (1U << 20 ) ;
  1508.     ++in;
  1509.     *out |= ((*in) % (1U<< 16 ))<<( 20 - 16 );
  1510.     out++;
  1511.     *out = ( (*in) >>  16  )   % (1U << 20 ) ;
  1512.     ++in;
  1513.     *out |= ((*in) % (1U<< 4 ))<<( 20 - 4 );
  1514.     out++;
  1515.     *out = ( (*in) >>  4  )   % (1U << 20 ) ;
  1516.     out++;
  1517.     *out = ( (*in) >>  24  )   % (1U << 20 ) ;
  1518.     ++in;
  1519.     *out |= ((*in) % (1U<< 12 ))<<( 20 - 12 );
  1520.     out++;
  1521.     *out = ( (*in) >>  12  )   % (1U << 20 ) ;
  1522.     ++in;
  1523.     out++;
  1524.     *out = ( (*in) >>  0  )   % (1U << 20 ) ;
  1525.     out++;
  1526.     *out = ( (*in) >>  20  )   % (1U << 20 ) ;
  1527.     ++in;
  1528.     *out |= ((*in) % (1U<< 8 ))<<( 20 - 8 );
  1529.     out++;
  1530.     *out = ( (*in) >>  8  )   % (1U << 20 ) ;
  1531.     out++;
  1532.     *out = ( (*in) >>  28  )   % (1U << 20 ) ;
  1533.     ++in;
  1534.     *out |= ((*in) % (1U<< 16 ))<<( 20 - 16 );
  1535.     out++;
  1536.     *out = ( (*in) >>  16  )   % (1U << 20 ) ;
  1537.     ++in;
  1538.     *out |= ((*in) % (1U<< 4 ))<<( 20 - 4 );
  1539.     out++;
  1540.     *out = ( (*in) >>  4  )   % (1U << 20 ) ;
  1541.     out++;
  1542.     *out = ( (*in) >>  24  )   % (1U << 20 ) ;
  1543.     ++in;
  1544.     *out |= ((*in) % (1U<< 12 ))<<( 20 - 12 );
  1545.     out++;
  1546.     *out = ( (*in) >>  12  )   % (1U << 20 ) ;
  1547.     ++in;
  1548.     out++;
  1549.     *out = ( (*in) >>  0  )   % (1U << 20 ) ;
  1550.     out++;
  1551.     *out = ( (*in) >>  20  )   % (1U << 20 ) ;
  1552.     ++in;
  1553.     *out |= ((*in) % (1U<< 8 ))<<( 20 - 8 );
  1554.     out++;
  1555.     *out = ( (*in) >>  8  )   % (1U << 20 ) ;
  1556.     out++;
  1557.     *out = ( (*in) >>  28  )   % (1U << 20 ) ;
  1558.     ++in;
  1559.     *out |= ((*in) % (1U<< 16 ))<<( 20 - 16 );
  1560.     out++;
  1561.     *out = ( (*in) >>  16  )   % (1U << 20 ) ;
  1562.     ++in;
  1563.     *out |= ((*in) % (1U<< 4 ))<<( 20 - 4 );
  1564.     out++;
  1565.     *out = ( (*in) >>  4  )   % (1U << 20 ) ;
  1566.     out++;
  1567.     *out = ( (*in) >>  24  )   % (1U << 20 ) ;
  1568.     ++in;
  1569.     *out |= ((*in) % (1U<< 12 ))<<( 20 - 12 );
  1570.     out++;
  1571.     *out = ( (*in) >>  12  )   % (1U << 20 ) ;
  1572. }
  1573.  
  1574.  
  1575.  
  1576.  
  1577. void __fastunpack21(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1578.     *out = ( (*in) >>  0  )   % (1U << 21 ) ;
  1579.     out++;
  1580.     *out = ( (*in) >>  21  )   % (1U << 21 ) ;
  1581.     ++in;
  1582.     *out |= ((*in) % (1U<< 10 ))<<( 21 - 10 );
  1583.     out++;
  1584.     *out = ( (*in) >>  10  )   % (1U << 21 ) ;
  1585.     out++;
  1586.     *out = ( (*in) >>  31  )   % (1U << 21 ) ;
  1587.     ++in;
  1588.     *out |= ((*in) % (1U<< 20 ))<<( 21 - 20 );
  1589.     out++;
  1590.     *out = ( (*in) >>  20  )   % (1U << 21 ) ;
  1591.     ++in;
  1592.     *out |= ((*in) % (1U<< 9 ))<<( 21 - 9 );
  1593.     out++;
  1594.     *out = ( (*in) >>  9  )   % (1U << 21 ) ;
  1595.     out++;
  1596.     *out = ( (*in) >>  30  )   % (1U << 21 ) ;
  1597.     ++in;
  1598.     *out |= ((*in) % (1U<< 19 ))<<( 21 - 19 );
  1599.     out++;
  1600.     *out = ( (*in) >>  19  )   % (1U << 21 ) ;
  1601.     ++in;
  1602.     *out |= ((*in) % (1U<< 8 ))<<( 21 - 8 );
  1603.     out++;
  1604.     *out = ( (*in) >>  8  )   % (1U << 21 ) ;
  1605.     out++;
  1606.     *out = ( (*in) >>  29  )   % (1U << 21 ) ;
  1607.     ++in;
  1608.     *out |= ((*in) % (1U<< 18 ))<<( 21 - 18 );
  1609.     out++;
  1610.     *out = ( (*in) >>  18  )   % (1U << 21 ) ;
  1611.     ++in;
  1612.     *out |= ((*in) % (1U<< 7 ))<<( 21 - 7 );
  1613.     out++;
  1614.     *out = ( (*in) >>  7  )   % (1U << 21 ) ;
  1615.     out++;
  1616.     *out = ( (*in) >>  28  )   % (1U << 21 ) ;
  1617.     ++in;
  1618.     *out |= ((*in) % (1U<< 17 ))<<( 21 - 17 );
  1619.     out++;
  1620.     *out = ( (*in) >>  17  )   % (1U << 21 ) ;
  1621.     ++in;
  1622.     *out |= ((*in) % (1U<< 6 ))<<( 21 - 6 );
  1623.     out++;
  1624.     *out = ( (*in) >>  6  )   % (1U << 21 ) ;
  1625.     out++;
  1626.     *out = ( (*in) >>  27  )   % (1U << 21 ) ;
  1627.     ++in;
  1628.     *out |= ((*in) % (1U<< 16 ))<<( 21 - 16 );
  1629.     out++;
  1630.     *out = ( (*in) >>  16  )   % (1U << 21 ) ;
  1631.     ++in;
  1632.     *out |= ((*in) % (1U<< 5 ))<<( 21 - 5 );
  1633.     out++;
  1634.     *out = ( (*in) >>  5  )   % (1U << 21 ) ;
  1635.     out++;
  1636.     *out = ( (*in) >>  26  )   % (1U << 21 ) ;
  1637.     ++in;
  1638.     *out |= ((*in) % (1U<< 15 ))<<( 21 - 15 );
  1639.     out++;
  1640.     *out = ( (*in) >>  15  )   % (1U << 21 ) ;
  1641.     ++in;
  1642.     *out |= ((*in) % (1U<< 4 ))<<( 21 - 4 );
  1643.     out++;
  1644.     *out = ( (*in) >>  4  )   % (1U << 21 ) ;
  1645.     out++;
  1646.     *out = ( (*in) >>  25  )   % (1U << 21 ) ;
  1647.     ++in;
  1648.     *out |= ((*in) % (1U<< 14 ))<<( 21 - 14 );
  1649.     out++;
  1650.     *out = ( (*in) >>  14  )   % (1U << 21 ) ;
  1651.     ++in;
  1652.     *out |= ((*in) % (1U<< 3 ))<<( 21 - 3 );
  1653.     out++;
  1654.     *out = ( (*in) >>  3  )   % (1U << 21 ) ;
  1655.     out++;
  1656.     *out = ( (*in) >>  24  )   % (1U << 21 ) ;
  1657.     ++in;
  1658.     *out |= ((*in) % (1U<< 13 ))<<( 21 - 13 );
  1659.     out++;
  1660.     *out = ( (*in) >>  13  )   % (1U << 21 ) ;
  1661.     ++in;
  1662.     *out |= ((*in) % (1U<< 2 ))<<( 21 - 2 );
  1663.     out++;
  1664.     *out = ( (*in) >>  2  )   % (1U << 21 ) ;
  1665.     out++;
  1666.     *out = ( (*in) >>  23  )   % (1U << 21 ) ;
  1667.     ++in;
  1668.     *out |= ((*in) % (1U<< 12 ))<<( 21 - 12 );
  1669.     out++;
  1670.     *out = ( (*in) >>  12  )   % (1U << 21 ) ;
  1671.     ++in;
  1672.     *out |= ((*in) % (1U<< 1 ))<<( 21 - 1 );
  1673.     out++;
  1674.     *out = ( (*in) >>  1  )   % (1U << 21 ) ;
  1675.     out++;
  1676.     *out = ( (*in) >>  22  )   % (1U << 21 ) ;
  1677.     ++in;
  1678.     *out |= ((*in) % (1U<< 11 ))<<( 21 - 11 );
  1679.     out++;
  1680.     *out = ( (*in) >>  11  )   % (1U << 21 ) ;
  1681. }
  1682.  
  1683.  
  1684.  
  1685.  
  1686. void __fastunpack22(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1687.     *out = ( (*in) >>  0  )   % (1U << 22 ) ;
  1688.     out++;
  1689.     *out = ( (*in) >>  22  )   % (1U << 22 ) ;
  1690.     ++in;
  1691.     *out |= ((*in) % (1U<< 12 ))<<( 22 - 12 );
  1692.     out++;
  1693.     *out = ( (*in) >>  12  )   % (1U << 22 ) ;
  1694.     ++in;
  1695.     *out |= ((*in) % (1U<< 2 ))<<( 22 - 2 );
  1696.     out++;
  1697.     *out = ( (*in) >>  2  )   % (1U << 22 ) ;
  1698.     out++;
  1699.     *out = ( (*in) >>  24  )   % (1U << 22 ) ;
  1700.     ++in;
  1701.     *out |= ((*in) % (1U<< 14 ))<<( 22 - 14 );
  1702.     out++;
  1703.     *out = ( (*in) >>  14  )   % (1U << 22 ) ;
  1704.     ++in;
  1705.     *out |= ((*in) % (1U<< 4 ))<<( 22 - 4 );
  1706.     out++;
  1707.     *out = ( (*in) >>  4  )   % (1U << 22 ) ;
  1708.     out++;
  1709.     *out = ( (*in) >>  26  )   % (1U << 22 ) ;
  1710.     ++in;
  1711.     *out |= ((*in) % (1U<< 16 ))<<( 22 - 16 );
  1712.     out++;
  1713.     *out = ( (*in) >>  16  )   % (1U << 22 ) ;
  1714.     ++in;
  1715.     *out |= ((*in) % (1U<< 6 ))<<( 22 - 6 );
  1716.     out++;
  1717.     *out = ( (*in) >>  6  )   % (1U << 22 ) ;
  1718.     out++;
  1719.     *out = ( (*in) >>  28  )   % (1U << 22 ) ;
  1720.     ++in;
  1721.     *out |= ((*in) % (1U<< 18 ))<<( 22 - 18 );
  1722.     out++;
  1723.     *out = ( (*in) >>  18  )   % (1U << 22 ) ;
  1724.     ++in;
  1725.     *out |= ((*in) % (1U<< 8 ))<<( 22 - 8 );
  1726.     out++;
  1727.     *out = ( (*in) >>  8  )   % (1U << 22 ) ;
  1728.     out++;
  1729.     *out = ( (*in) >>  30  )   % (1U << 22 ) ;
  1730.     ++in;
  1731.     *out |= ((*in) % (1U<< 20 ))<<( 22 - 20 );
  1732.     out++;
  1733.     *out = ( (*in) >>  20  )   % (1U << 22 ) ;
  1734.     ++in;
  1735.     *out |= ((*in) % (1U<< 10 ))<<( 22 - 10 );
  1736.     out++;
  1737.     *out = ( (*in) >>  10  )   % (1U << 22 ) ;
  1738.     ++in;
  1739.     out++;
  1740.     *out = ( (*in) >>  0  )   % (1U << 22 ) ;
  1741.     out++;
  1742.     *out = ( (*in) >>  22  )   % (1U << 22 ) ;
  1743.     ++in;
  1744.     *out |= ((*in) % (1U<< 12 ))<<( 22 - 12 );
  1745.     out++;
  1746.     *out = ( (*in) >>  12  )   % (1U << 22 ) ;
  1747.     ++in;
  1748.     *out |= ((*in) % (1U<< 2 ))<<( 22 - 2 );
  1749.     out++;
  1750.     *out = ( (*in) >>  2  )   % (1U << 22 ) ;
  1751.     out++;
  1752.     *out = ( (*in) >>  24  )   % (1U << 22 ) ;
  1753.     ++in;
  1754.     *out |= ((*in) % (1U<< 14 ))<<( 22 - 14 );
  1755.     out++;
  1756.     *out = ( (*in) >>  14  )   % (1U << 22 ) ;
  1757.     ++in;
  1758.     *out |= ((*in) % (1U<< 4 ))<<( 22 - 4 );
  1759.     out++;
  1760.     *out = ( (*in) >>  4  )   % (1U << 22 ) ;
  1761.     out++;
  1762.     *out = ( (*in) >>  26  )   % (1U << 22 ) ;
  1763.     ++in;
  1764.     *out |= ((*in) % (1U<< 16 ))<<( 22 - 16 );
  1765.     out++;
  1766.     *out = ( (*in) >>  16  )   % (1U << 22 ) ;
  1767.     ++in;
  1768.     *out |= ((*in) % (1U<< 6 ))<<( 22 - 6 );
  1769.     out++;
  1770.     *out = ( (*in) >>  6  )   % (1U << 22 ) ;
  1771.     out++;
  1772.     *out = ( (*in) >>  28  )   % (1U << 22 ) ;
  1773.     ++in;
  1774.     *out |= ((*in) % (1U<< 18 ))<<( 22 - 18 );
  1775.     out++;
  1776.     *out = ( (*in) >>  18  )   % (1U << 22 ) ;
  1777.     ++in;
  1778.     *out |= ((*in) % (1U<< 8 ))<<( 22 - 8 );
  1779.     out++;
  1780.     *out = ( (*in) >>  8  )   % (1U << 22 ) ;
  1781.     out++;
  1782.     *out = ( (*in) >>  30  )   % (1U << 22 ) ;
  1783.     ++in;
  1784.     *out |= ((*in) % (1U<< 20 ))<<( 22 - 20 );
  1785.     out++;
  1786.     *out = ( (*in) >>  20  )   % (1U << 22 ) ;
  1787.     ++in;
  1788.     *out |= ((*in) % (1U<< 10 ))<<( 22 - 10 );
  1789.     out++;
  1790.     *out = ( (*in) >>  10  )   % (1U << 22 ) ;
  1791. }
  1792.  
  1793.  
  1794.  
  1795.  
  1796. void __fastunpack23(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1797.     *out = ( (*in) >>  0  )   % (1U << 23 ) ;
  1798.     out++;
  1799.     *out = ( (*in) >>  23  )   % (1U << 23 ) ;
  1800.     ++in;
  1801.     *out |= ((*in) % (1U<< 14 ))<<( 23 - 14 );
  1802.     out++;
  1803.     *out = ( (*in) >>  14  )   % (1U << 23 ) ;
  1804.     ++in;
  1805.     *out |= ((*in) % (1U<< 5 ))<<( 23 - 5 );
  1806.     out++;
  1807.     *out = ( (*in) >>  5  )   % (1U << 23 ) ;
  1808.     out++;
  1809.     *out = ( (*in) >>  28  )   % (1U << 23 ) ;
  1810.     ++in;
  1811.     *out |= ((*in) % (1U<< 19 ))<<( 23 - 19 );
  1812.     out++;
  1813.     *out = ( (*in) >>  19  )   % (1U << 23 ) ;
  1814.     ++in;
  1815.     *out |= ((*in) % (1U<< 10 ))<<( 23 - 10 );
  1816.     out++;
  1817.     *out = ( (*in) >>  10  )   % (1U << 23 ) ;
  1818.     ++in;
  1819.     *out |= ((*in) % (1U<< 1 ))<<( 23 - 1 );
  1820.     out++;
  1821.     *out = ( (*in) >>  1  )   % (1U << 23 ) ;
  1822.     out++;
  1823.     *out = ( (*in) >>  24  )   % (1U << 23 ) ;
  1824.     ++in;
  1825.     *out |= ((*in) % (1U<< 15 ))<<( 23 - 15 );
  1826.     out++;
  1827.     *out = ( (*in) >>  15  )   % (1U << 23 ) ;
  1828.     ++in;
  1829.     *out |= ((*in) % (1U<< 6 ))<<( 23 - 6 );
  1830.     out++;
  1831.     *out = ( (*in) >>  6  )   % (1U << 23 ) ;
  1832.     out++;
  1833.     *out = ( (*in) >>  29  )   % (1U << 23 ) ;
  1834.     ++in;
  1835.     *out |= ((*in) % (1U<< 20 ))<<( 23 - 20 );
  1836.     out++;
  1837.     *out = ( (*in) >>  20  )   % (1U << 23 ) ;
  1838.     ++in;
  1839.     *out |= ((*in) % (1U<< 11 ))<<( 23 - 11 );
  1840.     out++;
  1841.     *out = ( (*in) >>  11  )   % (1U << 23 ) ;
  1842.     ++in;
  1843.     *out |= ((*in) % (1U<< 2 ))<<( 23 - 2 );
  1844.     out++;
  1845.     *out = ( (*in) >>  2  )   % (1U << 23 ) ;
  1846.     out++;
  1847.     *out = ( (*in) >>  25  )   % (1U << 23 ) ;
  1848.     ++in;
  1849.     *out |= ((*in) % (1U<< 16 ))<<( 23 - 16 );
  1850.     out++;
  1851.     *out = ( (*in) >>  16  )   % (1U << 23 ) ;
  1852.     ++in;
  1853.     *out |= ((*in) % (1U<< 7 ))<<( 23 - 7 );
  1854.     out++;
  1855.     *out = ( (*in) >>  7  )   % (1U << 23 ) ;
  1856.     out++;
  1857.     *out = ( (*in) >>  30  )   % (1U << 23 ) ;
  1858.     ++in;
  1859.     *out |= ((*in) % (1U<< 21 ))<<( 23 - 21 );
  1860.     out++;
  1861.     *out = ( (*in) >>  21  )   % (1U << 23 ) ;
  1862.     ++in;
  1863.     *out |= ((*in) % (1U<< 12 ))<<( 23 - 12 );
  1864.     out++;
  1865.     *out = ( (*in) >>  12  )   % (1U << 23 ) ;
  1866.     ++in;
  1867.     *out |= ((*in) % (1U<< 3 ))<<( 23 - 3 );
  1868.     out++;
  1869.     *out = ( (*in) >>  3  )   % (1U << 23 ) ;
  1870.     out++;
  1871.     *out = ( (*in) >>  26  )   % (1U << 23 ) ;
  1872.     ++in;
  1873.     *out |= ((*in) % (1U<< 17 ))<<( 23 - 17 );
  1874.     out++;
  1875.     *out = ( (*in) >>  17  )   % (1U << 23 ) ;
  1876.     ++in;
  1877.     *out |= ((*in) % (1U<< 8 ))<<( 23 - 8 );
  1878.     out++;
  1879.     *out = ( (*in) >>  8  )   % (1U << 23 ) ;
  1880.     out++;
  1881.     *out = ( (*in) >>  31  )   % (1U << 23 ) ;
  1882.     ++in;
  1883.     *out |= ((*in) % (1U<< 22 ))<<( 23 - 22 );
  1884.     out++;
  1885.     *out = ( (*in) >>  22  )   % (1U << 23 ) ;
  1886.     ++in;
  1887.     *out |= ((*in) % (1U<< 13 ))<<( 23 - 13 );
  1888.     out++;
  1889.     *out = ( (*in) >>  13  )   % (1U << 23 ) ;
  1890.     ++in;
  1891.     *out |= ((*in) % (1U<< 4 ))<<( 23 - 4 );
  1892.     out++;
  1893.     *out = ( (*in) >>  4  )   % (1U << 23 ) ;
  1894.     out++;
  1895.     *out = ( (*in) >>  27  )   % (1U << 23 ) ;
  1896.     ++in;
  1897.     *out |= ((*in) % (1U<< 18 ))<<( 23 - 18 );
  1898.     out++;
  1899.     *out = ( (*in) >>  18  )   % (1U << 23 ) ;
  1900.     ++in;
  1901.     *out |= ((*in) % (1U<< 9 ))<<( 23 - 9 );
  1902.     out++;
  1903.     *out = ( (*in) >>  9  )   % (1U << 23 ) ;
  1904. }
  1905.  
  1906.  
  1907.  
  1908.  
  1909. void __fastunpack24(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1910.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  1911.     out++;
  1912.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  1913.     ++in;
  1914.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  1915.     out++;
  1916.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  1917.     ++in;
  1918.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  1919.     out++;
  1920.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  1921.     ++in;
  1922.     out++;
  1923.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  1924.     out++;
  1925.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  1926.     ++in;
  1927.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  1928.     out++;
  1929.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  1930.     ++in;
  1931.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  1932.     out++;
  1933.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  1934.     ++in;
  1935.     out++;
  1936.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  1937.     out++;
  1938.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  1939.     ++in;
  1940.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  1941.     out++;
  1942.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  1943.     ++in;
  1944.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  1945.     out++;
  1946.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  1947.     ++in;
  1948.     out++;
  1949.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  1950.     out++;
  1951.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  1952.     ++in;
  1953.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  1954.     out++;
  1955.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  1956.     ++in;
  1957.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  1958.     out++;
  1959.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  1960.     ++in;
  1961.     out++;
  1962.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  1963.     out++;
  1964.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  1965.     ++in;
  1966.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  1967.     out++;
  1968.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  1969.     ++in;
  1970.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  1971.     out++;
  1972.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  1973.     ++in;
  1974.     out++;
  1975.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  1976.     out++;
  1977.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  1978.     ++in;
  1979.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  1980.     out++;
  1981.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  1982.     ++in;
  1983.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  1984.     out++;
  1985.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  1986.     ++in;
  1987.     out++;
  1988.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  1989.     out++;
  1990.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  1991.     ++in;
  1992.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  1993.     out++;
  1994.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  1995.     ++in;
  1996.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  1997.     out++;
  1998.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  1999.     ++in;
  2000.     out++;
  2001.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  2002.     out++;
  2003.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  2004.     ++in;
  2005.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  2006.     out++;
  2007.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  2008.     ++in;
  2009.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  2010.     out++;
  2011.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  2012. }
  2013.  
  2014.  
  2015.  
  2016.  
  2017. void __fastunpack25(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2018.     *out = ( (*in) >>  0  )   % (1U << 25 ) ;
  2019.     out++;
  2020.     *out = ( (*in) >>  25  )   % (1U << 25 ) ;
  2021.     ++in;
  2022.     *out |= ((*in) % (1U<< 18 ))<<( 25 - 18 );
  2023.     out++;
  2024.     *out = ( (*in) >>  18  )   % (1U << 25 ) ;
  2025.     ++in;
  2026.     *out |= ((*in) % (1U<< 11 ))<<( 25 - 11 );
  2027.     out++;
  2028.     *out = ( (*in) >>  11  )   % (1U << 25 ) ;
  2029.     ++in;
  2030.     *out |= ((*in) % (1U<< 4 ))<<( 25 - 4 );
  2031.     out++;
  2032.     *out = ( (*in) >>  4  )   % (1U << 25 ) ;
  2033.     out++;
  2034.     *out = ( (*in) >>  29  )   % (1U << 25 ) ;
  2035.     ++in;
  2036.     *out |= ((*in) % (1U<< 22 ))<<( 25 - 22 );
  2037.     out++;
  2038.     *out = ( (*in) >>  22  )   % (1U << 25 ) ;
  2039.     ++in;
  2040.     *out |= ((*in) % (1U<< 15 ))<<( 25 - 15 );
  2041.     out++;
  2042.     *out = ( (*in) >>  15  )   % (1U << 25 ) ;
  2043.     ++in;
  2044.     *out |= ((*in) % (1U<< 8 ))<<( 25 - 8 );
  2045.     out++;
  2046.     *out = ( (*in) >>  8  )   % (1U << 25 ) ;
  2047.     ++in;
  2048.     *out |= ((*in) % (1U<< 1 ))<<( 25 - 1 );
  2049.     out++;
  2050.     *out = ( (*in) >>  1  )   % (1U << 25 ) ;
  2051.     out++;
  2052.     *out = ( (*in) >>  26  )   % (1U << 25 ) ;
  2053.     ++in;
  2054.     *out |= ((*in) % (1U<< 19 ))<<( 25 - 19 );
  2055.     out++;
  2056.     *out = ( (*in) >>  19  )   % (1U << 25 ) ;
  2057.     ++in;
  2058.     *out |= ((*in) % (1U<< 12 ))<<( 25 - 12 );
  2059.     out++;
  2060.     *out = ( (*in) >>  12  )   % (1U << 25 ) ;
  2061.     ++in;
  2062.     *out |= ((*in) % (1U<< 5 ))<<( 25 - 5 );
  2063.     out++;
  2064.     *out = ( (*in) >>  5  )   % (1U << 25 ) ;
  2065.     out++;
  2066.     *out = ( (*in) >>  30  )   % (1U << 25 ) ;
  2067.     ++in;
  2068.     *out |= ((*in) % (1U<< 23 ))<<( 25 - 23 );
  2069.     out++;
  2070.     *out = ( (*in) >>  23  )   % (1U << 25 ) ;
  2071.     ++in;
  2072.     *out |= ((*in) % (1U<< 16 ))<<( 25 - 16 );
  2073.     out++;
  2074.     *out = ( (*in) >>  16  )   % (1U << 25 ) ;
  2075.     ++in;
  2076.     *out |= ((*in) % (1U<< 9 ))<<( 25 - 9 );
  2077.     out++;
  2078.     *out = ( (*in) >>  9  )   % (1U << 25 ) ;
  2079.     ++in;
  2080.     *out |= ((*in) % (1U<< 2 ))<<( 25 - 2 );
  2081.     out++;
  2082.     *out = ( (*in) >>  2  )   % (1U << 25 ) ;
  2083.     out++;
  2084.     *out = ( (*in) >>  27  )   % (1U << 25 ) ;
  2085.     ++in;
  2086.     *out |= ((*in) % (1U<< 20 ))<<( 25 - 20 );
  2087.     out++;
  2088.     *out = ( (*in) >>  20  )   % (1U << 25 ) ;
  2089.     ++in;
  2090.     *out |= ((*in) % (1U<< 13 ))<<( 25 - 13 );
  2091.     out++;
  2092.     *out = ( (*in) >>  13  )   % (1U << 25 ) ;
  2093.     ++in;
  2094.     *out |= ((*in) % (1U<< 6 ))<<( 25 - 6 );
  2095.     out++;
  2096.     *out = ( (*in) >>  6  )   % (1U << 25 ) ;
  2097.     out++;
  2098.     *out = ( (*in) >>  31  )   % (1U << 25 ) ;
  2099.     ++in;
  2100.     *out |= ((*in) % (1U<< 24 ))<<( 25 - 24 );
  2101.     out++;
  2102.     *out = ( (*in) >>  24  )   % (1U << 25 ) ;
  2103.     ++in;
  2104.     *out |= ((*in) % (1U<< 17 ))<<( 25 - 17 );
  2105.     out++;
  2106.     *out = ( (*in) >>  17  )   % (1U << 25 ) ;
  2107.     ++in;
  2108.     *out |= ((*in) % (1U<< 10 ))<<( 25 - 10 );
  2109.     out++;
  2110.     *out = ( (*in) >>  10  )   % (1U << 25 ) ;
  2111.     ++in;
  2112.     *out |= ((*in) % (1U<< 3 ))<<( 25 - 3 );
  2113.     out++;
  2114.     *out = ( (*in) >>  3  )   % (1U << 25 ) ;
  2115.     out++;
  2116.     *out = ( (*in) >>  28  )   % (1U << 25 ) ;
  2117.     ++in;
  2118.     *out |= ((*in) % (1U<< 21 ))<<( 25 - 21 );
  2119.     out++;
  2120.     *out = ( (*in) >>  21  )   % (1U << 25 ) ;
  2121.     ++in;
  2122.     *out |= ((*in) % (1U<< 14 ))<<( 25 - 14 );
  2123.     out++;
  2124.     *out = ( (*in) >>  14  )   % (1U << 25 ) ;
  2125.     ++in;
  2126.     *out |= ((*in) % (1U<< 7 ))<<( 25 - 7 );
  2127.     out++;
  2128.     *out = ( (*in) >>  7  )   % (1U << 25 ) ;
  2129. }
  2130.  
  2131.  
  2132.  
  2133.  
  2134. void __fastunpack26(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2135.     *out = ( (*in) >>  0  )   % (1U << 26 ) ;
  2136.     out++;
  2137.     *out = ( (*in) >>  26  )   % (1U << 26 ) ;
  2138.     ++in;
  2139.     *out |= ((*in) % (1U<< 20 ))<<( 26 - 20 );
  2140.     out++;
  2141.     *out = ( (*in) >>  20  )   % (1U << 26 ) ;
  2142.     ++in;
  2143.     *out |= ((*in) % (1U<< 14 ))<<( 26 - 14 );
  2144.     out++;
  2145.     *out = ( (*in) >>  14  )   % (1U << 26 ) ;
  2146.     ++in;
  2147.     *out |= ((*in) % (1U<< 8 ))<<( 26 - 8 );
  2148.     out++;
  2149.     *out = ( (*in) >>  8  )   % (1U << 26 ) ;
  2150.     ++in;
  2151.     *out |= ((*in) % (1U<< 2 ))<<( 26 - 2 );
  2152.     out++;
  2153.     *out = ( (*in) >>  2  )   % (1U << 26 ) ;
  2154.     out++;
  2155.     *out = ( (*in) >>  28  )   % (1U << 26 ) ;
  2156.     ++in;
  2157.     *out |= ((*in) % (1U<< 22 ))<<( 26 - 22 );
  2158.     out++;
  2159.     *out = ( (*in) >>  22  )   % (1U << 26 ) ;
  2160.     ++in;
  2161.     *out |= ((*in) % (1U<< 16 ))<<( 26 - 16 );
  2162.     out++;
  2163.     *out = ( (*in) >>  16  )   % (1U << 26 ) ;
  2164.     ++in;
  2165.     *out |= ((*in) % (1U<< 10 ))<<( 26 - 10 );
  2166.     out++;
  2167.     *out = ( (*in) >>  10  )   % (1U << 26 ) ;
  2168.     ++in;
  2169.     *out |= ((*in) % (1U<< 4 ))<<( 26 - 4 );
  2170.     out++;
  2171.     *out = ( (*in) >>  4  )   % (1U << 26 ) ;
  2172.     out++;
  2173.     *out = ( (*in) >>  30  )   % (1U << 26 ) ;
  2174.     ++in;
  2175.     *out |= ((*in) % (1U<< 24 ))<<( 26 - 24 );
  2176.     out++;
  2177.     *out = ( (*in) >>  24  )   % (1U << 26 ) ;
  2178.     ++in;
  2179.     *out |= ((*in) % (1U<< 18 ))<<( 26 - 18 );
  2180.     out++;
  2181.     *out = ( (*in) >>  18  )   % (1U << 26 ) ;
  2182.     ++in;
  2183.     *out |= ((*in) % (1U<< 12 ))<<( 26 - 12 );
  2184.     out++;
  2185.     *out = ( (*in) >>  12  )   % (1U << 26 ) ;
  2186.     ++in;
  2187.     *out |= ((*in) % (1U<< 6 ))<<( 26 - 6 );
  2188.     out++;
  2189.     *out = ( (*in) >>  6  )   % (1U << 26 ) ;
  2190.     ++in;
  2191.     out++;
  2192.     *out = ( (*in) >>  0  )   % (1U << 26 ) ;
  2193.     out++;
  2194.     *out = ( (*in) >>  26  )   % (1U << 26 ) ;
  2195.     ++in;
  2196.     *out |= ((*in) % (1U<< 20 ))<<( 26 - 20 );
  2197.     out++;
  2198.     *out = ( (*in) >>  20  )   % (1U << 26 ) ;
  2199.     ++in;
  2200.     *out |= ((*in) % (1U<< 14 ))<<( 26 - 14 );
  2201.     out++;
  2202.     *out = ( (*in) >>  14  )   % (1U << 26 ) ;
  2203.     ++in;
  2204.     *out |= ((*in) % (1U<< 8 ))<<( 26 - 8 );
  2205.     out++;
  2206.     *out = ( (*in) >>  8  )   % (1U << 26 ) ;
  2207.     ++in;
  2208.     *out |= ((*in) % (1U<< 2 ))<<( 26 - 2 );
  2209.     out++;
  2210.     *out = ( (*in) >>  2  )   % (1U << 26 ) ;
  2211.     out++;
  2212.     *out = ( (*in) >>  28  )   % (1U << 26 ) ;
  2213.     ++in;
  2214.     *out |= ((*in) % (1U<< 22 ))<<( 26 - 22 );
  2215.     out++;
  2216.     *out = ( (*in) >>  22  )   % (1U << 26 ) ;
  2217.     ++in;
  2218.     *out |= ((*in) % (1U<< 16 ))<<( 26 - 16 );
  2219.     out++;
  2220.     *out = ( (*in) >>  16  )   % (1U << 26 ) ;
  2221.     ++in;
  2222.     *out |= ((*in) % (1U<< 10 ))<<( 26 - 10 );
  2223.     out++;
  2224.     *out = ( (*in) >>  10  )   % (1U << 26 ) ;
  2225.     ++in;
  2226.     *out |= ((*in) % (1U<< 4 ))<<( 26 - 4 );
  2227.     out++;
  2228.     *out = ( (*in) >>  4  )   % (1U << 26 ) ;
  2229.     out++;
  2230.     *out = ( (*in) >>  30  )   % (1U << 26 ) ;
  2231.     ++in;
  2232.     *out |= ((*in) % (1U<< 24 ))<<( 26 - 24 );
  2233.     out++;
  2234.     *out = ( (*in) >>  24  )   % (1U << 26 ) ;
  2235.     ++in;
  2236.     *out |= ((*in) % (1U<< 18 ))<<( 26 - 18 );
  2237.     out++;
  2238.     *out = ( (*in) >>  18  )   % (1U << 26 ) ;
  2239.     ++in;
  2240.     *out |= ((*in) % (1U<< 12 ))<<( 26 - 12 );
  2241.     out++;
  2242.     *out = ( (*in) >>  12  )   % (1U << 26 ) ;
  2243.     ++in;
  2244.     *out |= ((*in) % (1U<< 6 ))<<( 26 - 6 );
  2245.     out++;
  2246.     *out = ( (*in) >>  6  )   % (1U << 26 ) ;
  2247. }
  2248.  
  2249.  
  2250.  
  2251.  
  2252. void __fastunpack27(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2253.     *out = ( (*in) >>  0  )   % (1U << 27 ) ;
  2254.     out++;
  2255.     *out = ( (*in) >>  27  )   % (1U << 27 ) ;
  2256.     ++in;
  2257.     *out |= ((*in) % (1U<< 22 ))<<( 27 - 22 );
  2258.     out++;
  2259.     *out = ( (*in) >>  22  )   % (1U << 27 ) ;
  2260.     ++in;
  2261.     *out |= ((*in) % (1U<< 17 ))<<( 27 - 17 );
  2262.     out++;
  2263.     *out = ( (*in) >>  17  )   % (1U << 27 ) ;
  2264.     ++in;
  2265.     *out |= ((*in) % (1U<< 12 ))<<( 27 - 12 );
  2266.     out++;
  2267.     *out = ( (*in) >>  12  )   % (1U << 27 ) ;
  2268.     ++in;
  2269.     *out |= ((*in) % (1U<< 7 ))<<( 27 - 7 );
  2270.     out++;
  2271.     *out = ( (*in) >>  7  )   % (1U << 27 ) ;
  2272.     ++in;
  2273.     *out |= ((*in) % (1U<< 2 ))<<( 27 - 2 );
  2274.     out++;
  2275.     *out = ( (*in) >>  2  )   % (1U << 27 ) ;
  2276.     out++;
  2277.     *out = ( (*in) >>  29  )   % (1U << 27 ) ;
  2278.     ++in;
  2279.     *out |= ((*in) % (1U<< 24 ))<<( 27 - 24 );
  2280.     out++;
  2281.     *out = ( (*in) >>  24  )   % (1U << 27 ) ;
  2282.     ++in;
  2283.     *out |= ((*in) % (1U<< 19 ))<<( 27 - 19 );
  2284.     out++;
  2285.     *out = ( (*in) >>  19  )   % (1U << 27 ) ;
  2286.     ++in;
  2287.     *out |= ((*in) % (1U<< 14 ))<<( 27 - 14 );
  2288.     out++;
  2289.     *out = ( (*in) >>  14  )   % (1U << 27 ) ;
  2290.     ++in;
  2291.     *out |= ((*in) % (1U<< 9 ))<<( 27 - 9 );
  2292.     out++;
  2293.     *out = ( (*in) >>  9  )   % (1U << 27 ) ;
  2294.     ++in;
  2295.     *out |= ((*in) % (1U<< 4 ))<<( 27 - 4 );
  2296.     out++;
  2297.     *out = ( (*in) >>  4  )   % (1U << 27 ) ;
  2298.     out++;
  2299.     *out = ( (*in) >>  31  )   % (1U << 27 ) ;
  2300.     ++in;
  2301.     *out |= ((*in) % (1U<< 26 ))<<( 27 - 26 );
  2302.     out++;
  2303.     *out = ( (*in) >>  26  )   % (1U << 27 ) ;
  2304.     ++in;
  2305.     *out |= ((*in) % (1U<< 21 ))<<( 27 - 21 );
  2306.     out++;
  2307.     *out = ( (*in) >>  21  )   % (1U << 27 ) ;
  2308.     ++in;
  2309.     *out |= ((*in) % (1U<< 16 ))<<( 27 - 16 );
  2310.     out++;
  2311.     *out = ( (*in) >>  16  )   % (1U << 27 ) ;
  2312.     ++in;
  2313.     *out |= ((*in) % (1U<< 11 ))<<( 27 - 11 );
  2314.     out++;
  2315.     *out = ( (*in) >>  11  )   % (1U << 27 ) ;
  2316.     ++in;
  2317.     *out |= ((*in) % (1U<< 6 ))<<( 27 - 6 );
  2318.     out++;
  2319.     *out = ( (*in) >>  6  )   % (1U << 27 ) ;
  2320.     ++in;
  2321.     *out |= ((*in) % (1U<< 1 ))<<( 27 - 1 );
  2322.     out++;
  2323.     *out = ( (*in) >>  1  )   % (1U << 27 ) ;
  2324.     out++;
  2325.     *out = ( (*in) >>  28  )   % (1U << 27 ) ;
  2326.     ++in;
  2327.     *out |= ((*in) % (1U<< 23 ))<<( 27 - 23 );
  2328.     out++;
  2329.     *out = ( (*in) >>  23  )   % (1U << 27 ) ;
  2330.     ++in;
  2331.     *out |= ((*in) % (1U<< 18 ))<<( 27 - 18 );
  2332.     out++;
  2333.     *out = ( (*in) >>  18  )   % (1U << 27 ) ;
  2334.     ++in;
  2335.     *out |= ((*in) % (1U<< 13 ))<<( 27 - 13 );
  2336.     out++;
  2337.     *out = ( (*in) >>  13  )   % (1U << 27 ) ;
  2338.     ++in;
  2339.     *out |= ((*in) % (1U<< 8 ))<<( 27 - 8 );
  2340.     out++;
  2341.     *out = ( (*in) >>  8  )   % (1U << 27 ) ;
  2342.     ++in;
  2343.     *out |= ((*in) % (1U<< 3 ))<<( 27 - 3 );
  2344.     out++;
  2345.     *out = ( (*in) >>  3  )   % (1U << 27 ) ;
  2346.     out++;
  2347.     *out = ( (*in) >>  30  )   % (1U << 27 ) ;
  2348.     ++in;
  2349.     *out |= ((*in) % (1U<< 25 ))<<( 27 - 25 );
  2350.     out++;
  2351.     *out = ( (*in) >>  25  )   % (1U << 27 ) ;
  2352.     ++in;
  2353.     *out |= ((*in) % (1U<< 20 ))<<( 27 - 20 );
  2354.     out++;
  2355.     *out = ( (*in) >>  20  )   % (1U << 27 ) ;
  2356.     ++in;
  2357.     *out |= ((*in) % (1U<< 15 ))<<( 27 - 15 );
  2358.     out++;
  2359.     *out = ( (*in) >>  15  )   % (1U << 27 ) ;
  2360.     ++in;
  2361.     *out |= ((*in) % (1U<< 10 ))<<( 27 - 10 );
  2362.     out++;
  2363.     *out = ( (*in) >>  10  )   % (1U << 27 ) ;
  2364.     ++in;
  2365.     *out |= ((*in) % (1U<< 5 ))<<( 27 - 5 );
  2366.     out++;
  2367.     *out = ( (*in) >>  5  )   % (1U << 27 ) ;
  2368. }
  2369.  
  2370.  
  2371.  
  2372.  
  2373. void __fastunpack28(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2374.     *out = ( (*in) >>  0  )   % (1U << 28 ) ;
  2375.     out++;
  2376.     *out = ( (*in) >>  28  )   % (1U << 28 ) ;
  2377.     ++in;
  2378.     *out |= ((*in) % (1U<< 24 ))<<( 28 - 24 );
  2379.     out++;
  2380.     *out = ( (*in) >>  24  )   % (1U << 28 ) ;
  2381.     ++in;
  2382.     *out |= ((*in) % (1U<< 20 ))<<( 28 - 20 );
  2383.     out++;
  2384.     *out = ( (*in) >>  20  )   % (1U << 28 ) ;
  2385.     ++in;
  2386.     *out |= ((*in) % (1U<< 16 ))<<( 28 - 16 );
  2387.     out++;
  2388.     *out = ( (*in) >>  16  )   % (1U << 28 ) ;
  2389.     ++in;
  2390.     *out |= ((*in) % (1U<< 12 ))<<( 28 - 12 );
  2391.     out++;
  2392.     *out = ( (*in) >>  12  )   % (1U << 28 ) ;
  2393.     ++in;
  2394.     *out |= ((*in) % (1U<< 8 ))<<( 28 - 8 );
  2395.     out++;
  2396.     *out = ( (*in) >>  8  )   % (1U << 28 ) ;
  2397.     ++in;
  2398.     *out |= ((*in) % (1U<< 4 ))<<( 28 - 4 );
  2399.     out++;
  2400.     *out = ( (*in) >>  4  )   % (1U << 28 ) ;
  2401.     ++in;
  2402.     out++;
  2403.     *out = ( (*in) >>  0  )   % (1U << 28 ) ;
  2404.     out++;
  2405.     *out = ( (*in) >>  28  )   % (1U << 28 ) ;
  2406.     ++in;
  2407.     *out |= ((*in) % (1U<< 24 ))<<( 28 - 24 );
  2408.     out++;
  2409.     *out = ( (*in) >>  24  )   % (1U << 28 ) ;
  2410.     ++in;
  2411.     *out |= ((*in) % (1U<< 20 ))<<( 28 - 20 );
  2412.     out++;
  2413.     *out = ( (*in) >>  20  )   % (1U << 28 ) ;
  2414.     ++in;
  2415.     *out |= ((*in) % (1U<< 16 ))<<( 28 - 16 );
  2416.     out++;
  2417.     *out = ( (*in) >>  16  )   % (1U << 28 ) ;
  2418.     ++in;
  2419.     *out |= ((*in) % (1U<< 12 ))<<( 28 - 12 );
  2420.     out++;
  2421.     *out = ( (*in) >>  12  )   % (1U << 28 ) ;
  2422.     ++in;
  2423.     *out |= ((*in) % (1U<< 8 ))<<( 28 - 8 );
  2424.     out++;
  2425.     *out = ( (*in) >>  8  )   % (1U << 28 ) ;
  2426.     ++in;
  2427.     *out |= ((*in) % (1U<< 4 ))<<( 28 - 4 );
  2428.     out++;
  2429.     *out = ( (*in) >>  4  )   % (1U << 28 ) ;
  2430.     ++in;
  2431.     out++;
  2432.     *out = ( (*in) >>  0  )   % (1U << 28 ) ;
  2433.     out++;
  2434.     *out = ( (*in) >>  28  )   % (1U << 28 ) ;
  2435.     ++in;
  2436.     *out |= ((*in) % (1U<< 24 ))<<( 28 - 24 );
  2437.     out++;
  2438.     *out = ( (*in) >>  24  )   % (1U << 28 ) ;
  2439.     ++in;
  2440.     *out |= ((*in) % (1U<< 20 ))<<( 28 - 20 );
  2441.     out++;
  2442.     *out = ( (*in) >>  20  )   % (1U << 28 ) ;
  2443.     ++in;
  2444.     *out |= ((*in) % (1U<< 16 ))<<( 28 - 16 );
  2445.     out++;
  2446.     *out = ( (*in) >>  16  )   % (1U << 28 ) ;
  2447.     ++in;
  2448.     *out |= ((*in) % (1U<< 12 ))<<( 28 - 12 );
  2449.     out++;
  2450.     *out = ( (*in) >>  12  )   % (1U << 28 ) ;
  2451.     ++in;
  2452.     *out |= ((*in) % (1U<< 8 ))<<( 28 - 8 );
  2453.     out++;
  2454.     *out = ( (*in) >>  8  )   % (1U << 28 ) ;
  2455.     ++in;
  2456.     *out |= ((*in) % (1U<< 4 ))<<( 28 - 4 );
  2457.     out++;
  2458.     *out = ( (*in) >>  4  )   % (1U << 28 ) ;
  2459.     ++in;
  2460.     out++;
  2461.     *out = ( (*in) >>  0  )   % (1U << 28 ) ;
  2462.     out++;
  2463.     *out = ( (*in) >>  28  )   % (1U << 28 ) ;
  2464.     ++in;
  2465.     *out |= ((*in) % (1U<< 24 ))<<( 28 - 24 );
  2466.     out++;
  2467.     *out = ( (*in) >>  24  )   % (1U << 28 ) ;
  2468.     ++in;
  2469.     *out |= ((*in) % (1U<< 20 ))<<( 28 - 20 );
  2470.     out++;
  2471.     *out = ( (*in) >>  20  )   % (1U << 28 ) ;
  2472.     ++in;
  2473.     *out |= ((*in) % (1U<< 16 ))<<( 28 - 16 );
  2474.     out++;
  2475.     *out = ( (*in) >>  16  )   % (1U << 28 ) ;
  2476.     ++in;
  2477.     *out |= ((*in) % (1U<< 12 ))<<( 28 - 12 );
  2478.     out++;
  2479.     *out = ( (*in) >>  12  )   % (1U << 28 ) ;
  2480.     ++in;
  2481.     *out |= ((*in) % (1U<< 8 ))<<( 28 - 8 );
  2482.     out++;
  2483.     *out = ( (*in) >>  8  )   % (1U << 28 ) ;
  2484.     ++in;
  2485.     *out |= ((*in) % (1U<< 4 ))<<( 28 - 4 );
  2486.     out++;
  2487.     *out = ( (*in) >>  4  )   % (1U << 28 ) ;
  2488. }
  2489.  
  2490.  
  2491.  
  2492.  
  2493. void __fastunpack29(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2494.     *out = ( (*in) >>  0  )   % (1U << 29 ) ;
  2495.     out++;
  2496.     *out = ( (*in) >>  29  )   % (1U << 29 ) ;
  2497.     ++in;
  2498.     *out |= ((*in) % (1U<< 26 ))<<( 29 - 26 );
  2499.     out++;
  2500.     *out = ( (*in) >>  26  )   % (1U << 29 ) ;
  2501.     ++in;
  2502.     *out |= ((*in) % (1U<< 23 ))<<( 29 - 23 );
  2503.     out++;
  2504.     *out = ( (*in) >>  23  )   % (1U << 29 ) ;
  2505.     ++in;
  2506.     *out |= ((*in) % (1U<< 20 ))<<( 29 - 20 );
  2507.     out++;
  2508.     *out = ( (*in) >>  20  )   % (1U << 29 ) ;
  2509.     ++in;
  2510.     *out |= ((*in) % (1U<< 17 ))<<( 29 - 17 );
  2511.     out++;
  2512.     *out = ( (*in) >>  17  )   % (1U << 29 ) ;
  2513.     ++in;
  2514.     *out |= ((*in) % (1U<< 14 ))<<( 29 - 14 );
  2515.     out++;
  2516.     *out = ( (*in) >>  14  )   % (1U << 29 ) ;
  2517.     ++in;
  2518.     *out |= ((*in) % (1U<< 11 ))<<( 29 - 11 );
  2519.     out++;
  2520.     *out = ( (*in) >>  11  )   % (1U << 29 ) ;
  2521.     ++in;
  2522.     *out |= ((*in) % (1U<< 8 ))<<( 29 - 8 );
  2523.     out++;
  2524.     *out = ( (*in) >>  8  )   % (1U << 29 ) ;
  2525.     ++in;
  2526.     *out |= ((*in) % (1U<< 5 ))<<( 29 - 5 );
  2527.     out++;
  2528.     *out = ( (*in) >>  5  )   % (1U << 29 ) ;
  2529.     ++in;
  2530.     *out |= ((*in) % (1U<< 2 ))<<( 29 - 2 );
  2531.     out++;
  2532.     *out = ( (*in) >>  2  )   % (1U << 29 ) ;
  2533.     out++;
  2534.     *out = ( (*in) >>  31  )   % (1U << 29 ) ;
  2535.     ++in;
  2536.     *out |= ((*in) % (1U<< 28 ))<<( 29 - 28 );
  2537.     out++;
  2538.     *out = ( (*in) >>  28  )   % (1U << 29 ) ;
  2539.     ++in;
  2540.     *out |= ((*in) % (1U<< 25 ))<<( 29 - 25 );
  2541.     out++;
  2542.     *out = ( (*in) >>  25  )   % (1U << 29 ) ;
  2543.     ++in;
  2544.     *out |= ((*in) % (1U<< 22 ))<<( 29 - 22 );
  2545.     out++;
  2546.     *out = ( (*in) >>  22  )   % (1U << 29 ) ;
  2547.     ++in;
  2548.     *out |= ((*in) % (1U<< 19 ))<<( 29 - 19 );
  2549.     out++;
  2550.     *out = ( (*in) >>  19  )   % (1U << 29 ) ;
  2551.     ++in;
  2552.     *out |= ((*in) % (1U<< 16 ))<<( 29 - 16 );
  2553.     out++;
  2554.     *out = ( (*in) >>  16  )   % (1U << 29 ) ;
  2555.     ++in;
  2556.     *out |= ((*in) % (1U<< 13 ))<<( 29 - 13 );
  2557.     out++;
  2558.     *out = ( (*in) >>  13  )   % (1U << 29 ) ;
  2559.     ++in;
  2560.     *out |= ((*in) % (1U<< 10 ))<<( 29 - 10 );
  2561.     out++;
  2562.     *out = ( (*in) >>  10  )   % (1U << 29 ) ;
  2563.     ++in;
  2564.     *out |= ((*in) % (1U<< 7 ))<<( 29 - 7 );
  2565.     out++;
  2566.     *out = ( (*in) >>  7  )   % (1U << 29 ) ;
  2567.     ++in;
  2568.     *out |= ((*in) % (1U<< 4 ))<<( 29 - 4 );
  2569.     out++;
  2570.     *out = ( (*in) >>  4  )   % (1U << 29 ) ;
  2571.     ++in;
  2572.     *out |= ((*in) % (1U<< 1 ))<<( 29 - 1 );
  2573.     out++;
  2574.     *out = ( (*in) >>  1  )   % (1U << 29 ) ;
  2575.     out++;
  2576.     *out = ( (*in) >>  30  )   % (1U << 29 ) ;
  2577.     ++in;
  2578.     *out |= ((*in) % (1U<< 27 ))<<( 29 - 27 );
  2579.     out++;
  2580.     *out = ( (*in) >>  27  )   % (1U << 29 ) ;
  2581.     ++in;
  2582.     *out |= ((*in) % (1U<< 24 ))<<( 29 - 24 );
  2583.     out++;
  2584.     *out = ( (*in) >>  24  )   % (1U << 29 ) ;
  2585.     ++in;
  2586.     *out |= ((*in) % (1U<< 21 ))<<( 29 - 21 );
  2587.     out++;
  2588.     *out = ( (*in) >>  21  )   % (1U << 29 ) ;
  2589.     ++in;
  2590.     *out |= ((*in) % (1U<< 18 ))<<( 29 - 18 );
  2591.     out++;
  2592.     *out = ( (*in) >>  18  )   % (1U << 29 ) ;
  2593.     ++in;
  2594.     *out |= ((*in) % (1U<< 15 ))<<( 29 - 15 );
  2595.     out++;
  2596.     *out = ( (*in) >>  15  )   % (1U << 29 ) ;
  2597.     ++in;
  2598.     *out |= ((*in) % (1U<< 12 ))<<( 29 - 12 );
  2599.     out++;
  2600.     *out = ( (*in) >>  12  )   % (1U << 29 ) ;
  2601.     ++in;
  2602.     *out |= ((*in) % (1U<< 9 ))<<( 29 - 9 );
  2603.     out++;
  2604.     *out = ( (*in) >>  9  )   % (1U << 29 ) ;
  2605.     ++in;
  2606.     *out |= ((*in) % (1U<< 6 ))<<( 29 - 6 );
  2607.     out++;
  2608.     *out = ( (*in) >>  6  )   % (1U << 29 ) ;
  2609.     ++in;
  2610.     *out |= ((*in) % (1U<< 3 ))<<( 29 - 3 );
  2611.     out++;
  2612.     *out = ( (*in) >>  3  )   % (1U << 29 ) ;
  2613. }
  2614.  
  2615.  
  2616.  
  2617.  
  2618. void __fastunpack30(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2619.     *out = ( (*in) >>  0  )   % (1U << 30 ) ;
  2620.     out++;
  2621.     *out = ( (*in) >>  30  )   % (1U << 30 ) ;
  2622.     ++in;
  2623.     *out |= ((*in) % (1U<< 28 ))<<( 30 - 28 );
  2624.     out++;
  2625.     *out = ( (*in) >>  28  )   % (1U << 30 ) ;
  2626.     ++in;
  2627.     *out |= ((*in) % (1U<< 26 ))<<( 30 - 26 );
  2628.     out++;
  2629.     *out = ( (*in) >>  26  )   % (1U << 30 ) ;
  2630.     ++in;
  2631.     *out |= ((*in) % (1U<< 24 ))<<( 30 - 24 );
  2632.     out++;
  2633.     *out = ( (*in) >>  24  )   % (1U << 30 ) ;
  2634.     ++in;
  2635.     *out |= ((*in) % (1U<< 22 ))<<( 30 - 22 );
  2636.     out++;
  2637.     *out = ( (*in) >>  22  )   % (1U << 30 ) ;
  2638.     ++in;
  2639.     *out |= ((*in) % (1U<< 20 ))<<( 30 - 20 );
  2640.     out++;
  2641.     *out = ( (*in) >>  20  )   % (1U << 30 ) ;
  2642.     ++in;
  2643.     *out |= ((*in) % (1U<< 18 ))<<( 30 - 18 );
  2644.     out++;
  2645.     *out = ( (*in) >>  18  )   % (1U << 30 ) ;
  2646.     ++in;
  2647.     *out |= ((*in) % (1U<< 16 ))<<( 30 - 16 );
  2648.     out++;
  2649.     *out = ( (*in) >>  16  )   % (1U << 30 ) ;
  2650.     ++in;
  2651.     *out |= ((*in) % (1U<< 14 ))<<( 30 - 14 );
  2652.     out++;
  2653.     *out = ( (*in) >>  14  )   % (1U << 30 ) ;
  2654.     ++in;
  2655.     *out |= ((*in) % (1U<< 12 ))<<( 30 - 12 );
  2656.     out++;
  2657.     *out = ( (*in) >>  12  )   % (1U << 30 ) ;
  2658.     ++in;
  2659.     *out |= ((*in) % (1U<< 10 ))<<( 30 - 10 );
  2660.     out++;
  2661.     *out = ( (*in) >>  10  )   % (1U << 30 ) ;
  2662.     ++in;
  2663.     *out |= ((*in) % (1U<< 8 ))<<( 30 - 8 );
  2664.     out++;
  2665.     *out = ( (*in) >>  8  )   % (1U << 30 ) ;
  2666.     ++in;
  2667.     *out |= ((*in) % (1U<< 6 ))<<( 30 - 6 );
  2668.     out++;
  2669.     *out = ( (*in) >>  6  )   % (1U << 30 ) ;
  2670.     ++in;
  2671.     *out |= ((*in) % (1U<< 4 ))<<( 30 - 4 );
  2672.     out++;
  2673.     *out = ( (*in) >>  4  )   % (1U << 30 ) ;
  2674.     ++in;
  2675.     *out |= ((*in) % (1U<< 2 ))<<( 30 - 2 );
  2676.     out++;
  2677.     *out = ( (*in) >>  2  )   % (1U << 30 ) ;
  2678.     ++in;
  2679.     out++;
  2680.     *out = ( (*in) >>  0  )   % (1U << 30 ) ;
  2681.     out++;
  2682.     *out = ( (*in) >>  30  )   % (1U << 30 ) ;
  2683.     ++in;
  2684.     *out |= ((*in) % (1U<< 28 ))<<( 30 - 28 );
  2685.     out++;
  2686.     *out = ( (*in) >>  28  )   % (1U << 30 ) ;
  2687.     ++in;
  2688.     *out |= ((*in) % (1U<< 26 ))<<( 30 - 26 );
  2689.     out++;
  2690.     *out = ( (*in) >>  26  )   % (1U << 30 ) ;
  2691.     ++in;
  2692.     *out |= ((*in) % (1U<< 24 ))<<( 30 - 24 );
  2693.     out++;
  2694.     *out = ( (*in) >>  24  )   % (1U << 30 ) ;
  2695.     ++in;
  2696.     *out |= ((*in) % (1U<< 22 ))<<( 30 - 22 );
  2697.     out++;
  2698.     *out = ( (*in) >>  22  )   % (1U << 30 ) ;
  2699.     ++in;
  2700.     *out |= ((*in) % (1U<< 20 ))<<( 30 - 20 );
  2701.     out++;
  2702.     *out = ( (*in) >>  20  )   % (1U << 30 ) ;
  2703.     ++in;
  2704.     *out |= ((*in) % (1U<< 18 ))<<( 30 - 18 );
  2705.     out++;
  2706.     *out = ( (*in) >>  18  )   % (1U << 30 ) ;
  2707.     ++in;
  2708.     *out |= ((*in) % (1U<< 16 ))<<( 30 - 16 );
  2709.     out++;
  2710.     *out = ( (*in) >>  16  )   % (1U << 30 ) ;
  2711.     ++in;
  2712.     *out |= ((*in) % (1U<< 14 ))<<( 30 - 14 );
  2713.     out++;
  2714.     *out = ( (*in) >>  14  )   % (1U << 30 ) ;
  2715.     ++in;
  2716.     *out |= ((*in) % (1U<< 12 ))<<( 30 - 12 );
  2717.     out++;
  2718.     *out = ( (*in) >>  12  )   % (1U << 30 ) ;
  2719.     ++in;
  2720.     *out |= ((*in) % (1U<< 10 ))<<( 30 - 10 );
  2721.     out++;
  2722.     *out = ( (*in) >>  10  )   % (1U << 30 ) ;
  2723.     ++in;
  2724.     *out |= ((*in) % (1U<< 8 ))<<( 30 - 8 );
  2725.     out++;
  2726.     *out = ( (*in) >>  8  )   % (1U << 30 ) ;
  2727.     ++in;
  2728.     *out |= ((*in) % (1U<< 6 ))<<( 30 - 6 );
  2729.     out++;
  2730.     *out = ( (*in) >>  6  )   % (1U << 30 ) ;
  2731.     ++in;
  2732.     *out |= ((*in) % (1U<< 4 ))<<( 30 - 4 );
  2733.     out++;
  2734.     *out = ( (*in) >>  4  )   % (1U << 30 ) ;
  2735.     ++in;
  2736.     *out |= ((*in) % (1U<< 2 ))<<( 30 - 2 );
  2737.     out++;
  2738.     *out = ( (*in) >>  2  )   % (1U << 30 ) ;
  2739. }
  2740.  
  2741.  
  2742.  
  2743.  
  2744. void __fastunpack31(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2745.     *out = ( (*in) >>  0  )   % (1U << 31 ) ;
  2746.     out++;
  2747.     *out = ( (*in) >>  31  )   % (1U << 31 ) ;
  2748.     ++in;
  2749.     *out |= ((*in) % (1U<< 30 ))<<( 31 - 30 );
  2750.     out++;
  2751.     *out = ( (*in) >>  30  )   % (1U << 31 ) ;
  2752.     ++in;
  2753.     *out |= ((*in) % (1U<< 29 ))<<( 31 - 29 );
  2754.     out++;
  2755.     *out = ( (*in) >>  29  )   % (1U << 31 ) ;
  2756.     ++in;
  2757.     *out |= ((*in) % (1U<< 28 ))<<( 31 - 28 );
  2758.     out++;
  2759.     *out = ( (*in) >>  28  )   % (1U << 31 ) ;
  2760.     ++in;
  2761.     *out |= ((*in) % (1U<< 27 ))<<( 31 - 27 );
  2762.     out++;
  2763.     *out = ( (*in) >>  27  )   % (1U << 31 ) ;
  2764.     ++in;
  2765.     *out |= ((*in) % (1U<< 26 ))<<( 31 - 26 );
  2766.     out++;
  2767.     *out = ( (*in) >>  26  )   % (1U << 31 ) ;
  2768.     ++in;
  2769.     *out |= ((*in) % (1U<< 25 ))<<( 31 - 25 );
  2770.     out++;
  2771.     *out = ( (*in) >>  25  )   % (1U << 31 ) ;
  2772.     ++in;
  2773.     *out |= ((*in) % (1U<< 24 ))<<( 31 - 24 );
  2774.     out++;
  2775.     *out = ( (*in) >>  24  )   % (1U << 31 ) ;
  2776.     ++in;
  2777.     *out |= ((*in) % (1U<< 23 ))<<( 31 - 23 );
  2778.     out++;
  2779.     *out = ( (*in) >>  23  )   % (1U << 31 ) ;
  2780.     ++in;
  2781.     *out |= ((*in) % (1U<< 22 ))<<( 31 - 22 );
  2782.     out++;
  2783.     *out = ( (*in) >>  22  )   % (1U << 31 ) ;
  2784.     ++in;
  2785.     *out |= ((*in) % (1U<< 21 ))<<( 31 - 21 );
  2786.     out++;
  2787.     *out = ( (*in) >>  21  )   % (1U << 31 ) ;
  2788.     ++in;
  2789.     *out |= ((*in) % (1U<< 20 ))<<( 31 - 20 );
  2790.     out++;
  2791.     *out = ( (*in) >>  20  )   % (1U << 31 ) ;
  2792.     ++in;
  2793.     *out |= ((*in) % (1U<< 19 ))<<( 31 - 19 );
  2794.     out++;
  2795.     *out = ( (*in) >>  19  )   % (1U << 31 ) ;
  2796.     ++in;
  2797.     *out |= ((*in) % (1U<< 18 ))<<( 31 - 18 );
  2798.     out++;
  2799.     *out = ( (*in) >>  18  )   % (1U << 31 ) ;
  2800.     ++in;
  2801.     *out |= ((*in) % (1U<< 17 ))<<( 31 - 17 );
  2802.     out++;
  2803.     *out = ( (*in) >>  17  )   % (1U << 31 ) ;
  2804.     ++in;
  2805.     *out |= ((*in) % (1U<< 16 ))<<( 31 - 16 );
  2806.     out++;
  2807.     *out = ( (*in) >>  16  )   % (1U << 31 ) ;
  2808.     ++in;
  2809.     *out |= ((*in) % (1U<< 15 ))<<( 31 - 15 );
  2810.     out++;
  2811.     *out = ( (*in) >>  15  )   % (1U << 31 ) ;
  2812.     ++in;
  2813.     *out |= ((*in) % (1U<< 14 ))<<( 31 - 14 );
  2814.     out++;
  2815.     *out = ( (*in) >>  14  )   % (1U << 31 ) ;
  2816.     ++in;
  2817.     *out |= ((*in) % (1U<< 13 ))<<( 31 - 13 );
  2818.     out++;
  2819.     *out = ( (*in) >>  13  )   % (1U << 31 ) ;
  2820.     ++in;
  2821.     *out |= ((*in) % (1U<< 12 ))<<( 31 - 12 );
  2822.     out++;
  2823.     *out = ( (*in) >>  12  )   % (1U << 31 ) ;
  2824.     ++in;
  2825.     *out |= ((*in) % (1U<< 11 ))<<( 31 - 11 );
  2826.     out++;
  2827.     *out = ( (*in) >>  11  )   % (1U << 31 ) ;
  2828.     ++in;
  2829.     *out |= ((*in) % (1U<< 10 ))<<( 31 - 10 );
  2830.     out++;
  2831.     *out = ( (*in) >>  10  )   % (1U << 31 ) ;
  2832.     ++in;
  2833.     *out |= ((*in) % (1U<< 9 ))<<( 31 - 9 );
  2834.     out++;
  2835.     *out = ( (*in) >>  9  )   % (1U << 31 ) ;
  2836.     ++in;
  2837.     *out |= ((*in) % (1U<< 8 ))<<( 31 - 8 );
  2838.     out++;
  2839.     *out = ( (*in) >>  8  )   % (1U << 31 ) ;
  2840.     ++in;
  2841.     *out |= ((*in) % (1U<< 7 ))<<( 31 - 7 );
  2842.     out++;
  2843.     *out = ( (*in) >>  7  )   % (1U << 31 ) ;
  2844.     ++in;
  2845.     *out |= ((*in) % (1U<< 6 ))<<( 31 - 6 );
  2846.     out++;
  2847.     *out = ( (*in) >>  6  )   % (1U << 31 ) ;
  2848.     ++in;
  2849.     *out |= ((*in) % (1U<< 5 ))<<( 31 - 5 );
  2850.     out++;
  2851.     *out = ( (*in) >>  5  )   % (1U << 31 ) ;
  2852.     ++in;
  2853.     *out |= ((*in) % (1U<< 4 ))<<( 31 - 4 );
  2854.     out++;
  2855.     *out = ( (*in) >>  4  )   % (1U << 31 ) ;
  2856.     ++in;
  2857.     *out |= ((*in) % (1U<< 3 ))<<( 31 - 3 );
  2858.     out++;
  2859.     *out = ( (*in) >>  3  )   % (1U << 31 ) ;
  2860.     ++in;
  2861.     *out |= ((*in) % (1U<< 2 ))<<( 31 - 2 );
  2862.     out++;
  2863.     *out = ( (*in) >>  2  )   % (1U << 31 ) ;
  2864.     ++in;
  2865.     *out |= ((*in) % (1U<< 1 ))<<( 31 - 1 );
  2866.     out++;
  2867.     *out = ( (*in) >>  1  )   % (1U << 31 ) ;
  2868. }
  2869.  
  2870.  
  2871.  
  2872.  
  2873. void __fastunpack32(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2874.     *out = ( (*in) >>  0  )   ;
  2875.     ++in;
  2876.     out++;
  2877.     *out = ( (*in) >>  0  )   ;
  2878.     ++in;
  2879.     out++;
  2880.     *out = ( (*in) >>  0  )   ;
  2881.     ++in;
  2882.     out++;
  2883.     *out = ( (*in) >>  0  )   ;
  2884.     ++in;
  2885.     out++;
  2886.     *out = ( (*in) >>  0  )   ;
  2887.     ++in;
  2888.     out++;
  2889.     *out = ( (*in) >>  0  )   ;
  2890.     ++in;
  2891.     out++;
  2892.     *out = ( (*in) >>  0  )   ;
  2893.     ++in;
  2894.     out++;
  2895.     *out = ( (*in) >>  0  )   ;
  2896.     ++in;
  2897.     out++;
  2898.     *out = ( (*in) >>  0  )   ;
  2899.     ++in;
  2900.     out++;
  2901.     *out = ( (*in) >>  0  )   ;
  2902.     ++in;
  2903.     out++;
  2904.     *out = ( (*in) >>  0  )   ;
  2905.     ++in;
  2906.     out++;
  2907.     *out = ( (*in) >>  0  )   ;
  2908.     ++in;
  2909.     out++;
  2910.     *out = ( (*in) >>  0  )   ;
  2911.     ++in;
  2912.     out++;
  2913.     *out = ( (*in) >>  0  )   ;
  2914.     ++in;
  2915.     out++;
  2916.     *out = ( (*in) >>  0  )   ;
  2917.     ++in;
  2918.     out++;
  2919.     *out = ( (*in) >>  0  )   ;
  2920.     ++in;
  2921.     out++;
  2922.     *out = ( (*in) >>  0  )   ;
  2923.     ++in;
  2924.     out++;
  2925.     *out = ( (*in) >>  0  )   ;
  2926.     ++in;
  2927.     out++;
  2928.     *out = ( (*in) >>  0  )   ;
  2929.     ++in;
  2930.     out++;
  2931.     *out = ( (*in) >>  0  )   ;
  2932.     ++in;
  2933.     out++;
  2934.     *out = ( (*in) >>  0  )   ;
  2935.     ++in;
  2936.     out++;
  2937.     *out = ( (*in) >>  0  )   ;
  2938.     ++in;
  2939.     out++;
  2940.     *out = ( (*in) >>  0  )   ;
  2941.     ++in;
  2942.     out++;
  2943.     *out = ( (*in) >>  0  )   ;
  2944.     ++in;
  2945.     out++;
  2946.     *out = ( (*in) >>  0  )   ;
  2947.     ++in;
  2948.     out++;
  2949.     *out = ( (*in) >>  0  )   ;
  2950.     ++in;
  2951.     out++;
  2952.     *out = ( (*in) >>  0  )   ;
  2953.     ++in;
  2954.     out++;
  2955.     *out = ( (*in) >>  0  )   ;
  2956.     ++in;
  2957.     out++;
  2958.     *out = ( (*in) >>  0  )   ;
  2959.     ++in;
  2960.     out++;
  2961.     *out = ( (*in) >>  0  )   ;
  2962.     ++in;
  2963.     out++;
  2964.     *out = ( (*in) >>  0  )   ;
  2965.     ++in;
  2966.     out++;
  2967.     *out = ( (*in) >>  0  )   ;
  2968. }
  2969.  
  2970.  
  2971.  
  2972.  
  2973. void __fastpack1(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2974.     *out |= (*in)   & 1 ;
  2975.     ++in;
  2976.     *out |= ( (*in)   & 1  ) <<  1 ;
  2977.     ++in;
  2978.     *out |= ( (*in)   & 1  ) <<  2 ;
  2979.     ++in;
  2980.     *out |= ( (*in)   & 1  ) <<  3 ;
  2981.     ++in;
  2982.     *out |= ( (*in)   & 1  ) <<  4 ;
  2983.     ++in;
  2984.     *out |= ( (*in)   & 1  ) <<  5 ;
  2985.     ++in;
  2986.     *out |= ( (*in)   & 1  ) <<  6 ;
  2987.     ++in;
  2988.     *out |= ( (*in)   & 1  ) <<  7 ;
  2989.     ++in;
  2990.     *out |= ( (*in)   & 1  ) <<  8 ;
  2991.     ++in;
  2992.     *out |= ( (*in)   & 1  ) <<  9 ;
  2993.     ++in;
  2994.     *out |= ( (*in)   & 1  ) <<  10 ;
  2995.     ++in;
  2996.     *out |= ( (*in)   & 1  ) <<  11 ;
  2997.     ++in;
  2998.     *out |= ( (*in)   & 1  ) <<  12 ;
  2999.     ++in;
  3000.     *out |= ( (*in)   & 1  ) <<  13 ;
  3001.     ++in;
  3002.     *out |= ( (*in)   & 1  ) <<  14 ;
  3003.     ++in;
  3004.     *out |= ( (*in)   & 1  ) <<  15 ;
  3005.     ++in;
  3006.     *out |= ( (*in)   & 1  ) <<  16 ;
  3007.     ++in;
  3008.     *out |= ( (*in)   & 1  ) <<  17 ;
  3009.     ++in;
  3010.     *out |= ( (*in)   & 1  ) <<  18 ;
  3011.     ++in;
  3012.     *out |= ( (*in)   & 1  ) <<  19 ;
  3013.     ++in;
  3014.     *out |= ( (*in)   & 1  ) <<  20 ;
  3015.     ++in;
  3016.     *out |= ( (*in)   & 1  ) <<  21 ;
  3017.     ++in;
  3018.     *out |= ( (*in)   & 1  ) <<  22 ;
  3019.     ++in;
  3020.     *out |= ( (*in)   & 1  ) <<  23 ;
  3021.     ++in;
  3022.     *out |= ( (*in)   & 1  ) <<  24 ;
  3023.     ++in;
  3024.     *out |= ( (*in)   & 1  ) <<  25 ;
  3025.     ++in;
  3026.     *out |= ( (*in)   & 1  ) <<  26 ;
  3027.     ++in;
  3028.     *out |= ( (*in)   & 1  ) <<  27 ;
  3029.     ++in;
  3030.     *out |= ( (*in)   & 1  ) <<  28 ;
  3031.     ++in;
  3032.     *out |= ( (*in)   & 1  ) <<  29 ;
  3033.     ++in;
  3034.     *out |= ( (*in)   & 1  ) <<  30 ;
  3035.     ++in;
  3036.     *out |= ( (*in)   & 1  ) <<  31 ;
  3037. }
  3038.  
  3039.  
  3040.  
  3041.  
  3042. void __fastpack2(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3043.     *out |= (*in)   % (1U << 2 ) ;
  3044.     ++in;
  3045.     *out |= ( (*in)   % (1U << 2 )  ) <<  2 ;
  3046.     ++in;
  3047.     *out |= ( (*in)   % (1U << 2 )  ) <<  4 ;
  3048.     ++in;
  3049.     *out |= ( (*in)   % (1U << 2 )  ) <<  6 ;
  3050.     ++in;
  3051.     *out |= ( (*in)   % (1U << 2 )  ) <<  8 ;
  3052.     ++in;
  3053.     *out |= ( (*in)   % (1U << 2 )  ) <<  10 ;
  3054.     ++in;
  3055.     *out |= ( (*in)   % (1U << 2 )  ) <<  12 ;
  3056.     ++in;
  3057.     *out |= ( (*in)   % (1U << 2 )  ) <<  14 ;
  3058.     ++in;
  3059.     *out |= ( (*in)   % (1U << 2 )  ) <<  16 ;
  3060.     ++in;
  3061.     *out |= ( (*in)   % (1U << 2 )  ) <<  18 ;
  3062.     ++in;
  3063.     *out |= ( (*in)   % (1U << 2 )  ) <<  20 ;
  3064.     ++in;
  3065.     *out |= ( (*in)   % (1U << 2 )  ) <<  22 ;
  3066.     ++in;
  3067.     *out |= ( (*in)   % (1U << 2 )  ) <<  24 ;
  3068.     ++in;
  3069.     *out |= ( (*in)   % (1U << 2 )  ) <<  26 ;
  3070.     ++in;
  3071.     *out |= ( (*in)   % (1U << 2 )  ) <<  28 ;
  3072.     ++in;
  3073.     *out |= ( (*in)   % (1U << 2 )  ) <<  30 ;
  3074.     ++out;
  3075.     ++in;
  3076.     *out |= (*in)   % (1U << 2 ) ;
  3077.     ++in;
  3078.     *out |= ( (*in)   % (1U << 2 )  ) <<  2 ;
  3079.     ++in;
  3080.     *out |= ( (*in)   % (1U << 2 )  ) <<  4 ;
  3081.     ++in;
  3082.     *out |= ( (*in)   % (1U << 2 )  ) <<  6 ;
  3083.     ++in;
  3084.     *out |= ( (*in)   % (1U << 2 )  ) <<  8 ;
  3085.     ++in;
  3086.     *out |= ( (*in)   % (1U << 2 )  ) <<  10 ;
  3087.     ++in;
  3088.     *out |= ( (*in)   % (1U << 2 )  ) <<  12 ;
  3089.     ++in;
  3090.     *out |= ( (*in)   % (1U << 2 )  ) <<  14 ;
  3091.     ++in;
  3092.     *out |= ( (*in)   % (1U << 2 )  ) <<  16 ;
  3093.     ++in;
  3094.     *out |= ( (*in)   % (1U << 2 )  ) <<  18 ;
  3095.     ++in;
  3096.     *out |= ( (*in)   % (1U << 2 )  ) <<  20 ;
  3097.     ++in;
  3098.     *out |= ( (*in)   % (1U << 2 )  ) <<  22 ;
  3099.     ++in;
  3100.     *out |= ( (*in)   % (1U << 2 )  ) <<  24 ;
  3101.     ++in;
  3102.     *out |= ( (*in)   % (1U << 2 )  ) <<  26 ;
  3103.     ++in;
  3104.     *out |= ( (*in)   % (1U << 2 )  ) <<  28 ;
  3105.     ++in;
  3106.     *out |= ( (*in)   % (1U << 2 )  ) <<  30 ;
  3107. }
  3108.  
  3109.  
  3110.  
  3111.  
  3112. void __fastpack3(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3113.     *out |= (*in)   % (1U << 3 ) ;
  3114.     ++in;
  3115.     *out |= ( (*in)   % (1U << 3 )  ) <<  3 ;
  3116.     ++in;
  3117.     *out |= ( (*in)   % (1U << 3 )  ) <<  6 ;
  3118.     ++in;
  3119.     *out |= ( (*in)   % (1U << 3 )  ) <<  9 ;
  3120.     ++in;
  3121.     *out |= ( (*in)   % (1U << 3 )  ) <<  12 ;
  3122.     ++in;
  3123.     *out |= ( (*in)   % (1U << 3 )  ) <<  15 ;
  3124.     ++in;
  3125.     *out |= ( (*in)   % (1U << 3 )  ) <<  18 ;
  3126.     ++in;
  3127.     *out |= ( (*in)   % (1U << 3 )  ) <<  21 ;
  3128.     ++in;
  3129.     *out |= ( (*in)   % (1U << 3 )  ) <<  24 ;
  3130.     ++in;
  3131.     *out |= ( (*in)   % (1U << 3 )  ) <<  27 ;
  3132.     ++in;
  3133.     *out |= ( (*in)   % (1U << 3 )  ) <<  30 ;
  3134.     ++out;
  3135.     *out |=  ( (*in)   % (1U << 3 ) ) >> ( 3  -  1 );
  3136.     ++in;
  3137.     *out |= ( (*in)   % (1U << 3 )  ) <<  1 ;
  3138.     ++in;
  3139.     *out |= ( (*in)   % (1U << 3 )  ) <<  4 ;
  3140.     ++in;
  3141.     *out |= ( (*in)   % (1U << 3 )  ) <<  7 ;
  3142.     ++in;
  3143.     *out |= ( (*in)   % (1U << 3 )  ) <<  10 ;
  3144.     ++in;
  3145.     *out |= ( (*in)   % (1U << 3 )  ) <<  13 ;
  3146.     ++in;
  3147.     *out |= ( (*in)   % (1U << 3 )  ) <<  16 ;
  3148.     ++in;
  3149.     *out |= ( (*in)   % (1U << 3 )  ) <<  19 ;
  3150.     ++in;
  3151.     *out |= ( (*in)   % (1U << 3 )  ) <<  22 ;
  3152.     ++in;
  3153.     *out |= ( (*in)   % (1U << 3 )  ) <<  25 ;
  3154.     ++in;
  3155.     *out |= ( (*in)   % (1U << 3 )  ) <<  28 ;
  3156.     ++in;
  3157.     *out |= ( (*in)   % (1U << 3 )  ) <<  31 ;
  3158.     ++out;
  3159.     *out |=  ( (*in)   % (1U << 3 ) ) >> ( 3  -  2 );
  3160.     ++in;
  3161.     *out |= ( (*in)   % (1U << 3 )  ) <<  2 ;
  3162.     ++in;
  3163.     *out |= ( (*in)   % (1U << 3 )  ) <<  5 ;
  3164.     ++in;
  3165.     *out |= ( (*in)   % (1U << 3 )  ) <<  8 ;
  3166.     ++in;
  3167.     *out |= ( (*in)   % (1U << 3 )  ) <<  11 ;
  3168.     ++in;
  3169.     *out |= ( (*in)   % (1U << 3 )  ) <<  14 ;
  3170.     ++in;
  3171.     *out |= ( (*in)   % (1U << 3 )  ) <<  17 ;
  3172.     ++in;
  3173.     *out |= ( (*in)   % (1U << 3 )  ) <<  20 ;
  3174.     ++in;
  3175.     *out |= ( (*in)   % (1U << 3 )  ) <<  23 ;
  3176.     ++in;
  3177.     *out |= ( (*in)   % (1U << 3 )  ) <<  26 ;
  3178.     ++in;
  3179.     *out |= ( (*in)   % (1U << 3 )  ) <<  29 ;
  3180. }
  3181.  
  3182.  
  3183.  
  3184.  
  3185. void __fastpack5(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3186.     *out |= (*in)   % (1U << 5 ) ;
  3187.     ++in;
  3188.     *out |= ( (*in)   % (1U << 5 )  ) <<  5 ;
  3189.     ++in;
  3190.     *out |= ( (*in)   % (1U << 5 )  ) <<  10 ;
  3191.     ++in;
  3192.     *out |= ( (*in)   % (1U << 5 )  ) <<  15 ;
  3193.     ++in;
  3194.     *out |= ( (*in)   % (1U << 5 )  ) <<  20 ;
  3195.     ++in;
  3196.     *out |= ( (*in)   % (1U << 5 )  ) <<  25 ;
  3197.     ++in;
  3198.     *out |= ( (*in)   % (1U << 5 )  ) <<  30 ;
  3199.     ++out;
  3200.     *out |=  ( (*in)   % (1U << 5 ) ) >> ( 5  -  3 );
  3201.     ++in;
  3202.     *out |= ( (*in)   % (1U << 5 )  ) <<  3 ;
  3203.     ++in;
  3204.     *out |= ( (*in)   % (1U << 5 )  ) <<  8 ;
  3205.     ++in;
  3206.     *out |= ( (*in)   % (1U << 5 )  ) <<  13 ;
  3207.     ++in;
  3208.     *out |= ( (*in)   % (1U << 5 )  ) <<  18 ;
  3209.     ++in;
  3210.     *out |= ( (*in)   % (1U << 5 )  ) <<  23 ;
  3211.     ++in;
  3212.     *out |= ( (*in)   % (1U << 5 )  ) <<  28 ;
  3213.     ++out;
  3214.     *out |=  ( (*in)   % (1U << 5 ) ) >> ( 5  -  1 );
  3215.     ++in;
  3216.     *out |= ( (*in)   % (1U << 5 )  ) <<  1 ;
  3217.     ++in;
  3218.     *out |= ( (*in)   % (1U << 5 )  ) <<  6 ;
  3219.     ++in;
  3220.     *out |= ( (*in)   % (1U << 5 )  ) <<  11 ;
  3221.     ++in;
  3222.     *out |= ( (*in)   % (1U << 5 )  ) <<  16 ;
  3223.     ++in;
  3224.     *out |= ( (*in)   % (1U << 5 )  ) <<  21 ;
  3225.     ++in;
  3226.     *out |= ( (*in)   % (1U << 5 )  ) <<  26 ;
  3227.     ++in;
  3228.     *out |= ( (*in)   % (1U << 5 )  ) <<  31 ;
  3229.     ++out;
  3230.     *out |=  ( (*in)   % (1U << 5 ) ) >> ( 5  -  4 );
  3231.     ++in;
  3232.     *out |= ( (*in)   % (1U << 5 )  ) <<  4 ;
  3233.     ++in;
  3234.     *out |= ( (*in)   % (1U << 5 )  ) <<  9 ;
  3235.     ++in;
  3236.     *out |= ( (*in)   % (1U << 5 )  ) <<  14 ;
  3237.     ++in;
  3238.     *out |= ( (*in)   % (1U << 5 )  ) <<  19 ;
  3239.     ++in;
  3240.     *out |= ( (*in)   % (1U << 5 )  ) <<  24 ;
  3241.     ++in;
  3242.     *out |= ( (*in)   % (1U << 5 )  ) <<  29 ;
  3243.     ++out;
  3244.     *out |=  ( (*in)   % (1U << 5 ) ) >> ( 5  -  2 );
  3245.     ++in;
  3246.     *out |= ( (*in)   % (1U << 5 )  ) <<  2 ;
  3247.     ++in;
  3248.     *out |= ( (*in)   % (1U << 5 )  ) <<  7 ;
  3249.     ++in;
  3250.     *out |= ( (*in)   % (1U << 5 )  ) <<  12 ;
  3251.     ++in;
  3252.     *out |= ( (*in)   % (1U << 5 )  ) <<  17 ;
  3253.     ++in;
  3254.     *out |= ( (*in)   % (1U << 5 )  ) <<  22 ;
  3255.     ++in;
  3256.     *out |= ( (*in)   % (1U << 5 )  ) <<  27 ;
  3257. }
  3258.  
  3259.  
  3260.  
  3261.  
  3262. void __fastpack6(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3263.     *out |= (*in)   % (1U << 6 ) ;
  3264.     ++in;
  3265.     *out |= ( (*in)   % (1U << 6 )  ) <<  6 ;
  3266.     ++in;
  3267.     *out |= ( (*in)   % (1U << 6 )  ) <<  12 ;
  3268.     ++in;
  3269.     *out |= ( (*in)   % (1U << 6 )  ) <<  18 ;
  3270.     ++in;
  3271.     *out |= ( (*in)   % (1U << 6 )  ) <<  24 ;
  3272.     ++in;
  3273.     *out |= ( (*in)   % (1U << 6 )  ) <<  30 ;
  3274.     ++out;
  3275.     *out |=  ( (*in)   % (1U << 6 ) ) >> ( 6  -  4 );
  3276.     ++in;
  3277.     *out |= ( (*in)   % (1U << 6 )  ) <<  4 ;
  3278.     ++in;
  3279.     *out |= ( (*in)   % (1U << 6 )  ) <<  10 ;
  3280.     ++in;
  3281.     *out |= ( (*in)   % (1U << 6 )  ) <<  16 ;
  3282.     ++in;
  3283.     *out |= ( (*in)   % (1U << 6 )  ) <<  22 ;
  3284.     ++in;
  3285.     *out |= ( (*in)   % (1U << 6 )  ) <<  28 ;
  3286.     ++out;
  3287.     *out |=  ( (*in)   % (1U << 6 ) ) >> ( 6  -  2 );
  3288.     ++in;
  3289.     *out |= ( (*in)   % (1U << 6 )  ) <<  2 ;
  3290.     ++in;
  3291.     *out |= ( (*in)   % (1U << 6 )  ) <<  8 ;
  3292.     ++in;
  3293.     *out |= ( (*in)   % (1U << 6 )  ) <<  14 ;
  3294.     ++in;
  3295.     *out |= ( (*in)   % (1U << 6 )  ) <<  20 ;
  3296.     ++in;
  3297.     *out |= ( (*in)   % (1U << 6 )  ) <<  26 ;
  3298.     ++out;
  3299.     ++in;
  3300.     *out |= (*in)   % (1U << 6 ) ;
  3301.     ++in;
  3302.     *out |= ( (*in)   % (1U << 6 )  ) <<  6 ;
  3303.     ++in;
  3304.     *out |= ( (*in)   % (1U << 6 )  ) <<  12 ;
  3305.     ++in;
  3306.     *out |= ( (*in)   % (1U << 6 )  ) <<  18 ;
  3307.     ++in;
  3308.     *o