Advertisement
dlemire

bitpacking.cpp

Mar 6th, 2012
7,656
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
C++ 171.31 KB | None | 0 0
  1.  
  2. /**
  3.  * bitpacking.cpp
  4.  * Daniel Lemire, http://lemire.me/blog/
  5.  *
  6.  * Question: if you pack and unpack bits, is it much faster if you
  7.  * pack into 8 or 16 bits than, say, 31 or 7 bits?
  8.  *
  9.  *
  10.  * Hardware: 2011 macbook air with Intel Core i7
  11.  * compiler GNU GCC 4.6.2 (code is optimized for GCC 4.6.2, please
  12.  * don't use older compilers as there are pieces of code that
  13.  * would need to be written more carefully for stupider compilers.)
  14.  *
  15.  * g++-4 -Ofast -o bitpacking bitpacking.cpp
  16.  *
  17.  * bits packtime    unpacktime
  18.  * 1    219         211
  19.  * 2    215         216
  20.  * 3    210         205
  21.  * 4    198         194
  22.  * 5    222         214
  23.  * 6    229         218
  24.  * 7    242         222
  25.  * 8    167         202
  26.  * 9    252         240
  27.  * 10   243         225
  28.  * 11   255         235
  29.  * 12   246         231
  30.  * 13   276         244
  31.  * 14   279         245
  32.  * 15   304         255
  33.  * 16   183         223
  34.  * 17   292         252
  35.  * 18   297         256
  36.  * 19   316         266
  37.  * 20   300         256
  38.  * 21   329         280
  39.  * 22   321         274
  40.  * 23   332         278
  41.  * 24   299         257
  42.  * 25   341         289
  43.  * 26   340         298
  44.  * 27   352         295
  45.  * 28   336         284
  46.  * 29   367         311
  47.  * 30   357         299
  48.  * 31   384         319
  49.  * 32   256         261
  50.  *
  51.  */
  52. #include <iostream>
  53. #include <sys/stat.h>
  54. #include <sys/time.h>
  55. #include <sys/types.h>
  56. #include <vector>
  57. #include <cstdlib>
  58. #include <stdio.h>
  59. #include <string.h>
  60.  
  61. using namespace std;
  62.  
  63.  
  64. vector<uint> generateArray(uint N) {
  65.     vector<uint> ans(N);
  66.     for(uint k = 0; k<N;++k)
  67.       ans[k] = rand();
  68.     return ans;
  69. }
  70.  
  71.  
  72. class ZTimer
  73. {
  74. public:
  75.     struct timeval t1, t2;
  76. public:
  77.     ZTimer() :  t1(), t2() { gettimeofday(&t1,0); t2 = t1; }
  78.     void reset() {gettimeofday(&t1,0); t2 = t1;}
  79.     int elapsed() { return ((t2.tv_sec - t1.tv_sec) * 1000) + ((t2.tv_usec - t1.
  80. tv_usec) / 1000); }
  81.     int split() { gettimeofday(&t2,0); return elapsed(); }
  82. };
  83.  
  84.  
  85. void __fastunpack1(const uint *  __restrict__ in, uint *  __restrict__  out) {
  86.     *out = ( (*in) >>  0  )   & 1 ;
  87.     out++;
  88.     *out = ( (*in) >>  1  )   & 1 ;
  89.     out++;
  90.     *out = ( (*in) >>  2  )   & 1 ;
  91.     out++;
  92.     *out = ( (*in) >>  3  )   & 1 ;
  93.     out++;
  94.     *out = ( (*in) >>  4  )   & 1 ;
  95.     out++;
  96.     *out = ( (*in) >>  5  )   & 1 ;
  97.     out++;
  98.     *out = ( (*in) >>  6  )   & 1 ;
  99.     out++;
  100.     *out = ( (*in) >>  7  )   & 1 ;
  101.     out++;
  102.     *out = ( (*in) >>  8  )   & 1 ;
  103.     out++;
  104.     *out = ( (*in) >>  9  )   & 1 ;
  105.     out++;
  106.     *out = ( (*in) >>  10  )   & 1 ;
  107.     out++;
  108.     *out = ( (*in) >>  11  )   & 1 ;
  109.     out++;
  110.     *out = ( (*in) >>  12  )   & 1 ;
  111.     out++;
  112.     *out = ( (*in) >>  13  )   & 1 ;
  113.     out++;
  114.     *out = ( (*in) >>  14  )   & 1 ;
  115.     out++;
  116.     *out = ( (*in) >>  15  )   & 1 ;
  117.     out++;
  118.     *out = ( (*in) >>  16  )   & 1 ;
  119.     out++;
  120.     *out = ( (*in) >>  17  )   & 1 ;
  121.     out++;
  122.     *out = ( (*in) >>  18  )   & 1 ;
  123.     out++;
  124.     *out = ( (*in) >>  19  )   & 1 ;
  125.     out++;
  126.     *out = ( (*in) >>  20  )   & 1 ;
  127.     out++;
  128.     *out = ( (*in) >>  21  )   & 1 ;
  129.     out++;
  130.     *out = ( (*in) >>  22  )   & 1 ;
  131.     out++;
  132.     *out = ( (*in) >>  23  )   & 1 ;
  133.     out++;
  134.     *out = ( (*in) >>  24  )   & 1 ;
  135.     out++;
  136.     *out = ( (*in) >>  25  )   & 1 ;
  137.     out++;
  138.     *out = ( (*in) >>  26  )   & 1 ;
  139.     out++;
  140.     *out = ( (*in) >>  27  )   & 1 ;
  141.     out++;
  142.     *out = ( (*in) >>  28  )   & 1 ;
  143.     out++;
  144.     *out = ( (*in) >>  29  )   & 1 ;
  145.     out++;
  146.     *out = ( (*in) >>  30  )   & 1 ;
  147.     out++;
  148.     *out = ( (*in) >>  31  )   & 1 ;
  149. }
  150.  
  151.  
  152.  
  153.  
  154. void __fastunpack2(const uint *  __restrict__ in, uint *  __restrict__  out) {
  155.     *out = ( (*in) >>  0  )   % (1U << 2 ) ;
  156.     out++;
  157.     *out = ( (*in) >>  2  )   % (1U << 2 ) ;
  158.     out++;
  159.     *out = ( (*in) >>  4  )   % (1U << 2 ) ;
  160.     out++;
  161.     *out = ( (*in) >>  6  )   % (1U << 2 ) ;
  162.     out++;
  163.     *out = ( (*in) >>  8  )   % (1U << 2 ) ;
  164.     out++;
  165.     *out = ( (*in) >>  10  )   % (1U << 2 ) ;
  166.     out++;
  167.     *out = ( (*in) >>  12  )   % (1U << 2 ) ;
  168.     out++;
  169.     *out = ( (*in) >>  14  )   % (1U << 2 ) ;
  170.     out++;
  171.     *out = ( (*in) >>  16  )   % (1U << 2 ) ;
  172.     out++;
  173.     *out = ( (*in) >>  18  )   % (1U << 2 ) ;
  174.     out++;
  175.     *out = ( (*in) >>  20  )   % (1U << 2 ) ;
  176.     out++;
  177.     *out = ( (*in) >>  22  )   % (1U << 2 ) ;
  178.     out++;
  179.     *out = ( (*in) >>  24  )   % (1U << 2 ) ;
  180.     out++;
  181.     *out = ( (*in) >>  26  )   % (1U << 2 ) ;
  182.     out++;
  183.     *out = ( (*in) >>  28  )   % (1U << 2 ) ;
  184.     out++;
  185.     *out = ( (*in) >>  30  )   % (1U << 2 ) ;
  186.     ++in;
  187.     out++;
  188.     *out = ( (*in) >>  0  )   % (1U << 2 ) ;
  189.     out++;
  190.     *out = ( (*in) >>  2  )   % (1U << 2 ) ;
  191.     out++;
  192.     *out = ( (*in) >>  4  )   % (1U << 2 ) ;
  193.     out++;
  194.     *out = ( (*in) >>  6  )   % (1U << 2 ) ;
  195.     out++;
  196.     *out = ( (*in) >>  8  )   % (1U << 2 ) ;
  197.     out++;
  198.     *out = ( (*in) >>  10  )   % (1U << 2 ) ;
  199.     out++;
  200.     *out = ( (*in) >>  12  )   % (1U << 2 ) ;
  201.     out++;
  202.     *out = ( (*in) >>  14  )   % (1U << 2 ) ;
  203.     out++;
  204.     *out = ( (*in) >>  16  )   % (1U << 2 ) ;
  205.     out++;
  206.     *out = ( (*in) >>  18  )   % (1U << 2 ) ;
  207.     out++;
  208.     *out = ( (*in) >>  20  )   % (1U << 2 ) ;
  209.     out++;
  210.     *out = ( (*in) >>  22  )   % (1U << 2 ) ;
  211.     out++;
  212.     *out = ( (*in) >>  24  )   % (1U << 2 ) ;
  213.     out++;
  214.     *out = ( (*in) >>  26  )   % (1U << 2 ) ;
  215.     out++;
  216.     *out = ( (*in) >>  28  )   % (1U << 2 ) ;
  217.     out++;
  218.     *out = ( (*in) >>  30  )   % (1U << 2 ) ;
  219. }
  220.  
  221.  
  222.  
  223.  
  224. void __fastunpack3(const uint *  __restrict__ in, uint *  __restrict__  out) {
  225.     *out = ( (*in) >>  0  )   % (1U << 3 ) ;
  226.     out++;
  227.     *out = ( (*in) >>  3  )   % (1U << 3 ) ;
  228.     out++;
  229.     *out = ( (*in) >>  6  )   % (1U << 3 ) ;
  230.     out++;
  231.     *out = ( (*in) >>  9  )   % (1U << 3 ) ;
  232.     out++;
  233.     *out = ( (*in) >>  12  )   % (1U << 3 ) ;
  234.     out++;
  235.     *out = ( (*in) >>  15  )   % (1U << 3 ) ;
  236.     out++;
  237.     *out = ( (*in) >>  18  )   % (1U << 3 ) ;
  238.     out++;
  239.     *out = ( (*in) >>  21  )   % (1U << 3 ) ;
  240.     out++;
  241.     *out = ( (*in) >>  24  )   % (1U << 3 ) ;
  242.     out++;
  243.     *out = ( (*in) >>  27  )   % (1U << 3 ) ;
  244.     out++;
  245.     *out = ( (*in) >>  30  )   % (1U << 3 ) ;
  246.     ++in;
  247.     *out |= ((*in) % (1U<< 1 ))<<( 3 - 1 );
  248.     out++;
  249.     *out = ( (*in) >>  1  )   % (1U << 3 ) ;
  250.     out++;
  251.     *out = ( (*in) >>  4  )   % (1U << 3 ) ;
  252.     out++;
  253.     *out = ( (*in) >>  7  )   % (1U << 3 ) ;
  254.     out++;
  255.     *out = ( (*in) >>  10  )   % (1U << 3 ) ;
  256.     out++;
  257.     *out = ( (*in) >>  13  )   % (1U << 3 ) ;
  258.     out++;
  259.     *out = ( (*in) >>  16  )   % (1U << 3 ) ;
  260.     out++;
  261.     *out = ( (*in) >>  19  )   % (1U << 3 ) ;
  262.     out++;
  263.     *out = ( (*in) >>  22  )   % (1U << 3 ) ;
  264.     out++;
  265.     *out = ( (*in) >>  25  )   % (1U << 3 ) ;
  266.     out++;
  267.     *out = ( (*in) >>  28  )   % (1U << 3 ) ;
  268.     out++;
  269.     *out = ( (*in) >>  31  )   % (1U << 3 ) ;
  270.     ++in;
  271.     *out |= ((*in) % (1U<< 2 ))<<( 3 - 2 );
  272.     out++;
  273.     *out = ( (*in) >>  2  )   % (1U << 3 ) ;
  274.     out++;
  275.     *out = ( (*in) >>  5  )   % (1U << 3 ) ;
  276.     out++;
  277.     *out = ( (*in) >>  8  )   % (1U << 3 ) ;
  278.     out++;
  279.     *out = ( (*in) >>  11  )   % (1U << 3 ) ;
  280.     out++;
  281.     *out = ( (*in) >>  14  )   % (1U << 3 ) ;
  282.     out++;
  283.     *out = ( (*in) >>  17  )   % (1U << 3 ) ;
  284.     out++;
  285.     *out = ( (*in) >>  20  )   % (1U << 3 ) ;
  286.     out++;
  287.     *out = ( (*in) >>  23  )   % (1U << 3 ) ;
  288.     out++;
  289.     *out = ( (*in) >>  26  )   % (1U << 3 ) ;
  290.     out++;
  291.     *out = ( (*in) >>  29  )   % (1U << 3 ) ;
  292. }
  293.  
  294.  
  295.  
  296.  
  297. void __fastunpack5(const uint *  __restrict__ in, uint *  __restrict__  out) {
  298.     *out = ( (*in) >>  0  )   % (1U << 5 ) ;
  299.     out++;
  300.     *out = ( (*in) >>  5  )   % (1U << 5 ) ;
  301.     out++;
  302.     *out = ( (*in) >>  10  )   % (1U << 5 ) ;
  303.     out++;
  304.     *out = ( (*in) >>  15  )   % (1U << 5 ) ;
  305.     out++;
  306.     *out = ( (*in) >>  20  )   % (1U << 5 ) ;
  307.     out++;
  308.     *out = ( (*in) >>  25  )   % (1U << 5 ) ;
  309.     out++;
  310.     *out = ( (*in) >>  30  )   % (1U << 5 ) ;
  311.     ++in;
  312.     *out |= ((*in) % (1U<< 3 ))<<( 5 - 3 );
  313.     out++;
  314.     *out = ( (*in) >>  3  )   % (1U << 5 ) ;
  315.     out++;
  316.     *out = ( (*in) >>  8  )   % (1U << 5 ) ;
  317.     out++;
  318.     *out = ( (*in) >>  13  )   % (1U << 5 ) ;
  319.     out++;
  320.     *out = ( (*in) >>  18  )   % (1U << 5 ) ;
  321.     out++;
  322.     *out = ( (*in) >>  23  )   % (1U << 5 ) ;
  323.     out++;
  324.     *out = ( (*in) >>  28  )   % (1U << 5 ) ;
  325.     ++in;
  326.     *out |= ((*in) % (1U<< 1 ))<<( 5 - 1 );
  327.     out++;
  328.     *out = ( (*in) >>  1  )   % (1U << 5 ) ;
  329.     out++;
  330.     *out = ( (*in) >>  6  )   % (1U << 5 ) ;
  331.     out++;
  332.     *out = ( (*in) >>  11  )   % (1U << 5 ) ;
  333.     out++;
  334.     *out = ( (*in) >>  16  )   % (1U << 5 ) ;
  335.     out++;
  336.     *out = ( (*in) >>  21  )   % (1U << 5 ) ;
  337.     out++;
  338.     *out = ( (*in) >>  26  )   % (1U << 5 ) ;
  339.     out++;
  340.     *out = ( (*in) >>  31  )   % (1U << 5 ) ;
  341.     ++in;
  342.     *out |= ((*in) % (1U<< 4 ))<<( 5 - 4 );
  343.     out++;
  344.     *out = ( (*in) >>  4  )   % (1U << 5 ) ;
  345.     out++;
  346.     *out = ( (*in) >>  9  )   % (1U << 5 ) ;
  347.     out++;
  348.     *out = ( (*in) >>  14  )   % (1U << 5 ) ;
  349.     out++;
  350.     *out = ( (*in) >>  19  )   % (1U << 5 ) ;
  351.     out++;
  352.     *out = ( (*in) >>  24  )   % (1U << 5 ) ;
  353.     out++;
  354.     *out = ( (*in) >>  29  )   % (1U << 5 ) ;
  355.     ++in;
  356.     *out |= ((*in) % (1U<< 2 ))<<( 5 - 2 );
  357.     out++;
  358.     *out = ( (*in) >>  2  )   % (1U << 5 ) ;
  359.     out++;
  360.     *out = ( (*in) >>  7  )   % (1U << 5 ) ;
  361.     out++;
  362.     *out = ( (*in) >>  12  )   % (1U << 5 ) ;
  363.     out++;
  364.     *out = ( (*in) >>  17  )   % (1U << 5 ) ;
  365.     out++;
  366.     *out = ( (*in) >>  22  )   % (1U << 5 ) ;
  367.     out++;
  368.     *out = ( (*in) >>  27  )   % (1U << 5 ) ;
  369. }
  370.  
  371.  
  372.  
  373.  
  374. void __fastunpack6(const uint *  __restrict__ in, uint *  __restrict__  out) {
  375.     *out = ( (*in) >>  0  )   % (1U << 6 ) ;
  376.     out++;
  377.     *out = ( (*in) >>  6  )   % (1U << 6 ) ;
  378.     out++;
  379.     *out = ( (*in) >>  12  )   % (1U << 6 ) ;
  380.     out++;
  381.     *out = ( (*in) >>  18  )   % (1U << 6 ) ;
  382.     out++;
  383.     *out = ( (*in) >>  24  )   % (1U << 6 ) ;
  384.     out++;
  385.     *out = ( (*in) >>  30  )   % (1U << 6 ) ;
  386.     ++in;
  387.     *out |= ((*in) % (1U<< 4 ))<<( 6 - 4 );
  388.     out++;
  389.     *out = ( (*in) >>  4  )   % (1U << 6 ) ;
  390.     out++;
  391.     *out = ( (*in) >>  10  )   % (1U << 6 ) ;
  392.     out++;
  393.     *out = ( (*in) >>  16  )   % (1U << 6 ) ;
  394.     out++;
  395.     *out = ( (*in) >>  22  )   % (1U << 6 ) ;
  396.     out++;
  397.     *out = ( (*in) >>  28  )   % (1U << 6 ) ;
  398.     ++in;
  399.     *out |= ((*in) % (1U<< 2 ))<<( 6 - 2 );
  400.     out++;
  401.     *out = ( (*in) >>  2  )   % (1U << 6 ) ;
  402.     out++;
  403.     *out = ( (*in) >>  8  )   % (1U << 6 ) ;
  404.     out++;
  405.     *out = ( (*in) >>  14  )   % (1U << 6 ) ;
  406.     out++;
  407.     *out = ( (*in) >>  20  )   % (1U << 6 ) ;
  408.     out++;
  409.     *out = ( (*in) >>  26  )   % (1U << 6 ) ;
  410.     ++in;
  411.     out++;
  412.     *out = ( (*in) >>  0  )   % (1U << 6 ) ;
  413.     out++;
  414.     *out = ( (*in) >>  6  )   % (1U << 6 ) ;
  415.     out++;
  416.     *out = ( (*in) >>  12  )   % (1U << 6 ) ;
  417.     out++;
  418.     *out = ( (*in) >>  18  )   % (1U << 6 ) ;
  419.     out++;
  420.     *out = ( (*in) >>  24  )   % (1U << 6 ) ;
  421.     out++;
  422.     *out = ( (*in) >>  30  )   % (1U << 6 ) ;
  423.     ++in;
  424.     *out |= ((*in) % (1U<< 4 ))<<( 6 - 4 );
  425.     out++;
  426.     *out = ( (*in) >>  4  )   % (1U << 6 ) ;
  427.     out++;
  428.     *out = ( (*in) >>  10  )   % (1U << 6 ) ;
  429.     out++;
  430.     *out = ( (*in) >>  16  )   % (1U << 6 ) ;
  431.     out++;
  432.     *out = ( (*in) >>  22  )   % (1U << 6 ) ;
  433.     out++;
  434.     *out = ( (*in) >>  28  )   % (1U << 6 ) ;
  435.     ++in;
  436.     *out |= ((*in) % (1U<< 2 ))<<( 6 - 2 );
  437.     out++;
  438.     *out = ( (*in) >>  2  )   % (1U << 6 ) ;
  439.     out++;
  440.     *out = ( (*in) >>  8  )   % (1U << 6 ) ;
  441.     out++;
  442.     *out = ( (*in) >>  14  )   % (1U << 6 ) ;
  443.     out++;
  444.     *out = ( (*in) >>  20  )   % (1U << 6 ) ;
  445.     out++;
  446.     *out = ( (*in) >>  26  )   % (1U << 6 ) ;
  447. }
  448.  
  449.  
  450.  
  451.  
  452. void __fastunpack7(const uint *  __restrict__ in, uint *  __restrict__  out) {
  453.     *out = ( (*in) >>  0  )   % (1U << 7 ) ;
  454.     out++;
  455.     *out = ( (*in) >>  7  )   % (1U << 7 ) ;
  456.     out++;
  457.     *out = ( (*in) >>  14  )   % (1U << 7 ) ;
  458.     out++;
  459.     *out = ( (*in) >>  21  )   % (1U << 7 ) ;
  460.     out++;
  461.     *out = ( (*in) >>  28  )   % (1U << 7 ) ;
  462.     ++in;
  463.     *out |= ((*in) % (1U<< 3 ))<<( 7 - 3 );
  464.     out++;
  465.     *out = ( (*in) >>  3  )   % (1U << 7 ) ;
  466.     out++;
  467.     *out = ( (*in) >>  10  )   % (1U << 7 ) ;
  468.     out++;
  469.     *out = ( (*in) >>  17  )   % (1U << 7 ) ;
  470.     out++;
  471.     *out = ( (*in) >>  24  )   % (1U << 7 ) ;
  472.     out++;
  473.     *out = ( (*in) >>  31  )   % (1U << 7 ) ;
  474.     ++in;
  475.     *out |= ((*in) % (1U<< 6 ))<<( 7 - 6 );
  476.     out++;
  477.     *out = ( (*in) >>  6  )   % (1U << 7 ) ;
  478.     out++;
  479.     *out = ( (*in) >>  13  )   % (1U << 7 ) ;
  480.     out++;
  481.     *out = ( (*in) >>  20  )   % (1U << 7 ) ;
  482.     out++;
  483.     *out = ( (*in) >>  27  )   % (1U << 7 ) ;
  484.     ++in;
  485.     *out |= ((*in) % (1U<< 2 ))<<( 7 - 2 );
  486.     out++;
  487.     *out = ( (*in) >>  2  )   % (1U << 7 ) ;
  488.     out++;
  489.     *out = ( (*in) >>  9  )   % (1U << 7 ) ;
  490.     out++;
  491.     *out = ( (*in) >>  16  )   % (1U << 7 ) ;
  492.     out++;
  493.     *out = ( (*in) >>  23  )   % (1U << 7 ) ;
  494.     out++;
  495.     *out = ( (*in) >>  30  )   % (1U << 7 ) ;
  496.     ++in;
  497.     *out |= ((*in) % (1U<< 5 ))<<( 7 - 5 );
  498.     out++;
  499.     *out = ( (*in) >>  5  )   % (1U << 7 ) ;
  500.     out++;
  501.     *out = ( (*in) >>  12  )   % (1U << 7 ) ;
  502.     out++;
  503.     *out = ( (*in) >>  19  )   % (1U << 7 ) ;
  504.     out++;
  505.     *out = ( (*in) >>  26  )   % (1U << 7 ) ;
  506.     ++in;
  507.     *out |= ((*in) % (1U<< 1 ))<<( 7 - 1 );
  508.     out++;
  509.     *out = ( (*in) >>  1  )   % (1U << 7 ) ;
  510.     out++;
  511.     *out = ( (*in) >>  8  )   % (1U << 7 ) ;
  512.     out++;
  513.     *out = ( (*in) >>  15  )   % (1U << 7 ) ;
  514.     out++;
  515.     *out = ( (*in) >>  22  )   % (1U << 7 ) ;
  516.     out++;
  517.     *out = ( (*in) >>  29  )   % (1U << 7 ) ;
  518.     ++in;
  519.     *out |= ((*in) % (1U<< 4 ))<<( 7 - 4 );
  520.     out++;
  521.     *out = ( (*in) >>  4  )   % (1U << 7 ) ;
  522.     out++;
  523.     *out = ( (*in) >>  11  )   % (1U << 7 ) ;
  524.     out++;
  525.     *out = ( (*in) >>  18  )   % (1U << 7 ) ;
  526.     out++;
  527.     *out = ( (*in) >>  25  )   % (1U << 7 ) ;
  528. }
  529.  
  530.  
  531.  
  532.  
  533. void __fastunpack9(const uint *  __restrict__ in, uint *  __restrict__  out) {
  534.     *out = ( (*in) >>  0  )   % (1U << 9 ) ;
  535.     out++;
  536.     *out = ( (*in) >>  9  )   % (1U << 9 ) ;
  537.     out++;
  538.     *out = ( (*in) >>  18  )   % (1U << 9 ) ;
  539.     out++;
  540.     *out = ( (*in) >>  27  )   % (1U << 9 ) ;
  541.     ++in;
  542.     *out |= ((*in) % (1U<< 4 ))<<( 9 - 4 );
  543.     out++;
  544.     *out = ( (*in) >>  4  )   % (1U << 9 ) ;
  545.     out++;
  546.     *out = ( (*in) >>  13  )   % (1U << 9 ) ;
  547.     out++;
  548.     *out = ( (*in) >>  22  )   % (1U << 9 ) ;
  549.     out++;
  550.     *out = ( (*in) >>  31  )   % (1U << 9 ) ;
  551.     ++in;
  552.     *out |= ((*in) % (1U<< 8 ))<<( 9 - 8 );
  553.     out++;
  554.     *out = ( (*in) >>  8  )   % (1U << 9 ) ;
  555.     out++;
  556.     *out = ( (*in) >>  17  )   % (1U << 9 ) ;
  557.     out++;
  558.     *out = ( (*in) >>  26  )   % (1U << 9 ) ;
  559.     ++in;
  560.     *out |= ((*in) % (1U<< 3 ))<<( 9 - 3 );
  561.     out++;
  562.     *out = ( (*in) >>  3  )   % (1U << 9 ) ;
  563.     out++;
  564.     *out = ( (*in) >>  12  )   % (1U << 9 ) ;
  565.     out++;
  566.     *out = ( (*in) >>  21  )   % (1U << 9 ) ;
  567.     out++;
  568.     *out = ( (*in) >>  30  )   % (1U << 9 ) ;
  569.     ++in;
  570.     *out |= ((*in) % (1U<< 7 ))<<( 9 - 7 );
  571.     out++;
  572.     *out = ( (*in) >>  7  )   % (1U << 9 ) ;
  573.     out++;
  574.     *out = ( (*in) >>  16  )   % (1U << 9 ) ;
  575.     out++;
  576.     *out = ( (*in) >>  25  )   % (1U << 9 ) ;
  577.     ++in;
  578.     *out |= ((*in) % (1U<< 2 ))<<( 9 - 2 );
  579.     out++;
  580.     *out = ( (*in) >>  2  )   % (1U << 9 ) ;
  581.     out++;
  582.     *out = ( (*in) >>  11  )   % (1U << 9 ) ;
  583.     out++;
  584.     *out = ( (*in) >>  20  )   % (1U << 9 ) ;
  585.     out++;
  586.     *out = ( (*in) >>  29  )   % (1U << 9 ) ;
  587.     ++in;
  588.     *out |= ((*in) % (1U<< 6 ))<<( 9 - 6 );
  589.     out++;
  590.     *out = ( (*in) >>  6  )   % (1U << 9 ) ;
  591.     out++;
  592.     *out = ( (*in) >>  15  )   % (1U << 9 ) ;
  593.     out++;
  594.     *out = ( (*in) >>  24  )   % (1U << 9 ) ;
  595.     ++in;
  596.     *out |= ((*in) % (1U<< 1 ))<<( 9 - 1 );
  597.     out++;
  598.     *out = ( (*in) >>  1  )   % (1U << 9 ) ;
  599.     out++;
  600.     *out = ( (*in) >>  10  )   % (1U << 9 ) ;
  601.     out++;
  602.     *out = ( (*in) >>  19  )   % (1U << 9 ) ;
  603.     out++;
  604.     *out = ( (*in) >>  28  )   % (1U << 9 ) ;
  605.     ++in;
  606.     *out |= ((*in) % (1U<< 5 ))<<( 9 - 5 );
  607.     out++;
  608.     *out = ( (*in) >>  5  )   % (1U << 9 ) ;
  609.     out++;
  610.     *out = ( (*in) >>  14  )   % (1U << 9 ) ;
  611.     out++;
  612.     *out = ( (*in) >>  23  )   % (1U << 9 ) ;
  613. }
  614.  
  615.  
  616.  
  617.  
  618. void __fastunpack10(const uint *  __restrict__ in, uint *  __restrict__  out) {
  619.     *out = ( (*in) >>  0  )   % (1U << 10 ) ;
  620.     out++;
  621.     *out = ( (*in) >>  10  )   % (1U << 10 ) ;
  622.     out++;
  623.     *out = ( (*in) >>  20  )   % (1U << 10 ) ;
  624.     out++;
  625.     *out = ( (*in) >>  30  )   % (1U << 10 ) ;
  626.     ++in;
  627.     *out |= ((*in) % (1U<< 8 ))<<( 10 - 8 );
  628.     out++;
  629.     *out = ( (*in) >>  8  )   % (1U << 10 ) ;
  630.     out++;
  631.     *out = ( (*in) >>  18  )   % (1U << 10 ) ;
  632.     out++;
  633.     *out = ( (*in) >>  28  )   % (1U << 10 ) ;
  634.     ++in;
  635.     *out |= ((*in) % (1U<< 6 ))<<( 10 - 6 );
  636.     out++;
  637.     *out = ( (*in) >>  6  )   % (1U << 10 ) ;
  638.     out++;
  639.     *out = ( (*in) >>  16  )   % (1U << 10 ) ;
  640.     out++;
  641.     *out = ( (*in) >>  26  )   % (1U << 10 ) ;
  642.     ++in;
  643.     *out |= ((*in) % (1U<< 4 ))<<( 10 - 4 );
  644.     out++;
  645.     *out = ( (*in) >>  4  )   % (1U << 10 ) ;
  646.     out++;
  647.     *out = ( (*in) >>  14  )   % (1U << 10 ) ;
  648.     out++;
  649.     *out = ( (*in) >>  24  )   % (1U << 10 ) ;
  650.     ++in;
  651.     *out |= ((*in) % (1U<< 2 ))<<( 10 - 2 );
  652.     out++;
  653.     *out = ( (*in) >>  2  )   % (1U << 10 ) ;
  654.     out++;
  655.     *out = ( (*in) >>  12  )   % (1U << 10 ) ;
  656.     out++;
  657.     *out = ( (*in) >>  22  )   % (1U << 10 ) ;
  658.     ++in;
  659.     out++;
  660.     *out = ( (*in) >>  0  )   % (1U << 10 ) ;
  661.     out++;
  662.     *out = ( (*in) >>  10  )   % (1U << 10 ) ;
  663.     out++;
  664.     *out = ( (*in) >>  20  )   % (1U << 10 ) ;
  665.     out++;
  666.     *out = ( (*in) >>  30  )   % (1U << 10 ) ;
  667.     ++in;
  668.     *out |= ((*in) % (1U<< 8 ))<<( 10 - 8 );
  669.     out++;
  670.     *out = ( (*in) >>  8  )   % (1U << 10 ) ;
  671.     out++;
  672.     *out = ( (*in) >>  18  )   % (1U << 10 ) ;
  673.     out++;
  674.     *out = ( (*in) >>  28  )   % (1U << 10 ) ;
  675.     ++in;
  676.     *out |= ((*in) % (1U<< 6 ))<<( 10 - 6 );
  677.     out++;
  678.     *out = ( (*in) >>  6  )   % (1U << 10 ) ;
  679.     out++;
  680.     *out = ( (*in) >>  16  )   % (1U << 10 ) ;
  681.     out++;
  682.     *out = ( (*in) >>  26  )   % (1U << 10 ) ;
  683.     ++in;
  684.     *out |= ((*in) % (1U<< 4 ))<<( 10 - 4 );
  685.     out++;
  686.     *out = ( (*in) >>  4  )   % (1U << 10 ) ;
  687.     out++;
  688.     *out = ( (*in) >>  14  )   % (1U << 10 ) ;
  689.     out++;
  690.     *out = ( (*in) >>  24  )   % (1U << 10 ) ;
  691.     ++in;
  692.     *out |= ((*in) % (1U<< 2 ))<<( 10 - 2 );
  693.     out++;
  694.     *out = ( (*in) >>  2  )   % (1U << 10 ) ;
  695.     out++;
  696.     *out = ( (*in) >>  12  )   % (1U << 10 ) ;
  697.     out++;
  698.     *out = ( (*in) >>  22  )   % (1U << 10 ) ;
  699. }
  700.  
  701.  
  702.  
  703.  
  704. void __fastunpack11(const uint *  __restrict__ in, uint *  __restrict__  out) {
  705.     *out = ( (*in) >>  0  )   % (1U << 11 ) ;
  706.     out++;
  707.     *out = ( (*in) >>  11  )   % (1U << 11 ) ;
  708.     out++;
  709.     *out = ( (*in) >>  22  )   % (1U << 11 ) ;
  710.     ++in;
  711.     *out |= ((*in) % (1U<< 1 ))<<( 11 - 1 );
  712.     out++;
  713.     *out = ( (*in) >>  1  )   % (1U << 11 ) ;
  714.     out++;
  715.     *out = ( (*in) >>  12  )   % (1U << 11 ) ;
  716.     out++;
  717.     *out = ( (*in) >>  23  )   % (1U << 11 ) ;
  718.     ++in;
  719.     *out |= ((*in) % (1U<< 2 ))<<( 11 - 2 );
  720.     out++;
  721.     *out = ( (*in) >>  2  )   % (1U << 11 ) ;
  722.     out++;
  723.     *out = ( (*in) >>  13  )   % (1U << 11 ) ;
  724.     out++;
  725.     *out = ( (*in) >>  24  )   % (1U << 11 ) ;
  726.     ++in;
  727.     *out |= ((*in) % (1U<< 3 ))<<( 11 - 3 );
  728.     out++;
  729.     *out = ( (*in) >>  3  )   % (1U << 11 ) ;
  730.     out++;
  731.     *out = ( (*in) >>  14  )   % (1U << 11 ) ;
  732.     out++;
  733.     *out = ( (*in) >>  25  )   % (1U << 11 ) ;
  734.     ++in;
  735.     *out |= ((*in) % (1U<< 4 ))<<( 11 - 4 );
  736.     out++;
  737.     *out = ( (*in) >>  4  )   % (1U << 11 ) ;
  738.     out++;
  739.     *out = ( (*in) >>  15  )   % (1U << 11 ) ;
  740.     out++;
  741.     *out = ( (*in) >>  26  )   % (1U << 11 ) ;
  742.     ++in;
  743.     *out |= ((*in) % (1U<< 5 ))<<( 11 - 5 );
  744.     out++;
  745.     *out = ( (*in) >>  5  )   % (1U << 11 ) ;
  746.     out++;
  747.     *out = ( (*in) >>  16  )   % (1U << 11 ) ;
  748.     out++;
  749.     *out = ( (*in) >>  27  )   % (1U << 11 ) ;
  750.     ++in;
  751.     *out |= ((*in) % (1U<< 6 ))<<( 11 - 6 );
  752.     out++;
  753.     *out = ( (*in) >>  6  )   % (1U << 11 ) ;
  754.     out++;
  755.     *out = ( (*in) >>  17  )   % (1U << 11 ) ;
  756.     out++;
  757.     *out = ( (*in) >>  28  )   % (1U << 11 ) ;
  758.     ++in;
  759.     *out |= ((*in) % (1U<< 7 ))<<( 11 - 7 );
  760.     out++;
  761.     *out = ( (*in) >>  7  )   % (1U << 11 ) ;
  762.     out++;
  763.     *out = ( (*in) >>  18  )   % (1U << 11 ) ;
  764.     out++;
  765.     *out = ( (*in) >>  29  )   % (1U << 11 ) ;
  766.     ++in;
  767.     *out |= ((*in) % (1U<< 8 ))<<( 11 - 8 );
  768.     out++;
  769.     *out = ( (*in) >>  8  )   % (1U << 11 ) ;
  770.     out++;
  771.     *out = ( (*in) >>  19  )   % (1U << 11 ) ;
  772.     out++;
  773.     *out = ( (*in) >>  30  )   % (1U << 11 ) ;
  774.     ++in;
  775.     *out |= ((*in) % (1U<< 9 ))<<( 11 - 9 );
  776.     out++;
  777.     *out = ( (*in) >>  9  )   % (1U << 11 ) ;
  778.     out++;
  779.     *out = ( (*in) >>  20  )   % (1U << 11 ) ;
  780.     out++;
  781.     *out = ( (*in) >>  31  )   % (1U << 11 ) ;
  782.     ++in;
  783.     *out |= ((*in) % (1U<< 10 ))<<( 11 - 10 );
  784.     out++;
  785.     *out = ( (*in) >>  10  )   % (1U << 11 ) ;
  786.     out++;
  787.     *out = ( (*in) >>  21  )   % (1U << 11 ) ;
  788. }
  789.  
  790.  
  791.  
  792.  
  793. void __fastunpack12(const uint *  __restrict__ in, uint *  __restrict__  out) {
  794.     *out = ( (*in) >>  0  )   % (1U << 12 ) ;
  795.     out++;
  796.     *out = ( (*in) >>  12  )   % (1U << 12 ) ;
  797.     out++;
  798.     *out = ( (*in) >>  24  )   % (1U << 12 ) ;
  799.     ++in;
  800.     *out |= ((*in) % (1U<< 4 ))<<( 12 - 4 );
  801.     out++;
  802.     *out = ( (*in) >>  4  )   % (1U << 12 ) ;
  803.     out++;
  804.     *out = ( (*in) >>  16  )   % (1U << 12 ) ;
  805.     out++;
  806.     *out = ( (*in) >>  28  )   % (1U << 12 ) ;
  807.     ++in;
  808.     *out |= ((*in) % (1U<< 8 ))<<( 12 - 8 );
  809.     out++;
  810.     *out = ( (*in) >>  8  )   % (1U << 12 ) ;
  811.     out++;
  812.     *out = ( (*in) >>  20  )   % (1U << 12 ) ;
  813.     ++in;
  814.     out++;
  815.     *out = ( (*in) >>  0  )   % (1U << 12 ) ;
  816.     out++;
  817.     *out = ( (*in) >>  12  )   % (1U << 12 ) ;
  818.     out++;
  819.     *out = ( (*in) >>  24  )   % (1U << 12 ) ;
  820.     ++in;
  821.     *out |= ((*in) % (1U<< 4 ))<<( 12 - 4 );
  822.     out++;
  823.     *out = ( (*in) >>  4  )   % (1U << 12 ) ;
  824.     out++;
  825.     *out = ( (*in) >>  16  )   % (1U << 12 ) ;
  826.     out++;
  827.     *out = ( (*in) >>  28  )   % (1U << 12 ) ;
  828.     ++in;
  829.     *out |= ((*in) % (1U<< 8 ))<<( 12 - 8 );
  830.     out++;
  831.     *out = ( (*in) >>  8  )   % (1U << 12 ) ;
  832.     out++;
  833.     *out = ( (*in) >>  20  )   % (1U << 12 ) ;
  834.     ++in;
  835.     out++;
  836.     *out = ( (*in) >>  0  )   % (1U << 12 ) ;
  837.     out++;
  838.     *out = ( (*in) >>  12  )   % (1U << 12 ) ;
  839.     out++;
  840.     *out = ( (*in) >>  24  )   % (1U << 12 ) ;
  841.     ++in;
  842.     *out |= ((*in) % (1U<< 4 ))<<( 12 - 4 );
  843.     out++;
  844.     *out = ( (*in) >>  4  )   % (1U << 12 ) ;
  845.     out++;
  846.     *out = ( (*in) >>  16  )   % (1U << 12 ) ;
  847.     out++;
  848.     *out = ( (*in) >>  28  )   % (1U << 12 ) ;
  849.     ++in;
  850.     *out |= ((*in) % (1U<< 8 ))<<( 12 - 8 );
  851.     out++;
  852.     *out = ( (*in) >>  8  )   % (1U << 12 ) ;
  853.     out++;
  854.     *out = ( (*in) >>  20  )   % (1U << 12 ) ;
  855.     ++in;
  856.     out++;
  857.     *out = ( (*in) >>  0  )   % (1U << 12 ) ;
  858.     out++;
  859.     *out = ( (*in) >>  12  )   % (1U << 12 ) ;
  860.     out++;
  861.     *out = ( (*in) >>  24  )   % (1U << 12 ) ;
  862.     ++in;
  863.     *out |= ((*in) % (1U<< 4 ))<<( 12 - 4 );
  864.     out++;
  865.     *out = ( (*in) >>  4  )   % (1U << 12 ) ;
  866.     out++;
  867.     *out = ( (*in) >>  16  )   % (1U << 12 ) ;
  868.     out++;
  869.     *out = ( (*in) >>  28  )   % (1U << 12 ) ;
  870.     ++in;
  871.     *out |= ((*in) % (1U<< 8 ))<<( 12 - 8 );
  872.     out++;
  873.     *out = ( (*in) >>  8  )   % (1U << 12 ) ;
  874.     out++;
  875.     *out = ( (*in) >>  20  )   % (1U << 12 ) ;
  876. }
  877.  
  878.  
  879.  
  880.  
  881. void __fastunpack13(const uint *  __restrict__ in, uint *  __restrict__  out) {
  882.     *out = ( (*in) >>  0  )   % (1U << 13 ) ;
  883.     out++;
  884.     *out = ( (*in) >>  13  )   % (1U << 13 ) ;
  885.     out++;
  886.     *out = ( (*in) >>  26  )   % (1U << 13 ) ;
  887.     ++in;
  888.     *out |= ((*in) % (1U<< 7 ))<<( 13 - 7 );
  889.     out++;
  890.     *out = ( (*in) >>  7  )   % (1U << 13 ) ;
  891.     out++;
  892.     *out = ( (*in) >>  20  )   % (1U << 13 ) ;
  893.     ++in;
  894.     *out |= ((*in) % (1U<< 1 ))<<( 13 - 1 );
  895.     out++;
  896.     *out = ( (*in) >>  1  )   % (1U << 13 ) ;
  897.     out++;
  898.     *out = ( (*in) >>  14  )   % (1U << 13 ) ;
  899.     out++;
  900.     *out = ( (*in) >>  27  )   % (1U << 13 ) ;
  901.     ++in;
  902.     *out |= ((*in) % (1U<< 8 ))<<( 13 - 8 );
  903.     out++;
  904.     *out = ( (*in) >>  8  )   % (1U << 13 ) ;
  905.     out++;
  906.     *out = ( (*in) >>  21  )   % (1U << 13 ) ;
  907.     ++in;
  908.     *out |= ((*in) % (1U<< 2 ))<<( 13 - 2 );
  909.     out++;
  910.     *out = ( (*in) >>  2  )   % (1U << 13 ) ;
  911.     out++;
  912.     *out = ( (*in) >>  15  )   % (1U << 13 ) ;
  913.     out++;
  914.     *out = ( (*in) >>  28  )   % (1U << 13 ) ;
  915.     ++in;
  916.     *out |= ((*in) % (1U<< 9 ))<<( 13 - 9 );
  917.     out++;
  918.     *out = ( (*in) >>  9  )   % (1U << 13 ) ;
  919.     out++;
  920.     *out = ( (*in) >>  22  )   % (1U << 13 ) ;
  921.     ++in;
  922.     *out |= ((*in) % (1U<< 3 ))<<( 13 - 3 );
  923.     out++;
  924.     *out = ( (*in) >>  3  )   % (1U << 13 ) ;
  925.     out++;
  926.     *out = ( (*in) >>  16  )   % (1U << 13 ) ;
  927.     out++;
  928.     *out = ( (*in) >>  29  )   % (1U << 13 ) ;
  929.     ++in;
  930.     *out |= ((*in) % (1U<< 10 ))<<( 13 - 10 );
  931.     out++;
  932.     *out = ( (*in) >>  10  )   % (1U << 13 ) ;
  933.     out++;
  934.     *out = ( (*in) >>  23  )   % (1U << 13 ) ;
  935.     ++in;
  936.     *out |= ((*in) % (1U<< 4 ))<<( 13 - 4 );
  937.     out++;
  938.     *out = ( (*in) >>  4  )   % (1U << 13 ) ;
  939.     out++;
  940.     *out = ( (*in) >>  17  )   % (1U << 13 ) ;
  941.     out++;
  942.     *out = ( (*in) >>  30  )   % (1U << 13 ) ;
  943.     ++in;
  944.     *out |= ((*in) % (1U<< 11 ))<<( 13 - 11 );
  945.     out++;
  946.     *out = ( (*in) >>  11  )   % (1U << 13 ) ;
  947.     out++;
  948.     *out = ( (*in) >>  24  )   % (1U << 13 ) ;
  949.     ++in;
  950.     *out |= ((*in) % (1U<< 5 ))<<( 13 - 5 );
  951.     out++;
  952.     *out = ( (*in) >>  5  )   % (1U << 13 ) ;
  953.     out++;
  954.     *out = ( (*in) >>  18  )   % (1U << 13 ) ;
  955.     out++;
  956.     *out = ( (*in) >>  31  )   % (1U << 13 ) ;
  957.     ++in;
  958.     *out |= ((*in) % (1U<< 12 ))<<( 13 - 12 );
  959.     out++;
  960.     *out = ( (*in) >>  12  )   % (1U << 13 ) ;
  961.     out++;
  962.     *out = ( (*in) >>  25  )   % (1U << 13 ) ;
  963.     ++in;
  964.     *out |= ((*in) % (1U<< 6 ))<<( 13 - 6 );
  965.     out++;
  966.     *out = ( (*in) >>  6  )   % (1U << 13 ) ;
  967.     out++;
  968.     *out = ( (*in) >>  19  )   % (1U << 13 ) ;
  969. }
  970.  
  971.  
  972.  
  973.  
  974. void __fastunpack14(const uint *  __restrict__ in, uint *  __restrict__  out) {
  975.     *out = ( (*in) >>  0  )   % (1U << 14 ) ;
  976.     out++;
  977.     *out = ( (*in) >>  14  )   % (1U << 14 ) ;
  978.     out++;
  979.     *out = ( (*in) >>  28  )   % (1U << 14 ) ;
  980.     ++in;
  981.     *out |= ((*in) % (1U<< 10 ))<<( 14 - 10 );
  982.     out++;
  983.     *out = ( (*in) >>  10  )   % (1U << 14 ) ;
  984.     out++;
  985.     *out = ( (*in) >>  24  )   % (1U << 14 ) ;
  986.     ++in;
  987.     *out |= ((*in) % (1U<< 6 ))<<( 14 - 6 );
  988.     out++;
  989.     *out = ( (*in) >>  6  )   % (1U << 14 ) ;
  990.     out++;
  991.     *out = ( (*in) >>  20  )   % (1U << 14 ) ;
  992.     ++in;
  993.     *out |= ((*in) % (1U<< 2 ))<<( 14 - 2 );
  994.     out++;
  995.     *out = ( (*in) >>  2  )   % (1U << 14 ) ;
  996.     out++;
  997.     *out = ( (*in) >>  16  )   % (1U << 14 ) ;
  998.     out++;
  999.     *out = ( (*in) >>  30  )   % (1U << 14 ) ;
  1000.     ++in;
  1001.     *out |= ((*in) % (1U<< 12 ))<<( 14 - 12 );
  1002.     out++;
  1003.     *out = ( (*in) >>  12  )   % (1U << 14 ) ;
  1004.     out++;
  1005.     *out = ( (*in) >>  26  )   % (1U << 14 ) ;
  1006.     ++in;
  1007.     *out |= ((*in) % (1U<< 8 ))<<( 14 - 8 );
  1008.     out++;
  1009.     *out = ( (*in) >>  8  )   % (1U << 14 ) ;
  1010.     out++;
  1011.     *out = ( (*in) >>  22  )   % (1U << 14 ) ;
  1012.     ++in;
  1013.     *out |= ((*in) % (1U<< 4 ))<<( 14 - 4 );
  1014.     out++;
  1015.     *out = ( (*in) >>  4  )   % (1U << 14 ) ;
  1016.     out++;
  1017.     *out = ( (*in) >>  18  )   % (1U << 14 ) ;
  1018.     ++in;
  1019.     out++;
  1020.     *out = ( (*in) >>  0  )   % (1U << 14 ) ;
  1021.     out++;
  1022.     *out = ( (*in) >>  14  )   % (1U << 14 ) ;
  1023.     out++;
  1024.     *out = ( (*in) >>  28  )   % (1U << 14 ) ;
  1025.     ++in;
  1026.     *out |= ((*in) % (1U<< 10 ))<<( 14 - 10 );
  1027.     out++;
  1028.     *out = ( (*in) >>  10  )   % (1U << 14 ) ;
  1029.     out++;
  1030.     *out = ( (*in) >>  24  )   % (1U << 14 ) ;
  1031.     ++in;
  1032.     *out |= ((*in) % (1U<< 6 ))<<( 14 - 6 );
  1033.     out++;
  1034.     *out = ( (*in) >>  6  )   % (1U << 14 ) ;
  1035.     out++;
  1036.     *out = ( (*in) >>  20  )   % (1U << 14 ) ;
  1037.     ++in;
  1038.     *out |= ((*in) % (1U<< 2 ))<<( 14 - 2 );
  1039.     out++;
  1040.     *out = ( (*in) >>  2  )   % (1U << 14 ) ;
  1041.     out++;
  1042.     *out = ( (*in) >>  16  )   % (1U << 14 ) ;
  1043.     out++;
  1044.     *out = ( (*in) >>  30  )   % (1U << 14 ) ;
  1045.     ++in;
  1046.     *out |= ((*in) % (1U<< 12 ))<<( 14 - 12 );
  1047.     out++;
  1048.     *out = ( (*in) >>  12  )   % (1U << 14 ) ;
  1049.     out++;
  1050.     *out = ( (*in) >>  26  )   % (1U << 14 ) ;
  1051.     ++in;
  1052.     *out |= ((*in) % (1U<< 8 ))<<( 14 - 8 );
  1053.     out++;
  1054.     *out = ( (*in) >>  8  )   % (1U << 14 ) ;
  1055.     out++;
  1056.     *out = ( (*in) >>  22  )   % (1U << 14 ) ;
  1057.     ++in;
  1058.     *out |= ((*in) % (1U<< 4 ))<<( 14 - 4 );
  1059.     out++;
  1060.     *out = ( (*in) >>  4  )   % (1U << 14 ) ;
  1061.     out++;
  1062.     *out = ( (*in) >>  18  )   % (1U << 14 ) ;
  1063. }
  1064.  
  1065.  
  1066.  
  1067.  
  1068. void __fastunpack15(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1069.     *out = ( (*in) >>  0  )   % (1U << 15 ) ;
  1070.     out++;
  1071.     *out = ( (*in) >>  15  )   % (1U << 15 ) ;
  1072.     out++;
  1073.     *out = ( (*in) >>  30  )   % (1U << 15 ) ;
  1074.     ++in;
  1075.     *out |= ((*in) % (1U<< 13 ))<<( 15 - 13 );
  1076.     out++;
  1077.     *out = ( (*in) >>  13  )   % (1U << 15 ) ;
  1078.     out++;
  1079.     *out = ( (*in) >>  28  )   % (1U << 15 ) ;
  1080.     ++in;
  1081.     *out |= ((*in) % (1U<< 11 ))<<( 15 - 11 );
  1082.     out++;
  1083.     *out = ( (*in) >>  11  )   % (1U << 15 ) ;
  1084.     out++;
  1085.     *out = ( (*in) >>  26  )   % (1U << 15 ) ;
  1086.     ++in;
  1087.     *out |= ((*in) % (1U<< 9 ))<<( 15 - 9 );
  1088.     out++;
  1089.     *out = ( (*in) >>  9  )   % (1U << 15 ) ;
  1090.     out++;
  1091.     *out = ( (*in) >>  24  )   % (1U << 15 ) ;
  1092.     ++in;
  1093.     *out |= ((*in) % (1U<< 7 ))<<( 15 - 7 );
  1094.     out++;
  1095.     *out = ( (*in) >>  7  )   % (1U << 15 ) ;
  1096.     out++;
  1097.     *out = ( (*in) >>  22  )   % (1U << 15 ) ;
  1098.     ++in;
  1099.     *out |= ((*in) % (1U<< 5 ))<<( 15 - 5 );
  1100.     out++;
  1101.     *out = ( (*in) >>  5  )   % (1U << 15 ) ;
  1102.     out++;
  1103.     *out = ( (*in) >>  20  )   % (1U << 15 ) ;
  1104.     ++in;
  1105.     *out |= ((*in) % (1U<< 3 ))<<( 15 - 3 );
  1106.     out++;
  1107.     *out = ( (*in) >>  3  )   % (1U << 15 ) ;
  1108.     out++;
  1109.     *out = ( (*in) >>  18  )   % (1U << 15 ) ;
  1110.     ++in;
  1111.     *out |= ((*in) % (1U<< 1 ))<<( 15 - 1 );
  1112.     out++;
  1113.     *out = ( (*in) >>  1  )   % (1U << 15 ) ;
  1114.     out++;
  1115.     *out = ( (*in) >>  16  )   % (1U << 15 ) ;
  1116.     out++;
  1117.     *out = ( (*in) >>  31  )   % (1U << 15 ) ;
  1118.     ++in;
  1119.     *out |= ((*in) % (1U<< 14 ))<<( 15 - 14 );
  1120.     out++;
  1121.     *out = ( (*in) >>  14  )   % (1U << 15 ) ;
  1122.     out++;
  1123.     *out = ( (*in) >>  29  )   % (1U << 15 ) ;
  1124.     ++in;
  1125.     *out |= ((*in) % (1U<< 12 ))<<( 15 - 12 );
  1126.     out++;
  1127.     *out = ( (*in) >>  12  )   % (1U << 15 ) ;
  1128.     out++;
  1129.     *out = ( (*in) >>  27  )   % (1U << 15 ) ;
  1130.     ++in;
  1131.     *out |= ((*in) % (1U<< 10 ))<<( 15 - 10 );
  1132.     out++;
  1133.     *out = ( (*in) >>  10  )   % (1U << 15 ) ;
  1134.     out++;
  1135.     *out = ( (*in) >>  25  )   % (1U << 15 ) ;
  1136.     ++in;
  1137.     *out |= ((*in) % (1U<< 8 ))<<( 15 - 8 );
  1138.     out++;
  1139.     *out = ( (*in) >>  8  )   % (1U << 15 ) ;
  1140.     out++;
  1141.     *out = ( (*in) >>  23  )   % (1U << 15 ) ;
  1142.     ++in;
  1143.     *out |= ((*in) % (1U<< 6 ))<<( 15 - 6 );
  1144.     out++;
  1145.     *out = ( (*in) >>  6  )   % (1U << 15 ) ;
  1146.     out++;
  1147.     *out = ( (*in) >>  21  )   % (1U << 15 ) ;
  1148.     ++in;
  1149.     *out |= ((*in) % (1U<< 4 ))<<( 15 - 4 );
  1150.     out++;
  1151.     *out = ( (*in) >>  4  )   % (1U << 15 ) ;
  1152.     out++;
  1153.     *out = ( (*in) >>  19  )   % (1U << 15 ) ;
  1154.     ++in;
  1155.     *out |= ((*in) % (1U<< 2 ))<<( 15 - 2 );
  1156.     out++;
  1157.     *out = ( (*in) >>  2  )   % (1U << 15 ) ;
  1158.     out++;
  1159.     *out = ( (*in) >>  17  )   % (1U << 15 ) ;
  1160. }
  1161.  
  1162.  
  1163.  
  1164.  
  1165. void __fastunpack17(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1166.     *out = ( (*in) >>  0  )   % (1U << 17 ) ;
  1167.     out++;
  1168.     *out = ( (*in) >>  17  )   % (1U << 17 ) ;
  1169.     ++in;
  1170.     *out |= ((*in) % (1U<< 2 ))<<( 17 - 2 );
  1171.     out++;
  1172.     *out = ( (*in) >>  2  )   % (1U << 17 ) ;
  1173.     out++;
  1174.     *out = ( (*in) >>  19  )   % (1U << 17 ) ;
  1175.     ++in;
  1176.     *out |= ((*in) % (1U<< 4 ))<<( 17 - 4 );
  1177.     out++;
  1178.     *out = ( (*in) >>  4  )   % (1U << 17 ) ;
  1179.     out++;
  1180.     *out = ( (*in) >>  21  )   % (1U << 17 ) ;
  1181.     ++in;
  1182.     *out |= ((*in) % (1U<< 6 ))<<( 17 - 6 );
  1183.     out++;
  1184.     *out = ( (*in) >>  6  )   % (1U << 17 ) ;
  1185.     out++;
  1186.     *out = ( (*in) >>  23  )   % (1U << 17 ) ;
  1187.     ++in;
  1188.     *out |= ((*in) % (1U<< 8 ))<<( 17 - 8 );
  1189.     out++;
  1190.     *out = ( (*in) >>  8  )   % (1U << 17 ) ;
  1191.     out++;
  1192.     *out = ( (*in) >>  25  )   % (1U << 17 ) ;
  1193.     ++in;
  1194.     *out |= ((*in) % (1U<< 10 ))<<( 17 - 10 );
  1195.     out++;
  1196.     *out = ( (*in) >>  10  )   % (1U << 17 ) ;
  1197.     out++;
  1198.     *out = ( (*in) >>  27  )   % (1U << 17 ) ;
  1199.     ++in;
  1200.     *out |= ((*in) % (1U<< 12 ))<<( 17 - 12 );
  1201.     out++;
  1202.     *out = ( (*in) >>  12  )   % (1U << 17 ) ;
  1203.     out++;
  1204.     *out = ( (*in) >>  29  )   % (1U << 17 ) ;
  1205.     ++in;
  1206.     *out |= ((*in) % (1U<< 14 ))<<( 17 - 14 );
  1207.     out++;
  1208.     *out = ( (*in) >>  14  )   % (1U << 17 ) ;
  1209.     out++;
  1210.     *out = ( (*in) >>  31  )   % (1U << 17 ) ;
  1211.     ++in;
  1212.     *out |= ((*in) % (1U<< 16 ))<<( 17 - 16 );
  1213.     out++;
  1214.     *out = ( (*in) >>  16  )   % (1U << 17 ) ;
  1215.     ++in;
  1216.     *out |= ((*in) % (1U<< 1 ))<<( 17 - 1 );
  1217.     out++;
  1218.     *out = ( (*in) >>  1  )   % (1U << 17 ) ;
  1219.     out++;
  1220.     *out = ( (*in) >>  18  )   % (1U << 17 ) ;
  1221.     ++in;
  1222.     *out |= ((*in) % (1U<< 3 ))<<( 17 - 3 );
  1223.     out++;
  1224.     *out = ( (*in) >>  3  )   % (1U << 17 ) ;
  1225.     out++;
  1226.     *out = ( (*in) >>  20  )   % (1U << 17 ) ;
  1227.     ++in;
  1228.     *out |= ((*in) % (1U<< 5 ))<<( 17 - 5 );
  1229.     out++;
  1230.     *out = ( (*in) >>  5  )   % (1U << 17 ) ;
  1231.     out++;
  1232.     *out = ( (*in) >>  22  )   % (1U << 17 ) ;
  1233.     ++in;
  1234.     *out |= ((*in) % (1U<< 7 ))<<( 17 - 7 );
  1235.     out++;
  1236.     *out = ( (*in) >>  7  )   % (1U << 17 ) ;
  1237.     out++;
  1238.     *out = ( (*in) >>  24  )   % (1U << 17 ) ;
  1239.     ++in;
  1240.     *out |= ((*in) % (1U<< 9 ))<<( 17 - 9 );
  1241.     out++;
  1242.     *out = ( (*in) >>  9  )   % (1U << 17 ) ;
  1243.     out++;
  1244.     *out = ( (*in) >>  26  )   % (1U << 17 ) ;
  1245.     ++in;
  1246.     *out |= ((*in) % (1U<< 11 ))<<( 17 - 11 );
  1247.     out++;
  1248.     *out = ( (*in) >>  11  )   % (1U << 17 ) ;
  1249.     out++;
  1250.     *out = ( (*in) >>  28  )   % (1U << 17 ) ;
  1251.     ++in;
  1252.     *out |= ((*in) % (1U<< 13 ))<<( 17 - 13 );
  1253.     out++;
  1254.     *out = ( (*in) >>  13  )   % (1U << 17 ) ;
  1255.     out++;
  1256.     *out = ( (*in) >>  30  )   % (1U << 17 ) ;
  1257.     ++in;
  1258.     *out |= ((*in) % (1U<< 15 ))<<( 17 - 15 );
  1259.     out++;
  1260.     *out = ( (*in) >>  15  )   % (1U << 17 ) ;
  1261. }
  1262.  
  1263.  
  1264.  
  1265.  
  1266. void __fastunpack18(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1267.     *out = ( (*in) >>  0  )   % (1U << 18 ) ;
  1268.     out++;
  1269.     *out = ( (*in) >>  18  )   % (1U << 18 ) ;
  1270.     ++in;
  1271.     *out |= ((*in) % (1U<< 4 ))<<( 18 - 4 );
  1272.     out++;
  1273.     *out = ( (*in) >>  4  )   % (1U << 18 ) ;
  1274.     out++;
  1275.     *out = ( (*in) >>  22  )   % (1U << 18 ) ;
  1276.     ++in;
  1277.     *out |= ((*in) % (1U<< 8 ))<<( 18 - 8 );
  1278.     out++;
  1279.     *out = ( (*in) >>  8  )   % (1U << 18 ) ;
  1280.     out++;
  1281.     *out = ( (*in) >>  26  )   % (1U << 18 ) ;
  1282.     ++in;
  1283.     *out |= ((*in) % (1U<< 12 ))<<( 18 - 12 );
  1284.     out++;
  1285.     *out = ( (*in) >>  12  )   % (1U << 18 ) ;
  1286.     out++;
  1287.     *out = ( (*in) >>  30  )   % (1U << 18 ) ;
  1288.     ++in;
  1289.     *out |= ((*in) % (1U<< 16 ))<<( 18 - 16 );
  1290.     out++;
  1291.     *out = ( (*in) >>  16  )   % (1U << 18 ) ;
  1292.     ++in;
  1293.     *out |= ((*in) % (1U<< 2 ))<<( 18 - 2 );
  1294.     out++;
  1295.     *out = ( (*in) >>  2  )   % (1U << 18 ) ;
  1296.     out++;
  1297.     *out = ( (*in) >>  20  )   % (1U << 18 ) ;
  1298.     ++in;
  1299.     *out |= ((*in) % (1U<< 6 ))<<( 18 - 6 );
  1300.     out++;
  1301.     *out = ( (*in) >>  6  )   % (1U << 18 ) ;
  1302.     out++;
  1303.     *out = ( (*in) >>  24  )   % (1U << 18 ) ;
  1304.     ++in;
  1305.     *out |= ((*in) % (1U<< 10 ))<<( 18 - 10 );
  1306.     out++;
  1307.     *out = ( (*in) >>  10  )   % (1U << 18 ) ;
  1308.     out++;
  1309.     *out = ( (*in) >>  28  )   % (1U << 18 ) ;
  1310.     ++in;
  1311.     *out |= ((*in) % (1U<< 14 ))<<( 18 - 14 );
  1312.     out++;
  1313.     *out = ( (*in) >>  14  )   % (1U << 18 ) ;
  1314.     ++in;
  1315.     out++;
  1316.     *out = ( (*in) >>  0  )   % (1U << 18 ) ;
  1317.     out++;
  1318.     *out = ( (*in) >>  18  )   % (1U << 18 ) ;
  1319.     ++in;
  1320.     *out |= ((*in) % (1U<< 4 ))<<( 18 - 4 );
  1321.     out++;
  1322.     *out = ( (*in) >>  4  )   % (1U << 18 ) ;
  1323.     out++;
  1324.     *out = ( (*in) >>  22  )   % (1U << 18 ) ;
  1325.     ++in;
  1326.     *out |= ((*in) % (1U<< 8 ))<<( 18 - 8 );
  1327.     out++;
  1328.     *out = ( (*in) >>  8  )   % (1U << 18 ) ;
  1329.     out++;
  1330.     *out = ( (*in) >>  26  )   % (1U << 18 ) ;
  1331.     ++in;
  1332.     *out |= ((*in) % (1U<< 12 ))<<( 18 - 12 );
  1333.     out++;
  1334.     *out = ( (*in) >>  12  )   % (1U << 18 ) ;
  1335.     out++;
  1336.     *out = ( (*in) >>  30  )   % (1U << 18 ) ;
  1337.     ++in;
  1338.     *out |= ((*in) % (1U<< 16 ))<<( 18 - 16 );
  1339.     out++;
  1340.     *out = ( (*in) >>  16  )   % (1U << 18 ) ;
  1341.     ++in;
  1342.     *out |= ((*in) % (1U<< 2 ))<<( 18 - 2 );
  1343.     out++;
  1344.     *out = ( (*in) >>  2  )   % (1U << 18 ) ;
  1345.     out++;
  1346.     *out = ( (*in) >>  20  )   % (1U << 18 ) ;
  1347.     ++in;
  1348.     *out |= ((*in) % (1U<< 6 ))<<( 18 - 6 );
  1349.     out++;
  1350.     *out = ( (*in) >>  6  )   % (1U << 18 ) ;
  1351.     out++;
  1352.     *out = ( (*in) >>  24  )   % (1U << 18 ) ;
  1353.     ++in;
  1354.     *out |= ((*in) % (1U<< 10 ))<<( 18 - 10 );
  1355.     out++;
  1356.     *out = ( (*in) >>  10  )   % (1U << 18 ) ;
  1357.     out++;
  1358.     *out = ( (*in) >>  28  )   % (1U << 18 ) ;
  1359.     ++in;
  1360.     *out |= ((*in) % (1U<< 14 ))<<( 18 - 14 );
  1361.     out++;
  1362.     *out = ( (*in) >>  14  )   % (1U << 18 ) ;
  1363. }
  1364.  
  1365.  
  1366.  
  1367.  
  1368. void __fastunpack19(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1369.     *out = ( (*in) >>  0  )   % (1U << 19 ) ;
  1370.     out++;
  1371.     *out = ( (*in) >>  19  )   % (1U << 19 ) ;
  1372.     ++in;
  1373.     *out |= ((*in) % (1U<< 6 ))<<( 19 - 6 );
  1374.     out++;
  1375.     *out = ( (*in) >>  6  )   % (1U << 19 ) ;
  1376.     out++;
  1377.     *out = ( (*in) >>  25  )   % (1U << 19 ) ;
  1378.     ++in;
  1379.     *out |= ((*in) % (1U<< 12 ))<<( 19 - 12 );
  1380.     out++;
  1381.     *out = ( (*in) >>  12  )   % (1U << 19 ) ;
  1382.     out++;
  1383.     *out = ( (*in) >>  31  )   % (1U << 19 ) ;
  1384.     ++in;
  1385.     *out |= ((*in) % (1U<< 18 ))<<( 19 - 18 );
  1386.     out++;
  1387.     *out = ( (*in) >>  18  )   % (1U << 19 ) ;
  1388.     ++in;
  1389.     *out |= ((*in) % (1U<< 5 ))<<( 19 - 5 );
  1390.     out++;
  1391.     *out = ( (*in) >>  5  )   % (1U << 19 ) ;
  1392.     out++;
  1393.     *out = ( (*in) >>  24  )   % (1U << 19 ) ;
  1394.     ++in;
  1395.     *out |= ((*in) % (1U<< 11 ))<<( 19 - 11 );
  1396.     out++;
  1397.     *out = ( (*in) >>  11  )   % (1U << 19 ) ;
  1398.     out++;
  1399.     *out = ( (*in) >>  30  )   % (1U << 19 ) ;
  1400.     ++in;
  1401.     *out |= ((*in) % (1U<< 17 ))<<( 19 - 17 );
  1402.     out++;
  1403.     *out = ( (*in) >>  17  )   % (1U << 19 ) ;
  1404.     ++in;
  1405.     *out |= ((*in) % (1U<< 4 ))<<( 19 - 4 );
  1406.     out++;
  1407.     *out = ( (*in) >>  4  )   % (1U << 19 ) ;
  1408.     out++;
  1409.     *out = ( (*in) >>  23  )   % (1U << 19 ) ;
  1410.     ++in;
  1411.     *out |= ((*in) % (1U<< 10 ))<<( 19 - 10 );
  1412.     out++;
  1413.     *out = ( (*in) >>  10  )   % (1U << 19 ) ;
  1414.     out++;
  1415.     *out = ( (*in) >>  29  )   % (1U << 19 ) ;
  1416.     ++in;
  1417.     *out |= ((*in) % (1U<< 16 ))<<( 19 - 16 );
  1418.     out++;
  1419.     *out = ( (*in) >>  16  )   % (1U << 19 ) ;
  1420.     ++in;
  1421.     *out |= ((*in) % (1U<< 3 ))<<( 19 - 3 );
  1422.     out++;
  1423.     *out = ( (*in) >>  3  )   % (1U << 19 ) ;
  1424.     out++;
  1425.     *out = ( (*in) >>  22  )   % (1U << 19 ) ;
  1426.     ++in;
  1427.     *out |= ((*in) % (1U<< 9 ))<<( 19 - 9 );
  1428.     out++;
  1429.     *out = ( (*in) >>  9  )   % (1U << 19 ) ;
  1430.     out++;
  1431.     *out = ( (*in) >>  28  )   % (1U << 19 ) ;
  1432.     ++in;
  1433.     *out |= ((*in) % (1U<< 15 ))<<( 19 - 15 );
  1434.     out++;
  1435.     *out = ( (*in) >>  15  )   % (1U << 19 ) ;
  1436.     ++in;
  1437.     *out |= ((*in) % (1U<< 2 ))<<( 19 - 2 );
  1438.     out++;
  1439.     *out = ( (*in) >>  2  )   % (1U << 19 ) ;
  1440.     out++;
  1441.     *out = ( (*in) >>  21  )   % (1U << 19 ) ;
  1442.     ++in;
  1443.     *out |= ((*in) % (1U<< 8 ))<<( 19 - 8 );
  1444.     out++;
  1445.     *out = ( (*in) >>  8  )   % (1U << 19 ) ;
  1446.     out++;
  1447.     *out = ( (*in) >>  27  )   % (1U << 19 ) ;
  1448.     ++in;
  1449.     *out |= ((*in) % (1U<< 14 ))<<( 19 - 14 );
  1450.     out++;
  1451.     *out = ( (*in) >>  14  )   % (1U << 19 ) ;
  1452.     ++in;
  1453.     *out |= ((*in) % (1U<< 1 ))<<( 19 - 1 );
  1454.     out++;
  1455.     *out = ( (*in) >>  1  )   % (1U << 19 ) ;
  1456.     out++;
  1457.     *out = ( (*in) >>  20  )   % (1U << 19 ) ;
  1458.     ++in;
  1459.     *out |= ((*in) % (1U<< 7 ))<<( 19 - 7 );
  1460.     out++;
  1461.     *out = ( (*in) >>  7  )   % (1U << 19 ) ;
  1462.     out++;
  1463.     *out = ( (*in) >>  26  )   % (1U << 19 ) ;
  1464.     ++in;
  1465.     *out |= ((*in) % (1U<< 13 ))<<( 19 - 13 );
  1466.     out++;
  1467.     *out = ( (*in) >>  13  )   % (1U << 19 ) ;
  1468. }
  1469.  
  1470.  
  1471.  
  1472.  
  1473. void __fastunpack20(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1474.     *out = ( (*in) >>  0  )   % (1U << 20 ) ;
  1475.     out++;
  1476.     *out = ( (*in) >>  20  )   % (1U << 20 ) ;
  1477.     ++in;
  1478.     *out |= ((*in) % (1U<< 8 ))<<( 20 - 8 );
  1479.     out++;
  1480.     *out = ( (*in) >>  8  )   % (1U << 20 ) ;
  1481.     out++;
  1482.     *out = ( (*in) >>  28  )   % (1U << 20 ) ;
  1483.     ++in;
  1484.     *out |= ((*in) % (1U<< 16 ))<<( 20 - 16 );
  1485.     out++;
  1486.     *out = ( (*in) >>  16  )   % (1U << 20 ) ;
  1487.     ++in;
  1488.     *out |= ((*in) % (1U<< 4 ))<<( 20 - 4 );
  1489.     out++;
  1490.     *out = ( (*in) >>  4  )   % (1U << 20 ) ;
  1491.     out++;
  1492.     *out = ( (*in) >>  24  )   % (1U << 20 ) ;
  1493.     ++in;
  1494.     *out |= ((*in) % (1U<< 12 ))<<( 20 - 12 );
  1495.     out++;
  1496.     *out = ( (*in) >>  12  )   % (1U << 20 ) ;
  1497.     ++in;
  1498.     out++;
  1499.     *out = ( (*in) >>  0  )   % (1U << 20 ) ;
  1500.     out++;
  1501.     *out = ( (*in) >>  20  )   % (1U << 20 ) ;
  1502.     ++in;
  1503.     *out |= ((*in) % (1U<< 8 ))<<( 20 - 8 );
  1504.     out++;
  1505.     *out = ( (*in) >>  8  )   % (1U << 20 ) ;
  1506.     out++;
  1507.     *out = ( (*in) >>  28  )   % (1U << 20 ) ;
  1508.     ++in;
  1509.     *out |= ((*in) % (1U<< 16 ))<<( 20 - 16 );
  1510.     out++;
  1511.     *out = ( (*in) >>  16  )   % (1U << 20 ) ;
  1512.     ++in;
  1513.     *out |= ((*in) % (1U<< 4 ))<<( 20 - 4 );
  1514.     out++;
  1515.     *out = ( (*in) >>  4  )   % (1U << 20 ) ;
  1516.     out++;
  1517.     *out = ( (*in) >>  24  )   % (1U << 20 ) ;
  1518.     ++in;
  1519.     *out |= ((*in) % (1U<< 12 ))<<( 20 - 12 );
  1520.     out++;
  1521.     *out = ( (*in) >>  12  )   % (1U << 20 ) ;
  1522.     ++in;
  1523.     out++;
  1524.     *out = ( (*in) >>  0  )   % (1U << 20 ) ;
  1525.     out++;
  1526.     *out = ( (*in) >>  20  )   % (1U << 20 ) ;
  1527.     ++in;
  1528.     *out |= ((*in) % (1U<< 8 ))<<( 20 - 8 );
  1529.     out++;
  1530.     *out = ( (*in) >>  8  )   % (1U << 20 ) ;
  1531.     out++;
  1532.     *out = ( (*in) >>  28  )   % (1U << 20 ) ;
  1533.     ++in;
  1534.     *out |= ((*in) % (1U<< 16 ))<<( 20 - 16 );
  1535.     out++;
  1536.     *out = ( (*in) >>  16  )   % (1U << 20 ) ;
  1537.     ++in;
  1538.     *out |= ((*in) % (1U<< 4 ))<<( 20 - 4 );
  1539.     out++;
  1540.     *out = ( (*in) >>  4  )   % (1U << 20 ) ;
  1541.     out++;
  1542.     *out = ( (*in) >>  24  )   % (1U << 20 ) ;
  1543.     ++in;
  1544.     *out |= ((*in) % (1U<< 12 ))<<( 20 - 12 );
  1545.     out++;
  1546.     *out = ( (*in) >>  12  )   % (1U << 20 ) ;
  1547.     ++in;
  1548.     out++;
  1549.     *out = ( (*in) >>  0  )   % (1U << 20 ) ;
  1550.     out++;
  1551.     *out = ( (*in) >>  20  )   % (1U << 20 ) ;
  1552.     ++in;
  1553.     *out |= ((*in) % (1U<< 8 ))<<( 20 - 8 );
  1554.     out++;
  1555.     *out = ( (*in) >>  8  )   % (1U << 20 ) ;
  1556.     out++;
  1557.     *out = ( (*in) >>  28  )   % (1U << 20 ) ;
  1558.     ++in;
  1559.     *out |= ((*in) % (1U<< 16 ))<<( 20 - 16 );
  1560.     out++;
  1561.     *out = ( (*in) >>  16  )   % (1U << 20 ) ;
  1562.     ++in;
  1563.     *out |= ((*in) % (1U<< 4 ))<<( 20 - 4 );
  1564.     out++;
  1565.     *out = ( (*in) >>  4  )   % (1U << 20 ) ;
  1566.     out++;
  1567.     *out = ( (*in) >>  24  )   % (1U << 20 ) ;
  1568.     ++in;
  1569.     *out |= ((*in) % (1U<< 12 ))<<( 20 - 12 );
  1570.     out++;
  1571.     *out = ( (*in) >>  12  )   % (1U << 20 ) ;
  1572. }
  1573.  
  1574.  
  1575.  
  1576.  
  1577. void __fastunpack21(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1578.     *out = ( (*in) >>  0  )   % (1U << 21 ) ;
  1579.     out++;
  1580.     *out = ( (*in) >>  21  )   % (1U << 21 ) ;
  1581.     ++in;
  1582.     *out |= ((*in) % (1U<< 10 ))<<( 21 - 10 );
  1583.     out++;
  1584.     *out = ( (*in) >>  10  )   % (1U << 21 ) ;
  1585.     out++;
  1586.     *out = ( (*in) >>  31  )   % (1U << 21 ) ;
  1587.     ++in;
  1588.     *out |= ((*in) % (1U<< 20 ))<<( 21 - 20 );
  1589.     out++;
  1590.     *out = ( (*in) >>  20  )   % (1U << 21 ) ;
  1591.     ++in;
  1592.     *out |= ((*in) % (1U<< 9 ))<<( 21 - 9 );
  1593.     out++;
  1594.     *out = ( (*in) >>  9  )   % (1U << 21 ) ;
  1595.     out++;
  1596.     *out = ( (*in) >>  30  )   % (1U << 21 ) ;
  1597.     ++in;
  1598.     *out |= ((*in) % (1U<< 19 ))<<( 21 - 19 );
  1599.     out++;
  1600.     *out = ( (*in) >>  19  )   % (1U << 21 ) ;
  1601.     ++in;
  1602.     *out |= ((*in) % (1U<< 8 ))<<( 21 - 8 );
  1603.     out++;
  1604.     *out = ( (*in) >>  8  )   % (1U << 21 ) ;
  1605.     out++;
  1606.     *out = ( (*in) >>  29  )   % (1U << 21 ) ;
  1607.     ++in;
  1608.     *out |= ((*in) % (1U<< 18 ))<<( 21 - 18 );
  1609.     out++;
  1610.     *out = ( (*in) >>  18  )   % (1U << 21 ) ;
  1611.     ++in;
  1612.     *out |= ((*in) % (1U<< 7 ))<<( 21 - 7 );
  1613.     out++;
  1614.     *out = ( (*in) >>  7  )   % (1U << 21 ) ;
  1615.     out++;
  1616.     *out = ( (*in) >>  28  )   % (1U << 21 ) ;
  1617.     ++in;
  1618.     *out |= ((*in) % (1U<< 17 ))<<( 21 - 17 );
  1619.     out++;
  1620.     *out = ( (*in) >>  17  )   % (1U << 21 ) ;
  1621.     ++in;
  1622.     *out |= ((*in) % (1U<< 6 ))<<( 21 - 6 );
  1623.     out++;
  1624.     *out = ( (*in) >>  6  )   % (1U << 21 ) ;
  1625.     out++;
  1626.     *out = ( (*in) >>  27  )   % (1U << 21 ) ;
  1627.     ++in;
  1628.     *out |= ((*in) % (1U<< 16 ))<<( 21 - 16 );
  1629.     out++;
  1630.     *out = ( (*in) >>  16  )   % (1U << 21 ) ;
  1631.     ++in;
  1632.     *out |= ((*in) % (1U<< 5 ))<<( 21 - 5 );
  1633.     out++;
  1634.     *out = ( (*in) >>  5  )   % (1U << 21 ) ;
  1635.     out++;
  1636.     *out = ( (*in) >>  26  )   % (1U << 21 ) ;
  1637.     ++in;
  1638.     *out |= ((*in) % (1U<< 15 ))<<( 21 - 15 );
  1639.     out++;
  1640.     *out = ( (*in) >>  15  )   % (1U << 21 ) ;
  1641.     ++in;
  1642.     *out |= ((*in) % (1U<< 4 ))<<( 21 - 4 );
  1643.     out++;
  1644.     *out = ( (*in) >>  4  )   % (1U << 21 ) ;
  1645.     out++;
  1646.     *out = ( (*in) >>  25  )   % (1U << 21 ) ;
  1647.     ++in;
  1648.     *out |= ((*in) % (1U<< 14 ))<<( 21 - 14 );
  1649.     out++;
  1650.     *out = ( (*in) >>  14  )   % (1U << 21 ) ;
  1651.     ++in;
  1652.     *out |= ((*in) % (1U<< 3 ))<<( 21 - 3 );
  1653.     out++;
  1654.     *out = ( (*in) >>  3  )   % (1U << 21 ) ;
  1655.     out++;
  1656.     *out = ( (*in) >>  24  )   % (1U << 21 ) ;
  1657.     ++in;
  1658.     *out |= ((*in) % (1U<< 13 ))<<( 21 - 13 );
  1659.     out++;
  1660.     *out = ( (*in) >>  13  )   % (1U << 21 ) ;
  1661.     ++in;
  1662.     *out |= ((*in) % (1U<< 2 ))<<( 21 - 2 );
  1663.     out++;
  1664.     *out = ( (*in) >>  2  )   % (1U << 21 ) ;
  1665.     out++;
  1666.     *out = ( (*in) >>  23  )   % (1U << 21 ) ;
  1667.     ++in;
  1668.     *out |= ((*in) % (1U<< 12 ))<<( 21 - 12 );
  1669.     out++;
  1670.     *out = ( (*in) >>  12  )   % (1U << 21 ) ;
  1671.     ++in;
  1672.     *out |= ((*in) % (1U<< 1 ))<<( 21 - 1 );
  1673.     out++;
  1674.     *out = ( (*in) >>  1  )   % (1U << 21 ) ;
  1675.     out++;
  1676.     *out = ( (*in) >>  22  )   % (1U << 21 ) ;
  1677.     ++in;
  1678.     *out |= ((*in) % (1U<< 11 ))<<( 21 - 11 );
  1679.     out++;
  1680.     *out = ( (*in) >>  11  )   % (1U << 21 ) ;
  1681. }
  1682.  
  1683.  
  1684.  
  1685.  
  1686. void __fastunpack22(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1687.     *out = ( (*in) >>  0  )   % (1U << 22 ) ;
  1688.     out++;
  1689.     *out = ( (*in) >>  22  )   % (1U << 22 ) ;
  1690.     ++in;
  1691.     *out |= ((*in) % (1U<< 12 ))<<( 22 - 12 );
  1692.     out++;
  1693.     *out = ( (*in) >>  12  )   % (1U << 22 ) ;
  1694.     ++in;
  1695.     *out |= ((*in) % (1U<< 2 ))<<( 22 - 2 );
  1696.     out++;
  1697.     *out = ( (*in) >>  2  )   % (1U << 22 ) ;
  1698.     out++;
  1699.     *out = ( (*in) >>  24  )   % (1U << 22 ) ;
  1700.     ++in;
  1701.     *out |= ((*in) % (1U<< 14 ))<<( 22 - 14 );
  1702.     out++;
  1703.     *out = ( (*in) >>  14  )   % (1U << 22 ) ;
  1704.     ++in;
  1705.     *out |= ((*in) % (1U<< 4 ))<<( 22 - 4 );
  1706.     out++;
  1707.     *out = ( (*in) >>  4  )   % (1U << 22 ) ;
  1708.     out++;
  1709.     *out = ( (*in) >>  26  )   % (1U << 22 ) ;
  1710.     ++in;
  1711.     *out |= ((*in) % (1U<< 16 ))<<( 22 - 16 );
  1712.     out++;
  1713.     *out = ( (*in) >>  16  )   % (1U << 22 ) ;
  1714.     ++in;
  1715.     *out |= ((*in) % (1U<< 6 ))<<( 22 - 6 );
  1716.     out++;
  1717.     *out = ( (*in) >>  6  )   % (1U << 22 ) ;
  1718.     out++;
  1719.     *out = ( (*in) >>  28  )   % (1U << 22 ) ;
  1720.     ++in;
  1721.     *out |= ((*in) % (1U<< 18 ))<<( 22 - 18 );
  1722.     out++;
  1723.     *out = ( (*in) >>  18  )   % (1U << 22 ) ;
  1724.     ++in;
  1725.     *out |= ((*in) % (1U<< 8 ))<<( 22 - 8 );
  1726.     out++;
  1727.     *out = ( (*in) >>  8  )   % (1U << 22 ) ;
  1728.     out++;
  1729.     *out = ( (*in) >>  30  )   % (1U << 22 ) ;
  1730.     ++in;
  1731.     *out |= ((*in) % (1U<< 20 ))<<( 22 - 20 );
  1732.     out++;
  1733.     *out = ( (*in) >>  20  )   % (1U << 22 ) ;
  1734.     ++in;
  1735.     *out |= ((*in) % (1U<< 10 ))<<( 22 - 10 );
  1736.     out++;
  1737.     *out = ( (*in) >>  10  )   % (1U << 22 ) ;
  1738.     ++in;
  1739.     out++;
  1740.     *out = ( (*in) >>  0  )   % (1U << 22 ) ;
  1741.     out++;
  1742.     *out = ( (*in) >>  22  )   % (1U << 22 ) ;
  1743.     ++in;
  1744.     *out |= ((*in) % (1U<< 12 ))<<( 22 - 12 );
  1745.     out++;
  1746.     *out = ( (*in) >>  12  )   % (1U << 22 ) ;
  1747.     ++in;
  1748.     *out |= ((*in) % (1U<< 2 ))<<( 22 - 2 );
  1749.     out++;
  1750.     *out = ( (*in) >>  2  )   % (1U << 22 ) ;
  1751.     out++;
  1752.     *out = ( (*in) >>  24  )   % (1U << 22 ) ;
  1753.     ++in;
  1754.     *out |= ((*in) % (1U<< 14 ))<<( 22 - 14 );
  1755.     out++;
  1756.     *out = ( (*in) >>  14  )   % (1U << 22 ) ;
  1757.     ++in;
  1758.     *out |= ((*in) % (1U<< 4 ))<<( 22 - 4 );
  1759.     out++;
  1760.     *out = ( (*in) >>  4  )   % (1U << 22 ) ;
  1761.     out++;
  1762.     *out = ( (*in) >>  26  )   % (1U << 22 ) ;
  1763.     ++in;
  1764.     *out |= ((*in) % (1U<< 16 ))<<( 22 - 16 );
  1765.     out++;
  1766.     *out = ( (*in) >>  16  )   % (1U << 22 ) ;
  1767.     ++in;
  1768.     *out |= ((*in) % (1U<< 6 ))<<( 22 - 6 );
  1769.     out++;
  1770.     *out = ( (*in) >>  6  )   % (1U << 22 ) ;
  1771.     out++;
  1772.     *out = ( (*in) >>  28  )   % (1U << 22 ) ;
  1773.     ++in;
  1774.     *out |= ((*in) % (1U<< 18 ))<<( 22 - 18 );
  1775.     out++;
  1776.     *out = ( (*in) >>  18  )   % (1U << 22 ) ;
  1777.     ++in;
  1778.     *out |= ((*in) % (1U<< 8 ))<<( 22 - 8 );
  1779.     out++;
  1780.     *out = ( (*in) >>  8  )   % (1U << 22 ) ;
  1781.     out++;
  1782.     *out = ( (*in) >>  30  )   % (1U << 22 ) ;
  1783.     ++in;
  1784.     *out |= ((*in) % (1U<< 20 ))<<( 22 - 20 );
  1785.     out++;
  1786.     *out = ( (*in) >>  20  )   % (1U << 22 ) ;
  1787.     ++in;
  1788.     *out |= ((*in) % (1U<< 10 ))<<( 22 - 10 );
  1789.     out++;
  1790.     *out = ( (*in) >>  10  )   % (1U << 22 ) ;
  1791. }
  1792.  
  1793.  
  1794.  
  1795.  
  1796. void __fastunpack23(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1797.     *out = ( (*in) >>  0  )   % (1U << 23 ) ;
  1798.     out++;
  1799.     *out = ( (*in) >>  23  )   % (1U << 23 ) ;
  1800.     ++in;
  1801.     *out |= ((*in) % (1U<< 14 ))<<( 23 - 14 );
  1802.     out++;
  1803.     *out = ( (*in) >>  14  )   % (1U << 23 ) ;
  1804.     ++in;
  1805.     *out |= ((*in) % (1U<< 5 ))<<( 23 - 5 );
  1806.     out++;
  1807.     *out = ( (*in) >>  5  )   % (1U << 23 ) ;
  1808.     out++;
  1809.     *out = ( (*in) >>  28  )   % (1U << 23 ) ;
  1810.     ++in;
  1811.     *out |= ((*in) % (1U<< 19 ))<<( 23 - 19 );
  1812.     out++;
  1813.     *out = ( (*in) >>  19  )   % (1U << 23 ) ;
  1814.     ++in;
  1815.     *out |= ((*in) % (1U<< 10 ))<<( 23 - 10 );
  1816.     out++;
  1817.     *out = ( (*in) >>  10  )   % (1U << 23 ) ;
  1818.     ++in;
  1819.     *out |= ((*in) % (1U<< 1 ))<<( 23 - 1 );
  1820.     out++;
  1821.     *out = ( (*in) >>  1  )   % (1U << 23 ) ;
  1822.     out++;
  1823.     *out = ( (*in) >>  24  )   % (1U << 23 ) ;
  1824.     ++in;
  1825.     *out |= ((*in) % (1U<< 15 ))<<( 23 - 15 );
  1826.     out++;
  1827.     *out = ( (*in) >>  15  )   % (1U << 23 ) ;
  1828.     ++in;
  1829.     *out |= ((*in) % (1U<< 6 ))<<( 23 - 6 );
  1830.     out++;
  1831.     *out = ( (*in) >>  6  )   % (1U << 23 ) ;
  1832.     out++;
  1833.     *out = ( (*in) >>  29  )   % (1U << 23 ) ;
  1834.     ++in;
  1835.     *out |= ((*in) % (1U<< 20 ))<<( 23 - 20 );
  1836.     out++;
  1837.     *out = ( (*in) >>  20  )   % (1U << 23 ) ;
  1838.     ++in;
  1839.     *out |= ((*in) % (1U<< 11 ))<<( 23 - 11 );
  1840.     out++;
  1841.     *out = ( (*in) >>  11  )   % (1U << 23 ) ;
  1842.     ++in;
  1843.     *out |= ((*in) % (1U<< 2 ))<<( 23 - 2 );
  1844.     out++;
  1845.     *out = ( (*in) >>  2  )   % (1U << 23 ) ;
  1846.     out++;
  1847.     *out = ( (*in) >>  25  )   % (1U << 23 ) ;
  1848.     ++in;
  1849.     *out |= ((*in) % (1U<< 16 ))<<( 23 - 16 );
  1850.     out++;
  1851.     *out = ( (*in) >>  16  )   % (1U << 23 ) ;
  1852.     ++in;
  1853.     *out |= ((*in) % (1U<< 7 ))<<( 23 - 7 );
  1854.     out++;
  1855.     *out = ( (*in) >>  7  )   % (1U << 23 ) ;
  1856.     out++;
  1857.     *out = ( (*in) >>  30  )   % (1U << 23 ) ;
  1858.     ++in;
  1859.     *out |= ((*in) % (1U<< 21 ))<<( 23 - 21 );
  1860.     out++;
  1861.     *out = ( (*in) >>  21  )   % (1U << 23 ) ;
  1862.     ++in;
  1863.     *out |= ((*in) % (1U<< 12 ))<<( 23 - 12 );
  1864.     out++;
  1865.     *out = ( (*in) >>  12  )   % (1U << 23 ) ;
  1866.     ++in;
  1867.     *out |= ((*in) % (1U<< 3 ))<<( 23 - 3 );
  1868.     out++;
  1869.     *out = ( (*in) >>  3  )   % (1U << 23 ) ;
  1870.     out++;
  1871.     *out = ( (*in) >>  26  )   % (1U << 23 ) ;
  1872.     ++in;
  1873.     *out |= ((*in) % (1U<< 17 ))<<( 23 - 17 );
  1874.     out++;
  1875.     *out = ( (*in) >>  17  )   % (1U << 23 ) ;
  1876.     ++in;
  1877.     *out |= ((*in) % (1U<< 8 ))<<( 23 - 8 );
  1878.     out++;
  1879.     *out = ( (*in) >>  8  )   % (1U << 23 ) ;
  1880.     out++;
  1881.     *out = ( (*in) >>  31  )   % (1U << 23 ) ;
  1882.     ++in;
  1883.     *out |= ((*in) % (1U<< 22 ))<<( 23 - 22 );
  1884.     out++;
  1885.     *out = ( (*in) >>  22  )   % (1U << 23 ) ;
  1886.     ++in;
  1887.     *out |= ((*in) % (1U<< 13 ))<<( 23 - 13 );
  1888.     out++;
  1889.     *out = ( (*in) >>  13  )   % (1U << 23 ) ;
  1890.     ++in;
  1891.     *out |= ((*in) % (1U<< 4 ))<<( 23 - 4 );
  1892.     out++;
  1893.     *out = ( (*in) >>  4  )   % (1U << 23 ) ;
  1894.     out++;
  1895.     *out = ( (*in) >>  27  )   % (1U << 23 ) ;
  1896.     ++in;
  1897.     *out |= ((*in) % (1U<< 18 ))<<( 23 - 18 );
  1898.     out++;
  1899.     *out = ( (*in) >>  18  )   % (1U << 23 ) ;
  1900.     ++in;
  1901.     *out |= ((*in) % (1U<< 9 ))<<( 23 - 9 );
  1902.     out++;
  1903.     *out = ( (*in) >>  9  )   % (1U << 23 ) ;
  1904. }
  1905.  
  1906.  
  1907.  
  1908.  
  1909. void __fastunpack24(const uint *  __restrict__ in, uint *  __restrict__  out) {
  1910.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  1911.     out++;
  1912.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  1913.     ++in;
  1914.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  1915.     out++;
  1916.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  1917.     ++in;
  1918.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  1919.     out++;
  1920.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  1921.     ++in;
  1922.     out++;
  1923.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  1924.     out++;
  1925.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  1926.     ++in;
  1927.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  1928.     out++;
  1929.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  1930.     ++in;
  1931.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  1932.     out++;
  1933.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  1934.     ++in;
  1935.     out++;
  1936.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  1937.     out++;
  1938.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  1939.     ++in;
  1940.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  1941.     out++;
  1942.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  1943.     ++in;
  1944.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  1945.     out++;
  1946.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  1947.     ++in;
  1948.     out++;
  1949.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  1950.     out++;
  1951.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  1952.     ++in;
  1953.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  1954.     out++;
  1955.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  1956.     ++in;
  1957.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  1958.     out++;
  1959.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  1960.     ++in;
  1961.     out++;
  1962.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  1963.     out++;
  1964.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  1965.     ++in;
  1966.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  1967.     out++;
  1968.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  1969.     ++in;
  1970.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  1971.     out++;
  1972.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  1973.     ++in;
  1974.     out++;
  1975.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  1976.     out++;
  1977.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  1978.     ++in;
  1979.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  1980.     out++;
  1981.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  1982.     ++in;
  1983.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  1984.     out++;
  1985.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  1986.     ++in;
  1987.     out++;
  1988.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  1989.     out++;
  1990.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  1991.     ++in;
  1992.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  1993.     out++;
  1994.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  1995.     ++in;
  1996.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  1997.     out++;
  1998.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  1999.     ++in;
  2000.     out++;
  2001.     *out = ( (*in) >>  0  )   % (1U << 24 ) ;
  2002.     out++;
  2003.     *out = ( (*in) >>  24  )   % (1U << 24 ) ;
  2004.     ++in;
  2005.     *out |= ((*in) % (1U<< 16 ))<<( 24 - 16 );
  2006.     out++;
  2007.     *out = ( (*in) >>  16  )   % (1U << 24 ) ;
  2008.     ++in;
  2009.     *out |= ((*in) % (1U<< 8 ))<<( 24 - 8 );
  2010.     out++;
  2011.     *out = ( (*in) >>  8  )   % (1U << 24 ) ;
  2012. }
  2013.  
  2014.  
  2015.  
  2016.  
  2017. void __fastunpack25(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2018.     *out = ( (*in) >>  0  )   % (1U << 25 ) ;
  2019.     out++;
  2020.     *out = ( (*in) >>  25  )   % (1U << 25 ) ;
  2021.     ++in;
  2022.     *out |= ((*in) % (1U<< 18 ))<<( 25 - 18 );
  2023.     out++;
  2024.     *out = ( (*in) >>  18  )   % (1U << 25 ) ;
  2025.     ++in;
  2026.     *out |= ((*in) % (1U<< 11 ))<<( 25 - 11 );
  2027.     out++;
  2028.     *out = ( (*in) >>  11  )   % (1U << 25 ) ;
  2029.     ++in;
  2030.     *out |= ((*in) % (1U<< 4 ))<<( 25 - 4 );
  2031.     out++;
  2032.     *out = ( (*in) >>  4  )   % (1U << 25 ) ;
  2033.     out++;
  2034.     *out = ( (*in) >>  29  )   % (1U << 25 ) ;
  2035.     ++in;
  2036.     *out |= ((*in) % (1U<< 22 ))<<( 25 - 22 );
  2037.     out++;
  2038.     *out = ( (*in) >>  22  )   % (1U << 25 ) ;
  2039.     ++in;
  2040.     *out |= ((*in) % (1U<< 15 ))<<( 25 - 15 );
  2041.     out++;
  2042.     *out = ( (*in) >>  15  )   % (1U << 25 ) ;
  2043.     ++in;
  2044.     *out |= ((*in) % (1U<< 8 ))<<( 25 - 8 );
  2045.     out++;
  2046.     *out = ( (*in) >>  8  )   % (1U << 25 ) ;
  2047.     ++in;
  2048.     *out |= ((*in) % (1U<< 1 ))<<( 25 - 1 );
  2049.     out++;
  2050.     *out = ( (*in) >>  1  )   % (1U << 25 ) ;
  2051.     out++;
  2052.     *out = ( (*in) >>  26  )   % (1U << 25 ) ;
  2053.     ++in;
  2054.     *out |= ((*in) % (1U<< 19 ))<<( 25 - 19 );
  2055.     out++;
  2056.     *out = ( (*in) >>  19  )   % (1U << 25 ) ;
  2057.     ++in;
  2058.     *out |= ((*in) % (1U<< 12 ))<<( 25 - 12 );
  2059.     out++;
  2060.     *out = ( (*in) >>  12  )   % (1U << 25 ) ;
  2061.     ++in;
  2062.     *out |= ((*in) % (1U<< 5 ))<<( 25 - 5 );
  2063.     out++;
  2064.     *out = ( (*in) >>  5  )   % (1U << 25 ) ;
  2065.     out++;
  2066.     *out = ( (*in) >>  30  )   % (1U << 25 ) ;
  2067.     ++in;
  2068.     *out |= ((*in) % (1U<< 23 ))<<( 25 - 23 );
  2069.     out++;
  2070.     *out = ( (*in) >>  23  )   % (1U << 25 ) ;
  2071.     ++in;
  2072.     *out |= ((*in) % (1U<< 16 ))<<( 25 - 16 );
  2073.     out++;
  2074.     *out = ( (*in) >>  16  )   % (1U << 25 ) ;
  2075.     ++in;
  2076.     *out |= ((*in) % (1U<< 9 ))<<( 25 - 9 );
  2077.     out++;
  2078.     *out = ( (*in) >>  9  )   % (1U << 25 ) ;
  2079.     ++in;
  2080.     *out |= ((*in) % (1U<< 2 ))<<( 25 - 2 );
  2081.     out++;
  2082.     *out = ( (*in) >>  2  )   % (1U << 25 ) ;
  2083.     out++;
  2084.     *out = ( (*in) >>  27  )   % (1U << 25 ) ;
  2085.     ++in;
  2086.     *out |= ((*in) % (1U<< 20 ))<<( 25 - 20 );
  2087.     out++;
  2088.     *out = ( (*in) >>  20  )   % (1U << 25 ) ;
  2089.     ++in;
  2090.     *out |= ((*in) % (1U<< 13 ))<<( 25 - 13 );
  2091.     out++;
  2092.     *out = ( (*in) >>  13  )   % (1U << 25 ) ;
  2093.     ++in;
  2094.     *out |= ((*in) % (1U<< 6 ))<<( 25 - 6 );
  2095.     out++;
  2096.     *out = ( (*in) >>  6  )   % (1U << 25 ) ;
  2097.     out++;
  2098.     *out = ( (*in) >>  31  )   % (1U << 25 ) ;
  2099.     ++in;
  2100.     *out |= ((*in) % (1U<< 24 ))<<( 25 - 24 );
  2101.     out++;
  2102.     *out = ( (*in) >>  24  )   % (1U << 25 ) ;
  2103.     ++in;
  2104.     *out |= ((*in) % (1U<< 17 ))<<( 25 - 17 );
  2105.     out++;
  2106.     *out = ( (*in) >>  17  )   % (1U << 25 ) ;
  2107.     ++in;
  2108.     *out |= ((*in) % (1U<< 10 ))<<( 25 - 10 );
  2109.     out++;
  2110.     *out = ( (*in) >>  10  )   % (1U << 25 ) ;
  2111.     ++in;
  2112.     *out |= ((*in) % (1U<< 3 ))<<( 25 - 3 );
  2113.     out++;
  2114.     *out = ( (*in) >>  3  )   % (1U << 25 ) ;
  2115.     out++;
  2116.     *out = ( (*in) >>  28  )   % (1U << 25 ) ;
  2117.     ++in;
  2118.     *out |= ((*in) % (1U<< 21 ))<<( 25 - 21 );
  2119.     out++;
  2120.     *out = ( (*in) >>  21  )   % (1U << 25 ) ;
  2121.     ++in;
  2122.     *out |= ((*in) % (1U<< 14 ))<<( 25 - 14 );
  2123.     out++;
  2124.     *out = ( (*in) >>  14  )   % (1U << 25 ) ;
  2125.     ++in;
  2126.     *out |= ((*in) % (1U<< 7 ))<<( 25 - 7 );
  2127.     out++;
  2128.     *out = ( (*in) >>  7  )   % (1U << 25 ) ;
  2129. }
  2130.  
  2131.  
  2132.  
  2133.  
  2134. void __fastunpack26(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2135.     *out = ( (*in) >>  0  )   % (1U << 26 ) ;
  2136.     out++;
  2137.     *out = ( (*in) >>  26  )   % (1U << 26 ) ;
  2138.     ++in;
  2139.     *out |= ((*in) % (1U<< 20 ))<<( 26 - 20 );
  2140.     out++;
  2141.     *out = ( (*in) >>  20  )   % (1U << 26 ) ;
  2142.     ++in;
  2143.     *out |= ((*in) % (1U<< 14 ))<<( 26 - 14 );
  2144.     out++;
  2145.     *out = ( (*in) >>  14  )   % (1U << 26 ) ;
  2146.     ++in;
  2147.     *out |= ((*in) % (1U<< 8 ))<<( 26 - 8 );
  2148.     out++;
  2149.     *out = ( (*in) >>  8  )   % (1U << 26 ) ;
  2150.     ++in;
  2151.     *out |= ((*in) % (1U<< 2 ))<<( 26 - 2 );
  2152.     out++;
  2153.     *out = ( (*in) >>  2  )   % (1U << 26 ) ;
  2154.     out++;
  2155.     *out = ( (*in) >>  28  )   % (1U << 26 ) ;
  2156.     ++in;
  2157.     *out |= ((*in) % (1U<< 22 ))<<( 26 - 22 );
  2158.     out++;
  2159.     *out = ( (*in) >>  22  )   % (1U << 26 ) ;
  2160.     ++in;
  2161.     *out |= ((*in) % (1U<< 16 ))<<( 26 - 16 );
  2162.     out++;
  2163.     *out = ( (*in) >>  16  )   % (1U << 26 ) ;
  2164.     ++in;
  2165.     *out |= ((*in) % (1U<< 10 ))<<( 26 - 10 );
  2166.     out++;
  2167.     *out = ( (*in) >>  10  )   % (1U << 26 ) ;
  2168.     ++in;
  2169.     *out |= ((*in) % (1U<< 4 ))<<( 26 - 4 );
  2170.     out++;
  2171.     *out = ( (*in) >>  4  )   % (1U << 26 ) ;
  2172.     out++;
  2173.     *out = ( (*in) >>  30  )   % (1U << 26 ) ;
  2174.     ++in;
  2175.     *out |= ((*in) % (1U<< 24 ))<<( 26 - 24 );
  2176.     out++;
  2177.     *out = ( (*in) >>  24  )   % (1U << 26 ) ;
  2178.     ++in;
  2179.     *out |= ((*in) % (1U<< 18 ))<<( 26 - 18 );
  2180.     out++;
  2181.     *out = ( (*in) >>  18  )   % (1U << 26 ) ;
  2182.     ++in;
  2183.     *out |= ((*in) % (1U<< 12 ))<<( 26 - 12 );
  2184.     out++;
  2185.     *out = ( (*in) >>  12  )   % (1U << 26 ) ;
  2186.     ++in;
  2187.     *out |= ((*in) % (1U<< 6 ))<<( 26 - 6 );
  2188.     out++;
  2189.     *out = ( (*in) >>  6  )   % (1U << 26 ) ;
  2190.     ++in;
  2191.     out++;
  2192.     *out = ( (*in) >>  0  )   % (1U << 26 ) ;
  2193.     out++;
  2194.     *out = ( (*in) >>  26  )   % (1U << 26 ) ;
  2195.     ++in;
  2196.     *out |= ((*in) % (1U<< 20 ))<<( 26 - 20 );
  2197.     out++;
  2198.     *out = ( (*in) >>  20  )   % (1U << 26 ) ;
  2199.     ++in;
  2200.     *out |= ((*in) % (1U<< 14 ))<<( 26 - 14 );
  2201.     out++;
  2202.     *out = ( (*in) >>  14  )   % (1U << 26 ) ;
  2203.     ++in;
  2204.     *out |= ((*in) % (1U<< 8 ))<<( 26 - 8 );
  2205.     out++;
  2206.     *out = ( (*in) >>  8  )   % (1U << 26 ) ;
  2207.     ++in;
  2208.     *out |= ((*in) % (1U<< 2 ))<<( 26 - 2 );
  2209.     out++;
  2210.     *out = ( (*in) >>  2  )   % (1U << 26 ) ;
  2211.     out++;
  2212.     *out = ( (*in) >>  28  )   % (1U << 26 ) ;
  2213.     ++in;
  2214.     *out |= ((*in) % (1U<< 22 ))<<( 26 - 22 );
  2215.     out++;
  2216.     *out = ( (*in) >>  22  )   % (1U << 26 ) ;
  2217.     ++in;
  2218.     *out |= ((*in) % (1U<< 16 ))<<( 26 - 16 );
  2219.     out++;
  2220.     *out = ( (*in) >>  16  )   % (1U << 26 ) ;
  2221.     ++in;
  2222.     *out |= ((*in) % (1U<< 10 ))<<( 26 - 10 );
  2223.     out++;
  2224.     *out = ( (*in) >>  10  )   % (1U << 26 ) ;
  2225.     ++in;
  2226.     *out |= ((*in) % (1U<< 4 ))<<( 26 - 4 );
  2227.     out++;
  2228.     *out = ( (*in) >>  4  )   % (1U << 26 ) ;
  2229.     out++;
  2230.     *out = ( (*in) >>  30  )   % (1U << 26 ) ;
  2231.     ++in;
  2232.     *out |= ((*in) % (1U<< 24 ))<<( 26 - 24 );
  2233.     out++;
  2234.     *out = ( (*in) >>  24  )   % (1U << 26 ) ;
  2235.     ++in;
  2236.     *out |= ((*in) % (1U<< 18 ))<<( 26 - 18 );
  2237.     out++;
  2238.     *out = ( (*in) >>  18  )   % (1U << 26 ) ;
  2239.     ++in;
  2240.     *out |= ((*in) % (1U<< 12 ))<<( 26 - 12 );
  2241.     out++;
  2242.     *out = ( (*in) >>  12  )   % (1U << 26 ) ;
  2243.     ++in;
  2244.     *out |= ((*in) % (1U<< 6 ))<<( 26 - 6 );
  2245.     out++;
  2246.     *out = ( (*in) >>  6  )   % (1U << 26 ) ;
  2247. }
  2248.  
  2249.  
  2250.  
  2251.  
  2252. void __fastunpack27(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2253.     *out = ( (*in) >>  0  )   % (1U << 27 ) ;
  2254.     out++;
  2255.     *out = ( (*in) >>  27  )   % (1U << 27 ) ;
  2256.     ++in;
  2257.     *out |= ((*in) % (1U<< 22 ))<<( 27 - 22 );
  2258.     out++;
  2259.     *out = ( (*in) >>  22  )   % (1U << 27 ) ;
  2260.     ++in;
  2261.     *out |= ((*in) % (1U<< 17 ))<<( 27 - 17 );
  2262.     out++;
  2263.     *out = ( (*in) >>  17  )   % (1U << 27 ) ;
  2264.     ++in;
  2265.     *out |= ((*in) % (1U<< 12 ))<<( 27 - 12 );
  2266.     out++;
  2267.     *out = ( (*in) >>  12  )   % (1U << 27 ) ;
  2268.     ++in;
  2269.     *out |= ((*in) % (1U<< 7 ))<<( 27 - 7 );
  2270.     out++;
  2271.     *out = ( (*in) >>  7  )   % (1U << 27 ) ;
  2272.     ++in;
  2273.     *out |= ((*in) % (1U<< 2 ))<<( 27 - 2 );
  2274.     out++;
  2275.     *out = ( (*in) >>  2  )   % (1U << 27 ) ;
  2276.     out++;
  2277.     *out = ( (*in) >>  29  )   % (1U << 27 ) ;
  2278.     ++in;
  2279.     *out |= ((*in) % (1U<< 24 ))<<( 27 - 24 );
  2280.     out++;
  2281.     *out = ( (*in) >>  24  )   % (1U << 27 ) ;
  2282.     ++in;
  2283.     *out |= ((*in) % (1U<< 19 ))<<( 27 - 19 );
  2284.     out++;
  2285.     *out = ( (*in) >>  19  )   % (1U << 27 ) ;
  2286.     ++in;
  2287.     *out |= ((*in) % (1U<< 14 ))<<( 27 - 14 );
  2288.     out++;
  2289.     *out = ( (*in) >>  14  )   % (1U << 27 ) ;
  2290.     ++in;
  2291.     *out |= ((*in) % (1U<< 9 ))<<( 27 - 9 );
  2292.     out++;
  2293.     *out = ( (*in) >>  9  )   % (1U << 27 ) ;
  2294.     ++in;
  2295.     *out |= ((*in) % (1U<< 4 ))<<( 27 - 4 );
  2296.     out++;
  2297.     *out = ( (*in) >>  4  )   % (1U << 27 ) ;
  2298.     out++;
  2299.     *out = ( (*in) >>  31  )   % (1U << 27 ) ;
  2300.     ++in;
  2301.     *out |= ((*in) % (1U<< 26 ))<<( 27 - 26 );
  2302.     out++;
  2303.     *out = ( (*in) >>  26  )   % (1U << 27 ) ;
  2304.     ++in;
  2305.     *out |= ((*in) % (1U<< 21 ))<<( 27 - 21 );
  2306.     out++;
  2307.     *out = ( (*in) >>  21  )   % (1U << 27 ) ;
  2308.     ++in;
  2309.     *out |= ((*in) % (1U<< 16 ))<<( 27 - 16 );
  2310.     out++;
  2311.     *out = ( (*in) >>  16  )   % (1U << 27 ) ;
  2312.     ++in;
  2313.     *out |= ((*in) % (1U<< 11 ))<<( 27 - 11 );
  2314.     out++;
  2315.     *out = ( (*in) >>  11  )   % (1U << 27 ) ;
  2316.     ++in;
  2317.     *out |= ((*in) % (1U<< 6 ))<<( 27 - 6 );
  2318.     out++;
  2319.     *out = ( (*in) >>  6  )   % (1U << 27 ) ;
  2320.     ++in;
  2321.     *out |= ((*in) % (1U<< 1 ))<<( 27 - 1 );
  2322.     out++;
  2323.     *out = ( (*in) >>  1  )   % (1U << 27 ) ;
  2324.     out++;
  2325.     *out = ( (*in) >>  28  )   % (1U << 27 ) ;
  2326.     ++in;
  2327.     *out |= ((*in) % (1U<< 23 ))<<( 27 - 23 );
  2328.     out++;
  2329.     *out = ( (*in) >>  23  )   % (1U << 27 ) ;
  2330.     ++in;
  2331.     *out |= ((*in) % (1U<< 18 ))<<( 27 - 18 );
  2332.     out++;
  2333.     *out = ( (*in) >>  18  )   % (1U << 27 ) ;
  2334.     ++in;
  2335.     *out |= ((*in) % (1U<< 13 ))<<( 27 - 13 );
  2336.     out++;
  2337.     *out = ( (*in) >>  13  )   % (1U << 27 ) ;
  2338.     ++in;
  2339.     *out |= ((*in) % (1U<< 8 ))<<( 27 - 8 );
  2340.     out++;
  2341.     *out = ( (*in) >>  8  )   % (1U << 27 ) ;
  2342.     ++in;
  2343.     *out |= ((*in) % (1U<< 3 ))<<( 27 - 3 );
  2344.     out++;
  2345.     *out = ( (*in) >>  3  )   % (1U << 27 ) ;
  2346.     out++;
  2347.     *out = ( (*in) >>  30  )   % (1U << 27 ) ;
  2348.     ++in;
  2349.     *out |= ((*in) % (1U<< 25 ))<<( 27 - 25 );
  2350.     out++;
  2351.     *out = ( (*in) >>  25  )   % (1U << 27 ) ;
  2352.     ++in;
  2353.     *out |= ((*in) % (1U<< 20 ))<<( 27 - 20 );
  2354.     out++;
  2355.     *out = ( (*in) >>  20  )   % (1U << 27 ) ;
  2356.     ++in;
  2357.     *out |= ((*in) % (1U<< 15 ))<<( 27 - 15 );
  2358.     out++;
  2359.     *out = ( (*in) >>  15  )   % (1U << 27 ) ;
  2360.     ++in;
  2361.     *out |= ((*in) % (1U<< 10 ))<<( 27 - 10 );
  2362.     out++;
  2363.     *out = ( (*in) >>  10  )   % (1U << 27 ) ;
  2364.     ++in;
  2365.     *out |= ((*in) % (1U<< 5 ))<<( 27 - 5 );
  2366.     out++;
  2367.     *out = ( (*in) >>  5  )   % (1U << 27 ) ;
  2368. }
  2369.  
  2370.  
  2371.  
  2372.  
  2373. void __fastunpack28(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2374.     *out = ( (*in) >>  0  )   % (1U << 28 ) ;
  2375.     out++;
  2376.     *out = ( (*in) >>  28  )   % (1U << 28 ) ;
  2377.     ++in;
  2378.     *out |= ((*in) % (1U<< 24 ))<<( 28 - 24 );
  2379.     out++;
  2380.     *out = ( (*in) >>  24  )   % (1U << 28 ) ;
  2381.     ++in;
  2382.     *out |= ((*in) % (1U<< 20 ))<<( 28 - 20 );
  2383.     out++;
  2384.     *out = ( (*in) >>  20  )   % (1U << 28 ) ;
  2385.     ++in;
  2386.     *out |= ((*in) % (1U<< 16 ))<<( 28 - 16 );
  2387.     out++;
  2388.     *out = ( (*in) >>  16  )   % (1U << 28 ) ;
  2389.     ++in;
  2390.     *out |= ((*in) % (1U<< 12 ))<<( 28 - 12 );
  2391.     out++;
  2392.     *out = ( (*in) >>  12  )   % (1U << 28 ) ;
  2393.     ++in;
  2394.     *out |= ((*in) % (1U<< 8 ))<<( 28 - 8 );
  2395.     out++;
  2396.     *out = ( (*in) >>  8  )   % (1U << 28 ) ;
  2397.     ++in;
  2398.     *out |= ((*in) % (1U<< 4 ))<<( 28 - 4 );
  2399.     out++;
  2400.     *out = ( (*in) >>  4  )   % (1U << 28 ) ;
  2401.     ++in;
  2402.     out++;
  2403.     *out = ( (*in) >>  0  )   % (1U << 28 ) ;
  2404.     out++;
  2405.     *out = ( (*in) >>  28  )   % (1U << 28 ) ;
  2406.     ++in;
  2407.     *out |= ((*in) % (1U<< 24 ))<<( 28 - 24 );
  2408.     out++;
  2409.     *out = ( (*in) >>  24  )   % (1U << 28 ) ;
  2410.     ++in;
  2411.     *out |= ((*in) % (1U<< 20 ))<<( 28 - 20 );
  2412.     out++;
  2413.     *out = ( (*in) >>  20  )   % (1U << 28 ) ;
  2414.     ++in;
  2415.     *out |= ((*in) % (1U<< 16 ))<<( 28 - 16 );
  2416.     out++;
  2417.     *out = ( (*in) >>  16  )   % (1U << 28 ) ;
  2418.     ++in;
  2419.     *out |= ((*in) % (1U<< 12 ))<<( 28 - 12 );
  2420.     out++;
  2421.     *out = ( (*in) >>  12  )   % (1U << 28 ) ;
  2422.     ++in;
  2423.     *out |= ((*in) % (1U<< 8 ))<<( 28 - 8 );
  2424.     out++;
  2425.     *out = ( (*in) >>  8  )   % (1U << 28 ) ;
  2426.     ++in;
  2427.     *out |= ((*in) % (1U<< 4 ))<<( 28 - 4 );
  2428.     out++;
  2429.     *out = ( (*in) >>  4  )   % (1U << 28 ) ;
  2430.     ++in;
  2431.     out++;
  2432.     *out = ( (*in) >>  0  )   % (1U << 28 ) ;
  2433.     out++;
  2434.     *out = ( (*in) >>  28  )   % (1U << 28 ) ;
  2435.     ++in;
  2436.     *out |= ((*in) % (1U<< 24 ))<<( 28 - 24 );
  2437.     out++;
  2438.     *out = ( (*in) >>  24  )   % (1U << 28 ) ;
  2439.     ++in;
  2440.     *out |= ((*in) % (1U<< 20 ))<<( 28 - 20 );
  2441.     out++;
  2442.     *out = ( (*in) >>  20  )   % (1U << 28 ) ;
  2443.     ++in;
  2444.     *out |= ((*in) % (1U<< 16 ))<<( 28 - 16 );
  2445.     out++;
  2446.     *out = ( (*in) >>  16  )   % (1U << 28 ) ;
  2447.     ++in;
  2448.     *out |= ((*in) % (1U<< 12 ))<<( 28 - 12 );
  2449.     out++;
  2450.     *out = ( (*in) >>  12  )   % (1U << 28 ) ;
  2451.     ++in;
  2452.     *out |= ((*in) % (1U<< 8 ))<<( 28 - 8 );
  2453.     out++;
  2454.     *out = ( (*in) >>  8  )   % (1U << 28 ) ;
  2455.     ++in;
  2456.     *out |= ((*in) % (1U<< 4 ))<<( 28 - 4 );
  2457.     out++;
  2458.     *out = ( (*in) >>  4  )   % (1U << 28 ) ;
  2459.     ++in;
  2460.     out++;
  2461.     *out = ( (*in) >>  0  )   % (1U << 28 ) ;
  2462.     out++;
  2463.     *out = ( (*in) >>  28  )   % (1U << 28 ) ;
  2464.     ++in;
  2465.     *out |= ((*in) % (1U<< 24 ))<<( 28 - 24 );
  2466.     out++;
  2467.     *out = ( (*in) >>  24  )   % (1U << 28 ) ;
  2468.     ++in;
  2469.     *out |= ((*in) % (1U<< 20 ))<<( 28 - 20 );
  2470.     out++;
  2471.     *out = ( (*in) >>  20  )   % (1U << 28 ) ;
  2472.     ++in;
  2473.     *out |= ((*in) % (1U<< 16 ))<<( 28 - 16 );
  2474.     out++;
  2475.     *out = ( (*in) >>  16  )   % (1U << 28 ) ;
  2476.     ++in;
  2477.     *out |= ((*in) % (1U<< 12 ))<<( 28 - 12 );
  2478.     out++;
  2479.     *out = ( (*in) >>  12  )   % (1U << 28 ) ;
  2480.     ++in;
  2481.     *out |= ((*in) % (1U<< 8 ))<<( 28 - 8 );
  2482.     out++;
  2483.     *out = ( (*in) >>  8  )   % (1U << 28 ) ;
  2484.     ++in;
  2485.     *out |= ((*in) % (1U<< 4 ))<<( 28 - 4 );
  2486.     out++;
  2487.     *out = ( (*in) >>  4  )   % (1U << 28 ) ;
  2488. }
  2489.  
  2490.  
  2491.  
  2492.  
  2493. void __fastunpack29(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2494.     *out = ( (*in) >>  0  )   % (1U << 29 ) ;
  2495.     out++;
  2496.     *out = ( (*in) >>  29  )   % (1U << 29 ) ;
  2497.     ++in;
  2498.     *out |= ((*in) % (1U<< 26 ))<<( 29 - 26 );
  2499.     out++;
  2500.     *out = ( (*in) >>  26  )   % (1U << 29 ) ;
  2501.     ++in;
  2502.     *out |= ((*in) % (1U<< 23 ))<<( 29 - 23 );
  2503.     out++;
  2504.     *out = ( (*in) >>  23  )   % (1U << 29 ) ;
  2505.     ++in;
  2506.     *out |= ((*in) % (1U<< 20 ))<<( 29 - 20 );
  2507.     out++;
  2508.     *out = ( (*in) >>  20  )   % (1U << 29 ) ;
  2509.     ++in;
  2510.     *out |= ((*in) % (1U<< 17 ))<<( 29 - 17 );
  2511.     out++;
  2512.     *out = ( (*in) >>  17  )   % (1U << 29 ) ;
  2513.     ++in;
  2514.     *out |= ((*in) % (1U<< 14 ))<<( 29 - 14 );
  2515.     out++;
  2516.     *out = ( (*in) >>  14  )   % (1U << 29 ) ;
  2517.     ++in;
  2518.     *out |= ((*in) % (1U<< 11 ))<<( 29 - 11 );
  2519.     out++;
  2520.     *out = ( (*in) >>  11  )   % (1U << 29 ) ;
  2521.     ++in;
  2522.     *out |= ((*in) % (1U<< 8 ))<<( 29 - 8 );
  2523.     out++;
  2524.     *out = ( (*in) >>  8  )   % (1U << 29 ) ;
  2525.     ++in;
  2526.     *out |= ((*in) % (1U<< 5 ))<<( 29 - 5 );
  2527.     out++;
  2528.     *out = ( (*in) >>  5  )   % (1U << 29 ) ;
  2529.     ++in;
  2530.     *out |= ((*in) % (1U<< 2 ))<<( 29 - 2 );
  2531.     out++;
  2532.     *out = ( (*in) >>  2  )   % (1U << 29 ) ;
  2533.     out++;
  2534.     *out = ( (*in) >>  31  )   % (1U << 29 ) ;
  2535.     ++in;
  2536.     *out |= ((*in) % (1U<< 28 ))<<( 29 - 28 );
  2537.     out++;
  2538.     *out = ( (*in) >>  28  )   % (1U << 29 ) ;
  2539.     ++in;
  2540.     *out |= ((*in) % (1U<< 25 ))<<( 29 - 25 );
  2541.     out++;
  2542.     *out = ( (*in) >>  25  )   % (1U << 29 ) ;
  2543.     ++in;
  2544.     *out |= ((*in) % (1U<< 22 ))<<( 29 - 22 );
  2545.     out++;
  2546.     *out = ( (*in) >>  22  )   % (1U << 29 ) ;
  2547.     ++in;
  2548.     *out |= ((*in) % (1U<< 19 ))<<( 29 - 19 );
  2549.     out++;
  2550.     *out = ( (*in) >>  19  )   % (1U << 29 ) ;
  2551.     ++in;
  2552.     *out |= ((*in) % (1U<< 16 ))<<( 29 - 16 );
  2553.     out++;
  2554.     *out = ( (*in) >>  16  )   % (1U << 29 ) ;
  2555.     ++in;
  2556.     *out |= ((*in) % (1U<< 13 ))<<( 29 - 13 );
  2557.     out++;
  2558.     *out = ( (*in) >>  13  )   % (1U << 29 ) ;
  2559.     ++in;
  2560.     *out |= ((*in) % (1U<< 10 ))<<( 29 - 10 );
  2561.     out++;
  2562.     *out = ( (*in) >>  10  )   % (1U << 29 ) ;
  2563.     ++in;
  2564.     *out |= ((*in) % (1U<< 7 ))<<( 29 - 7 );
  2565.     out++;
  2566.     *out = ( (*in) >>  7  )   % (1U << 29 ) ;
  2567.     ++in;
  2568.     *out |= ((*in) % (1U<< 4 ))<<( 29 - 4 );
  2569.     out++;
  2570.     *out = ( (*in) >>  4  )   % (1U << 29 ) ;
  2571.     ++in;
  2572.     *out |= ((*in) % (1U<< 1 ))<<( 29 - 1 );
  2573.     out++;
  2574.     *out = ( (*in) >>  1  )   % (1U << 29 ) ;
  2575.     out++;
  2576.     *out = ( (*in) >>  30  )   % (1U << 29 ) ;
  2577.     ++in;
  2578.     *out |= ((*in) % (1U<< 27 ))<<( 29 - 27 );
  2579.     out++;
  2580.     *out = ( (*in) >>  27  )   % (1U << 29 ) ;
  2581.     ++in;
  2582.     *out |= ((*in) % (1U<< 24 ))<<( 29 - 24 );
  2583.     out++;
  2584.     *out = ( (*in) >>  24  )   % (1U << 29 ) ;
  2585.     ++in;
  2586.     *out |= ((*in) % (1U<< 21 ))<<( 29 - 21 );
  2587.     out++;
  2588.     *out = ( (*in) >>  21  )   % (1U << 29 ) ;
  2589.     ++in;
  2590.     *out |= ((*in) % (1U<< 18 ))<<( 29 - 18 );
  2591.     out++;
  2592.     *out = ( (*in) >>  18  )   % (1U << 29 ) ;
  2593.     ++in;
  2594.     *out |= ((*in) % (1U<< 15 ))<<( 29 - 15 );
  2595.     out++;
  2596.     *out = ( (*in) >>  15  )   % (1U << 29 ) ;
  2597.     ++in;
  2598.     *out |= ((*in) % (1U<< 12 ))<<( 29 - 12 );
  2599.     out++;
  2600.     *out = ( (*in) >>  12  )   % (1U << 29 ) ;
  2601.     ++in;
  2602.     *out |= ((*in) % (1U<< 9 ))<<( 29 - 9 );
  2603.     out++;
  2604.     *out = ( (*in) >>  9  )   % (1U << 29 ) ;
  2605.     ++in;
  2606.     *out |= ((*in) % (1U<< 6 ))<<( 29 - 6 );
  2607.     out++;
  2608.     *out = ( (*in) >>  6  )   % (1U << 29 ) ;
  2609.     ++in;
  2610.     *out |= ((*in) % (1U<< 3 ))<<( 29 - 3 );
  2611.     out++;
  2612.     *out = ( (*in) >>  3  )   % (1U << 29 ) ;
  2613. }
  2614.  
  2615.  
  2616.  
  2617.  
  2618. void __fastunpack30(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2619.     *out = ( (*in) >>  0  )   % (1U << 30 ) ;
  2620.     out++;
  2621.     *out = ( (*in) >>  30  )   % (1U << 30 ) ;
  2622.     ++in;
  2623.     *out |= ((*in) % (1U<< 28 ))<<( 30 - 28 );
  2624.     out++;
  2625.     *out = ( (*in) >>  28  )   % (1U << 30 ) ;
  2626.     ++in;
  2627.     *out |= ((*in) % (1U<< 26 ))<<( 30 - 26 );
  2628.     out++;
  2629.     *out = ( (*in) >>  26  )   % (1U << 30 ) ;
  2630.     ++in;
  2631.     *out |= ((*in) % (1U<< 24 ))<<( 30 - 24 );
  2632.     out++;
  2633.     *out = ( (*in) >>  24  )   % (1U << 30 ) ;
  2634.     ++in;
  2635.     *out |= ((*in) % (1U<< 22 ))<<( 30 - 22 );
  2636.     out++;
  2637.     *out = ( (*in) >>  22  )   % (1U << 30 ) ;
  2638.     ++in;
  2639.     *out |= ((*in) % (1U<< 20 ))<<( 30 - 20 );
  2640.     out++;
  2641.     *out = ( (*in) >>  20  )   % (1U << 30 ) ;
  2642.     ++in;
  2643.     *out |= ((*in) % (1U<< 18 ))<<( 30 - 18 );
  2644.     out++;
  2645.     *out = ( (*in) >>  18  )   % (1U << 30 ) ;
  2646.     ++in;
  2647.     *out |= ((*in) % (1U<< 16 ))<<( 30 - 16 );
  2648.     out++;
  2649.     *out = ( (*in) >>  16  )   % (1U << 30 ) ;
  2650.     ++in;
  2651.     *out |= ((*in) % (1U<< 14 ))<<( 30 - 14 );
  2652.     out++;
  2653.     *out = ( (*in) >>  14  )   % (1U << 30 ) ;
  2654.     ++in;
  2655.     *out |= ((*in) % (1U<< 12 ))<<( 30 - 12 );
  2656.     out++;
  2657.     *out = ( (*in) >>  12  )   % (1U << 30 ) ;
  2658.     ++in;
  2659.     *out |= ((*in) % (1U<< 10 ))<<( 30 - 10 );
  2660.     out++;
  2661.     *out = ( (*in) >>  10  )   % (1U << 30 ) ;
  2662.     ++in;
  2663.     *out |= ((*in) % (1U<< 8 ))<<( 30 - 8 );
  2664.     out++;
  2665.     *out = ( (*in) >>  8  )   % (1U << 30 ) ;
  2666.     ++in;
  2667.     *out |= ((*in) % (1U<< 6 ))<<( 30 - 6 );
  2668.     out++;
  2669.     *out = ( (*in) >>  6  )   % (1U << 30 ) ;
  2670.     ++in;
  2671.     *out |= ((*in) % (1U<< 4 ))<<( 30 - 4 );
  2672.     out++;
  2673.     *out = ( (*in) >>  4  )   % (1U << 30 ) ;
  2674.     ++in;
  2675.     *out |= ((*in) % (1U<< 2 ))<<( 30 - 2 );
  2676.     out++;
  2677.     *out = ( (*in) >>  2  )   % (1U << 30 ) ;
  2678.     ++in;
  2679.     out++;
  2680.     *out = ( (*in) >>  0  )   % (1U << 30 ) ;
  2681.     out++;
  2682.     *out = ( (*in) >>  30  )   % (1U << 30 ) ;
  2683.     ++in;
  2684.     *out |= ((*in) % (1U<< 28 ))<<( 30 - 28 );
  2685.     out++;
  2686.     *out = ( (*in) >>  28  )   % (1U << 30 ) ;
  2687.     ++in;
  2688.     *out |= ((*in) % (1U<< 26 ))<<( 30 - 26 );
  2689.     out++;
  2690.     *out = ( (*in) >>  26  )   % (1U << 30 ) ;
  2691.     ++in;
  2692.     *out |= ((*in) % (1U<< 24 ))<<( 30 - 24 );
  2693.     out++;
  2694.     *out = ( (*in) >>  24  )   % (1U << 30 ) ;
  2695.     ++in;
  2696.     *out |= ((*in) % (1U<< 22 ))<<( 30 - 22 );
  2697.     out++;
  2698.     *out = ( (*in) >>  22  )   % (1U << 30 ) ;
  2699.     ++in;
  2700.     *out |= ((*in) % (1U<< 20 ))<<( 30 - 20 );
  2701.     out++;
  2702.     *out = ( (*in) >>  20  )   % (1U << 30 ) ;
  2703.     ++in;
  2704.     *out |= ((*in) % (1U<< 18 ))<<( 30 - 18 );
  2705.     out++;
  2706.     *out = ( (*in) >>  18  )   % (1U << 30 ) ;
  2707.     ++in;
  2708.     *out |= ((*in) % (1U<< 16 ))<<( 30 - 16 );
  2709.     out++;
  2710.     *out = ( (*in) >>  16  )   % (1U << 30 ) ;
  2711.     ++in;
  2712.     *out |= ((*in) % (1U<< 14 ))<<( 30 - 14 );
  2713.     out++;
  2714.     *out = ( (*in) >>  14  )   % (1U << 30 ) ;
  2715.     ++in;
  2716.     *out |= ((*in) % (1U<< 12 ))<<( 30 - 12 );
  2717.     out++;
  2718.     *out = ( (*in) >>  12  )   % (1U << 30 ) ;
  2719.     ++in;
  2720.     *out |= ((*in) % (1U<< 10 ))<<( 30 - 10 );
  2721.     out++;
  2722.     *out = ( (*in) >>  10  )   % (1U << 30 ) ;
  2723.     ++in;
  2724.     *out |= ((*in) % (1U<< 8 ))<<( 30 - 8 );
  2725.     out++;
  2726.     *out = ( (*in) >>  8  )   % (1U << 30 ) ;
  2727.     ++in;
  2728.     *out |= ((*in) % (1U<< 6 ))<<( 30 - 6 );
  2729.     out++;
  2730.     *out = ( (*in) >>  6  )   % (1U << 30 ) ;
  2731.     ++in;
  2732.     *out |= ((*in) % (1U<< 4 ))<<( 30 - 4 );
  2733.     out++;
  2734.     *out = ( (*in) >>  4  )   % (1U << 30 ) ;
  2735.     ++in;
  2736.     *out |= ((*in) % (1U<< 2 ))<<( 30 - 2 );
  2737.     out++;
  2738.     *out = ( (*in) >>  2  )   % (1U << 30 ) ;
  2739. }
  2740.  
  2741.  
  2742.  
  2743.  
  2744. void __fastunpack31(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2745.     *out = ( (*in) >>  0  )   % (1U << 31 ) ;
  2746.     out++;
  2747.     *out = ( (*in) >>  31  )   % (1U << 31 ) ;
  2748.     ++in;
  2749.     *out |= ((*in) % (1U<< 30 ))<<( 31 - 30 );
  2750.     out++;
  2751.     *out = ( (*in) >>  30  )   % (1U << 31 ) ;
  2752.     ++in;
  2753.     *out |= ((*in) % (1U<< 29 ))<<( 31 - 29 );
  2754.     out++;
  2755.     *out = ( (*in) >>  29  )   % (1U << 31 ) ;
  2756.     ++in;
  2757.     *out |= ((*in) % (1U<< 28 ))<<( 31 - 28 );
  2758.     out++;
  2759.     *out = ( (*in) >>  28  )   % (1U << 31 ) ;
  2760.     ++in;
  2761.     *out |= ((*in) % (1U<< 27 ))<<( 31 - 27 );
  2762.     out++;
  2763.     *out = ( (*in) >>  27  )   % (1U << 31 ) ;
  2764.     ++in;
  2765.     *out |= ((*in) % (1U<< 26 ))<<( 31 - 26 );
  2766.     out++;
  2767.     *out = ( (*in) >>  26  )   % (1U << 31 ) ;
  2768.     ++in;
  2769.     *out |= ((*in) % (1U<< 25 ))<<( 31 - 25 );
  2770.     out++;
  2771.     *out = ( (*in) >>  25  )   % (1U << 31 ) ;
  2772.     ++in;
  2773.     *out |= ((*in) % (1U<< 24 ))<<( 31 - 24 );
  2774.     out++;
  2775.     *out = ( (*in) >>  24  )   % (1U << 31 ) ;
  2776.     ++in;
  2777.     *out |= ((*in) % (1U<< 23 ))<<( 31 - 23 );
  2778.     out++;
  2779.     *out = ( (*in) >>  23  )   % (1U << 31 ) ;
  2780.     ++in;
  2781.     *out |= ((*in) % (1U<< 22 ))<<( 31 - 22 );
  2782.     out++;
  2783.     *out = ( (*in) >>  22  )   % (1U << 31 ) ;
  2784.     ++in;
  2785.     *out |= ((*in) % (1U<< 21 ))<<( 31 - 21 );
  2786.     out++;
  2787.     *out = ( (*in) >>  21  )   % (1U << 31 ) ;
  2788.     ++in;
  2789.     *out |= ((*in) % (1U<< 20 ))<<( 31 - 20 );
  2790.     out++;
  2791.     *out = ( (*in) >>  20  )   % (1U << 31 ) ;
  2792.     ++in;
  2793.     *out |= ((*in) % (1U<< 19 ))<<( 31 - 19 );
  2794.     out++;
  2795.     *out = ( (*in) >>  19  )   % (1U << 31 ) ;
  2796.     ++in;
  2797.     *out |= ((*in) % (1U<< 18 ))<<( 31 - 18 );
  2798.     out++;
  2799.     *out = ( (*in) >>  18  )   % (1U << 31 ) ;
  2800.     ++in;
  2801.     *out |= ((*in) % (1U<< 17 ))<<( 31 - 17 );
  2802.     out++;
  2803.     *out = ( (*in) >>  17  )   % (1U << 31 ) ;
  2804.     ++in;
  2805.     *out |= ((*in) % (1U<< 16 ))<<( 31 - 16 );
  2806.     out++;
  2807.     *out = ( (*in) >>  16  )   % (1U << 31 ) ;
  2808.     ++in;
  2809.     *out |= ((*in) % (1U<< 15 ))<<( 31 - 15 );
  2810.     out++;
  2811.     *out = ( (*in) >>  15  )   % (1U << 31 ) ;
  2812.     ++in;
  2813.     *out |= ((*in) % (1U<< 14 ))<<( 31 - 14 );
  2814.     out++;
  2815.     *out = ( (*in) >>  14  )   % (1U << 31 ) ;
  2816.     ++in;
  2817.     *out |= ((*in) % (1U<< 13 ))<<( 31 - 13 );
  2818.     out++;
  2819.     *out = ( (*in) >>  13  )   % (1U << 31 ) ;
  2820.     ++in;
  2821.     *out |= ((*in) % (1U<< 12 ))<<( 31 - 12 );
  2822.     out++;
  2823.     *out = ( (*in) >>  12  )   % (1U << 31 ) ;
  2824.     ++in;
  2825.     *out |= ((*in) % (1U<< 11 ))<<( 31 - 11 );
  2826.     out++;
  2827.     *out = ( (*in) >>  11  )   % (1U << 31 ) ;
  2828.     ++in;
  2829.     *out |= ((*in) % (1U<< 10 ))<<( 31 - 10 );
  2830.     out++;
  2831.     *out = ( (*in) >>  10  )   % (1U << 31 ) ;
  2832.     ++in;
  2833.     *out |= ((*in) % (1U<< 9 ))<<( 31 - 9 );
  2834.     out++;
  2835.     *out = ( (*in) >>  9  )   % (1U << 31 ) ;
  2836.     ++in;
  2837.     *out |= ((*in) % (1U<< 8 ))<<( 31 - 8 );
  2838.     out++;
  2839.     *out = ( (*in) >>  8  )   % (1U << 31 ) ;
  2840.     ++in;
  2841.     *out |= ((*in) % (1U<< 7 ))<<( 31 - 7 );
  2842.     out++;
  2843.     *out = ( (*in) >>  7  )   % (1U << 31 ) ;
  2844.     ++in;
  2845.     *out |= ((*in) % (1U<< 6 ))<<( 31 - 6 );
  2846.     out++;
  2847.     *out = ( (*in) >>  6  )   % (1U << 31 ) ;
  2848.     ++in;
  2849.     *out |= ((*in) % (1U<< 5 ))<<( 31 - 5 );
  2850.     out++;
  2851.     *out = ( (*in) >>  5  )   % (1U << 31 ) ;
  2852.     ++in;
  2853.     *out |= ((*in) % (1U<< 4 ))<<( 31 - 4 );
  2854.     out++;
  2855.     *out = ( (*in) >>  4  )   % (1U << 31 ) ;
  2856.     ++in;
  2857.     *out |= ((*in) % (1U<< 3 ))<<( 31 - 3 );
  2858.     out++;
  2859.     *out = ( (*in) >>  3  )   % (1U << 31 ) ;
  2860.     ++in;
  2861.     *out |= ((*in) % (1U<< 2 ))<<( 31 - 2 );
  2862.     out++;
  2863.     *out = ( (*in) >>  2  )   % (1U << 31 ) ;
  2864.     ++in;
  2865.     *out |= ((*in) % (1U<< 1 ))<<( 31 - 1 );
  2866.     out++;
  2867.     *out = ( (*in) >>  1  )   % (1U << 31 ) ;
  2868. }
  2869.  
  2870.  
  2871.  
  2872.  
  2873. void __fastunpack32(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2874.     *out = ( (*in) >>  0  )   ;
  2875.     ++in;
  2876.     out++;
  2877.     *out = ( (*in) >>  0  )   ;
  2878.     ++in;
  2879.     out++;
  2880.     *out = ( (*in) >>  0  )   ;
  2881.     ++in;
  2882.     out++;
  2883.     *out = ( (*in) >>  0  )   ;
  2884.     ++in;
  2885.     out++;
  2886.     *out = ( (*in) >>  0  )   ;
  2887.     ++in;
  2888.     out++;
  2889.     *out = ( (*in) >>  0  )   ;
  2890.     ++in;
  2891.     out++;
  2892.     *out = ( (*in) >>  0  )   ;
  2893.     ++in;
  2894.     out++;
  2895.     *out = ( (*in) >>  0  )   ;
  2896.     ++in;
  2897.     out++;
  2898.     *out = ( (*in) >>  0  )   ;
  2899.     ++in;
  2900.     out++;
  2901.     *out = ( (*in) >>  0  )   ;
  2902.     ++in;
  2903.     out++;
  2904.     *out = ( (*in) >>  0  )   ;
  2905.     ++in;
  2906.     out++;
  2907.     *out = ( (*in) >>  0  )   ;
  2908.     ++in;
  2909.     out++;
  2910.     *out = ( (*in) >>  0  )   ;
  2911.     ++in;
  2912.     out++;
  2913.     *out = ( (*in) >>  0  )   ;
  2914.     ++in;
  2915.     out++;
  2916.     *out = ( (*in) >>  0  )   ;
  2917.     ++in;
  2918.     out++;
  2919.     *out = ( (*in) >>  0  )   ;
  2920.     ++in;
  2921.     out++;
  2922.     *out = ( (*in) >>  0  )   ;
  2923.     ++in;
  2924.     out++;
  2925.     *out = ( (*in) >>  0  )   ;
  2926.     ++in;
  2927.     out++;
  2928.     *out = ( (*in) >>  0  )   ;
  2929.     ++in;
  2930.     out++;
  2931.     *out = ( (*in) >>  0  )   ;
  2932.     ++in;
  2933.     out++;
  2934.     *out = ( (*in) >>  0  )   ;
  2935.     ++in;
  2936.     out++;
  2937.     *out = ( (*in) >>  0  )   ;
  2938.     ++in;
  2939.     out++;
  2940.     *out = ( (*in) >>  0  )   ;
  2941.     ++in;
  2942.     out++;
  2943.     *out = ( (*in) >>  0  )   ;
  2944.     ++in;
  2945.     out++;
  2946.     *out = ( (*in) >>  0  )   ;
  2947.     ++in;
  2948.     out++;
  2949.     *out = ( (*in) >>  0  )   ;
  2950.     ++in;
  2951.     out++;
  2952.     *out = ( (*in) >>  0  )   ;
  2953.     ++in;
  2954.     out++;
  2955.     *out = ( (*in) >>  0  )   ;
  2956.     ++in;
  2957.     out++;
  2958.     *out = ( (*in) >>  0  )   ;
  2959.     ++in;
  2960.     out++;
  2961.     *out = ( (*in) >>  0  )   ;
  2962.     ++in;
  2963.     out++;
  2964.     *out = ( (*in) >>  0  )   ;
  2965.     ++in;
  2966.     out++;
  2967.     *out = ( (*in) >>  0  )   ;
  2968. }
  2969.  
  2970.  
  2971.  
  2972.  
  2973. void __fastpack1(const uint *  __restrict__ in, uint *  __restrict__  out) {
  2974.     *out |= (*in)   & 1 ;
  2975.     ++in;
  2976.     *out |= ( (*in)   & 1  ) <<  1 ;
  2977.     ++in;
  2978.     *out |= ( (*in)   & 1  ) <<  2 ;
  2979.     ++in;
  2980.     *out |= ( (*in)   & 1  ) <<  3 ;
  2981.     ++in;
  2982.     *out |= ( (*in)   & 1  ) <<  4 ;
  2983.     ++in;
  2984.     *out |= ( (*in)   & 1  ) <<  5 ;
  2985.     ++in;
  2986.     *out |= ( (*in)   & 1  ) <<  6 ;
  2987.     ++in;
  2988.     *out |= ( (*in)   & 1  ) <<  7 ;
  2989.     ++in;
  2990.     *out |= ( (*in)   & 1  ) <<  8 ;
  2991.     ++in;
  2992.     *out |= ( (*in)   & 1  ) <<  9 ;
  2993.     ++in;
  2994.     *out |= ( (*in)   & 1  ) <<  10 ;
  2995.     ++in;
  2996.     *out |= ( (*in)   & 1  ) <<  11 ;
  2997.     ++in;
  2998.     *out |= ( (*in)   & 1  ) <<  12 ;
  2999.     ++in;
  3000.     *out |= ( (*in)   & 1  ) <<  13 ;
  3001.     ++in;
  3002.     *out |= ( (*in)   & 1  ) <<  14 ;
  3003.     ++in;
  3004.     *out |= ( (*in)   & 1  ) <<  15 ;
  3005.     ++in;
  3006.     *out |= ( (*in)   & 1  ) <<  16 ;
  3007.     ++in;
  3008.     *out |= ( (*in)   & 1  ) <<  17 ;
  3009.     ++in;
  3010.     *out |= ( (*in)   & 1  ) <<  18 ;
  3011.     ++in;
  3012.     *out |= ( (*in)   & 1  ) <<  19 ;
  3013.     ++in;
  3014.     *out |= ( (*in)   & 1  ) <<  20 ;
  3015.     ++in;
  3016.     *out |= ( (*in)   & 1  ) <<  21 ;
  3017.     ++in;
  3018.     *out |= ( (*in)   & 1  ) <<  22 ;
  3019.     ++in;
  3020.     *out |= ( (*in)   & 1  ) <<  23 ;
  3021.     ++in;
  3022.     *out |= ( (*in)   & 1  ) <<  24 ;
  3023.     ++in;
  3024.     *out |= ( (*in)   & 1  ) <<  25 ;
  3025.     ++in;
  3026.     *out |= ( (*in)   & 1  ) <<  26 ;
  3027.     ++in;
  3028.     *out |= ( (*in)   & 1  ) <<  27 ;
  3029.     ++in;
  3030.     *out |= ( (*in)   & 1  ) <<  28 ;
  3031.     ++in;
  3032.     *out |= ( (*in)   & 1  ) <<  29 ;
  3033.     ++in;
  3034.     *out |= ( (*in)   & 1  ) <<  30 ;
  3035.     ++in;
  3036.     *out |= ( (*in)   & 1  ) <<  31 ;
  3037. }
  3038.  
  3039.  
  3040.  
  3041.  
  3042. void __fastpack2(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3043.     *out |= (*in)   % (1U << 2 ) ;
  3044.     ++in;
  3045.     *out |= ( (*in)   % (1U << 2 )  ) <<  2 ;
  3046.     ++in;
  3047.     *out |= ( (*in)   % (1U << 2 )  ) <<  4 ;
  3048.     ++in;
  3049.     *out |= ( (*in)   % (1U << 2 )  ) <<  6 ;
  3050.     ++in;
  3051.     *out |= ( (*in)   % (1U << 2 )  ) <<  8 ;
  3052.     ++in;
  3053.     *out |= ( (*in)   % (1U << 2 )  ) <<  10 ;
  3054.     ++in;
  3055.     *out |= ( (*in)   % (1U << 2 )  ) <<  12 ;
  3056.     ++in;
  3057.     *out |= ( (*in)   % (1U << 2 )  ) <<  14 ;
  3058.     ++in;
  3059.     *out |= ( (*in)   % (1U << 2 )  ) <<  16 ;
  3060.     ++in;
  3061.     *out |= ( (*in)   % (1U << 2 )  ) <<  18 ;
  3062.     ++in;
  3063.     *out |= ( (*in)   % (1U << 2 )  ) <<  20 ;
  3064.     ++in;
  3065.     *out |= ( (*in)   % (1U << 2 )  ) <<  22 ;
  3066.     ++in;
  3067.     *out |= ( (*in)   % (1U << 2 )  ) <<  24 ;
  3068.     ++in;
  3069.     *out |= ( (*in)   % (1U << 2 )  ) <<  26 ;
  3070.     ++in;
  3071.     *out |= ( (*in)   % (1U << 2 )  ) <<  28 ;
  3072.     ++in;
  3073.     *out |= ( (*in)   % (1U << 2 )  ) <<  30 ;
  3074.     ++out;
  3075.     ++in;
  3076.     *out |= (*in)   % (1U << 2 ) ;
  3077.     ++in;
  3078.     *out |= ( (*in)   % (1U << 2 )  ) <<  2 ;
  3079.     ++in;
  3080.     *out |= ( (*in)   % (1U << 2 )  ) <<  4 ;
  3081.     ++in;
  3082.     *out |= ( (*in)   % (1U << 2 )  ) <<  6 ;
  3083.     ++in;
  3084.     *out |= ( (*in)   % (1U << 2 )  ) <<  8 ;
  3085.     ++in;
  3086.     *out |= ( (*in)   % (1U << 2 )  ) <<  10 ;
  3087.     ++in;
  3088.     *out |= ( (*in)   % (1U << 2 )  ) <<  12 ;
  3089.     ++in;
  3090.     *out |= ( (*in)   % (1U << 2 )  ) <<  14 ;
  3091.     ++in;
  3092.     *out |= ( (*in)   % (1U << 2 )  ) <<  16 ;
  3093.     ++in;
  3094.     *out |= ( (*in)   % (1U << 2 )  ) <<  18 ;
  3095.     ++in;
  3096.     *out |= ( (*in)   % (1U << 2 )  ) <<  20 ;
  3097.     ++in;
  3098.     *out |= ( (*in)   % (1U << 2 )  ) <<  22 ;
  3099.     ++in;
  3100.     *out |= ( (*in)   % (1U << 2 )  ) <<  24 ;
  3101.     ++in;
  3102.     *out |= ( (*in)   % (1U << 2 )  ) <<  26 ;
  3103.     ++in;
  3104.     *out |= ( (*in)   % (1U << 2 )  ) <<  28 ;
  3105.     ++in;
  3106.     *out |= ( (*in)   % (1U << 2 )  ) <<  30 ;
  3107. }
  3108.  
  3109.  
  3110.  
  3111.  
  3112. void __fastpack3(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3113.     *out |= (*in)   % (1U << 3 ) ;
  3114.     ++in;
  3115.     *out |= ( (*in)   % (1U << 3 )  ) <<  3 ;
  3116.     ++in;
  3117.     *out |= ( (*in)   % (1U << 3 )  ) <<  6 ;
  3118.     ++in;
  3119.     *out |= ( (*in)   % (1U << 3 )  ) <<  9 ;
  3120.     ++in;
  3121.     *out |= ( (*in)   % (1U << 3 )  ) <<  12 ;
  3122.     ++in;
  3123.     *out |= ( (*in)   % (1U << 3 )  ) <<  15 ;
  3124.     ++in;
  3125.     *out |= ( (*in)   % (1U << 3 )  ) <<  18 ;
  3126.     ++in;
  3127.     *out |= ( (*in)   % (1U << 3 )  ) <<  21 ;
  3128.     ++in;
  3129.     *out |= ( (*in)   % (1U << 3 )  ) <<  24 ;
  3130.     ++in;
  3131.     *out |= ( (*in)   % (1U << 3 )  ) <<  27 ;
  3132.     ++in;
  3133.     *out |= ( (*in)   % (1U << 3 )  ) <<  30 ;
  3134.     ++out;
  3135.     *out |=  ( (*in)   % (1U << 3 ) ) >> ( 3  -  1 );
  3136.     ++in;
  3137.     *out |= ( (*in)   % (1U << 3 )  ) <<  1 ;
  3138.     ++in;
  3139.     *out |= ( (*in)   % (1U << 3 )  ) <<  4 ;
  3140.     ++in;
  3141.     *out |= ( (*in)   % (1U << 3 )  ) <<  7 ;
  3142.     ++in;
  3143.     *out |= ( (*in)   % (1U << 3 )  ) <<  10 ;
  3144.     ++in;
  3145.     *out |= ( (*in)   % (1U << 3 )  ) <<  13 ;
  3146.     ++in;
  3147.     *out |= ( (*in)   % (1U << 3 )  ) <<  16 ;
  3148.     ++in;
  3149.     *out |= ( (*in)   % (1U << 3 )  ) <<  19 ;
  3150.     ++in;
  3151.     *out |= ( (*in)   % (1U << 3 )  ) <<  22 ;
  3152.     ++in;
  3153.     *out |= ( (*in)   % (1U << 3 )  ) <<  25 ;
  3154.     ++in;
  3155.     *out |= ( (*in)   % (1U << 3 )  ) <<  28 ;
  3156.     ++in;
  3157.     *out |= ( (*in)   % (1U << 3 )  ) <<  31 ;
  3158.     ++out;
  3159.     *out |=  ( (*in)   % (1U << 3 ) ) >> ( 3  -  2 );
  3160.     ++in;
  3161.     *out |= ( (*in)   % (1U << 3 )  ) <<  2 ;
  3162.     ++in;
  3163.     *out |= ( (*in)   % (1U << 3 )  ) <<  5 ;
  3164.     ++in;
  3165.     *out |= ( (*in)   % (1U << 3 )  ) <<  8 ;
  3166.     ++in;
  3167.     *out |= ( (*in)   % (1U << 3 )  ) <<  11 ;
  3168.     ++in;
  3169.     *out |= ( (*in)   % (1U << 3 )  ) <<  14 ;
  3170.     ++in;
  3171.     *out |= ( (*in)   % (1U << 3 )  ) <<  17 ;
  3172.     ++in;
  3173.     *out |= ( (*in)   % (1U << 3 )  ) <<  20 ;
  3174.     ++in;
  3175.     *out |= ( (*in)   % (1U << 3 )  ) <<  23 ;
  3176.     ++in;
  3177.     *out |= ( (*in)   % (1U << 3 )  ) <<  26 ;
  3178.     ++in;
  3179.     *out |= ( (*in)   % (1U << 3 )  ) <<  29 ;
  3180. }
  3181.  
  3182.  
  3183.  
  3184.  
  3185. void __fastpack5(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3186.     *out |= (*in)   % (1U << 5 ) ;
  3187.     ++in;
  3188.     *out |= ( (*in)   % (1U << 5 )  ) <<  5 ;
  3189.     ++in;
  3190.     *out |= ( (*in)   % (1U << 5 )  ) <<  10 ;
  3191.     ++in;
  3192.     *out |= ( (*in)   % (1U << 5 )  ) <<  15 ;
  3193.     ++in;
  3194.     *out |= ( (*in)   % (1U << 5 )  ) <<  20 ;
  3195.     ++in;
  3196.     *out |= ( (*in)   % (1U << 5 )  ) <<  25 ;
  3197.     ++in;
  3198.     *out |= ( (*in)   % (1U << 5 )  ) <<  30 ;
  3199.     ++out;
  3200.     *out |=  ( (*in)   % (1U << 5 ) ) >> ( 5  -  3 );
  3201.     ++in;
  3202.     *out |= ( (*in)   % (1U << 5 )  ) <<  3 ;
  3203.     ++in;
  3204.     *out |= ( (*in)   % (1U << 5 )  ) <<  8 ;
  3205.     ++in;
  3206.     *out |= ( (*in)   % (1U << 5 )  ) <<  13 ;
  3207.     ++in;
  3208.     *out |= ( (*in)   % (1U << 5 )  ) <<  18 ;
  3209.     ++in;
  3210.     *out |= ( (*in)   % (1U << 5 )  ) <<  23 ;
  3211.     ++in;
  3212.     *out |= ( (*in)   % (1U << 5 )  ) <<  28 ;
  3213.     ++out;
  3214.     *out |=  ( (*in)   % (1U << 5 ) ) >> ( 5  -  1 );
  3215.     ++in;
  3216.     *out |= ( (*in)   % (1U << 5 )  ) <<  1 ;
  3217.     ++in;
  3218.     *out |= ( (*in)   % (1U << 5 )  ) <<  6 ;
  3219.     ++in;
  3220.     *out |= ( (*in)   % (1U << 5 )  ) <<  11 ;
  3221.     ++in;
  3222.     *out |= ( (*in)   % (1U << 5 )  ) <<  16 ;
  3223.     ++in;
  3224.     *out |= ( (*in)   % (1U << 5 )  ) <<  21 ;
  3225.     ++in;
  3226.     *out |= ( (*in)   % (1U << 5 )  ) <<  26 ;
  3227.     ++in;
  3228.     *out |= ( (*in)   % (1U << 5 )  ) <<  31 ;
  3229.     ++out;
  3230.     *out |=  ( (*in)   % (1U << 5 ) ) >> ( 5  -  4 );
  3231.     ++in;
  3232.     *out |= ( (*in)   % (1U << 5 )  ) <<  4 ;
  3233.     ++in;
  3234.     *out |= ( (*in)   % (1U << 5 )  ) <<  9 ;
  3235.     ++in;
  3236.     *out |= ( (*in)   % (1U << 5 )  ) <<  14 ;
  3237.     ++in;
  3238.     *out |= ( (*in)   % (1U << 5 )  ) <<  19 ;
  3239.     ++in;
  3240.     *out |= ( (*in)   % (1U << 5 )  ) <<  24 ;
  3241.     ++in;
  3242.     *out |= ( (*in)   % (1U << 5 )  ) <<  29 ;
  3243.     ++out;
  3244.     *out |=  ( (*in)   % (1U << 5 ) ) >> ( 5  -  2 );
  3245.     ++in;
  3246.     *out |= ( (*in)   % (1U << 5 )  ) <<  2 ;
  3247.     ++in;
  3248.     *out |= ( (*in)   % (1U << 5 )  ) <<  7 ;
  3249.     ++in;
  3250.     *out |= ( (*in)   % (1U << 5 )  ) <<  12 ;
  3251.     ++in;
  3252.     *out |= ( (*in)   % (1U << 5 )  ) <<  17 ;
  3253.     ++in;
  3254.     *out |= ( (*in)   % (1U << 5 )  ) <<  22 ;
  3255.     ++in;
  3256.     *out |= ( (*in)   % (1U << 5 )  ) <<  27 ;
  3257. }
  3258.  
  3259.  
  3260.  
  3261.  
  3262. void __fastpack6(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3263.     *out |= (*in)   % (1U << 6 ) ;
  3264.     ++in;
  3265.     *out |= ( (*in)   % (1U << 6 )  ) <<  6 ;
  3266.     ++in;
  3267.     *out |= ( (*in)   % (1U << 6 )  ) <<  12 ;
  3268.     ++in;
  3269.     *out |= ( (*in)   % (1U << 6 )  ) <<  18 ;
  3270.     ++in;
  3271.     *out |= ( (*in)   % (1U << 6 )  ) <<  24 ;
  3272.     ++in;
  3273.     *out |= ( (*in)   % (1U << 6 )  ) <<  30 ;
  3274.     ++out;
  3275.     *out |=  ( (*in)   % (1U << 6 ) ) >> ( 6  -  4 );
  3276.     ++in;
  3277.     *out |= ( (*in)   % (1U << 6 )  ) <<  4 ;
  3278.     ++in;
  3279.     *out |= ( (*in)   % (1U << 6 )  ) <<  10 ;
  3280.     ++in;
  3281.     *out |= ( (*in)   % (1U << 6 )  ) <<  16 ;
  3282.     ++in;
  3283.     *out |= ( (*in)   % (1U << 6 )  ) <<  22 ;
  3284.     ++in;
  3285.     *out |= ( (*in)   % (1U << 6 )  ) <<  28 ;
  3286.     ++out;
  3287.     *out |=  ( (*in)   % (1U << 6 ) ) >> ( 6  -  2 );
  3288.     ++in;
  3289.     *out |= ( (*in)   % (1U << 6 )  ) <<  2 ;
  3290.     ++in;
  3291.     *out |= ( (*in)   % (1U << 6 )  ) <<  8 ;
  3292.     ++in;
  3293.     *out |= ( (*in)   % (1U << 6 )  ) <<  14 ;
  3294.     ++in;
  3295.     *out |= ( (*in)   % (1U << 6 )  ) <<  20 ;
  3296.     ++in;
  3297.     *out |= ( (*in)   % (1U << 6 )  ) <<  26 ;
  3298.     ++out;
  3299.     ++in;
  3300.     *out |= (*in)   % (1U << 6 ) ;
  3301.     ++in;
  3302.     *out |= ( (*in)   % (1U << 6 )  ) <<  6 ;
  3303.     ++in;
  3304.     *out |= ( (*in)   % (1U << 6 )  ) <<  12 ;
  3305.     ++in;
  3306.     *out |= ( (*in)   % (1U << 6 )  ) <<  18 ;
  3307.     ++in;
  3308.     *out |= ( (*in)   % (1U << 6 )  ) <<  24 ;
  3309.     ++in;
  3310.     *out |= ( (*in)   % (1U << 6 )  ) <<  30 ;
  3311.     ++out;
  3312.     *out |=  ( (*in)   % (1U << 6 ) ) >> ( 6  -  4 );
  3313.     ++in;
  3314.     *out |= ( (*in)   % (1U << 6 )  ) <<  4 ;
  3315.     ++in;
  3316.     *out |= ( (*in)   % (1U << 6 )  ) <<  10 ;
  3317.     ++in;
  3318.     *out |= ( (*in)   % (1U << 6 )  ) <<  16 ;
  3319.     ++in;
  3320.     *out |= ( (*in)   % (1U << 6 )  ) <<  22 ;
  3321.     ++in;
  3322.     *out |= ( (*in)   % (1U << 6 )  ) <<  28 ;
  3323.     ++out;
  3324.     *out |=  ( (*in)   % (1U << 6 ) ) >> ( 6  -  2 );
  3325.     ++in;
  3326.     *out |= ( (*in)   % (1U << 6 )  ) <<  2 ;
  3327.     ++in;
  3328.     *out |= ( (*in)   % (1U << 6 )  ) <<  8 ;
  3329.     ++in;
  3330.     *out |= ( (*in)   % (1U << 6 )  ) <<  14 ;
  3331.     ++in;
  3332.     *out |= ( (*in)   % (1U << 6 )  ) <<  20 ;
  3333.     ++in;
  3334.     *out |= ( (*in)   % (1U << 6 )  ) <<  26 ;
  3335. }
  3336.  
  3337.  
  3338.  
  3339.  
  3340. void __fastpack7(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3341.     *out |= (*in)   % (1U << 7 ) ;
  3342.     ++in;
  3343.     *out |= ( (*in)   % (1U << 7 )  ) <<  7 ;
  3344.     ++in;
  3345.     *out |= ( (*in)   % (1U << 7 )  ) <<  14 ;
  3346.     ++in;
  3347.     *out |= ( (*in)   % (1U << 7 )  ) <<  21 ;
  3348.     ++in;
  3349.     *out |= ( (*in)   % (1U << 7 )  ) <<  28 ;
  3350.     ++out;
  3351.     *out |=  ( (*in)   % (1U << 7 ) ) >> ( 7  -  3 );
  3352.     ++in;
  3353.     *out |= ( (*in)   % (1U << 7 )  ) <<  3 ;
  3354.     ++in;
  3355.     *out |= ( (*in)   % (1U << 7 )  ) <<  10 ;
  3356.     ++in;
  3357.     *out |= ( (*in)   % (1U << 7 )  ) <<  17 ;
  3358.     ++in;
  3359.     *out |= ( (*in)   % (1U << 7 )  ) <<  24 ;
  3360.     ++in;
  3361.     *out |= ( (*in)   % (1U << 7 )  ) <<  31 ;
  3362.     ++out;
  3363.     *out |=  ( (*in)   % (1U << 7 ) ) >> ( 7  -  6 );
  3364.     ++in;
  3365.     *out |= ( (*in)   % (1U << 7 )  ) <<  6 ;
  3366.     ++in;
  3367.     *out |= ( (*in)   % (1U << 7 )  ) <<  13 ;
  3368.     ++in;
  3369.     *out |= ( (*in)   % (1U << 7 )  ) <<  20 ;
  3370.     ++in;
  3371.     *out |= ( (*in)   % (1U << 7 )  ) <<  27 ;
  3372.     ++out;
  3373.     *out |=  ( (*in)   % (1U << 7 ) ) >> ( 7  -  2 );
  3374.     ++in;
  3375.     *out |= ( (*in)   % (1U << 7 )  ) <<  2 ;
  3376.     ++in;
  3377.     *out |= ( (*in)   % (1U << 7 )  ) <<  9 ;
  3378.     ++in;
  3379.     *out |= ( (*in)   % (1U << 7 )  ) <<  16 ;
  3380.     ++in;
  3381.     *out |= ( (*in)   % (1U << 7 )  ) <<  23 ;
  3382.     ++in;
  3383.     *out |= ( (*in)   % (1U << 7 )  ) <<  30 ;
  3384.     ++out;
  3385.     *out |=  ( (*in)   % (1U << 7 ) ) >> ( 7  -  5 );
  3386.     ++in;
  3387.     *out |= ( (*in)   % (1U << 7 )  ) <<  5 ;
  3388.     ++in;
  3389.     *out |= ( (*in)   % (1U << 7 )  ) <<  12 ;
  3390.     ++in;
  3391.     *out |= ( (*in)   % (1U << 7 )  ) <<  19 ;
  3392.     ++in;
  3393.     *out |= ( (*in)   % (1U << 7 )  ) <<  26 ;
  3394.     ++out;
  3395.     *out |=  ( (*in)   % (1U << 7 ) ) >> ( 7  -  1 );
  3396.     ++in;
  3397.     *out |= ( (*in)   % (1U << 7 )  ) <<  1 ;
  3398.     ++in;
  3399.     *out |= ( (*in)   % (1U << 7 )  ) <<  8 ;
  3400.     ++in;
  3401.     *out |= ( (*in)   % (1U << 7 )  ) <<  15 ;
  3402.     ++in;
  3403.     *out |= ( (*in)   % (1U << 7 )  ) <<  22 ;
  3404.     ++in;
  3405.     *out |= ( (*in)   % (1U << 7 )  ) <<  29 ;
  3406.     ++out;
  3407.     *out |=  ( (*in)   % (1U << 7 ) ) >> ( 7  -  4 );
  3408.     ++in;
  3409.     *out |= ( (*in)   % (1U << 7 )  ) <<  4 ;
  3410.     ++in;
  3411.     *out |= ( (*in)   % (1U << 7 )  ) <<  11 ;
  3412.     ++in;
  3413.     *out |= ( (*in)   % (1U << 7 )  ) <<  18 ;
  3414.     ++in;
  3415.     *out |= ( (*in)   % (1U << 7 )  ) <<  25 ;
  3416. }
  3417.  
  3418.  
  3419.  
  3420.  
  3421. void __fastpack9(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3422.     *out |= (*in)   % (1U << 9 ) ;
  3423.     ++in;
  3424.     *out |= ( (*in)   % (1U << 9 )  ) <<  9 ;
  3425.     ++in;
  3426.     *out |= ( (*in)   % (1U << 9 )  ) <<  18 ;
  3427.     ++in;
  3428.     *out |= ( (*in)   % (1U << 9 )  ) <<  27 ;
  3429.     ++out;
  3430.     *out |=  ( (*in)   % (1U << 9 ) ) >> ( 9  -  4 );
  3431.     ++in;
  3432.     *out |= ( (*in)   % (1U << 9 )  ) <<  4 ;
  3433.     ++in;
  3434.     *out |= ( (*in)   % (1U << 9 )  ) <<  13 ;
  3435.     ++in;
  3436.     *out |= ( (*in)   % (1U << 9 )  ) <<  22 ;
  3437.     ++in;
  3438.     *out |= ( (*in)   % (1U << 9 )  ) <<  31 ;
  3439.     ++out;
  3440.     *out |=  ( (*in)   % (1U << 9 ) ) >> ( 9  -  8 );
  3441.     ++in;
  3442.     *out |= ( (*in)   % (1U << 9 )  ) <<  8 ;
  3443.     ++in;
  3444.     *out |= ( (*in)   % (1U << 9 )  ) <<  17 ;
  3445.     ++in;
  3446.     *out |= ( (*in)   % (1U << 9 )  ) <<  26 ;
  3447.     ++out;
  3448.     *out |=  ( (*in)   % (1U << 9 ) ) >> ( 9  -  3 );
  3449.     ++in;
  3450.     *out |= ( (*in)   % (1U << 9 )  ) <<  3 ;
  3451.     ++in;
  3452.     *out |= ( (*in)   % (1U << 9 )  ) <<  12 ;
  3453.     ++in;
  3454.     *out |= ( (*in)   % (1U << 9 )  ) <<  21 ;
  3455.     ++in;
  3456.     *out |= ( (*in)   % (1U << 9 )  ) <<  30 ;
  3457.     ++out;
  3458.     *out |=  ( (*in)   % (1U << 9 ) ) >> ( 9  -  7 );
  3459.     ++in;
  3460.     *out |= ( (*in)   % (1U << 9 )  ) <<  7 ;
  3461.     ++in;
  3462.     *out |= ( (*in)   % (1U << 9 )  ) <<  16 ;
  3463.     ++in;
  3464.     *out |= ( (*in)   % (1U << 9 )  ) <<  25 ;
  3465.     ++out;
  3466.     *out |=  ( (*in)   % (1U << 9 ) ) >> ( 9  -  2 );
  3467.     ++in;
  3468.     *out |= ( (*in)   % (1U << 9 )  ) <<  2 ;
  3469.     ++in;
  3470.     *out |= ( (*in)   % (1U << 9 )  ) <<  11 ;
  3471.     ++in;
  3472.     *out |= ( (*in)   % (1U << 9 )  ) <<  20 ;
  3473.     ++in;
  3474.     *out |= ( (*in)   % (1U << 9 )  ) <<  29 ;
  3475.     ++out;
  3476.     *out |=  ( (*in)   % (1U << 9 ) ) >> ( 9  -  6 );
  3477.     ++in;
  3478.     *out |= ( (*in)   % (1U << 9 )  ) <<  6 ;
  3479.     ++in;
  3480.     *out |= ( (*in)   % (1U << 9 )  ) <<  15 ;
  3481.     ++in;
  3482.     *out |= ( (*in)   % (1U << 9 )  ) <<  24 ;
  3483.     ++out;
  3484.     *out |=  ( (*in)   % (1U << 9 ) ) >> ( 9  -  1 );
  3485.     ++in;
  3486.     *out |= ( (*in)   % (1U << 9 )  ) <<  1 ;
  3487.     ++in;
  3488.     *out |= ( (*in)   % (1U << 9 )  ) <<  10 ;
  3489.     ++in;
  3490.     *out |= ( (*in)   % (1U << 9 )  ) <<  19 ;
  3491.     ++in;
  3492.     *out |= ( (*in)   % (1U << 9 )  ) <<  28 ;
  3493.     ++out;
  3494.     *out |=  ( (*in)   % (1U << 9 ) ) >> ( 9  -  5 );
  3495.     ++in;
  3496.     *out |= ( (*in)   % (1U << 9 )  ) <<  5 ;
  3497.     ++in;
  3498.     *out |= ( (*in)   % (1U << 9 )  ) <<  14 ;
  3499.     ++in;
  3500.     *out |= ( (*in)   % (1U << 9 )  ) <<  23 ;
  3501. }
  3502.  
  3503.  
  3504.  
  3505.  
  3506. void __fastpack10(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3507.     *out |= (*in)   % (1U << 10 ) ;
  3508.     ++in;
  3509.     *out |= ( (*in)   % (1U << 10 )  ) <<  10 ;
  3510.     ++in;
  3511.     *out |= ( (*in)   % (1U << 10 )  ) <<  20 ;
  3512.     ++in;
  3513.     *out |= ( (*in)   % (1U << 10 )  ) <<  30 ;
  3514.     ++out;
  3515.     *out |=  ( (*in)   % (1U << 10 ) ) >> ( 10  -  8 );
  3516.     ++in;
  3517.     *out |= ( (*in)   % (1U << 10 )  ) <<  8 ;
  3518.     ++in;
  3519.     *out |= ( (*in)   % (1U << 10 )  ) <<  18 ;
  3520.     ++in;
  3521.     *out |= ( (*in)   % (1U << 10 )  ) <<  28 ;
  3522.     ++out;
  3523.     *out |=  ( (*in)   % (1U << 10 ) ) >> ( 10  -  6 );
  3524.     ++in;
  3525.     *out |= ( (*in)   % (1U << 10 )  ) <<  6 ;
  3526.     ++in;
  3527.     *out |= ( (*in)   % (1U << 10 )  ) <<  16 ;
  3528.     ++in;
  3529.     *out |= ( (*in)   % (1U << 10 )  ) <<  26 ;
  3530.     ++out;
  3531.     *out |=  ( (*in)   % (1U << 10 ) ) >> ( 10  -  4 );
  3532.     ++in;
  3533.     *out |= ( (*in)   % (1U << 10 )  ) <<  4 ;
  3534.     ++in;
  3535.     *out |= ( (*in)   % (1U << 10 )  ) <<  14 ;
  3536.     ++in;
  3537.     *out |= ( (*in)   % (1U << 10 )  ) <<  24 ;
  3538.     ++out;
  3539.     *out |=  ( (*in)   % (1U << 10 ) ) >> ( 10  -  2 );
  3540.     ++in;
  3541.     *out |= ( (*in)   % (1U << 10 )  ) <<  2 ;
  3542.     ++in;
  3543.     *out |= ( (*in)   % (1U << 10 )  ) <<  12 ;
  3544.     ++in;
  3545.     *out |= ( (*in)   % (1U << 10 )  ) <<  22 ;
  3546.     ++out;
  3547.     ++in;
  3548.     *out |= (*in)   % (1U << 10 ) ;
  3549.     ++in;
  3550.     *out |= ( (*in)   % (1U << 10 )  ) <<  10 ;
  3551.     ++in;
  3552.     *out |= ( (*in)   % (1U << 10 )  ) <<  20 ;
  3553.     ++in;
  3554.     *out |= ( (*in)   % (1U << 10 )  ) <<  30 ;
  3555.     ++out;
  3556.     *out |=  ( (*in)   % (1U << 10 ) ) >> ( 10  -  8 );
  3557.     ++in;
  3558.     *out |= ( (*in)   % (1U << 10 )  ) <<  8 ;
  3559.     ++in;
  3560.     *out |= ( (*in)   % (1U << 10 )  ) <<  18 ;
  3561.     ++in;
  3562.     *out |= ( (*in)   % (1U << 10 )  ) <<  28 ;
  3563.     ++out;
  3564.     *out |=  ( (*in)   % (1U << 10 ) ) >> ( 10  -  6 );
  3565.     ++in;
  3566.     *out |= ( (*in)   % (1U << 10 )  ) <<  6 ;
  3567.     ++in;
  3568.     *out |= ( (*in)   % (1U << 10 )  ) <<  16 ;
  3569.     ++in;
  3570.     *out |= ( (*in)   % (1U << 10 )  ) <<  26 ;
  3571.     ++out;
  3572.     *out |=  ( (*in)   % (1U << 10 ) ) >> ( 10  -  4 );
  3573.     ++in;
  3574.     *out |= ( (*in)   % (1U << 10 )  ) <<  4 ;
  3575.     ++in;
  3576.     *out |= ( (*in)   % (1U << 10 )  ) <<  14 ;
  3577.     ++in;
  3578.     *out |= ( (*in)   % (1U << 10 )  ) <<  24 ;
  3579.     ++out;
  3580.     *out |=  ( (*in)   % (1U << 10 ) ) >> ( 10  -  2 );
  3581.     ++in;
  3582.     *out |= ( (*in)   % (1U << 10 )  ) <<  2 ;
  3583.     ++in;
  3584.     *out |= ( (*in)   % (1U << 10 )  ) <<  12 ;
  3585.     ++in;
  3586.     *out |= ( (*in)   % (1U << 10 )  ) <<  22 ;
  3587. }
  3588.  
  3589.  
  3590.  
  3591.  
  3592. void __fastpack11(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3593.     *out |= (*in)   % (1U << 11 ) ;
  3594.     ++in;
  3595.     *out |= ( (*in)   % (1U << 11 )  ) <<  11 ;
  3596.     ++in;
  3597.     *out |= ( (*in)   % (1U << 11 )  ) <<  22 ;
  3598.     ++out;
  3599.     *out |=  ( (*in)   % (1U << 11 ) ) >> ( 11  -  1 );
  3600.     ++in;
  3601.     *out |= ( (*in)   % (1U << 11 )  ) <<  1 ;
  3602.     ++in;
  3603.     *out |= ( (*in)   % (1U << 11 )  ) <<  12 ;
  3604.     ++in;
  3605.     *out |= ( (*in)   % (1U << 11 )  ) <<  23 ;
  3606.     ++out;
  3607.     *out |=  ( (*in)   % (1U << 11 ) ) >> ( 11  -  2 );
  3608.     ++in;
  3609.     *out |= ( (*in)   % (1U << 11 )  ) <<  2 ;
  3610.     ++in;
  3611.     *out |= ( (*in)   % (1U << 11 )  ) <<  13 ;
  3612.     ++in;
  3613.     *out |= ( (*in)   % (1U << 11 )  ) <<  24 ;
  3614.     ++out;
  3615.     *out |=  ( (*in)   % (1U << 11 ) ) >> ( 11  -  3 );
  3616.     ++in;
  3617.     *out |= ( (*in)   % (1U << 11 )  ) <<  3 ;
  3618.     ++in;
  3619.     *out |= ( (*in)   % (1U << 11 )  ) <<  14 ;
  3620.     ++in;
  3621.     *out |= ( (*in)   % (1U << 11 )  ) <<  25 ;
  3622.     ++out;
  3623.     *out |=  ( (*in)   % (1U << 11 ) ) >> ( 11  -  4 );
  3624.     ++in;
  3625.     *out |= ( (*in)   % (1U << 11 )  ) <<  4 ;
  3626.     ++in;
  3627.     *out |= ( (*in)   % (1U << 11 )  ) <<  15 ;
  3628.     ++in;
  3629.     *out |= ( (*in)   % (1U << 11 )  ) <<  26 ;
  3630.     ++out;
  3631.     *out |=  ( (*in)   % (1U << 11 ) ) >> ( 11  -  5 );
  3632.     ++in;
  3633.     *out |= ( (*in)   % (1U << 11 )  ) <<  5 ;
  3634.     ++in;
  3635.     *out |= ( (*in)   % (1U << 11 )  ) <<  16 ;
  3636.     ++in;
  3637.     *out |= ( (*in)   % (1U << 11 )  ) <<  27 ;
  3638.     ++out;
  3639.     *out |=  ( (*in)   % (1U << 11 ) ) >> ( 11  -  6 );
  3640.     ++in;
  3641.     *out |= ( (*in)   % (1U << 11 )  ) <<  6 ;
  3642.     ++in;
  3643.     *out |= ( (*in)   % (1U << 11 )  ) <<  17 ;
  3644.     ++in;
  3645.     *out |= ( (*in)   % (1U << 11 )  ) <<  28 ;
  3646.     ++out;
  3647.     *out |=  ( (*in)   % (1U << 11 ) ) >> ( 11  -  7 );
  3648.     ++in;
  3649.     *out |= ( (*in)   % (1U << 11 )  ) <<  7 ;
  3650.     ++in;
  3651.     *out |= ( (*in)   % (1U << 11 )  ) <<  18 ;
  3652.     ++in;
  3653.     *out |= ( (*in)   % (1U << 11 )  ) <<  29 ;
  3654.     ++out;
  3655.     *out |=  ( (*in)   % (1U << 11 ) ) >> ( 11  -  8 );
  3656.     ++in;
  3657.     *out |= ( (*in)   % (1U << 11 )  ) <<  8 ;
  3658.     ++in;
  3659.     *out |= ( (*in)   % (1U << 11 )  ) <<  19 ;
  3660.     ++in;
  3661.     *out |= ( (*in)   % (1U << 11 )  ) <<  30 ;
  3662.     ++out;
  3663.     *out |=  ( (*in)   % (1U << 11 ) ) >> ( 11  -  9 );
  3664.     ++in;
  3665.     *out |= ( (*in)   % (1U << 11 )  ) <<  9 ;
  3666.     ++in;
  3667.     *out |= ( (*in)   % (1U << 11 )  ) <<  20 ;
  3668.     ++in;
  3669.     *out |= ( (*in)   % (1U << 11 )  ) <<  31 ;
  3670.     ++out;
  3671.     *out |=  ( (*in)   % (1U << 11 ) ) >> ( 11  -  10 );
  3672.     ++in;
  3673.     *out |= ( (*in)   % (1U << 11 )  ) <<  10 ;
  3674.     ++in;
  3675.     *out |= ( (*in)   % (1U << 11 )  ) <<  21 ;
  3676. }
  3677.  
  3678.  
  3679.  
  3680.  
  3681. void __fastpack12(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3682.     *out |= (*in)   % (1U << 12 ) ;
  3683.     ++in;
  3684.     *out |= ( (*in)   % (1U << 12 )  ) <<  12 ;
  3685.     ++in;
  3686.     *out |= ( (*in)   % (1U << 12 )  ) <<  24 ;
  3687.     ++out;
  3688.     *out |=  ( (*in)   % (1U << 12 ) ) >> ( 12  -  4 );
  3689.     ++in;
  3690.     *out |= ( (*in)   % (1U << 12 )  ) <<  4 ;
  3691.     ++in;
  3692.     *out |= ( (*in)   % (1U << 12 )  ) <<  16 ;
  3693.     ++in;
  3694.     *out |= ( (*in)   % (1U << 12 )  ) <<  28 ;
  3695.     ++out;
  3696.     *out |=  ( (*in)   % (1U << 12 ) ) >> ( 12  -  8 );
  3697.     ++in;
  3698.     *out |= ( (*in)   % (1U << 12 )  ) <<  8 ;
  3699.     ++in;
  3700.     *out |= ( (*in)   % (1U << 12 )  ) <<  20 ;
  3701.     ++out;
  3702.     ++in;
  3703.     *out |= (*in)   % (1U << 12 ) ;
  3704.     ++in;
  3705.     *out |= ( (*in)   % (1U << 12 )  ) <<  12 ;
  3706.     ++in;
  3707.     *out |= ( (*in)   % (1U << 12 )  ) <<  24 ;
  3708.     ++out;
  3709.     *out |=  ( (*in)   % (1U << 12 ) ) >> ( 12  -  4 );
  3710.     ++in;
  3711.     *out |= ( (*in)   % (1U << 12 )  ) <<  4 ;
  3712.     ++in;
  3713.     *out |= ( (*in)   % (1U << 12 )  ) <<  16 ;
  3714.     ++in;
  3715.     *out |= ( (*in)   % (1U << 12 )  ) <<  28 ;
  3716.     ++out;
  3717.     *out |=  ( (*in)   % (1U << 12 ) ) >> ( 12  -  8 );
  3718.     ++in;
  3719.     *out |= ( (*in)   % (1U << 12 )  ) <<  8 ;
  3720.     ++in;
  3721.     *out |= ( (*in)   % (1U << 12 )  ) <<  20 ;
  3722.     ++out;
  3723.     ++in;
  3724.     *out |= (*in)   % (1U << 12 ) ;
  3725.     ++in;
  3726.     *out |= ( (*in)   % (1U << 12 )  ) <<  12 ;
  3727.     ++in;
  3728.     *out |= ( (*in)   % (1U << 12 )  ) <<  24 ;
  3729.     ++out;
  3730.     *out |=  ( (*in)   % (1U << 12 ) ) >> ( 12  -  4 );
  3731.     ++in;
  3732.     *out |= ( (*in)   % (1U << 12 )  ) <<  4 ;
  3733.     ++in;
  3734.     *out |= ( (*in)   % (1U << 12 )  ) <<  16 ;
  3735.     ++in;
  3736.     *out |= ( (*in)   % (1U << 12 )  ) <<  28 ;
  3737.     ++out;
  3738.     *out |=  ( (*in)   % (1U << 12 ) ) >> ( 12  -  8 );
  3739.     ++in;
  3740.     *out |= ( (*in)   % (1U << 12 )  ) <<  8 ;
  3741.     ++in;
  3742.     *out |= ( (*in)   % (1U << 12 )  ) <<  20 ;
  3743.     ++out;
  3744.     ++in;
  3745.     *out |= (*in)   % (1U << 12 ) ;
  3746.     ++in;
  3747.     *out |= ( (*in)   % (1U << 12 )  ) <<  12 ;
  3748.     ++in;
  3749.     *out |= ( (*in)   % (1U << 12 )  ) <<  24 ;
  3750.     ++out;
  3751.     *out |=  ( (*in)   % (1U << 12 ) ) >> ( 12  -  4 );
  3752.     ++in;
  3753.     *out |= ( (*in)   % (1U << 12 )  ) <<  4 ;
  3754.     ++in;
  3755.     *out |= ( (*in)   % (1U << 12 )  ) <<  16 ;
  3756.     ++in;
  3757.     *out |= ( (*in)   % (1U << 12 )  ) <<  28 ;
  3758.     ++out;
  3759.     *out |=  ( (*in)   % (1U << 12 ) ) >> ( 12  -  8 );
  3760.     ++in;
  3761.     *out |= ( (*in)   % (1U << 12 )  ) <<  8 ;
  3762.     ++in;
  3763.     *out |= ( (*in)   % (1U << 12 )  ) <<  20 ;
  3764. }
  3765.  
  3766.  
  3767.  
  3768.  
  3769. void __fastpack13(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3770.     *out |= (*in)   % (1U << 13 ) ;
  3771.     ++in;
  3772.     *out |= ( (*in)   % (1U << 13 )  ) <<  13 ;
  3773.     ++in;
  3774.     *out |= ( (*in)   % (1U << 13 )  ) <<  26 ;
  3775.     ++out;
  3776.     *out |=  ( (*in)   % (1U << 13 ) ) >> ( 13  -  7 );
  3777.     ++in;
  3778.     *out |= ( (*in)   % (1U << 13 )  ) <<  7 ;
  3779.     ++in;
  3780.     *out |= ( (*in)   % (1U << 13 )  ) <<  20 ;
  3781.     ++out;
  3782.     *out |=  ( (*in)   % (1U << 13 ) ) >> ( 13  -  1 );
  3783.     ++in;
  3784.     *out |= ( (*in)   % (1U << 13 )  ) <<  1 ;
  3785.     ++in;
  3786.     *out |= ( (*in)   % (1U << 13 )  ) <<  14 ;
  3787.     ++in;
  3788.     *out |= ( (*in)   % (1U << 13 )  ) <<  27 ;
  3789.     ++out;
  3790.     *out |=  ( (*in)   % (1U << 13 ) ) >> ( 13  -  8 );
  3791.     ++in;
  3792.     *out |= ( (*in)   % (1U << 13 )  ) <<  8 ;
  3793.     ++in;
  3794.     *out |= ( (*in)   % (1U << 13 )  ) <<  21 ;
  3795.     ++out;
  3796.     *out |=  ( (*in)   % (1U << 13 ) ) >> ( 13  -  2 );
  3797.     ++in;
  3798.     *out |= ( (*in)   % (1U << 13 )  ) <<  2 ;
  3799.     ++in;
  3800.     *out |= ( (*in)   % (1U << 13 )  ) <<  15 ;
  3801.     ++in;
  3802.     *out |= ( (*in)   % (1U << 13 )  ) <<  28 ;
  3803.     ++out;
  3804.     *out |=  ( (*in)   % (1U << 13 ) ) >> ( 13  -  9 );
  3805.     ++in;
  3806.     *out |= ( (*in)   % (1U << 13 )  ) <<  9 ;
  3807.     ++in;
  3808.     *out |= ( (*in)   % (1U << 13 )  ) <<  22 ;
  3809.     ++out;
  3810.     *out |=  ( (*in)   % (1U << 13 ) ) >> ( 13  -  3 );
  3811.     ++in;
  3812.     *out |= ( (*in)   % (1U << 13 )  ) <<  3 ;
  3813.     ++in;
  3814.     *out |= ( (*in)   % (1U << 13 )  ) <<  16 ;
  3815.     ++in;
  3816.     *out |= ( (*in)   % (1U << 13 )  ) <<  29 ;
  3817.     ++out;
  3818.     *out |=  ( (*in)   % (1U << 13 ) ) >> ( 13  -  10 );
  3819.     ++in;
  3820.     *out |= ( (*in)   % (1U << 13 )  ) <<  10 ;
  3821.     ++in;
  3822.     *out |= ( (*in)   % (1U << 13 )  ) <<  23 ;
  3823.     ++out;
  3824.     *out |=  ( (*in)   % (1U << 13 ) ) >> ( 13  -  4 );
  3825.     ++in;
  3826.     *out |= ( (*in)   % (1U << 13 )  ) <<  4 ;
  3827.     ++in;
  3828.     *out |= ( (*in)   % (1U << 13 )  ) <<  17 ;
  3829.     ++in;
  3830.     *out |= ( (*in)   % (1U << 13 )  ) <<  30 ;
  3831.     ++out;
  3832.     *out |=  ( (*in)   % (1U << 13 ) ) >> ( 13  -  11 );
  3833.     ++in;
  3834.     *out |= ( (*in)   % (1U << 13 )  ) <<  11 ;
  3835.     ++in;
  3836.     *out |= ( (*in)   % (1U << 13 )  ) <<  24 ;
  3837.     ++out;
  3838.     *out |=  ( (*in)   % (1U << 13 ) ) >> ( 13  -  5 );
  3839.     ++in;
  3840.     *out |= ( (*in)   % (1U << 13 )  ) <<  5 ;
  3841.     ++in;
  3842.     *out |= ( (*in)   % (1U << 13 )  ) <<  18 ;
  3843.     ++in;
  3844.     *out |= ( (*in)   % (1U << 13 )  ) <<  31 ;
  3845.     ++out;
  3846.     *out |=  ( (*in)   % (1U << 13 ) ) >> ( 13  -  12 );
  3847.     ++in;
  3848.     *out |= ( (*in)   % (1U << 13 )  ) <<  12 ;
  3849.     ++in;
  3850.     *out |= ( (*in)   % (1U << 13 )  ) <<  25 ;
  3851.     ++out;
  3852.     *out |=  ( (*in)   % (1U << 13 ) ) >> ( 13  -  6 );
  3853.     ++in;
  3854.     *out |= ( (*in)   % (1U << 13 )  ) <<  6 ;
  3855.     ++in;
  3856.     *out |= ( (*in)   % (1U << 13 )  ) <<  19 ;
  3857. }
  3858.  
  3859.  
  3860.  
  3861.  
  3862. void __fastpack14(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3863.     *out |= (*in)   % (1U << 14 ) ;
  3864.     ++in;
  3865.     *out |= ( (*in)   % (1U << 14 )  ) <<  14 ;
  3866.     ++in;
  3867.     *out |= ( (*in)   % (1U << 14 )  ) <<  28 ;
  3868.     ++out;
  3869.     *out |=  ( (*in)   % (1U << 14 ) ) >> ( 14  -  10 );
  3870.     ++in;
  3871.     *out |= ( (*in)   % (1U << 14 )  ) <<  10 ;
  3872.     ++in;
  3873.     *out |= ( (*in)   % (1U << 14 )  ) <<  24 ;
  3874.     ++out;
  3875.     *out |=  ( (*in)   % (1U << 14 ) ) >> ( 14  -  6 );
  3876.     ++in;
  3877.     *out |= ( (*in)   % (1U << 14 )  ) <<  6 ;
  3878.     ++in;
  3879.     *out |= ( (*in)   % (1U << 14 )  ) <<  20 ;
  3880.     ++out;
  3881.     *out |=  ( (*in)   % (1U << 14 ) ) >> ( 14  -  2 );
  3882.     ++in;
  3883.     *out |= ( (*in)   % (1U << 14 )  ) <<  2 ;
  3884.     ++in;
  3885.     *out |= ( (*in)   % (1U << 14 )  ) <<  16 ;
  3886.     ++in;
  3887.     *out |= ( (*in)   % (1U << 14 )  ) <<  30 ;
  3888.     ++out;
  3889.     *out |=  ( (*in)   % (1U << 14 ) ) >> ( 14  -  12 );
  3890.     ++in;
  3891.     *out |= ( (*in)   % (1U << 14 )  ) <<  12 ;
  3892.     ++in;
  3893.     *out |= ( (*in)   % (1U << 14 )  ) <<  26 ;
  3894.     ++out;
  3895.     *out |=  ( (*in)   % (1U << 14 ) ) >> ( 14  -  8 );
  3896.     ++in;
  3897.     *out |= ( (*in)   % (1U << 14 )  ) <<  8 ;
  3898.     ++in;
  3899.     *out |= ( (*in)   % (1U << 14 )  ) <<  22 ;
  3900.     ++out;
  3901.     *out |=  ( (*in)   % (1U << 14 ) ) >> ( 14  -  4 );
  3902.     ++in;
  3903.     *out |= ( (*in)   % (1U << 14 )  ) <<  4 ;
  3904.     ++in;
  3905.     *out |= ( (*in)   % (1U << 14 )  ) <<  18 ;
  3906.     ++out;
  3907.     ++in;
  3908.     *out |= (*in)   % (1U << 14 ) ;
  3909.     ++in;
  3910.     *out |= ( (*in)   % (1U << 14 )  ) <<  14 ;
  3911.     ++in;
  3912.     *out |= ( (*in)   % (1U << 14 )  ) <<  28 ;
  3913.     ++out;
  3914.     *out |=  ( (*in)   % (1U << 14 ) ) >> ( 14  -  10 );
  3915.     ++in;
  3916.     *out |= ( (*in)   % (1U << 14 )  ) <<  10 ;
  3917.     ++in;
  3918.     *out |= ( (*in)   % (1U << 14 )  ) <<  24 ;
  3919.     ++out;
  3920.     *out |=  ( (*in)   % (1U << 14 ) ) >> ( 14  -  6 );
  3921.     ++in;
  3922.     *out |= ( (*in)   % (1U << 14 )  ) <<  6 ;
  3923.     ++in;
  3924.     *out |= ( (*in)   % (1U << 14 )  ) <<  20 ;
  3925.     ++out;
  3926.     *out |=  ( (*in)   % (1U << 14 ) ) >> ( 14  -  2 );
  3927.     ++in;
  3928.     *out |= ( (*in)   % (1U << 14 )  ) <<  2 ;
  3929.     ++in;
  3930.     *out |= ( (*in)   % (1U << 14 )  ) <<  16 ;
  3931.     ++in;
  3932.     *out |= ( (*in)   % (1U << 14 )  ) <<  30 ;
  3933.     ++out;
  3934.     *out |=  ( (*in)   % (1U << 14 ) ) >> ( 14  -  12 );
  3935.     ++in;
  3936.     *out |= ( (*in)   % (1U << 14 )  ) <<  12 ;
  3937.     ++in;
  3938.     *out |= ( (*in)   % (1U << 14 )  ) <<  26 ;
  3939.     ++out;
  3940.     *out |=  ( (*in)   % (1U << 14 ) ) >> ( 14  -  8 );
  3941.     ++in;
  3942.     *out |= ( (*in)   % (1U << 14 )  ) <<  8 ;
  3943.     ++in;
  3944.     *out |= ( (*in)   % (1U << 14 )  ) <<  22 ;
  3945.     ++out;
  3946.     *out |=  ( (*in)   % (1U << 14 ) ) >> ( 14  -  4 );
  3947.     ++in;
  3948.     *out |= ( (*in)   % (1U << 14 )  ) <<  4 ;
  3949.     ++in;
  3950.     *out |= ( (*in)   % (1U << 14 )  ) <<  18 ;
  3951. }
  3952.  
  3953.  
  3954.  
  3955.  
  3956. void __fastpack15(const uint *  __restrict__ in, uint *  __restrict__  out) {
  3957.     *out |= (*in)   % (1U << 15 ) ;
  3958.     ++in;
  3959.     *out |= ( (*in)   % (1U << 15 )  ) <<  15 ;
  3960.     ++in;
  3961.     *out |= ( (*in)   % (1U << 15 )  ) <<  30 ;
  3962.     ++out;
  3963.     *out |=  ( (*in)   % (1U << 15 ) ) >> ( 15  -  13 );
  3964.     ++in;
  3965.     *out |= ( (*in)   % (1U << 15 )  ) <<  13 ;
  3966.     ++in;
  3967.     *out |= ( (*in)   % (1U << 15 )  ) <<  28 ;
  3968.     ++out;
  3969.     *out |=  ( (*in)   % (1U << 15 ) ) >> ( 15  -  11 );
  3970.     ++in;
  3971.     *out |= ( (*in)   % (1U << 15 )  ) <<  11 ;
  3972.     ++in;
  3973.     *out |= ( (*in)   % (1U << 15 )  ) <<  26 ;
  3974.     ++out;
  3975.     *out |=  ( (*in)   % (1U << 15 ) ) >> ( 15  -  9 );
  3976.     ++in;
  3977.     *out |= ( (*in)   % (1U << 15 )  ) <<  9 ;
  3978.     ++in;
  3979.     *out |= ( (*in)   % (1U << 15 )  ) <<  24 ;
  3980.     ++out;
  3981.     *out |=  ( (*in)   % (1U << 15 ) ) >> ( 15  -  7 );
  3982.     ++in;
  3983.     *out |= ( (*in)   % (1U << 15 )  ) <<  7 ;
  3984.     ++in;
  3985.     *out |= ( (*in)   % (1U << 15 )  ) <<  22 ;
  3986.     ++out;
  3987.     *out |=  ( (*in)   % (1U << 15 ) ) >> ( 15  -  5 );
  3988.     ++in;
  3989.     *out |= ( (*in)   % (1U << 15 )  ) <<  5 ;
  3990.     ++in;
  3991.     *out |= ( (*in)   % (1U << 15 )  ) <<  20 ;
  3992.     ++out;
  3993.     *out |=  ( (*in)   % (1U << 15 ) ) >> ( 15  -  3 );
  3994.     ++in;
  3995.     *out |= ( (*in)   % (1U << 15 )  ) <<  3 ;
  3996.     ++in;
  3997.     *out |= ( (*in)   % (1U << 15 )  ) <<  18 ;
  3998.     ++out;
  3999.     *out |=  ( (*in)   % (1U << 15 ) ) >> ( 15  -  1 );
  4000.     ++in;
  4001.     *out |= ( (*in)   % (1U << 15 )  ) <<  1 ;
  4002.     ++in;
  4003.     *out |= ( (*in)   % (1U << 15 )  ) <<  16 ;
  4004.     ++in;
  4005.     *out |= ( (*in)   % (1U << 15 )  ) <<  31 ;
  4006.     ++out;
  4007.     *out |=  ( (*in)   % (1U << 15 ) ) >> ( 15  -  14 );
  4008.     ++in;
  4009.     *out |= ( (*in)   % (1U << 15 )  ) <<  14 ;
  4010.     ++in;
  4011.     *out |= ( (*in)   % (1U << 15 )  ) <<  29 ;
  4012.     ++out;
  4013.     *out |=  ( (*in)   % (1U << 15 ) ) >> ( 15  -  12 );
  4014.     ++in;
  4015.     *out |= ( (*in)   % (1U << 15 )  ) <<  12 ;
  4016.     ++in;
  4017.     *out |= ( (*in)   % (1U << 15 )  ) <<  27 ;
  4018.     ++out;
  4019.     *out |=  ( (*in)   % (1U << 15 ) ) >> ( 15  -  10 );
  4020.     ++in;
  4021.     *out |= ( (*in)   % (1U << 15 )  ) <<  10 ;
  4022.     ++in;
  4023.     *out |= ( (*in)   % (1U << 15 )  ) <<  25 ;
  4024.     ++out;
  4025.     *out |=  ( (*in)   % (1U << 15 ) ) >> ( 15  -  8 );
  4026.     ++in;
  4027.     *out |= ( (*in)   % (1U << 15 )  ) <<  8 ;
  4028.     ++in;
  4029.     *out |= ( (*in)   % (1U << 15 )  ) <<  23 ;
  4030.     ++out;
  4031.     *out |=  ( (*in)   % (1U << 15 ) ) >> ( 15  -  6 );
  4032.     ++in;
  4033.     *out |= ( (*in)   % (1U << 15 )  ) <<  6 ;
  4034.     ++in;
  4035.     *out |= ( (*in)   % (1U << 15 )  ) <<  21 ;
  4036.     ++out;
  4037.     *out |=  ( (*in)   % (1U << 15 ) ) >> ( 15  -  4 );
  4038.     ++in;
  4039.     *out |= ( (*in)   % (1U << 15 )  ) <<  4 ;
  4040.     ++in;
  4041.     *out |= ( (*in)   % (1U << 15 )  ) <<  19 ;
  4042.     ++out;
  4043.     *out |=  ( (*in)   % (1U << 15 ) ) >> ( 15  -  2 );
  4044.     ++in;
  4045.     *out |= ( (*in)   % (1U << 15 )  ) <<  2 ;
  4046.     ++in;
  4047.     *out |= ( (*in)   % (1U << 15 )  ) <<  17 ;
  4048. }
  4049.  
  4050.  
  4051.  
  4052.  
  4053. void __fastpack17(const uint *  __restrict__ in, uint *  __restrict__  out) {
  4054.     *out |= (*in)   % (1U << 17 ) ;
  4055.     ++in;
  4056.     *out |= ( (*in)   % (1U << 17 )  ) <<  17 ;
  4057.     ++out;
  4058.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  2 );
  4059.     ++in;
  4060.     *out |= ( (*in)   % (1U << 17 )  ) <<  2 ;
  4061.     ++in;
  4062.     *out |= ( (*in)   % (1U << 17 )  ) <<  19 ;
  4063.     ++out;
  4064.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  4 );
  4065.     ++in;
  4066.     *out |= ( (*in)   % (1U << 17 )  ) <<  4 ;
  4067.     ++in;
  4068.     *out |= ( (*in)   % (1U << 17 )  ) <<  21 ;
  4069.     ++out;
  4070.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  6 );
  4071.     ++in;
  4072.     *out |= ( (*in)   % (1U << 17 )  ) <<  6 ;
  4073.     ++in;
  4074.     *out |= ( (*in)   % (1U << 17 )  ) <<  23 ;
  4075.     ++out;
  4076.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  8 );
  4077.     ++in;
  4078.     *out |= ( (*in)   % (1U << 17 )  ) <<  8 ;
  4079.     ++in;
  4080.     *out |= ( (*in)   % (1U << 17 )  ) <<  25 ;
  4081.     ++out;
  4082.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  10 );
  4083.     ++in;
  4084.     *out |= ( (*in)   % (1U << 17 )  ) <<  10 ;
  4085.     ++in;
  4086.     *out |= ( (*in)   % (1U << 17 )  ) <<  27 ;
  4087.     ++out;
  4088.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  12 );
  4089.     ++in;
  4090.     *out |= ( (*in)   % (1U << 17 )  ) <<  12 ;
  4091.     ++in;
  4092.     *out |= ( (*in)   % (1U << 17 )  ) <<  29 ;
  4093.     ++out;
  4094.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  14 );
  4095.     ++in;
  4096.     *out |= ( (*in)   % (1U << 17 )  ) <<  14 ;
  4097.     ++in;
  4098.     *out |= ( (*in)   % (1U << 17 )  ) <<  31 ;
  4099.     ++out;
  4100.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  16 );
  4101.     ++in;
  4102.     *out |= ( (*in)   % (1U << 17 )  ) <<  16 ;
  4103.     ++out;
  4104.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  1 );
  4105.     ++in;
  4106.     *out |= ( (*in)   % (1U << 17 )  ) <<  1 ;
  4107.     ++in;
  4108.     *out |= ( (*in)   % (1U << 17 )  ) <<  18 ;
  4109.     ++out;
  4110.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  3 );
  4111.     ++in;
  4112.     *out |= ( (*in)   % (1U << 17 )  ) <<  3 ;
  4113.     ++in;
  4114.     *out |= ( (*in)   % (1U << 17 )  ) <<  20 ;
  4115.     ++out;
  4116.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  5 );
  4117.     ++in;
  4118.     *out |= ( (*in)   % (1U << 17 )  ) <<  5 ;
  4119.     ++in;
  4120.     *out |= ( (*in)   % (1U << 17 )  ) <<  22 ;
  4121.     ++out;
  4122.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  7 );
  4123.     ++in;
  4124.     *out |= ( (*in)   % (1U << 17 )  ) <<  7 ;
  4125.     ++in;
  4126.     *out |= ( (*in)   % (1U << 17 )  ) <<  24 ;
  4127.     ++out;
  4128.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  9 );
  4129.     ++in;
  4130.     *out |= ( (*in)   % (1U << 17 )  ) <<  9 ;
  4131.     ++in;
  4132.     *out |= ( (*in)   % (1U << 17 )  ) <<  26 ;
  4133.     ++out;
  4134.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  11 );
  4135.     ++in;
  4136.     *out |= ( (*in)   % (1U << 17 )  ) <<  11 ;
  4137.     ++in;
  4138.     *out |= ( (*in)   % (1U << 17 )  ) <<  28 ;
  4139.     ++out;
  4140.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  13 );
  4141.     ++in;
  4142.     *out |= ( (*in)   % (1U << 17 )  ) <<  13 ;
  4143.     ++in;
  4144.     *out |= ( (*in)   % (1U << 17 )  ) <<  30 ;
  4145.     ++out;
  4146.     *out |=  ( (*in)   % (1U << 17 ) ) >> ( 17  -  15 );
  4147.     ++in;
  4148.     *out |= ( (*in)   % (1U << 17 )  ) <<  15 ;
  4149. }
  4150.  
  4151.  
  4152.  
  4153.  
  4154. void __fastpack18(const uint *  __restrict__ in, uint *  __restrict__  out) {
  4155.     *out |= (*in)   % (1U << 18 ) ;
  4156.     ++in;
  4157.     *out |= ( (*in)   % (1U << 18 )  ) <<  18 ;
  4158.     ++out;
  4159.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  4 );
  4160.     ++in;
  4161.     *out |= ( (*in)   % (1U << 18 )  ) <<  4 ;
  4162.     ++in;
  4163.     *out |= ( (*in)   % (1U << 18 )  ) <<  22 ;
  4164.     ++out;
  4165.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  8 );
  4166.     ++in;
  4167.     *out |= ( (*in)   % (1U << 18 )  ) <<  8 ;
  4168.     ++in;
  4169.     *out |= ( (*in)   % (1U << 18 )  ) <<  26 ;
  4170.     ++out;
  4171.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  12 );
  4172.     ++in;
  4173.     *out |= ( (*in)   % (1U << 18 )  ) <<  12 ;
  4174.     ++in;
  4175.     *out |= ( (*in)   % (1U << 18 )  ) <<  30 ;
  4176.     ++out;
  4177.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  16 );
  4178.     ++in;
  4179.     *out |= ( (*in)   % (1U << 18 )  ) <<  16 ;
  4180.     ++out;
  4181.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  2 );
  4182.     ++in;
  4183.     *out |= ( (*in)   % (1U << 18 )  ) <<  2 ;
  4184.     ++in;
  4185.     *out |= ( (*in)   % (1U << 18 )  ) <<  20 ;
  4186.     ++out;
  4187.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  6 );
  4188.     ++in;
  4189.     *out |= ( (*in)   % (1U << 18 )  ) <<  6 ;
  4190.     ++in;
  4191.     *out |= ( (*in)   % (1U << 18 )  ) <<  24 ;
  4192.     ++out;
  4193.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  10 );
  4194.     ++in;
  4195.     *out |= ( (*in)   % (1U << 18 )  ) <<  10 ;
  4196.     ++in;
  4197.     *out |= ( (*in)   % (1U << 18 )  ) <<  28 ;
  4198.     ++out;
  4199.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  14 );
  4200.     ++in;
  4201.     *out |= ( (*in)   % (1U << 18 )  ) <<  14 ;
  4202.     ++out;
  4203.     ++in;
  4204.     *out |= (*in)   % (1U << 18 ) ;
  4205.     ++in;
  4206.     *out |= ( (*in)   % (1U << 18 )  ) <<  18 ;
  4207.     ++out;
  4208.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  4 );
  4209.     ++in;
  4210.     *out |= ( (*in)   % (1U << 18 )  ) <<  4 ;
  4211.     ++in;
  4212.     *out |= ( (*in)   % (1U << 18 )  ) <<  22 ;
  4213.     ++out;
  4214.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  8 );
  4215.     ++in;
  4216.     *out |= ( (*in)   % (1U << 18 )  ) <<  8 ;
  4217.     ++in;
  4218.     *out |= ( (*in)   % (1U << 18 )  ) <<  26 ;
  4219.     ++out;
  4220.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  12 );
  4221.     ++in;
  4222.     *out |= ( (*in)   % (1U << 18 )  ) <<  12 ;
  4223.     ++in;
  4224.     *out |= ( (*in)   % (1U << 18 )  ) <<  30 ;
  4225.     ++out;
  4226.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  16 );
  4227.     ++in;
  4228.     *out |= ( (*in)   % (1U << 18 )  ) <<  16 ;
  4229.     ++out;
  4230.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  2 );
  4231.     ++in;
  4232.     *out |= ( (*in)   % (1U << 18 )  ) <<  2 ;
  4233.     ++in;
  4234.     *out |= ( (*in)   % (1U << 18 )  ) <<  20 ;
  4235.     ++out;
  4236.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  6 );
  4237.     ++in;
  4238.     *out |= ( (*in)   % (1U << 18 )  ) <<  6 ;
  4239.     ++in;
  4240.     *out |= ( (*in)   % (1U << 18 )  ) <<  24 ;
  4241.     ++out;
  4242.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  10 );
  4243.     ++in;
  4244.     *out |= ( (*in)   % (1U << 18 )  ) <<  10 ;
  4245.     ++in;
  4246.     *out |= ( (*in)   % (1U << 18 )  ) <<  28 ;
  4247.     ++out;
  4248.     *out |=  ( (*in)   % (1U << 18 ) ) >> ( 18  -  14 );
  4249.     ++in;
  4250.     *out |= ( (*in)   % (1U << 18 )  ) <<  14 ;
  4251. }
  4252.  
  4253.  
  4254.  
  4255.  
  4256. void __fastpack19(const uint *  __restrict__ in, uint *  __restrict__  out) {
  4257.     *out |= (*in)   % (1U << 19 ) ;
  4258.     ++in;
  4259.     *out |= ( (*in)   % (1U << 19 )  ) <<  19 ;
  4260.     ++out;
  4261.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  6 );
  4262.     ++in;
  4263.     *out |= ( (*in)   % (1U << 19 )  ) <<  6 ;
  4264.     ++in;
  4265.     *out |= ( (*in)   % (1U << 19 )  ) <<  25 ;
  4266.     ++out;
  4267.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  12 );
  4268.     ++in;
  4269.     *out |= ( (*in)   % (1U << 19 )  ) <<  12 ;
  4270.     ++in;
  4271.     *out |= ( (*in)   % (1U << 19 )  ) <<  31 ;
  4272.     ++out;
  4273.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  18 );
  4274.     ++in;
  4275.     *out |= ( (*in)   % (1U << 19 )  ) <<  18 ;
  4276.     ++out;
  4277.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  5 );
  4278.     ++in;
  4279.     *out |= ( (*in)   % (1U << 19 )  ) <<  5 ;
  4280.     ++in;
  4281.     *out |= ( (*in)   % (1U << 19 )  ) <<  24 ;
  4282.     ++out;
  4283.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  11 );
  4284.     ++in;
  4285.     *out |= ( (*in)   % (1U << 19 )  ) <<  11 ;
  4286.     ++in;
  4287.     *out |= ( (*in)   % (1U << 19 )  ) <<  30 ;
  4288.     ++out;
  4289.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  17 );
  4290.     ++in;
  4291.     *out |= ( (*in)   % (1U << 19 )  ) <<  17 ;
  4292.     ++out;
  4293.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  4 );
  4294.     ++in;
  4295.     *out |= ( (*in)   % (1U << 19 )  ) <<  4 ;
  4296.     ++in;
  4297.     *out |= ( (*in)   % (1U << 19 )  ) <<  23 ;
  4298.     ++out;
  4299.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  10 );
  4300.     ++in;
  4301.     *out |= ( (*in)   % (1U << 19 )  ) <<  10 ;
  4302.     ++in;
  4303.     *out |= ( (*in)   % (1U << 19 )  ) <<  29 ;
  4304.     ++out;
  4305.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  16 );
  4306.     ++in;
  4307.     *out |= ( (*in)   % (1U << 19 )  ) <<  16 ;
  4308.     ++out;
  4309.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  3 );
  4310.     ++in;
  4311.     *out |= ( (*in)   % (1U << 19 )  ) <<  3 ;
  4312.     ++in;
  4313.     *out |= ( (*in)   % (1U << 19 )  ) <<  22 ;
  4314.     ++out;
  4315.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  9 );
  4316.     ++in;
  4317.     *out |= ( (*in)   % (1U << 19 )  ) <<  9 ;
  4318.     ++in;
  4319.     *out |= ( (*in)   % (1U << 19 )  ) <<  28 ;
  4320.     ++out;
  4321.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  15 );
  4322.     ++in;
  4323.     *out |= ( (*in)   % (1U << 19 )  ) <<  15 ;
  4324.     ++out;
  4325.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  2 );
  4326.     ++in;
  4327.     *out |= ( (*in)   % (1U << 19 )  ) <<  2 ;
  4328.     ++in;
  4329.     *out |= ( (*in)   % (1U << 19 )  ) <<  21 ;
  4330.     ++out;
  4331.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  8 );
  4332.     ++in;
  4333.     *out |= ( (*in)   % (1U << 19 )  ) <<  8 ;
  4334.     ++in;
  4335.     *out |= ( (*in)   % (1U << 19 )  ) <<  27 ;
  4336.     ++out;
  4337.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  14 );
  4338.     ++in;
  4339.     *out |= ( (*in)   % (1U << 19 )  ) <<  14 ;
  4340.     ++out;
  4341.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  1 );
  4342.     ++in;
  4343.     *out |= ( (*in)   % (1U << 19 )  ) <<  1 ;
  4344.     ++in;
  4345.     *out |= ( (*in)   % (1U << 19 )  ) <<  20 ;
  4346.     ++out;
  4347.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  7 );
  4348.     ++in;
  4349.     *out |= ( (*in)   % (1U << 19 )  ) <<  7 ;
  4350.     ++in;
  4351.     *out |= ( (*in)   % (1U << 19 )  ) <<  26 ;
  4352.     ++out;
  4353.     *out |=  ( (*in)   % (1U << 19 ) ) >> ( 19  -  13 );
  4354.     ++in;
  4355.     *out |= ( (*in)   % (1U << 19 )  ) <<  13 ;
  4356. }
  4357.  
  4358.  
  4359.  
  4360.  
  4361. void __fastpack20(const uint *  __restrict__ in, uint *  __restrict__  out) {
  4362.     *out |= (*in)   % (1U << 20 ) ;
  4363.     ++in;
  4364.     *out |= ( (*in)   % (1U << 20 )  ) <<  20 ;
  4365.     ++out;
  4366.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  8 );
  4367.     ++in;
  4368.     *out |= ( (*in)   % (1U << 20 )  ) <<  8 ;
  4369.     ++in;
  4370.     *out |= ( (*in)   % (1U << 20 )  ) <<  28 ;
  4371.     ++out;
  4372.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  16 );
  4373.     ++in;
  4374.     *out |= ( (*in)   % (1U << 20 )  ) <<  16 ;
  4375.     ++out;
  4376.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  4 );
  4377.     ++in;
  4378.     *out |= ( (*in)   % (1U << 20 )  ) <<  4 ;
  4379.     ++in;
  4380.     *out |= ( (*in)   % (1U << 20 )  ) <<  24 ;
  4381.     ++out;
  4382.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  12 );
  4383.     ++in;
  4384.     *out |= ( (*in)   % (1U << 20 )  ) <<  12 ;
  4385.     ++out;
  4386.     ++in;
  4387.     *out |= (*in)   % (1U << 20 ) ;
  4388.     ++in;
  4389.     *out |= ( (*in)   % (1U << 20 )  ) <<  20 ;
  4390.     ++out;
  4391.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  8 );
  4392.     ++in;
  4393.     *out |= ( (*in)   % (1U << 20 )  ) <<  8 ;
  4394.     ++in;
  4395.     *out |= ( (*in)   % (1U << 20 )  ) <<  28 ;
  4396.     ++out;
  4397.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  16 );
  4398.     ++in;
  4399.     *out |= ( (*in)   % (1U << 20 )  ) <<  16 ;
  4400.     ++out;
  4401.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  4 );
  4402.     ++in;
  4403.     *out |= ( (*in)   % (1U << 20 )  ) <<  4 ;
  4404.     ++in;
  4405.     *out |= ( (*in)   % (1U << 20 )  ) <<  24 ;
  4406.     ++out;
  4407.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  12 );
  4408.     ++in;
  4409.     *out |= ( (*in)   % (1U << 20 )  ) <<  12 ;
  4410.     ++out;
  4411.     ++in;
  4412.     *out |= (*in)   % (1U << 20 ) ;
  4413.     ++in;
  4414.     *out |= ( (*in)   % (1U << 20 )  ) <<  20 ;
  4415.     ++out;
  4416.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  8 );
  4417.     ++in;
  4418.     *out |= ( (*in)   % (1U << 20 )  ) <<  8 ;
  4419.     ++in;
  4420.     *out |= ( (*in)   % (1U << 20 )  ) <<  28 ;
  4421.     ++out;
  4422.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  16 );
  4423.     ++in;
  4424.     *out |= ( (*in)   % (1U << 20 )  ) <<  16 ;
  4425.     ++out;
  4426.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  4 );
  4427.     ++in;
  4428.     *out |= ( (*in)   % (1U << 20 )  ) <<  4 ;
  4429.     ++in;
  4430.     *out |= ( (*in)   % (1U << 20 )  ) <<  24 ;
  4431.     ++out;
  4432.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  12 );
  4433.     ++in;
  4434.     *out |= ( (*in)   % (1U << 20 )  ) <<  12 ;
  4435.     ++out;
  4436.     ++in;
  4437.     *out |= (*in)   % (1U << 20 ) ;
  4438.     ++in;
  4439.     *out |= ( (*in)   % (1U << 20 )  ) <<  20 ;
  4440.     ++out;
  4441.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  8 );
  4442.     ++in;
  4443.     *out |= ( (*in)   % (1U << 20 )  ) <<  8 ;
  4444.     ++in;
  4445.     *out |= ( (*in)   % (1U << 20 )  ) <<  28 ;
  4446.     ++out;
  4447.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  16 );
  4448.     ++in;
  4449.     *out |= ( (*in)   % (1U << 20 )  ) <<  16 ;
  4450.     ++out;
  4451.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  4 );
  4452.     ++in;
  4453.     *out |= ( (*in)   % (1U << 20 )  ) <<  4 ;
  4454.     ++in;
  4455.     *out |= ( (*in)   % (1U << 20 )  ) <<  24 ;
  4456.     ++out;
  4457.     *out |=  ( (*in)   % (1U << 20 ) ) >> ( 20  -  12 );
  4458.     ++in;
  4459.     *out |= ( (*in)   % (1U << 20 )  ) <<  12 ;
  4460. }
  4461.  
  4462.  
  4463.  
  4464.  
  4465. void __fastpack21(const uint *  __restrict__ in, uint *  __restrict__  out) {
  4466.     *out |= (*in)   % (1U << 21 ) ;
  4467.     ++in;
  4468.     *out |= ( (*in)   % (1U << 21 )  ) <<  21 ;
  4469.     ++out;
  4470.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  10 );
  4471.     ++in;
  4472.     *out |= ( (*in)   % (1U << 21 )  ) <<  10 ;
  4473.     ++in;
  4474.     *out |= ( (*in)   % (1U << 21 )  ) <<  31 ;
  4475.     ++out;
  4476.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  20 );
  4477.     ++in;
  4478.     *out |= ( (*in)   % (1U << 21 )  ) <<  20 ;
  4479.     ++out;
  4480.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  9 );
  4481.     ++in;
  4482.     *out |= ( (*in)   % (1U << 21 )  ) <<  9 ;
  4483.     ++in;
  4484.     *out |= ( (*in)   % (1U << 21 )  ) <<  30 ;
  4485.     ++out;
  4486.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  19 );
  4487.     ++in;
  4488.     *out |= ( (*in)   % (1U << 21 )  ) <<  19 ;
  4489.     ++out;
  4490.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  8 );
  4491.     ++in;
  4492.     *out |= ( (*in)   % (1U << 21 )  ) <<  8 ;
  4493.     ++in;
  4494.     *out |= ( (*in)   % (1U << 21 )  ) <<  29 ;
  4495.     ++out;
  4496.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  18 );
  4497.     ++in;
  4498.     *out |= ( (*in)   % (1U << 21 )  ) <<  18 ;
  4499.     ++out;
  4500.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  7 );
  4501.     ++in;
  4502.     *out |= ( (*in)   % (1U << 21 )  ) <<  7 ;
  4503.     ++in;
  4504.     *out |= ( (*in)   % (1U << 21 )  ) <<  28 ;
  4505.     ++out;
  4506.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  17 );
  4507.     ++in;
  4508.     *out |= ( (*in)   % (1U << 21 )  ) <<  17 ;
  4509.     ++out;
  4510.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  6 );
  4511.     ++in;
  4512.     *out |= ( (*in)   % (1U << 21 )  ) <<  6 ;
  4513.     ++in;
  4514.     *out |= ( (*in)   % (1U << 21 )  ) <<  27 ;
  4515.     ++out;
  4516.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  16 );
  4517.     ++in;
  4518.     *out |= ( (*in)   % (1U << 21 )  ) <<  16 ;
  4519.     ++out;
  4520.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  5 );
  4521.     ++in;
  4522.     *out |= ( (*in)   % (1U << 21 )  ) <<  5 ;
  4523.     ++in;
  4524.     *out |= ( (*in)   % (1U << 21 )  ) <<  26 ;
  4525.     ++out;
  4526.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  15 );
  4527.     ++in;
  4528.     *out |= ( (*in)   % (1U << 21 )  ) <<  15 ;
  4529.     ++out;
  4530.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  4 );
  4531.     ++in;
  4532.     *out |= ( (*in)   % (1U << 21 )  ) <<  4 ;
  4533.     ++in;
  4534.     *out |= ( (*in)   % (1U << 21 )  ) <<  25 ;
  4535.     ++out;
  4536.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  14 );
  4537.     ++in;
  4538.     *out |= ( (*in)   % (1U << 21 )  ) <<  14 ;
  4539.     ++out;
  4540.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  3 );
  4541.     ++in;
  4542.     *out |= ( (*in)   % (1U << 21 )  ) <<  3 ;
  4543.     ++in;
  4544.     *out |= ( (*in)   % (1U << 21 )  ) <<  24 ;
  4545.     ++out;
  4546.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  13 );
  4547.     ++in;
  4548.     *out |= ( (*in)   % (1U << 21 )  ) <<  13 ;
  4549.     ++out;
  4550.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  2 );
  4551.     ++in;
  4552.     *out |= ( (*in)   % (1U << 21 )  ) <<  2 ;
  4553.     ++in;
  4554.     *out |= ( (*in)   % (1U << 21 )  ) <<  23 ;
  4555.     ++out;
  4556.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  12 );
  4557.     ++in;
  4558.     *out |= ( (*in)   % (1U << 21 )  ) <<  12 ;
  4559.     ++out;
  4560.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  1 );
  4561.     ++in;
  4562.     *out |= ( (*in)   % (1U << 21 )  ) <<  1 ;
  4563.     ++in;
  4564.     *out |= ( (*in)   % (1U << 21 )  ) <<  22 ;
  4565.     ++out;
  4566.     *out |=  ( (*in)   % (1U << 21 ) ) >> ( 21  -  11 );
  4567.     ++in;
  4568.     *out |= ( (*in)   % (1U << 21 )  ) <<  11 ;
  4569. }
  4570.  
  4571.  
  4572.  
  4573.  
  4574. void __fastpack22(const uint *  __restrict__ in, uint *  __restrict__  out) {
  4575.     *out |= (*in)   % (1U << 22 ) ;
  4576.     ++in;
  4577.     *out |= ( (*in)   % (1U << 22 )  ) <<  22 ;
  4578.     ++out;
  4579.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  12 );
  4580.     ++in;
  4581.     *out |= ( (*in)   % (1U << 22 )  ) <<  12 ;
  4582.     ++out;
  4583.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  2 );
  4584.     ++in;
  4585.     *out |= ( (*in)   % (1U << 22 )  ) <<  2 ;
  4586.     ++in;
  4587.     *out |= ( (*in)   % (1U << 22 )  ) <<  24 ;
  4588.     ++out;
  4589.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  14 );
  4590.     ++in;
  4591.     *out |= ( (*in)   % (1U << 22 )  ) <<  14 ;
  4592.     ++out;
  4593.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  4 );
  4594.     ++in;
  4595.     *out |= ( (*in)   % (1U << 22 )  ) <<  4 ;
  4596.     ++in;
  4597.     *out |= ( (*in)   % (1U << 22 )  ) <<  26 ;
  4598.     ++out;
  4599.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  16 );
  4600.     ++in;
  4601.     *out |= ( (*in)   % (1U << 22 )  ) <<  16 ;
  4602.     ++out;
  4603.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  6 );
  4604.     ++in;
  4605.     *out |= ( (*in)   % (1U << 22 )  ) <<  6 ;
  4606.     ++in;
  4607.     *out |= ( (*in)   % (1U << 22 )  ) <<  28 ;
  4608.     ++out;
  4609.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  18 );
  4610.     ++in;
  4611.     *out |= ( (*in)   % (1U << 22 )  ) <<  18 ;
  4612.     ++out;
  4613.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  8 );
  4614.     ++in;
  4615.     *out |= ( (*in)   % (1U << 22 )  ) <<  8 ;
  4616.     ++in;
  4617.     *out |= ( (*in)   % (1U << 22 )  ) <<  30 ;
  4618.     ++out;
  4619.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  20 );
  4620.     ++in;
  4621.     *out |= ( (*in)   % (1U << 22 )  ) <<  20 ;
  4622.     ++out;
  4623.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  10 );
  4624.     ++in;
  4625.     *out |= ( (*in)   % (1U << 22 )  ) <<  10 ;
  4626.     ++out;
  4627.     ++in;
  4628.     *out |= (*in)   % (1U << 22 ) ;
  4629.     ++in;
  4630.     *out |= ( (*in)   % (1U << 22 )  ) <<  22 ;
  4631.     ++out;
  4632.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  12 );
  4633.     ++in;
  4634.     *out |= ( (*in)   % (1U << 22 )  ) <<  12 ;
  4635.     ++out;
  4636.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  2 );
  4637.     ++in;
  4638.     *out |= ( (*in)   % (1U << 22 )  ) <<  2 ;
  4639.     ++in;
  4640.     *out |= ( (*in)   % (1U << 22 )  ) <<  24 ;
  4641.     ++out;
  4642.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  14 );
  4643.     ++in;
  4644.     *out |= ( (*in)   % (1U << 22 )  ) <<  14 ;
  4645.     ++out;
  4646.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  4 );
  4647.     ++in;
  4648.     *out |= ( (*in)   % (1U << 22 )  ) <<  4 ;
  4649.     ++in;
  4650.     *out |= ( (*in)   % (1U << 22 )  ) <<  26 ;
  4651.     ++out;
  4652.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  16 );
  4653.     ++in;
  4654.     *out |= ( (*in)   % (1U << 22 )  ) <<  16 ;
  4655.     ++out;
  4656.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  6 );
  4657.     ++in;
  4658.     *out |= ( (*in)   % (1U << 22 )  ) <<  6 ;
  4659.     ++in;
  4660.     *out |= ( (*in)   % (1U << 22 )  ) <<  28 ;
  4661.     ++out;
  4662.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  18 );
  4663.     ++in;
  4664.     *out |= ( (*in)   % (1U << 22 )  ) <<  18 ;
  4665.     ++out;
  4666.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  8 );
  4667.     ++in;
  4668.     *out |= ( (*in)   % (1U << 22 )  ) <<  8 ;
  4669.     ++in;
  4670.     *out |= ( (*in)   % (1U << 22 )  ) <<  30 ;
  4671.     ++out;
  4672.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  20 );
  4673.     ++in;
  4674.     *out |= ( (*in)   % (1U << 22 )  ) <<  20 ;
  4675.     ++out;
  4676.     *out |=  ( (*in)   % (1U << 22 ) ) >> ( 22  -  10 );
  4677.     ++in;
  4678.     *out |= ( (*in)   % (1U << 22 )  ) <<  10 ;
  4679. }
  4680.  
  4681.  
  4682.  
  4683.  
  4684. void __fastpack23(const uint *  __restrict__ in, uint *  __restrict__  out) {
  4685.     *out |= (*in)   % (1U << 23 ) ;
  4686.     ++in;
  4687.     *out |= ( (*in)   % (1U << 23 )  ) <<  23 ;
  4688.     ++out;
  4689.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  14 );
  4690.     ++in;
  4691.     *out |= ( (*in)   % (1U << 23 )  ) <<  14 ;
  4692.     ++out;
  4693.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  5 );
  4694.     ++in;
  4695.     *out |= ( (*in)   % (1U << 23 )  ) <<  5 ;
  4696.     ++in;
  4697.     *out |= ( (*in)   % (1U << 23 )  ) <<  28 ;
  4698.     ++out;
  4699.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  19 );
  4700.     ++in;
  4701.     *out |= ( (*in)   % (1U << 23 )  ) <<  19 ;
  4702.     ++out;
  4703.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  10 );
  4704.     ++in;
  4705.     *out |= ( (*in)   % (1U << 23 )  ) <<  10 ;
  4706.     ++out;
  4707.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  1 );
  4708.     ++in;
  4709.     *out |= ( (*in)   % (1U << 23 )  ) <<  1 ;
  4710.     ++in;
  4711.     *out |= ( (*in)   % (1U << 23 )  ) <<  24 ;
  4712.     ++out;
  4713.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  15 );
  4714.     ++in;
  4715.     *out |= ( (*in)   % (1U << 23 )  ) <<  15 ;
  4716.     ++out;
  4717.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  6 );
  4718.     ++in;
  4719.     *out |= ( (*in)   % (1U << 23 )  ) <<  6 ;
  4720.     ++in;
  4721.     *out |= ( (*in)   % (1U << 23 )  ) <<  29 ;
  4722.     ++out;
  4723.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  20 );
  4724.     ++in;
  4725.     *out |= ( (*in)   % (1U << 23 )  ) <<  20 ;
  4726.     ++out;
  4727.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  11 );
  4728.     ++in;
  4729.     *out |= ( (*in)   % (1U << 23 )  ) <<  11 ;
  4730.     ++out;
  4731.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  2 );
  4732.     ++in;
  4733.     *out |= ( (*in)   % (1U << 23 )  ) <<  2 ;
  4734.     ++in;
  4735.     *out |= ( (*in)   % (1U << 23 )  ) <<  25 ;
  4736.     ++out;
  4737.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  16 );
  4738.     ++in;
  4739.     *out |= ( (*in)   % (1U << 23 )  ) <<  16 ;
  4740.     ++out;
  4741.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  7 );
  4742.     ++in;
  4743.     *out |= ( (*in)   % (1U << 23 )  ) <<  7 ;
  4744.     ++in;
  4745.     *out |= ( (*in)   % (1U << 23 )  ) <<  30 ;
  4746.     ++out;
  4747.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  21 );
  4748.     ++in;
  4749.     *out |= ( (*in)   % (1U << 23 )  ) <<  21 ;
  4750.     ++out;
  4751.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  12 );
  4752.     ++in;
  4753.     *out |= ( (*in)   % (1U << 23 )  ) <<  12 ;
  4754.     ++out;
  4755.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  3 );
  4756.     ++in;
  4757.     *out |= ( (*in)   % (1U << 23 )  ) <<  3 ;
  4758.     ++in;
  4759.     *out |= ( (*in)   % (1U << 23 )  ) <<  26 ;
  4760.     ++out;
  4761.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  17 );
  4762.     ++in;
  4763.     *out |= ( (*in)   % (1U << 23 )  ) <<  17 ;
  4764.     ++out;
  4765.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  8 );
  4766.     ++in;
  4767.     *out |= ( (*in)   % (1U << 23 )  ) <<  8 ;
  4768.     ++in;
  4769.     *out |= ( (*in)   % (1U << 23 )  ) <<  31 ;
  4770.     ++out;
  4771.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  22 );
  4772.     ++in;
  4773.     *out |= ( (*in)   % (1U << 23 )  ) <<  22 ;
  4774.     ++out;
  4775.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  13 );
  4776.     ++in;
  4777.     *out |= ( (*in)   % (1U << 23 )  ) <<  13 ;
  4778.     ++out;
  4779.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  4 );
  4780.     ++in;
  4781.     *out |= ( (*in)   % (1U << 23 )  ) <<  4 ;
  4782.     ++in;
  4783.     *out |= ( (*in)   % (1U << 23 )  ) <<  27 ;
  4784.     ++out;
  4785.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  18 );
  4786.     ++in;
  4787.     *out |= ( (*in)   % (1U << 23 )  ) <<  18 ;
  4788.     ++out;
  4789.     *out |=  ( (*in)   % (1U << 23 ) ) >> ( 23  -  9 );
  4790.     ++in;
  4791.     *out |= ( (*in)   % (1U << 23 )  ) <<  9 ;
  4792. }
  4793.  
  4794.  
  4795.  
  4796.  
  4797. void __fastpack24(const uint *  __restrict__ in, uint *  __restrict__  out) {
  4798.     *out |= (*in)   % (1U << 24 ) ;
  4799.     ++in;
  4800.     *out |= ( (*in)   % (1U << 24 )  ) <<  24 ;
  4801.     ++out;
  4802.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  16 );
  4803.     ++in;
  4804.     *out |= ( (*in)   % (1U << 24 )  ) <<  16 ;
  4805.     ++out;
  4806.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  8 );
  4807.     ++in;
  4808.     *out |= ( (*in)   % (1U << 24 )  ) <<  8 ;
  4809.     ++out;
  4810.     ++in;
  4811.     *out |= (*in)   % (1U << 24 ) ;
  4812.     ++in;
  4813.     *out |= ( (*in)   % (1U << 24 )  ) <<  24 ;
  4814.     ++out;
  4815.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  16 );
  4816.     ++in;
  4817.     *out |= ( (*in)   % (1U << 24 )  ) <<  16 ;
  4818.     ++out;
  4819.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  8 );
  4820.     ++in;
  4821.     *out |= ( (*in)   % (1U << 24 )  ) <<  8 ;
  4822.     ++out;
  4823.     ++in;
  4824.     *out |= (*in)   % (1U << 24 ) ;
  4825.     ++in;
  4826.     *out |= ( (*in)   % (1U << 24 )  ) <<  24 ;
  4827.     ++out;
  4828.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  16 );
  4829.     ++in;
  4830.     *out |= ( (*in)   % (1U << 24 )  ) <<  16 ;
  4831.     ++out;
  4832.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  8 );
  4833.     ++in;
  4834.     *out |= ( (*in)   % (1U << 24 )  ) <<  8 ;
  4835.     ++out;
  4836.     ++in;
  4837.     *out |= (*in)   % (1U << 24 ) ;
  4838.     ++in;
  4839.     *out |= ( (*in)   % (1U << 24 )  ) <<  24 ;
  4840.     ++out;
  4841.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  16 );
  4842.     ++in;
  4843.     *out |= ( (*in)   % (1U << 24 )  ) <<  16 ;
  4844.     ++out;
  4845.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  8 );
  4846.     ++in;
  4847.     *out |= ( (*in)   % (1U << 24 )  ) <<  8 ;
  4848.     ++out;
  4849.     ++in;
  4850.     *out |= (*in)   % (1U << 24 ) ;
  4851.     ++in;
  4852.     *out |= ( (*in)   % (1U << 24 )  ) <<  24 ;
  4853.     ++out;
  4854.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  16 );
  4855.     ++in;
  4856.     *out |= ( (*in)   % (1U << 24 )  ) <<  16 ;
  4857.     ++out;
  4858.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  8 );
  4859.     ++in;
  4860.     *out |= ( (*in)   % (1U << 24 )  ) <<  8 ;
  4861.     ++out;
  4862.     ++in;
  4863.     *out |= (*in)   % (1U << 24 ) ;
  4864.     ++in;
  4865.     *out |= ( (*in)   % (1U << 24 )  ) <<  24 ;
  4866.     ++out;
  4867.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  16 );
  4868.     ++in;
  4869.     *out |= ( (*in)   % (1U << 24 )  ) <<  16 ;
  4870.     ++out;
  4871.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  8 );
  4872.     ++in;
  4873.     *out |= ( (*in)   % (1U << 24 )  ) <<  8 ;
  4874.     ++out;
  4875.     ++in;
  4876.     *out |= (*in)   % (1U << 24 ) ;
  4877.     ++in;
  4878.     *out |= ( (*in)   % (1U << 24 )  ) <<  24 ;
  4879.     ++out;
  4880.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  16 );
  4881.     ++in;
  4882.     *out |= ( (*in)   % (1U << 24 )  ) <<  16 ;
  4883.     ++out;
  4884.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  8 );
  4885.     ++in;
  4886.     *out |= ( (*in)   % (1U << 24 )  ) <<  8 ;
  4887.     ++out;
  4888.     ++in;
  4889.     *out |= (*in)   % (1U << 24 ) ;
  4890.     ++in;
  4891.     *out |= ( (*in)   % (1U << 24 )  ) <<  24 ;
  4892.     ++out;
  4893.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  16 );
  4894.     ++in;
  4895.     *out |= ( (*in)   % (1U << 24 )  ) <<  16 ;
  4896.     ++out;
  4897.     *out |=  ( (*in)   % (1U << 24 ) ) >> ( 24  -  8 );
  4898.     ++in;
  4899.     *out |= ( (*in)   % (1U << 24 )  ) <<  8 ;
  4900. }
  4901.  
  4902.  
  4903.  
  4904.  
  4905. void __fastpack25(const uint *  __restrict__ in, uint *  __restrict__  out) {
  4906.     *out |= (*in)   % (1U << 25 ) ;
  4907.     ++in;
  4908.     *out |= ( (*in)   % (1U << 25 )  ) <<  25 ;
  4909.     ++out;
  4910.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  18 );
  4911.     ++in;
  4912.     *out |= ( (*in)   % (1U << 25 )  ) <<  18 ;
  4913.     ++out;
  4914.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  11 );
  4915.     ++in;
  4916.     *out |= ( (*in)   % (1U << 25 )  ) <<  11 ;
  4917.     ++out;
  4918.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  4 );
  4919.     ++in;
  4920.     *out |= ( (*in)   % (1U << 25 )  ) <<  4 ;
  4921.     ++in;
  4922.     *out |= ( (*in)   % (1U << 25 )  ) <<  29 ;
  4923.     ++out;
  4924.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  22 );
  4925.     ++in;
  4926.     *out |= ( (*in)   % (1U << 25 )  ) <<  22 ;
  4927.     ++out;
  4928.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  15 );
  4929.     ++in;
  4930.     *out |= ( (*in)   % (1U << 25 )  ) <<  15 ;
  4931.     ++out;
  4932.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  8 );
  4933.     ++in;
  4934.     *out |= ( (*in)   % (1U << 25 )  ) <<  8 ;
  4935.     ++out;
  4936.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  1 );
  4937.     ++in;
  4938.     *out |= ( (*in)   % (1U << 25 )  ) <<  1 ;
  4939.     ++in;
  4940.     *out |= ( (*in)   % (1U << 25 )  ) <<  26 ;
  4941.     ++out;
  4942.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  19 );
  4943.     ++in;
  4944.     *out |= ( (*in)   % (1U << 25 )  ) <<  19 ;
  4945.     ++out;
  4946.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  12 );
  4947.     ++in;
  4948.     *out |= ( (*in)   % (1U << 25 )  ) <<  12 ;
  4949.     ++out;
  4950.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  5 );
  4951.     ++in;
  4952.     *out |= ( (*in)   % (1U << 25 )  ) <<  5 ;
  4953.     ++in;
  4954.     *out |= ( (*in)   % (1U << 25 )  ) <<  30 ;
  4955.     ++out;
  4956.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  23 );
  4957.     ++in;
  4958.     *out |= ( (*in)   % (1U << 25 )  ) <<  23 ;
  4959.     ++out;
  4960.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  16 );
  4961.     ++in;
  4962.     *out |= ( (*in)   % (1U << 25 )  ) <<  16 ;
  4963.     ++out;
  4964.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  9 );
  4965.     ++in;
  4966.     *out |= ( (*in)   % (1U << 25 )  ) <<  9 ;
  4967.     ++out;
  4968.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  2 );
  4969.     ++in;
  4970.     *out |= ( (*in)   % (1U << 25 )  ) <<  2 ;
  4971.     ++in;
  4972.     *out |= ( (*in)   % (1U << 25 )  ) <<  27 ;
  4973.     ++out;
  4974.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  20 );
  4975.     ++in;
  4976.     *out |= ( (*in)   % (1U << 25 )  ) <<  20 ;
  4977.     ++out;
  4978.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  13 );
  4979.     ++in;
  4980.     *out |= ( (*in)   % (1U << 25 )  ) <<  13 ;
  4981.     ++out;
  4982.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  6 );
  4983.     ++in;
  4984.     *out |= ( (*in)   % (1U << 25 )  ) <<  6 ;
  4985.     ++in;
  4986.     *out |= ( (*in)   % (1U << 25 )  ) <<  31 ;
  4987.     ++out;
  4988.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  24 );
  4989.     ++in;
  4990.     *out |= ( (*in)   % (1U << 25 )  ) <<  24 ;
  4991.     ++out;
  4992.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  17 );
  4993.     ++in;
  4994.     *out |= ( (*in)   % (1U << 25 )  ) <<  17 ;
  4995.     ++out;
  4996.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  10 );
  4997.     ++in;
  4998.     *out |= ( (*in)   % (1U << 25 )  ) <<  10 ;
  4999.     ++out;
  5000.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  3 );
  5001.     ++in;
  5002.     *out |= ( (*in)   % (1U << 25 )  ) <<  3 ;
  5003.     ++in;
  5004.     *out |= ( (*in)   % (1U << 25 )  ) <<  28 ;
  5005.     ++out;
  5006.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  21 );
  5007.     ++in;
  5008.     *out |= ( (*in)   % (1U << 25 )  ) <<  21 ;
  5009.     ++out;
  5010.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  14 );
  5011.     ++in;
  5012.     *out |= ( (*in)   % (1U << 25 )  ) <<  14 ;
  5013.     ++out;
  5014.     *out |=  ( (*in)   % (1U << 25 ) ) >> ( 25  -  7 );
  5015.     ++in;
  5016.     *out |= ( (*in)   % (1U << 25 )  ) <<  7 ;
  5017. }
  5018.  
  5019.  
  5020.  
  5021.  
  5022. void __fastpack26(const uint *  __restrict__ in, uint *  __restrict__  out) {
  5023.     *out |= (*in)   % (1U << 26 ) ;
  5024.     ++in;
  5025.     *out |= ( (*in)   % (1U << 26 )  ) <<  26 ;
  5026.     ++out;
  5027.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  20 );
  5028.     ++in;
  5029.     *out |= ( (*in)   % (1U << 26 )  ) <<  20 ;
  5030.     ++out;
  5031.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  14 );
  5032.     ++in;
  5033.     *out |= ( (*in)   % (1U << 26 )  ) <<  14 ;
  5034.     ++out;
  5035.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  8 );
  5036.     ++in;
  5037.     *out |= ( (*in)   % (1U << 26 )  ) <<  8 ;
  5038.     ++out;
  5039.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  2 );
  5040.     ++in;
  5041.     *out |= ( (*in)   % (1U << 26 )  ) <<  2 ;
  5042.     ++in;
  5043.     *out |= ( (*in)   % (1U << 26 )  ) <<  28 ;
  5044.     ++out;
  5045.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  22 );
  5046.     ++in;
  5047.     *out |= ( (*in)   % (1U << 26 )  ) <<  22 ;
  5048.     ++out;
  5049.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  16 );
  5050.     ++in;
  5051.     *out |= ( (*in)   % (1U << 26 )  ) <<  16 ;
  5052.     ++out;
  5053.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  10 );
  5054.     ++in;
  5055.     *out |= ( (*in)   % (1U << 26 )  ) <<  10 ;
  5056.     ++out;
  5057.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  4 );
  5058.     ++in;
  5059.     *out |= ( (*in)   % (1U << 26 )  ) <<  4 ;
  5060.     ++in;
  5061.     *out |= ( (*in)   % (1U << 26 )  ) <<  30 ;
  5062.     ++out;
  5063.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  24 );
  5064.     ++in;
  5065.     *out |= ( (*in)   % (1U << 26 )  ) <<  24 ;
  5066.     ++out;
  5067.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  18 );
  5068.     ++in;
  5069.     *out |= ( (*in)   % (1U << 26 )  ) <<  18 ;
  5070.     ++out;
  5071.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  12 );
  5072.     ++in;
  5073.     *out |= ( (*in)   % (1U << 26 )  ) <<  12 ;
  5074.     ++out;
  5075.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  6 );
  5076.     ++in;
  5077.     *out |= ( (*in)   % (1U << 26 )  ) <<  6 ;
  5078.     ++out;
  5079.     ++in;
  5080.     *out |= (*in)   % (1U << 26 ) ;
  5081.     ++in;
  5082.     *out |= ( (*in)   % (1U << 26 )  ) <<  26 ;
  5083.     ++out;
  5084.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  20 );
  5085.     ++in;
  5086.     *out |= ( (*in)   % (1U << 26 )  ) <<  20 ;
  5087.     ++out;
  5088.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  14 );
  5089.     ++in;
  5090.     *out |= ( (*in)   % (1U << 26 )  ) <<  14 ;
  5091.     ++out;
  5092.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  8 );
  5093.     ++in;
  5094.     *out |= ( (*in)   % (1U << 26 )  ) <<  8 ;
  5095.     ++out;
  5096.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  2 );
  5097.     ++in;
  5098.     *out |= ( (*in)   % (1U << 26 )  ) <<  2 ;
  5099.     ++in;
  5100.     *out |= ( (*in)   % (1U << 26 )  ) <<  28 ;
  5101.     ++out;
  5102.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  22 );
  5103.     ++in;
  5104.     *out |= ( (*in)   % (1U << 26 )  ) <<  22 ;
  5105.     ++out;
  5106.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  16 );
  5107.     ++in;
  5108.     *out |= ( (*in)   % (1U << 26 )  ) <<  16 ;
  5109.     ++out;
  5110.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  10 );
  5111.     ++in;
  5112.     *out |= ( (*in)   % (1U << 26 )  ) <<  10 ;
  5113.     ++out;
  5114.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  4 );
  5115.     ++in;
  5116.     *out |= ( (*in)   % (1U << 26 )  ) <<  4 ;
  5117.     ++in;
  5118.     *out |= ( (*in)   % (1U << 26 )  ) <<  30 ;
  5119.     ++out;
  5120.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  24 );
  5121.     ++in;
  5122.     *out |= ( (*in)   % (1U << 26 )  ) <<  24 ;
  5123.     ++out;
  5124.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  18 );
  5125.     ++in;
  5126.     *out |= ( (*in)   % (1U << 26 )  ) <<  18 ;
  5127.     ++out;
  5128.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  12 );
  5129.     ++in;
  5130.     *out |= ( (*in)   % (1U << 26 )  ) <<  12 ;
  5131.     ++out;
  5132.     *out |=  ( (*in)   % (1U << 26 ) ) >> ( 26  -  6 );
  5133.     ++in;
  5134.     *out |= ( (*in)   % (1U << 26 )  ) <<  6 ;
  5135. }
  5136.  
  5137.  
  5138.  
  5139.  
  5140. void __fastpack27(const uint *  __restrict__ in, uint *  __restrict__  out) {
  5141.     *out |= (*in)   % (1U << 27 ) ;
  5142.     ++in;
  5143.     *out |= ( (*in)   % (1U << 27 )  ) <<  27 ;
  5144.     ++out;
  5145.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  22 );
  5146.     ++in;
  5147.     *out |= ( (*in)   % (1U << 27 )  ) <<  22 ;
  5148.     ++out;
  5149.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  17 );
  5150.     ++in;
  5151.     *out |= ( (*in)   % (1U << 27 )  ) <<  17 ;
  5152.     ++out;
  5153.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  12 );
  5154.     ++in;
  5155.     *out |= ( (*in)   % (1U << 27 )  ) <<  12 ;
  5156.     ++out;
  5157.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  7 );
  5158.     ++in;
  5159.     *out |= ( (*in)   % (1U << 27 )  ) <<  7 ;
  5160.     ++out;
  5161.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  2 );
  5162.     ++in;
  5163.     *out |= ( (*in)   % (1U << 27 )  ) <<  2 ;
  5164.     ++in;
  5165.     *out |= ( (*in)   % (1U << 27 )  ) <<  29 ;
  5166.     ++out;
  5167.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  24 );
  5168.     ++in;
  5169.     *out |= ( (*in)   % (1U << 27 )  ) <<  24 ;
  5170.     ++out;
  5171.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  19 );
  5172.     ++in;
  5173.     *out |= ( (*in)   % (1U << 27 )  ) <<  19 ;
  5174.     ++out;
  5175.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  14 );
  5176.     ++in;
  5177.     *out |= ( (*in)   % (1U << 27 )  ) <<  14 ;
  5178.     ++out;
  5179.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  9 );
  5180.     ++in;
  5181.     *out |= ( (*in)   % (1U << 27 )  ) <<  9 ;
  5182.     ++out;
  5183.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  4 );
  5184.     ++in;
  5185.     *out |= ( (*in)   % (1U << 27 )  ) <<  4 ;
  5186.     ++in;
  5187.     *out |= ( (*in)   % (1U << 27 )  ) <<  31 ;
  5188.     ++out;
  5189.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  26 );
  5190.     ++in;
  5191.     *out |= ( (*in)   % (1U << 27 )  ) <<  26 ;
  5192.     ++out;
  5193.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  21 );
  5194.     ++in;
  5195.     *out |= ( (*in)   % (1U << 27 )  ) <<  21 ;
  5196.     ++out;
  5197.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  16 );
  5198.     ++in;
  5199.     *out |= ( (*in)   % (1U << 27 )  ) <<  16 ;
  5200.     ++out;
  5201.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  11 );
  5202.     ++in;
  5203.     *out |= ( (*in)   % (1U << 27 )  ) <<  11 ;
  5204.     ++out;
  5205.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  6 );
  5206.     ++in;
  5207.     *out |= ( (*in)   % (1U << 27 )  ) <<  6 ;
  5208.     ++out;
  5209.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  1 );
  5210.     ++in;
  5211.     *out |= ( (*in)   % (1U << 27 )  ) <<  1 ;
  5212.     ++in;
  5213.     *out |= ( (*in)   % (1U << 27 )  ) <<  28 ;
  5214.     ++out;
  5215.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  23 );
  5216.     ++in;
  5217.     *out |= ( (*in)   % (1U << 27 )  ) <<  23 ;
  5218.     ++out;
  5219.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  18 );
  5220.     ++in;
  5221.     *out |= ( (*in)   % (1U << 27 )  ) <<  18 ;
  5222.     ++out;
  5223.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  13 );
  5224.     ++in;
  5225.     *out |= ( (*in)   % (1U << 27 )  ) <<  13 ;
  5226.     ++out;
  5227.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  8 );
  5228.     ++in;
  5229.     *out |= ( (*in)   % (1U << 27 )  ) <<  8 ;
  5230.     ++out;
  5231.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  3 );
  5232.     ++in;
  5233.     *out |= ( (*in)   % (1U << 27 )  ) <<  3 ;
  5234.     ++in;
  5235.     *out |= ( (*in)   % (1U << 27 )  ) <<  30 ;
  5236.     ++out;
  5237.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  25 );
  5238.     ++in;
  5239.     *out |= ( (*in)   % (1U << 27 )  ) <<  25 ;
  5240.     ++out;
  5241.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  20 );
  5242.     ++in;
  5243.     *out |= ( (*in)   % (1U << 27 )  ) <<  20 ;
  5244.     ++out;
  5245.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  15 );
  5246.     ++in;
  5247.     *out |= ( (*in)   % (1U << 27 )  ) <<  15 ;
  5248.     ++out;
  5249.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  10 );
  5250.     ++in;
  5251.     *out |= ( (*in)   % (1U << 27 )  ) <<  10 ;
  5252.     ++out;
  5253.     *out |=  ( (*in)   % (1U << 27 ) ) >> ( 27  -  5 );
  5254.     ++in;
  5255.     *out |= ( (*in)   % (1U << 27 )  ) <<  5 ;
  5256. }
  5257.  
  5258.  
  5259.  
  5260.  
  5261. void __fastpack28(const uint *  __restrict__ in, uint *  __restrict__  out) {
  5262.     *out |= (*in)   % (1U << 28 ) ;
  5263.     ++in;
  5264.     *out |= ( (*in)   % (1U << 28 )  ) <<  28 ;
  5265.     ++out;
  5266.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  24 );
  5267.     ++in;
  5268.     *out |= ( (*in)   % (1U << 28 )  ) <<  24 ;
  5269.     ++out;
  5270.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  20 );
  5271.     ++in;
  5272.     *out |= ( (*in)   % (1U << 28 )  ) <<  20 ;
  5273.     ++out;
  5274.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  16 );
  5275.     ++in;
  5276.     *out |= ( (*in)   % (1U << 28 )  ) <<  16 ;
  5277.     ++out;
  5278.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  12 );
  5279.     ++in;
  5280.     *out |= ( (*in)   % (1U << 28 )  ) <<  12 ;
  5281.     ++out;
  5282.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  8 );
  5283.     ++in;
  5284.     *out |= ( (*in)   % (1U << 28 )  ) <<  8 ;
  5285.     ++out;
  5286.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  4 );
  5287.     ++in;
  5288.     *out |= ( (*in)   % (1U << 28 )  ) <<  4 ;
  5289.     ++out;
  5290.     ++in;
  5291.     *out |= (*in)   % (1U << 28 ) ;
  5292.     ++in;
  5293.     *out |= ( (*in)   % (1U << 28 )  ) <<  28 ;
  5294.     ++out;
  5295.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  24 );
  5296.     ++in;
  5297.     *out |= ( (*in)   % (1U << 28 )  ) <<  24 ;
  5298.     ++out;
  5299.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  20 );
  5300.     ++in;
  5301.     *out |= ( (*in)   % (1U << 28 )  ) <<  20 ;
  5302.     ++out;
  5303.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  16 );
  5304.     ++in;
  5305.     *out |= ( (*in)   % (1U << 28 )  ) <<  16 ;
  5306.     ++out;
  5307.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  12 );
  5308.     ++in;
  5309.     *out |= ( (*in)   % (1U << 28 )  ) <<  12 ;
  5310.     ++out;
  5311.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  8 );
  5312.     ++in;
  5313.     *out |= ( (*in)   % (1U << 28 )  ) <<  8 ;
  5314.     ++out;
  5315.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  4 );
  5316.     ++in;
  5317.     *out |= ( (*in)   % (1U << 28 )  ) <<  4 ;
  5318.     ++out;
  5319.     ++in;
  5320.     *out |= (*in)   % (1U << 28 ) ;
  5321.     ++in;
  5322.     *out |= ( (*in)   % (1U << 28 )  ) <<  28 ;
  5323.     ++out;
  5324.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  24 );
  5325.     ++in;
  5326.     *out |= ( (*in)   % (1U << 28 )  ) <<  24 ;
  5327.     ++out;
  5328.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  20 );
  5329.     ++in;
  5330.     *out |= ( (*in)   % (1U << 28 )  ) <<  20 ;
  5331.     ++out;
  5332.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  16 );
  5333.     ++in;
  5334.     *out |= ( (*in)   % (1U << 28 )  ) <<  16 ;
  5335.     ++out;
  5336.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  12 );
  5337.     ++in;
  5338.     *out |= ( (*in)   % (1U << 28 )  ) <<  12 ;
  5339.     ++out;
  5340.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  8 );
  5341.     ++in;
  5342.     *out |= ( (*in)   % (1U << 28 )  ) <<  8 ;
  5343.     ++out;
  5344.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  4 );
  5345.     ++in;
  5346.     *out |= ( (*in)   % (1U << 28 )  ) <<  4 ;
  5347.     ++out;
  5348.     ++in;
  5349.     *out |= (*in)   % (1U << 28 ) ;
  5350.     ++in;
  5351.     *out |= ( (*in)   % (1U << 28 )  ) <<  28 ;
  5352.     ++out;
  5353.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  24 );
  5354.     ++in;
  5355.     *out |= ( (*in)   % (1U << 28 )  ) <<  24 ;
  5356.     ++out;
  5357.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  20 );
  5358.     ++in;
  5359.     *out |= ( (*in)   % (1U << 28 )  ) <<  20 ;
  5360.     ++out;
  5361.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  16 );
  5362.     ++in;
  5363.     *out |= ( (*in)   % (1U << 28 )  ) <<  16 ;
  5364.     ++out;
  5365.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  12 );
  5366.     ++in;
  5367.     *out |= ( (*in)   % (1U << 28 )  ) <<  12 ;
  5368.     ++out;
  5369.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  8 );
  5370.     ++in;
  5371.     *out |= ( (*in)   % (1U << 28 )  ) <<  8 ;
  5372.     ++out;
  5373.     *out |=  ( (*in)   % (1U << 28 ) ) >> ( 28  -  4 );
  5374.     ++in;
  5375.     *out |= ( (*in)   % (1U << 28 )  ) <<  4 ;
  5376. }
  5377.  
  5378.  
  5379.  
  5380.  
  5381. void __fastpack29(const uint *  __restrict__ in, uint *  __restrict__  out) {
  5382.     *out |= (*in)   % (1U << 29 ) ;
  5383.     ++in;
  5384.     *out |= ( (*in)   % (1U << 29 )  ) <<  29 ;
  5385.     ++out;
  5386.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  26 );
  5387.     ++in;
  5388.     *out |= ( (*in)   % (1U << 29 )  ) <<  26 ;
  5389.     ++out;
  5390.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  23 );
  5391.     ++in;
  5392.     *out |= ( (*in)   % (1U << 29 )  ) <<  23 ;
  5393.     ++out;
  5394.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  20 );
  5395.     ++in;
  5396.     *out |= ( (*in)   % (1U << 29 )  ) <<  20 ;
  5397.     ++out;
  5398.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  17 );
  5399.     ++in;
  5400.     *out |= ( (*in)   % (1U << 29 )  ) <<  17 ;
  5401.     ++out;
  5402.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  14 );
  5403.     ++in;
  5404.     *out |= ( (*in)   % (1U << 29 )  ) <<  14 ;
  5405.     ++out;
  5406.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  11 );
  5407.     ++in;
  5408.     *out |= ( (*in)   % (1U << 29 )  ) <<  11 ;
  5409.     ++out;
  5410.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  8 );
  5411.     ++in;
  5412.     *out |= ( (*in)   % (1U << 29 )  ) <<  8 ;
  5413.     ++out;
  5414.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  5 );
  5415.     ++in;
  5416.     *out |= ( (*in)   % (1U << 29 )  ) <<  5 ;
  5417.     ++out;
  5418.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  2 );
  5419.     ++in;
  5420.     *out |= ( (*in)   % (1U << 29 )  ) <<  2 ;
  5421.     ++in;
  5422.     *out |= ( (*in)   % (1U << 29 )  ) <<  31 ;
  5423.     ++out;
  5424.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  28 );
  5425.     ++in;
  5426.     *out |= ( (*in)   % (1U << 29 )  ) <<  28 ;
  5427.     ++out;
  5428.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  25 );
  5429.     ++in;
  5430.     *out |= ( (*in)   % (1U << 29 )  ) <<  25 ;
  5431.     ++out;
  5432.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  22 );
  5433.     ++in;
  5434.     *out |= ( (*in)   % (1U << 29 )  ) <<  22 ;
  5435.     ++out;
  5436.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  19 );
  5437.     ++in;
  5438.     *out |= ( (*in)   % (1U << 29 )  ) <<  19 ;
  5439.     ++out;
  5440.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  16 );
  5441.     ++in;
  5442.     *out |= ( (*in)   % (1U << 29 )  ) <<  16 ;
  5443.     ++out;
  5444.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  13 );
  5445.     ++in;
  5446.     *out |= ( (*in)   % (1U << 29 )  ) <<  13 ;
  5447.     ++out;
  5448.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  10 );
  5449.     ++in;
  5450.     *out |= ( (*in)   % (1U << 29 )  ) <<  10 ;
  5451.     ++out;
  5452.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  7 );
  5453.     ++in;
  5454.     *out |= ( (*in)   % (1U << 29 )  ) <<  7 ;
  5455.     ++out;
  5456.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  4 );
  5457.     ++in;
  5458.     *out |= ( (*in)   % (1U << 29 )  ) <<  4 ;
  5459.     ++out;
  5460.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  1 );
  5461.     ++in;
  5462.     *out |= ( (*in)   % (1U << 29 )  ) <<  1 ;
  5463.     ++in;
  5464.     *out |= ( (*in)   % (1U << 29 )  ) <<  30 ;
  5465.     ++out;
  5466.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  27 );
  5467.     ++in;
  5468.     *out |= ( (*in)   % (1U << 29 )  ) <<  27 ;
  5469.     ++out;
  5470.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  24 );
  5471.     ++in;
  5472.     *out |= ( (*in)   % (1U << 29 )  ) <<  24 ;
  5473.     ++out;
  5474.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  21 );
  5475.     ++in;
  5476.     *out |= ( (*in)   % (1U << 29 )  ) <<  21 ;
  5477.     ++out;
  5478.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  18 );
  5479.     ++in;
  5480.     *out |= ( (*in)   % (1U << 29 )  ) <<  18 ;
  5481.     ++out;
  5482.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  15 );
  5483.     ++in;
  5484.     *out |= ( (*in)   % (1U << 29 )  ) <<  15 ;
  5485.     ++out;
  5486.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  12 );
  5487.     ++in;
  5488.     *out |= ( (*in)   % (1U << 29 )  ) <<  12 ;
  5489.     ++out;
  5490.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  9 );
  5491.     ++in;
  5492.     *out |= ( (*in)   % (1U << 29 )  ) <<  9 ;
  5493.     ++out;
  5494.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  6 );
  5495.     ++in;
  5496.     *out |= ( (*in)   % (1U << 29 )  ) <<  6 ;
  5497.     ++out;
  5498.     *out |=  ( (*in)   % (1U << 29 ) ) >> ( 29  -  3 );
  5499.     ++in;
  5500.     *out |= ( (*in)   % (1U << 29 )  ) <<  3 ;
  5501. }
  5502.  
  5503.  
  5504.  
  5505.  
  5506. void __fastpack30(const uint *  __restrict__ in, uint *  __restrict__  out) {
  5507.     *out |= (*in)   % (1U << 30 ) ;
  5508.     ++in;
  5509.     *out |= ( (*in)   % (1U << 30 )  ) <<  30 ;
  5510.     ++out;
  5511.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  28 );
  5512.     ++in;
  5513.     *out |= ( (*in)   % (1U << 30 )  ) <<  28 ;
  5514.     ++out;
  5515.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  26 );
  5516.     ++in;
  5517.     *out |= ( (*in)   % (1U << 30 )  ) <<  26 ;
  5518.     ++out;
  5519.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  24 );
  5520.     ++in;
  5521.     *out |= ( (*in)   % (1U << 30 )  ) <<  24 ;
  5522.     ++out;
  5523.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  22 );
  5524.     ++in;
  5525.     *out |= ( (*in)   % (1U << 30 )  ) <<  22 ;
  5526.     ++out;
  5527.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  20 );
  5528.     ++in;
  5529.     *out |= ( (*in)   % (1U << 30 )  ) <<  20 ;
  5530.     ++out;
  5531.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  18 );
  5532.     ++in;
  5533.     *out |= ( (*in)   % (1U << 30 )  ) <<  18 ;
  5534.     ++out;
  5535.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  16 );
  5536.     ++in;
  5537.     *out |= ( (*in)   % (1U << 30 )  ) <<  16 ;
  5538.     ++out;
  5539.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  14 );
  5540.     ++in;
  5541.     *out |= ( (*in)   % (1U << 30 )  ) <<  14 ;
  5542.     ++out;
  5543.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  12 );
  5544.     ++in;
  5545.     *out |= ( (*in)   % (1U << 30 )  ) <<  12 ;
  5546.     ++out;
  5547.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  10 );
  5548.     ++in;
  5549.     *out |= ( (*in)   % (1U << 30 )  ) <<  10 ;
  5550.     ++out;
  5551.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  8 );
  5552.     ++in;
  5553.     *out |= ( (*in)   % (1U << 30 )  ) <<  8 ;
  5554.     ++out;
  5555.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  6 );
  5556.     ++in;
  5557.     *out |= ( (*in)   % (1U << 30 )  ) <<  6 ;
  5558.     ++out;
  5559.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  4 );
  5560.     ++in;
  5561.     *out |= ( (*in)   % (1U << 30 )  ) <<  4 ;
  5562.     ++out;
  5563.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  2 );
  5564.     ++in;
  5565.     *out |= ( (*in)   % (1U << 30 )  ) <<  2 ;
  5566.     ++out;
  5567.     ++in;
  5568.     *out |= (*in)   % (1U << 30 ) ;
  5569.     ++in;
  5570.     *out |= ( (*in)   % (1U << 30 )  ) <<  30 ;
  5571.     ++out;
  5572.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  28 );
  5573.     ++in;
  5574.     *out |= ( (*in)   % (1U << 30 )  ) <<  28 ;
  5575.     ++out;
  5576.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  26 );
  5577.     ++in;
  5578.     *out |= ( (*in)   % (1U << 30 )  ) <<  26 ;
  5579.     ++out;
  5580.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  24 );
  5581.     ++in;
  5582.     *out |= ( (*in)   % (1U << 30 )  ) <<  24 ;
  5583.     ++out;
  5584.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  22 );
  5585.     ++in;
  5586.     *out |= ( (*in)   % (1U << 30 )  ) <<  22 ;
  5587.     ++out;
  5588.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  20 );
  5589.     ++in;
  5590.     *out |= ( (*in)   % (1U << 30 )  ) <<  20 ;
  5591.     ++out;
  5592.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  18 );
  5593.     ++in;
  5594.     *out |= ( (*in)   % (1U << 30 )  ) <<  18 ;
  5595.     ++out;
  5596.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  16 );
  5597.     ++in;
  5598.     *out |= ( (*in)   % (1U << 30 )  ) <<  16 ;
  5599.     ++out;
  5600.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  14 );
  5601.     ++in;
  5602.     *out |= ( (*in)   % (1U << 30 )  ) <<  14 ;
  5603.     ++out;
  5604.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  12 );
  5605.     ++in;
  5606.     *out |= ( (*in)   % (1U << 30 )  ) <<  12 ;
  5607.     ++out;
  5608.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  10 );
  5609.     ++in;
  5610.     *out |= ( (*in)   % (1U << 30 )  ) <<  10 ;
  5611.     ++out;
  5612.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  8 );
  5613.     ++in;
  5614.     *out |= ( (*in)   % (1U << 30 )  ) <<  8 ;
  5615.     ++out;
  5616.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  6 );
  5617.     ++in;
  5618.     *out |= ( (*in)   % (1U << 30 )  ) <<  6 ;
  5619.     ++out;
  5620.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  4 );
  5621.     ++in;
  5622.     *out |= ( (*in)   % (1U << 30 )  ) <<  4 ;
  5623.     ++out;
  5624.     *out |=  ( (*in)   % (1U << 30 ) ) >> ( 30  -  2 );
  5625.     ++in;
  5626.     *out |= ( (*in)   % (1U << 30 )  ) <<  2 ;
  5627. }
  5628.  
  5629.  
  5630.  
  5631.  
  5632. void __fastpack31(const uint *  __restrict__ in, uint *  __restrict__  out) {
  5633.     *out |= (*in)   % (1U << 31 ) ;
  5634.     ++in;
  5635.     *out |= ( (*in)   % (1U << 31 )  ) <<  31 ;
  5636.     ++out;
  5637.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  30 );
  5638.     ++in;
  5639.     *out |= ( (*in)   % (1U << 31 )  ) <<  30 ;
  5640.     ++out;
  5641.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  29 );
  5642.     ++in;
  5643.     *out |= ( (*in)   % (1U << 31 )  ) <<  29 ;
  5644.     ++out;
  5645.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  28 );
  5646.     ++in;
  5647.     *out |= ( (*in)   % (1U << 31 )  ) <<  28 ;
  5648.     ++out;
  5649.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  27 );
  5650.     ++in;
  5651.     *out |= ( (*in)   % (1U << 31 )  ) <<  27 ;
  5652.     ++out;
  5653.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  26 );
  5654.     ++in;
  5655.     *out |= ( (*in)   % (1U << 31 )  ) <<  26 ;
  5656.     ++out;
  5657.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  25 );
  5658.     ++in;
  5659.     *out |= ( (*in)   % (1U << 31 )  ) <<  25 ;
  5660.     ++out;
  5661.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  24 );
  5662.     ++in;
  5663.     *out |= ( (*in)   % (1U << 31 )  ) <<  24 ;
  5664.     ++out;
  5665.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  23 );
  5666.     ++in;
  5667.     *out |= ( (*in)   % (1U << 31 )  ) <<  23 ;
  5668.     ++out;
  5669.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  22 );
  5670.     ++in;
  5671.     *out |= ( (*in)   % (1U << 31 )  ) <<  22 ;
  5672.     ++out;
  5673.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  21 );
  5674.     ++in;
  5675.     *out |= ( (*in)   % (1U << 31 )  ) <<  21 ;
  5676.     ++out;
  5677.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  20 );
  5678.     ++in;
  5679.     *out |= ( (*in)   % (1U << 31 )  ) <<  20 ;
  5680.     ++out;
  5681.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  19 );
  5682.     ++in;
  5683.     *out |= ( (*in)   % (1U << 31 )  ) <<  19 ;
  5684.     ++out;
  5685.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  18 );
  5686.     ++in;
  5687.     *out |= ( (*in)   % (1U << 31 )  ) <<  18 ;
  5688.     ++out;
  5689.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  17 );
  5690.     ++in;
  5691.     *out |= ( (*in)   % (1U << 31 )  ) <<  17 ;
  5692.     ++out;
  5693.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  16 );
  5694.     ++in;
  5695.     *out |= ( (*in)   % (1U << 31 )  ) <<  16 ;
  5696.     ++out;
  5697.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  15 );
  5698.     ++in;
  5699.     *out |= ( (*in)   % (1U << 31 )  ) <<  15 ;
  5700.     ++out;
  5701.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  14 );
  5702.     ++in;
  5703.     *out |= ( (*in)   % (1U << 31 )  ) <<  14 ;
  5704.     ++out;
  5705.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  13 );
  5706.     ++in;
  5707.     *out |= ( (*in)   % (1U << 31 )  ) <<  13 ;
  5708.     ++out;
  5709.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  12 );
  5710.     ++in;
  5711.     *out |= ( (*in)   % (1U << 31 )  ) <<  12 ;
  5712.     ++out;
  5713.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  11 );
  5714.     ++in;
  5715.     *out |= ( (*in)   % (1U << 31 )  ) <<  11 ;
  5716.     ++out;
  5717.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  10 );
  5718.     ++in;
  5719.     *out |= ( (*in)   % (1U << 31 )  ) <<  10 ;
  5720.     ++out;
  5721.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  9 );
  5722.     ++in;
  5723.     *out |= ( (*in)   % (1U << 31 )  ) <<  9 ;
  5724.     ++out;
  5725.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  8 );
  5726.     ++in;
  5727.     *out |= ( (*in)   % (1U << 31 )  ) <<  8 ;
  5728.     ++out;
  5729.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  7 );
  5730.     ++in;
  5731.     *out |= ( (*in)   % (1U << 31 )  ) <<  7 ;
  5732.     ++out;
  5733.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  6 );
  5734.     ++in;
  5735.     *out |= ( (*in)   % (1U << 31 )  ) <<  6 ;
  5736.     ++out;
  5737.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  5 );
  5738.     ++in;
  5739.     *out |= ( (*in)   % (1U << 31 )  ) <<  5 ;
  5740.     ++out;
  5741.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  4 );
  5742.     ++in;
  5743.     *out |= ( (*in)   % (1U << 31 )  ) <<  4 ;
  5744.     ++out;
  5745.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  3 );
  5746.     ++in;
  5747.     *out |= ( (*in)   % (1U << 31 )  ) <<  3 ;
  5748.     ++out;
  5749.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  2 );
  5750.     ++in;
  5751.     *out |= ( (*in)   % (1U << 31 )  ) <<  2 ;
  5752.     ++out;
  5753.     *out |=  ( (*in)   % (1U << 31 ) ) >> ( 31  -  1 );
  5754.     ++in;
  5755.     *out |= ( (*in)   % (1U << 31 )  ) <<  1 ;
  5756. }
  5757.  
  5758.  
  5759.  
  5760.  
  5761. void __fastpack32(const uint *  __restrict__ in, uint *  __restrict__  out) {
  5762.     *out = *in;
  5763.     ++out;
  5764.     ++in;
  5765.     *out = *in;
  5766.     ++out;
  5767.     ++in;
  5768.     *out = *in;
  5769.     ++out;
  5770.     ++in;
  5771.     *out = *in;
  5772.     ++out;
  5773.     ++in;
  5774.     *out = *in;
  5775.     ++out;
  5776.     ++in;
  5777.     *out = *in;
  5778.     ++out;
  5779.     ++in;
  5780.     *out = *in;
  5781.     ++out;
  5782.     ++in;
  5783.     *out = *in;
  5784.     ++out;
  5785.     ++in;
  5786.     *out = *in;
  5787.     ++out;
  5788.     ++in;
  5789.     *out = *in;
  5790.     ++out;
  5791.     ++in;
  5792.     *out = *in;
  5793.     ++out;
  5794.     ++in;
  5795.     *out = *in;
  5796.     ++out;
  5797.     ++in;
  5798.     *out = *in;
  5799.     ++out;
  5800.     ++in;
  5801.     *out = *in;
  5802.     ++out;
  5803.     ++in;
  5804.     *out = *in;
  5805.     ++out;
  5806.     ++in;
  5807.     *out = *in;
  5808.     ++out;
  5809.     ++in;
  5810.     *out = *in;
  5811.     ++out;
  5812.     ++in;
  5813.     *out = *in;
  5814.     ++out;
  5815.     ++in;
  5816.     *out = *in;
  5817.     ++out;
  5818.     ++in;
  5819.     *out = *in;
  5820.     ++out;
  5821.     ++in;
  5822.     *out = *in;
  5823.     ++out;
  5824.     ++in;
  5825.     *out = *in;
  5826.     ++out;
  5827.     ++in;
  5828.     *out = *in;
  5829.     ++out;
  5830.     ++in;
  5831.     *out = *in;
  5832.     ++out;
  5833.     ++in;
  5834.     *out = *in;
  5835.     ++out;
  5836.     ++in;
  5837.     *out = *in;
  5838.     ++out;
  5839.     ++in;
  5840.     *out = *in;
  5841.     ++out;
  5842.     ++in;
  5843.     *out = *in;
  5844.     ++out;
  5845.     ++in;
  5846.     *out = *in;
  5847.     ++out;
  5848.     ++in;
  5849.     *out = *in;
  5850.     ++out;
  5851.     ++in;
  5852.     *out = *in;
  5853.     ++out;
  5854.     ++in;
  5855.     *out = *in;
  5856. }
  5857.  
  5858.  
  5859.  
  5860.  
  5861. void __fastunpack4(const uint *  __restrict__ in, uint *  __restrict__  out) {
  5862.   for(uint outer=0; outer< 4 ;++outer) {
  5863.     for( uint inwordpointer =  0 ;inwordpointer<32; inwordpointer +=  4 )
  5864.       *(out++) = ( (*in) >> inwordpointer )   % (1U << 4 ) ;
  5865.     ++in;
  5866.   }
  5867. }
  5868.  
  5869.  
  5870.  
  5871.  
  5872. void __fastunpack8(const uint *  __restrict__ in, uint *  __restrict__  out) {
  5873.   for(uint outer=0; outer< 8 ;++outer) {
  5874.     for( uint inwordpointer =  0 ;inwordpointer<32; inwordpointer +=  8 )
  5875.       *(out++) = ( (*in) >> inwordpointer )   % (1U << 8 ) ;
  5876.     ++in;
  5877.   }
  5878. }
  5879.  
  5880.  
  5881.  
  5882. void __fastunpack16(const uint *  __restrict__ in, uint *  __restrict__  out) {
  5883.   for(uint outer=0; outer< 16 ;++outer) {
  5884.     for( uint inwordpointer =  0 ;inwordpointer<32; inwordpointer +=  16 )
  5885.       *(out++) = ( (*in) >> inwordpointer )   % (1U << 16 ) ;
  5886.     ++in;
  5887.   }
  5888. }
  5889.  
  5890.  
  5891.  
  5892.  
  5893. void __fastpack4(const uint *  __restrict__ in, uint *  __restrict__  out) {
  5894.   for(uint outer=0; outer< 4 ;++outer) {
  5895.     for( uint inwordpointer =  0 ;inwordpointer<32; inwordpointer +=  4 )
  5896.       *out |= ((*(in++))   % (1U << 4 )  ) << inwordpointer  ;
  5897.     ++out;
  5898.   }
  5899. }
  5900.  
  5901.  
  5902.  
  5903.  
  5904. void __fastpack8(const uint *  __restrict__ in, uint *  __restrict__  out) {
  5905.   for(uint outer=0; outer< 8 ;++outer) {
  5906.     for( uint inwordpointer =  0 ;inwordpointer<32; inwordpointer +=  8 )
  5907.       *out |= ((*(in++))   % (1U << 8 )  ) << inwordpointer  ;
  5908.     ++out;
  5909.   }
  5910. }
  5911.  
  5912.  
  5913.  
  5914.  
  5915. void __fastpack16(const uint *  __restrict__ in, uint *  __restrict__  out) {
  5916.   for(uint outer=0; outer< 16 ;++outer) {
  5917.     for( uint inwordpointer =  0 ;inwordpointer<32; inwordpointer +=  16 )
  5918.       *out |= ((*(in++))   % (1U << 16 )  ) << inwordpointer  ;
  5919.     ++out;
  5920.   }
  5921. }
  5922.  
  5923.  
  5924.  
  5925. void fastunpack(const uint *  __restrict__ in, uint *  __restrict__  out, const uint bit) {
  5926.     switch(bit) {
  5927.             case 1:
  5928.                 __fastunpack1(in,out);
  5929.                 break;
  5930.             case 2:
  5931.                 __fastunpack2(in,out);
  5932.                 break;
  5933.             case 3:
  5934.                 __fastunpack3(in,out);
  5935.                 break;
  5936.             case 4:
  5937.                 __fastunpack4(in,out);
  5938.                 break;
  5939.             case 5:
  5940.                 __fastunpack5(in,out);
  5941.                 break;
  5942.             case 6:
  5943.                 __fastunpack6(in,out);
  5944.                 break;
  5945.             case 7:
  5946.                 __fastunpack7(in,out);
  5947.                 break;
  5948.             case 8:
  5949.                 __fastunpack8(in,out);
  5950.                 break;
  5951.             case 9:
  5952.                 __fastunpack9(in,out);
  5953.                 break;
  5954.             case 10:
  5955.                 __fastunpack10(in,out);
  5956.                 break;
  5957.             case 11:
  5958.                 __fastunpack11(in,out);
  5959.                 break;
  5960.             case 12:
  5961.                 __fastunpack12(in,out);
  5962.                 break;
  5963.             case 13:
  5964.                 __fastunpack13(in,out);
  5965.                 break;
  5966.             case 14:
  5967.                 __fastunpack14(in,out);
  5968.                 break;
  5969.             case 15:
  5970.                 __fastunpack15(in,out);
  5971.                 break;
  5972.             case 16:
  5973.                 __fastunpack16(in,out);
  5974.                 break;
  5975.             case 17:
  5976.                 __fastunpack17(in,out);
  5977.                 break;
  5978.             case 18:
  5979.                 __fastunpack18(in,out);
  5980.                 break;
  5981.             case 19:
  5982.                 __fastunpack19(in,out);
  5983.                 break;
  5984.             case 20:
  5985.                 __fastunpack20(in,out);
  5986.                 break;
  5987.             case 21:
  5988.                 __fastunpack21(in,out);
  5989.                 break;
  5990.             case 22:
  5991.                 __fastunpack22(in,out);
  5992.                 break;
  5993.             case 23:
  5994.                 __fastunpack23(in,out);
  5995.                 break;
  5996.             case 24:
  5997.                 __fastunpack24(in,out);
  5998.                 break;
  5999.             case 25:
  6000.                 __fastunpack25(in,out);
  6001.                 break;
  6002.             case 26:
  6003.                 __fastunpack26(in,out);
  6004.                 break;
  6005.             case 27:
  6006.                 __fastunpack27(in,out);
  6007.                 break;
  6008.             case 28:
  6009.                 __fastunpack28(in,out);
  6010.                 break;
  6011.             case 29:
  6012.                 __fastunpack29(in,out);
  6013.                 break;
  6014.             case 30:
  6015.                 __fastunpack30(in,out);
  6016.                 break;
  6017.             case 31:
  6018.                 __fastunpack31(in,out);
  6019.                 break;
  6020.             case 32:
  6021.                 __fastunpack32(in,out);
  6022.                 break;
  6023.             default:
  6024.                 break;
  6025.     }
  6026. }
  6027.  
  6028.  
  6029. void fastpack(const uint *  __restrict__ in, uint *  __restrict__  out, const uint bit) {
  6030.     switch(bit) {
  6031.             case 1:
  6032.                 __fastpack1(in,out);
  6033.                 break;
  6034.             case 2:
  6035.                 __fastpack2(in,out);
  6036.                 break;
  6037.             case 3:
  6038.                 __fastpack3(in,out);
  6039.                 break;
  6040.             case 4:
  6041.                 __fastpack4(in,out);
  6042.                 break;
  6043.             case 5:
  6044.                 __fastpack5(in,out);
  6045.                 break;
  6046.             case 6:
  6047.                 __fastpack6(in,out);
  6048.                 break;
  6049.             case 7:
  6050.                 __fastpack7(in,out);
  6051.                 break;
  6052.             case 8:
  6053.                 __fastpack8(in,out);
  6054.                 break;
  6055.             case 9:
  6056.                 __fastpack9(in,out);
  6057.                 break;
  6058.             case 10:
  6059.                 __fastpack10(in,out);
  6060.                 break;
  6061.             case 11:
  6062.                 __fastpack11(in,out);
  6063.                 break;
  6064.             case 12:
  6065.                 __fastpack12(in,out);
  6066.                 break;
  6067.             case 13:
  6068.                 __fastpack13(in,out);
  6069.                 break;
  6070.             case 14:
  6071.                 __fastpack14(in,out);
  6072.                 break;
  6073.             case 15:
  6074.                 __fastpack15(in,out);
  6075.                 break;
  6076.             case 16:
  6077.                 __fastpack16(in,out);
  6078.                 break;
  6079.             case 17:
  6080.                 __fastpack17(in,out);
  6081.                 break;
  6082.             case 18:
  6083.                 __fastpack18(in,out);
  6084.                 break;
  6085.             case 19:
  6086.                 __fastpack19(in,out);
  6087.                 break;
  6088.             case 20:
  6089.                 __fastpack20(in,out);
  6090.                 break;
  6091.             case 21:
  6092.                 __fastpack21(in,out);
  6093.                 break;
  6094.             case 22:
  6095.                 __fastpack22(in,out);
  6096.                 break;
  6097.             case 23:
  6098.                 __fastpack23(in,out);
  6099.                 break;
  6100.             case 24:
  6101.                 __fastpack24(in,out);
  6102.                 break;
  6103.             case 25:
  6104.                 __fastpack25(in,out);
  6105.                 break;
  6106.             case 26:
  6107.                 __fastpack26(in,out);
  6108.                 break;
  6109.             case 27:
  6110.                 __fastpack27(in,out);
  6111.                 break;
  6112.             case 28:
  6113.                 __fastpack28(in,out);
  6114.                 break;
  6115.             case 29:
  6116.                 __fastpack29(in,out);
  6117.                 break;
  6118.             case 30:
  6119.                 __fastpack30(in,out);
  6120.                 break;
  6121.             case 31:
  6122.                 __fastpack31(in,out);
  6123.                 break;
  6124.             case 32:
  6125.                 __fastpack32(in,out);
  6126.                 break;
  6127.             default:
  6128.                 break;
  6129.     }
  6130. }
  6131.  
  6132. __attribute__ ((noinline))
  6133. void fastpack(const vector<uint> & data, vector<uint> & out, const uint bit) {
  6134.         const uint N = data.size();
  6135.         for(uint k = 0; k<N/32;++k) {
  6136.                 fastpack(& data[0]+32*k,&out[0]+(32 * bit)  * k / 32,bit);
  6137.         }
  6138. }
  6139.  
  6140.  
  6141. __attribute__ ((noinline))
  6142. void fastunpack(const vector<uint> & data, vector<uint> & out, const uint bit) {
  6143.         const uint N = out.size();
  6144.         for(uint k = 0; k<N/32;++k) {
  6145.                 fastunpack(& data[0]+(32 * bit) * k / 32,&out[0]+32*k,bit);
  6146.         }
  6147. }
  6148.  
  6149. bool equalOnFirstBits(const vector<uint> & data, const vector<uint> & recovered, uint bit) {
  6150.     if(bit == 32) {
  6151.         return data == recovered;
  6152.     }
  6153.     for(uint k = 0; k<data.size(); ++k) {
  6154.         if(data[k] % (1U<<bit) != recovered[k]%(1U<<bit)) {
  6155.             cout<<" They differ at k = "<<k<< " data[k]= "<<data[k]<<" recovered[k]="<<recovered[k]<<endl;
  6156.             return false;
  6157.         }
  6158.     }
  6159.     return true;
  6160. }
  6161. void simplebenchmark() {
  6162.     uint N = 1U<<26;
  6163.     vector<uint> data = generateArray(N);
  6164.     vector<uint> compressed(N, 0);
  6165.     vector<uint> recovered(N, 0);
  6166.     ZTimer z;
  6167.     const uint T = 5;
  6168.     double packtime,unpacktime;
  6169.     cout<<"bits"<<"\t"<<"packtime"<<"\t"<<"unpacktime"<<endl;
  6170.  
  6171.     for (uint bit = 1; bit <= 32; ++bit) {
  6172.         packtime=0;unpacktime=0;
  6173.         for (uint t = 0; t < T; ++t) {
  6174.             compressed.clear();
  6175.             compressed.resize(N*bit/32, 0);
  6176.             recovered.clear();
  6177.             recovered.resize(N, 0);
  6178.  
  6179.             z.reset();
  6180.             fastpack(data, compressed, bit);
  6181.             packtime += z.split();
  6182.             z.reset();
  6183.             fastunpack(compressed,recovered, bit);
  6184.             unpacktime += z.split();
  6185.             if (!equalOnFirstBits(data,recovered,bit)) {
  6186.                 cout << " Bug!" << endl;
  6187.                 return;
  6188.             }
  6189.         }
  6190.         cout<<bit<<"\t"<<packtime<<"\t"<<unpacktime<<endl;
  6191.     }
  6192.  
  6193. }
  6194.  
  6195. using namespace std;
  6196. int main() {
  6197.  
  6198.         simplebenchmark();
  6199.         return 0;
  6200. }
Advertisement
Add Comment
Please, Sign In to add comment
Advertisement