SHARE
TWEET

Untitled

a guest Feb 17th, 2017 53 Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
  1. {
  2.  "cells": [
  3.   {
  4.    "cell_type": "code",
  5.    "execution_count": 1,
  6.    "metadata": {
  7.     "collapsed": false
  8.    },
  9.    "outputs": [],
  10.    "source": [
  11.     "%matplotlib inline\n",
  12.     "import datetime\n",
  13.     "import matplotlib.pyplot as plt\n",
  14.     "import matplotlib as mpl\n",
  15.     "import numpy as np\n",
  16.     "import pandas as pd\n",
  17.     "import dask.dataframe as dd\n",
  18.     "import collections\n",
  19.     "\n",
  20.     "mpl.rcParams['axes.labelsize'] = 20\n",
  21.     "mpl.rcParams['axes.titlesize'] = 24\n",
  22.     "mpl.rcParams['xtick.labelsize'] = 16\n",
  23.     "mpl.rcParams['ytick.labelsize'] = 16\n",
  24.     "mpl.rcParams['legend.fontsize'] = 16"
  25.    ]
  26.   },
  27.   {
  28.    "cell_type": "code",
  29.    "execution_count": 2,
  30.    "metadata": {
  31.     "collapsed": false
  32.    },
  33.    "outputs": [
  34.     {
  35.      "data": {
  36.       "text/html": [
  37.        "<div>\n",
  38.        "<table border=\"1\" class=\"dataframe\">\n",
  39.        "  <thead>\n",
  40.        "    <tr style=\"text-align: right;\">\n",
  41.        "      <th></th>\n",
  42.        "      <th>execution_time</th>\n",
  43.        "      <th>available_bikes</th>\n",
  44.        "      <th>available_docks</th>\n",
  45.        "      <th>id</th>\n",
  46.        "      <th>last_communication_time</th>\n",
  47.        "      <th>lat</th>\n",
  48.        "      <th>lon</th>\n",
  49.        "      <th>st_address</th>\n",
  50.        "      <th>station_name</th>\n",
  51.        "      <th>status_key</th>\n",
  52.        "      <th>status_value</th>\n",
  53.        "      <th>test_station</th>\n",
  54.        "      <th>total_docks</th>\n",
  55.        "    </tr>\n",
  56.        "  </thead>\n",
  57.        "  <tbody>\n",
  58.        "    <tr>\n",
  59.        "      <th>0</th>\n",
  60.        "      <td>2016-09-18 16:59:51</td>\n",
  61.        "      <td>3</td>\n",
  62.        "      <td>36</td>\n",
  63.        "      <td>72</td>\n",
  64.        "      <td>2016-09-18 16:58:36</td>\n",
  65.        "      <td>40.767272</td>\n",
  66.        "      <td>-73.993929</td>\n",
  67.        "      <td>W 52 St & 11 Ave</td>\n",
  68.        "      <td>W 52 St & 11 Ave</td>\n",
  69.        "      <td>1</td>\n",
  70.        "      <td>In Service</td>\n",
  71.        "      <td>f</td>\n",
  72.        "      <td>39</td>\n",
  73.        "    </tr>\n",
  74.        "    <tr>\n",
  75.        "      <th>1</th>\n",
  76.        "      <td>2016-09-18 16:59:51</td>\n",
  77.        "      <td>12</td>\n",
  78.        "      <td>19</td>\n",
  79.        "      <td>79</td>\n",
  80.        "      <td>2016-09-18 16:57:02</td>\n",
  81.        "      <td>40.719116</td>\n",
  82.        "      <td>-74.006667</td>\n",
  83.        "      <td>Franklin St & W Broadway</td>\n",
  84.        "      <td>Franklin St & W Broadway</td>\n",
  85.        "      <td>1</td>\n",
  86.        "      <td>In Service</td>\n",
  87.        "      <td>f</td>\n",
  88.        "      <td>33</td>\n",
  89.        "    </tr>\n",
  90.        "    <tr>\n",
  91.        "      <th>2</th>\n",
  92.        "      <td>2016-09-18 16:59:51</td>\n",
  93.        "      <td>22</td>\n",
  94.        "      <td>5</td>\n",
  95.        "      <td>82</td>\n",
  96.        "      <td>2016-09-18 16:59:26</td>\n",
  97.        "      <td>40.711174</td>\n",
  98.        "      <td>-74.000165</td>\n",
  99.        "      <td>St James Pl & Pearl St</td>\n",
  100.        "      <td>St James Pl & Pearl St</td>\n",
  101.        "      <td>1</td>\n",
  102.        "      <td>In Service</td>\n",
  103.        "      <td>f</td>\n",
  104.        "      <td>27</td>\n",
  105.        "    </tr>\n",
  106.        "    <tr>\n",
  107.        "      <th>3</th>\n",
  108.        "      <td>2016-09-18 16:59:51</td>\n",
  109.        "      <td>2</td>\n",
  110.        "      <td>58</td>\n",
  111.        "      <td>83</td>\n",
  112.        "      <td>2016-09-18 16:57:32</td>\n",
  113.        "      <td>40.683826</td>\n",
  114.        "      <td>-73.976323</td>\n",
  115.        "      <td>Atlantic Ave & Fort Greene Pl</td>\n",
  116.        "      <td>Atlantic Ave & Fort Greene Pl</td>\n",
  117.        "      <td>1</td>\n",
  118.        "      <td>In Service</td>\n",
  119.        "      <td>f</td>\n",
  120.        "      <td>62</td>\n",
  121.        "    </tr>\n",
  122.        "    <tr>\n",
  123.        "      <th>4</th>\n",
  124.        "      <td>2016-09-18 16:59:51</td>\n",
  125.        "      <td>1</td>\n",
  126.        "      <td>38</td>\n",
  127.        "      <td>116</td>\n",
  128.        "      <td>2016-09-18 16:59:05</td>\n",
  129.        "      <td>40.741776</td>\n",
  130.        "      <td>-74.001497</td>\n",
  131.        "      <td>W 17 St & 8 Ave</td>\n",
  132.        "      <td>W 17 St & 8 Ave</td>\n",
  133.        "      <td>1</td>\n",
  134.        "      <td>In Service</td>\n",
  135.        "      <td>f</td>\n",
  136.        "      <td>39</td>\n",
  137.        "    </tr>\n",
  138.        "  </tbody>\n",
  139.        "</table>\n",
  140.        "</div>"
  141.       ],
  142.       "text/plain": [
  143.        "        execution_time  available_bikes  available_docks   id  \\\n",
  144.        "0  2016-09-18 16:59:51                3               36   72   \n",
  145.        "1  2016-09-18 16:59:51               12               19   79   \n",
  146.        "2  2016-09-18 16:59:51               22                5   82   \n",
  147.        "3  2016-09-18 16:59:51                2               58   83   \n",
  148.        "4  2016-09-18 16:59:51                1               38  116   \n",
  149.        "\n",
  150.        "  last_communication_time        lat        lon  \\\n",
  151.        "0     2016-09-18 16:58:36  40.767272 -73.993929   \n",
  152.        "1     2016-09-18 16:57:02  40.719116 -74.006667   \n",
  153.        "2     2016-09-18 16:59:26  40.711174 -74.000165   \n",
  154.        "3     2016-09-18 16:57:32  40.683826 -73.976323   \n",
  155.        "4     2016-09-18 16:59:05  40.741776 -74.001497   \n",
  156.        "\n",
  157.        "                      st_address                   station_name  status_key  \\\n",
  158.        "0               W 52 St & 11 Ave               W 52 St & 11 Ave           1   \n",
  159.        "1       Franklin St & W Broadway       Franklin St & W Broadway           1   \n",
  160.        "2         St James Pl & Pearl St         St James Pl & Pearl St           1   \n",
  161.        "3  Atlantic Ave & Fort Greene Pl  Atlantic Ave & Fort Greene Pl           1   \n",
  162.        "4                W 17 St & 8 Ave                W 17 St & 8 Ave           1   \n",
  163.        "\n",
  164.        "  status_value test_station  total_docks  \n",
  165.        "0   In Service            f           39  \n",
  166.        "1   In Service            f           33  \n",
  167.        "2   In Service            f           27  \n",
  168.        "3   In Service            f           62  \n",
  169.        "4   In Service            f           39  "
  170.       ]
  171.      },
  172.      "execution_count": 3,
  173.      "metadata": {},
  174.      "output_type": "execute_result"
  175.     }
  176.    ],
  177.    "source": [
  178.     "ddf = dd.read_csv('dat_20160918_20170214.csv', **{'sep': '|'})\n",
  179.     "ddf.head()"
  180.    ]
  181.   },
  182.   {
  183.    "cell_type": "code",
  184.    "execution_count": 3,
  185.    "metadata": {
  186.     "collapsed": false
  187.    },
  188.    "outputs": [],
  189.    "source": [
  190.     "howard, macdougal = dd.compute(ddf.query('station_name == \"Howard St & Centre St\"'),\n",
  191.     "                               ddf.query('station_name == \"MacDougal St & Prince St\"'))"
  192.    ]
  193.   },
  194.   {
  195.    "cell_type": "code",
  196.    "execution_count": 4,
  197.    "metadata": {
  198.     "collapsed": false
  199.    },
  200.    "outputs": [],
  201.    "source": [
  202.     "def cleanup(df):\n",
  203.     "    df = df.set_index('execution_time', drop=True)\n",
  204.     "    df.index = pd.to_datetime(df.index)\n",
  205.     "    df.sort_index(inplace=True)\n",
  206.     "    return df\n",
  207.     "\n",
  208.     "howard = cleanup(howard)\n",
  209.     "macdougal = cleanup(macdougal)"
  210.    ]
  211.   }
  212.  ],
  213.  "metadata": {
  214.   "anaconda-cloud": {},
  215.   "kernelspec": {
  216.    "display_name": "Python [Root]",
  217.    "language": "python",
  218.    "name": "Python [Root]"
  219.   },
  220.   "language_info": {
  221.    "codemirror_mode": {
  222.     "name": "ipython",
  223.     "version": 3
  224.    },
  225.    "file_extension": ".py",
  226.    "mimetype": "text/x-python",
  227.    "name": "python",
  228.    "nbconvert_exporter": "python",
  229.    "pygments_lexer": "ipython3",
  230.    "version": "3.5.2"
  231.   }
  232.  },
  233.  "nbformat": 4,
  234.  "nbformat_minor": 0
  235. }
RAW Paste Data
Pastebin PRO Summer Special!
Get 40% OFF on Pastebin PRO accounts!
Top