Guest User

Untitled

a guest
Jan 21st, 2018
568
0
Never
Not a member of Pastebin yet? Sign Up, it unlocks many cool features!
Python 4.49 KB | None | 0 0
  1. # флаги для синхронизации
  2. _source_end = False
  3. _fetcher_end = False
  4. _parser_end = False
  5.  
  6.  
  7. async def proto_authors_source(loop):
  8.     logger.info('SOURCE AuthorsList UP')
  9.     async with aiomysql.create_pool(
  10.         host=utils.DB['HOST'],
  11.         port=utils.DB['PORT'],
  12.         user=utils.DB['USER'],
  13.         password=utils.DB['PASSWORD'],
  14.         db=utils.DB['USEDB'],
  15.         charset='utf8',
  16.         loop=loop
  17.     ) as pool:
  18.         async with pool.get() as conn:
  19.             async with conn.cursor() as cur:
  20.                 await cur.execute(_proto_authors_source_query)
  21.                 while True:
  22.                     _author = await cur.fetchone()
  23.                     if not _author:
  24.                         break
  25.                     logger.debug('SOURCE: %s' % repr(_author))
  26.                     global _dbg_counter_source
  27.                     _dbg_counter_source += 1
  28.                     logger.info('SOURCE: counter #%s' % _dbg_counter_source)
  29.                     await taskq.put(_author[0])
  30.     global _source_end
  31.     _source_end = True
  32.     logger.info('SOURCE DOWN')
  33.  
  34.  
  35. async def fetcher_task():   # TODO: TO SLOW
  36.     logger.info('FETCHER UP')
  37.     async with aiohttp.ClientSession() as session:
  38.         while True:
  39.             _link = await taskq.get()
  40.             url = utils.samlibjoin(_link)
  41.             logger.debug("fetcher taskq.get() '%s'" % url)
  42.             html = await fetch(session, url)
  43.             await parserq.put( (_link, html, ) )
  44.  
  45.             if taskq.empty() and _source_end:
  46.                 global _fetcher_end
  47.                 _fetcher_end = True
  48.                 break
  49.     logger.info('FETCHER DOWN')
  50.  
  51.  
  52. async def parser_task():
  53.     logger.info('PARSER UP')
  54.     while True:
  55.         try:
  56.             _link, html = await parserq.get()
  57.             _name, _descr, _upd, _tsize, _tcount = parsers.SI_parse_index_counters(html)
  58.             logger.debug("parser %s" % ([_link, _name, _descr, _upd, _tsize, _tcount]))
  59.             await dbwq.put( (_link, _name, _descr, _upd, _tsize, _tcount, ) )
  60.             global _dbg_counter_parser
  61.             _dbg_counter_parser += 1
  62.             if parserq.empty() and _fetcher_end:
  63.                 global _parser_end
  64.                 _parser_end = True
  65.                 break
  66.         except GeneratorExit:
  67.             raise GeneratorExit
  68.         except:
  69.             logger.error("PARSER ERROR!")
  70.             logger.error("exc_info() -> '%s': '%s'" % sys.exc_info()[:2])
  71.             # input('PRESS <ENTER>')  # TODO: temporary
  72.     logger.info('PARSER DOWN')
  73.  
  74.  
  75. async def dbwriter_task(loop):
  76.     logger.info('DBWRITER UP')
  77.     async with aiomysql.create_pool(
  78.         host=utils.DB['HOST'],
  79.         port=utils.DB['PORT'],
  80.         user=utils.DB['USER'],
  81.         password=utils.DB['PASSWORD'],
  82.         db=utils.DB['USEDB'],
  83.         charset='utf8',
  84.         loop=loop
  85.     ) as pool:
  86.         async with pool.get() as conn:
  87.             async with conn.cursor() as cur:
  88.                 while True:
  89.                     _parsed = await dbwq.get()
  90.  
  91.                     if not _parsed[3] == 'NULL':
  92.                         _lastupd = utils.escape_quote(datetime.strptime(_parsed[3], '%d/%m/%Y').strftime('%Y.%m.%d'))
  93.                     else:
  94.                         _lastupd = 'NULL'
  95.                     _data = (
  96.                         utils.escape_quote(_parsed[1]),
  97.                         utils.escape_quote(_parsed[2]),
  98.                         utils.escape_quote(_parsed[5]),
  99.                         utils.escape_quote(_parsed[4]),
  100.                         _lastupd,
  101.                         utils.escape_quote(_parsed[0]),
  102.                     )
  103.  
  104.                     _q = _proto_author_update % _data
  105.                     logger.debug("dbwriter query data:\n%s" % _q)
  106.                     await cur.execute(_q)
  107.                     await conn.commit()
  108.                     if dbwq.empty() and _parser_end:
  109.                         break
  110.     logger.info('DBWRITER DOWN')
  111.  
  112.  
  113. async def timeout_control(loop, timeout=20, check_period=10):
  114.     logger.info("TIMEOUT CONTROL UP")
  115.  
  116.     while True:
  117.         await asyncio.sleep(check_period)
  118.         if taskq.empty() and parserq.empty() and dbwq.empty() and _source_end:
  119.             logger.info("TIMEOUT CONTROL | waiting for completion...")
  120.             await loop.shutdown_asyncgens()
  121.             await asyncio.sleep(timeout)
  122.             logger.info("TIMEOUT CONTROL | close event loop")
  123.             loop.stop()
  124.             break
  125.     logger.info("TIMEOUT CONTROL DOWN")
Advertisement
Add Comment
Please, Sign In to add comment